Во модерен универзитетски амфитеатар во Монтреал, наместо класично предавање, започнува нешто што повеќе личи на хакатон отколку на академска конференција. Настанот се вика „Репликејшн гејмс“, а зад него стои економистот Абел Бродер од Универзитетот во Отава. Неговата мисија е едноставна, но амбициозна: да помогне да се надмине т.н. „криза на репликацијата“ во науката.
Во последните две децении, сè повеќе истражувања – од психологија до економија и медицина – не успеваат да ги повторат сопствените резултати кога некој друг ќе ги провери. Студиите што еднаш изгледале цврсто и убедливо, по повторна анализа често не го поминуваат тестот. Причината не е секогаш измама - многу почесто станува збор за суптилни статистички игри, притисок да се добијат „значајни“ резултати (читај: да се зголеми ха-факторот) и систем на награди што ги фаворизира сензационалните откритија.
Бродер лично се соочил со овој проблем уште како постдипломец. Истражувал дали забраните за пушење навистина ја намалуваат употребата на цигари. Податоците што ги анализирал не покажувале никаков ефект. Но со доволно „чепкање“ низ бројките – менување модели, исклучување подгрупи – конечно добил статистички значаен резултат. Тоа бил момент на еуфорија, но и на морална дилема. Сфатил дека лесно може да се „нагодат“ податоците додека не го кажат она што сакаме да го слушнеме.
Токму тој систем на наградување – „објави или исчезни“ – создава средина во која истражувачите несвесно го туркаат материјалот кон магичната граница од 5 проценти статистичка значајност. Бродер подоцна, со колеги, анализирал стотици објавени трудови и забележал чудна „грпка“ токму над таа граница – знак дека нешто во системот ги турка резултатите кон пожелниот праг.
Наместо само да ја критикува состојбата, решил да воведе јавен надзор. Го основал Институтот за репликација и почнал да организира настани каде десетици истражувачи, поделени во тимови, во текот на еден ден повторно ги анализираат веќе објавените трудови. Ги преземаат оригиналните податоци и код и проверуваат: дали бројките навистина излегуваат како во трудот? Потоа прават и дополнителни тестови – што ако се смени одреден параметар, ако се исклучи одредена група, ако се погледне податоците од друг агол?
Во Монтреал, 16 тима работат седум часа без награди и без паричен надомест. За некои, ова е педагошко искуство и ретка можност за заедничка работа. За други, тоа е суштинска професионална одговорност: ако науката тврди дека нешто функционира – од образовни политики до борба против картели – тогаш тоа мора да издржи проверка.
Резултатите се мешани. Поголемиот дел од трудовите ја минуваат основната проверка: кодот работи, бројките се совпаѓаат. Но понекогаш се појавуваат проблеми – недостасуваат варијабли, донесени се нејасни одлуки, резултатите исчезнуваат ако се отстрани само еден дел од податоците. Не станува збор за сензационални измами, туку за системски слабости: грешки, недоволна транспарентност, недоволно строга рецензија.
Интересно е што дел од авторите чии трудови биле „разнишани“ реагираат смирено, па дури и со задоволство што некој сериозно им ја проверил работата. Други не се согласуваат со интерпретациите на репликаторите. Но токму во тој јавен дијалог се случува суштината: научното знаење повторно станува предмет на проверка, а не само на авторитет.
Бродер не верува дека луѓето ќе го променат однесувањето поради страв од казна. Она што навистина делува, вели тој, е веројатноста дека некој може да ве провери - самото сознание дека трудот може да заврши на „Игрите на репликација“.
извор: подкаст Planet Money епизода „Не го мрази репликаторот, мрази ја играта“
