Американський вчений знайшов спосіб одноманітно оцінювати достовірність наукових досліджень і дійшов висновку, що до чверті робіт з психології, які використовували найпоширеніший критерій достовірності, можуть містити помилкові висновки.
Робота Валена Джонсона присвячена порівнянню двох способів оцінити достовірність висновків у науковому дослідженні.
Професор Техаського університету звернув увагу на те, що зазвичай вчені використовують або імовірнісний, або байєсовський підходи, але стандартного способу зіставити їх між собою досі не було.
У випадку з імовірнісним підходом вчений, який отримав у своїх спостереженнях чисельні дані, задається питанням про ймовірність отримати точно такі самі дані у випадку, коли результат насправді випадковий (тобто шуканої закономірності в даних нема).
Байєсовський підхід заснований на іншому питанні. Дослідники, які використовують його у своїх роботах, оцінюють імовірність отримати ті дані, які вони отримали, у випадку, коли їхня модель вірна.
Розрахунки показали, що у більшості випадків найбільш поширена “достатня”достовірність на рівні p
За оцінками Джонсона, такі прорахунки можуть приблизно у 17-25% випадків приводити до невірних висновків: вчені повідомлять про наявність закономірності там, де її насправді немає.
Дослідник наголошує, що погана статистика може бути однією з головних причин невідтворюваності наукових робіт: випереджаючи фальсифікації та помилки в ході самого експерименту.
Спеціаліст зі статистики запропонував переглянути загальноприйняту домовленість про те, які ж результати вважати значущими. На думку Джонсона, значення 0,05, що дається імовірнісним підходом, треба знизити до 0,005: його аналіз показує, що роботи з p
