Новости

 
27 мая 2021 г.
Невоспроизводимость научных статей только увеличила их цитируемость

Невоспроизводимость данных научных статей (в первую очередь по экономике и психологии) не только не снижает их цитируемость, а, наоборот, повышает ее — к такому выводу пришли американские ученые, проанализировав данные трех проектов по оценке воспроизводимости 2015, 2016 и 2018 годов. На эту тенденцию не влияет даже публикация результатов проверки воспроизводимости, пишут авторы исследования в Science Advances.

Возможность воспроизвести описанный в научной статье эксперимент и получить те же результаты — один из ключевых принципов, на которых строится современная система научного знания. Однако в реальности далеко не все научные статьи оказываются воспроизводимыми. Иногда авторы намеренно упускают некоторые важные детали, чтобы конкурирующая научная группа не смогла повторить их исследование и сделать следующее открытие в этой области. Иногда условия или объекты исследования классических работ заметно изменились со временем, и сейчас их просто невозможно повторить. Но чаще всего это связано с самими опубликованными результатами: те данные, которые авторов не удовлетворили, как правило, просто не добираются до публикации. А те, которые в итоге оказываются в статье, — отбираются таким образом, чтобы лучше иллюстрировать ту закономерность, на которую хотят обратить внимание авторы. Все эти эффекты привели в итоге к кризису воспроизводимости (или кризису репликации), который наиболее заметен в психологии, медицине, экономике и социальных науках, но наблюдается в том числе и в естественных науках.

Марта Серра-Гарсия и Ури Гнизи из Калифорнийского университета в Сан-Диего решили проверить, как воспроизводимость статей влияет на их цитирование. В своем исследовании ученые использовали данные трех проектов, в которых проводилась систематическая оценка воспроизводимости: анализ статей по психологии 2015 года, анализ статей по экономике 2016 года и анализ статей в Nature и Science 2018 года. Статьи из каждого из трех проектов авторы разбили на воспроизводимые (p < 0,05) и невоспроизводимые (p > 0,05) и проанализировали по данным Google Scholar динамику их цитирования с 2010 по 2019 год. Кроме того, исследователи изучили и другие метрики, связанные с цитированием (в частности импакт-факторы тех журналов, в которых были ссылки на невоспроизводимые работы). Отдельно ученые проверили, как повлияла на цитирование статей публикация результатов проверки их воспроизводимости.

Среднее цитирование статей с 2010 по 2019 годы, проверенных на воспроизводимость: A — статьи из Nature и Science, B — статьи по экономике, C — статьи по психологии. Черным обозначено цитирование невоспроизводимых статей, синим — воспроизовдимых

Выяснилось, что для всех трех групп невоспроизводимость результатов исследований не только не снижает цитируемость, а наоборот — повышает ее. В среднем невоспроизводимую статью цитировали на 153 раза больше, чем воспроизводимую. Максимальной эта разница оказалась для статей из Science и Nature. Никакого заметного изменения в динамике цитирования не наблюдалось, в том числе никак не сказалась на ней и проверка на воспроизводимость. Кроме того, те исследования, в которых были процитированы невоспроизовдимые работы, публиковались в журналах с примерно таким же средним импакт-фактором, что и статьи, цитирующие воспроизводимые работы — то есть условное «качество» (или «уровень») статей не отличалось. При этом только в 12 процентах статей, ссылаясь на сомнительную работу, авторы упоминают, что данные не прошли проверку на воспроизводимость.

Слева — вероятность публикации статьи, ссылающейся на воспроизводимые (черные символы) и невоспроизводимые (синие символы) работы. Справа — средний импакт-фактор журналов, в которых эти работы опубликованы  

Однако те работы, в которых цитируются воспроизводимые статьи, все же с большей вероятностью оказывались опубликованы в журналах из базы данных Journal Citation Reports — самого полного и надежного источника данных о цитировании в рецензируемых научных журналах. Разница вероятности публикации составила 6,1 процента.

Авторы исследования полагают, что те ученые, которые ссылаются на невоспроизводимые результаты, почти всегда понимают, что эти данные менее надежны. Но предъявляют к ним — как к более интересным — пониженные требования, а также учитывают, что потом такие статьи могут вызвать больший ажиотаж в научной среде и привлечь большее внимание к новой работе.

Источник: N+1

Есть вопрос или комментарий?..


Ваше имя Электронная почта
Получать почтовые уведомления об ответах:

| Примечание. Сообщение появится на сайте после проверки модератором.


Вернуться в раздел Новости

Регистрация ЛСCRO Биоконсалтинг предлагает любые виды услуг по юридическому оформлению лекарственных средств на территории РФ....
Открыть раздел Регистрация ЛС
Подработка для студентов! Участие в медицинских-научных исследованиях. Исследования проводятся в течении 4-х дней (2+2 через 2 недели) (оплата от 3 000 рублей в день)....
Открыть раздел Вакансии
Политика в области качестваОсновная цель деятельности Общество с ограниченной ответственностью «Биоконсалтинг» (далее ООО «Биоконсалтинг») – проведение токсикологических,...
Открыть раздел Политика в области качества
The LineAct Platform