Широкое распространение больших языковых моделей предсказуемо привело к их использованию при написании научных работ. Группа учёных попыталась дать количественную оценку использованию ИИ при подготовке публикаций. Получилось неоднозначно: и хорошо, и плохо. Пока ситуацию отчасти спасают рецензенты, но если они тоже доверятся ИИ — быть беде.
Источник изображения: ИИ-генерация Grok 4.1/3DNews
Поскольку натурально бредовые статьи стали просачиваться даже в высокорейтинговые научные журналы, о чём говорит возросшее число отзывов трудов после их публикации, учёные из университетов Беркли (Berkeley) и Корнелла (Cornell) провели анализ использования ИИ при подготовке научных работ к публикации. Они взяли интервал между 2018 годом и серединой 2024 года, охватив периоды до появления больших языковых моделей и после.
Всего было проанализировано около 2 млн статей с сайтов препринтов arXiv (1,2 млн) и сетевых журналов SSRN (675 тыс.) и bioRxiv (220 тыс.). Исследователи пропустили аннотации ранних публикаций (без ИИ) через модель, затем обработали их ИИ-редактором и снова пропустили через модель, чтобы научить её отличать чисто человеческое творчество от машинного.
Как выяснилось, после начала использования ИИ авторы значительно увеличили подачу работ. Особенно сильно это проявилось у учёных из Азии и с азиатскими именами. Рост числа публикаций составил до 100 % на bioRxiv и SSRN и более 40 % на arXiv. Исследователи объяснили это помощью ИИ учёным в преодолении языкового барьера, поскольку для многих из них английский язык не был родным. В целом это пошло на пользу, так как позволило донести работы до более широкой аудитории понятным большинству языком.
Также ИИ делал тексты «умнее» — лингвистически сложнее, что вызывало больше доверия к публикациям. В среднем люди пишут проще и не всегда ясно доносят мысли. Однако проявилась и обратная сторона: тексты, написанные ИИ, реже доходили до публикации, оставаясь в статусе препринтов. Между тем переход работы в статус опубликованной резко повышал её ценность.
Следует оговориться, что переход в печать — длительный процесс, часто растянутый на месяцы. Из этого следует, что часть созданных с помощью ИИ статей пока находится в промежуточном состоянии и потому как бы недооценена в проведённой работе. Со временем в печать будет выходить всё больше статей, написанных с использованием ИИ. Тем самым корреляция между ясностью изложения сложным языком (ИИ) и частотой публикаций будет возрастать.
Ещё одной ценностью подготовленных с помощью ИИ работ стало возросшее количество ссылок на исследования по теме, а также учёт свежих публикаций. В этом ИИ значительно превзошёл человека. Даже если научная ценность такой ИИ-статьи невелика, широкая подборка ссылок сама по себе делает её полезной с научной точки зрения. Очевидно, это очень важное качество, и оно будет только развиваться, если авторы исследований не будут лениться проверять все ссылки самостоятельно.
Ещё одной ценностью работ с использованием ИИ признано применение широко употребляемых терминов вместо узкоспециализированных. Это делает научные публикации понятными более широкому кругу учёных, что крайне важно для междисциплинарных исследований.
Из отрицательных факторов использования ИИ исследователи выделяют существенный разрыв между красотой изложения и реальным качеством научной работы. За привлекательным фасадом может скрываться посредственность, которую без глубокого погружения в тему легко не заметить.
Авторы исследования также допускают, что могли недооценить частоту использования ИИ при подготовке научных работ, что снижает информативность их выводов. Например, учёные могли доверить ИИ подготовку черновика, а затем существенно отредактировать его, полностью устранив маркеры машинного происхождения текста.
И всё же ИИ — мощный инструмент для выражения идей, хотя его использование рискует размыть стандарты качества научных работ. Пока на пути этого стоят люди-рецензенты, но их катастрофически не хватает. Если же и они возьмут ИИ на вооружение, ситуация с ценностью научных публикаций в современном мире может ухудшиться ещё сильнее. Нужен разумный компромисс. Но он пока не найден.