OpenAI по-тихому отключила детектор текстов, написанных ИИ — он всё равно работал плохо

OpenAI без лишнего шума приостановила работу инструмента, призванного отличить текст, сгенерированный искусственным интеллектом, от написанного человеком. Компания признала, что причиной тому «низкая точность» срабатывания алгоритма.

В OpenAI заверили, что отзывы пользователей будут учтены, и сейчас изучаются более эффективные методы классификации материалов. Более того, компания «взяла на себя обязательство» разработать аналогичный инструмент для выявления созданных ИИ аудио- и визуальных материалов. Платформа для анализа текстов вышла в январе 2023 года — OpenAI подчеркнула важность создания систем, способных обнаруживать не соответствующие действительности утверждения, сделанные ИИ.

Тогда же компания при поддержке учёных Стэнфордского и Джорджтаунского университетов опубликовала статью, в которой анализируется риск целых дезинформационных кампаний, проводимых с помощью ИИ. В работе говорится, что языковые модели сделали большой шаг вперёд, а создаваемый ими текст трудно отличить от написанного человеком. Убедительный и вводящий в заблуждение текст может генерироваться ИИ в огромных масштабах, становясь оружием в руках злоумышленников. «Злоумышленниками» в данном случае могут выступать нерадивые студенты и маргинальные политические силы. Авторы работы делают вывод, что с учётом общедоступности технологий ИИ сейчас почти невозможно что-то сделать для предотвращения таких инцидентов.

Одним из способов борьбы с потенциально опасными ИИ-моделями могли быть специализированные инструменты выявления материалов, созданных генеративными нейросетями. Правда, в исполнении OpenAI этот инструмент предлагал ограниченные возможности и низкую точность: он требовал вручную ввести текст длиной от тысячи символов, чтобы потом оценить, был он написан человеком или ИИ. Он успешно относил 26 % образцов к «вероятно написанным ИИ» и в 9 % случаев присваивал эту же оценку текстам, написанным человеком. Компания не рекомендовала использовать систему как «основной инструмент принятия решений», но всё-таки сделала её общедоступной. Платформа была отключена 20 июля, а сроки выхода её улучшенной версии не уточняются.