OpenAI по-тихому отключила детектор текстов, написанных ИИ — он всё равно работал плохо

OpenAI без лишнего шума приостановила работу инструмента, призванного отличить текст, сгенерированный искусственным интеллектом, от написанного человеком. Компания признала, что причиной тому «низкая точность» срабатывания алгоритма.

Источник изображения: Lukas / pixabay.com

В OpenAI заверили, что отзывы пользователей будут учтены, и сейчас изучаются более эффективные методы классификации материалов. Более того, компания «взяла на себя обязательство» разработать аналогичный инструмент для выявления созданных ИИ аудио- и визуальных материалов. Платформа для анализа текстов вышла в январе 2023 года — OpenAI подчеркнула важность создания систем, способных обнаруживать не соответствующие действительности утверждения, сделанные ИИ.

Тогда же компания при поддержке учёных Стэнфордского и Джорджтаунского университетов опубликовала статью, в которой анализируется риск целых дезинформационных кампаний, проводимых с помощью ИИ. В работе говорится, что языковые модели сделали большой шаг вперёд, а создаваемый ими текст трудно отличить от написанного человеком. Убедительный и вводящий в заблуждение текст может генерироваться ИИ в огромных масштабах, становясь оружием в руках злоумышленников. «Злоумышленниками» в данном случае могут выступать нерадивые студенты и маргинальные политические силы. Авторы работы делают вывод, что с учётом общедоступности технологий ИИ сейчас почти невозможно что-то сделать для предотвращения таких инцидентов.

Одним из способов борьбы с потенциально опасными ИИ-моделями могли быть специализированные инструменты выявления материалов, созданных генеративными нейросетями. Правда, в исполнении OpenAI этот инструмент предлагал ограниченные возможности и низкую точность: он требовал вручную ввести текст длиной от тысячи символов, чтобы потом оценить, был он написан человеком или ИИ. Он успешно относил 26 % образцов к «вероятно написанным ИИ» и в 9 % случаев присваивал эту же оценку текстам, написанным человеком. Компания не рекомендовала использовать систему как «основной инструмент принятия решений», но всё-таки сделала её общедоступной. Платформа была отключена 20 июля, а сроки выхода её улучшенной версии не уточняются.