OpenAI стала тратить меньше времени на тесты безопасности ИИ-моделей

OpenAI сократила время и ресурсы, которые тратятся на тестирование мощных моделей искусственного интеллекта на безопасность. Это вызывает опасения, что разрабатываемые компанией технологии выпускаются чрезвычайно быстро и не сопровождаются достаточными мерами защиты от угроз.

Источник изображения: Levart_Photographer / unsplash.com

Сотрудникам OpenAI и компаний-партнёров теперь выделяют всего несколько дней, чтобы провести оценку рисков и производительности моделей ИИ — ранее на это уходили несколько месяцев. Механизмы проверки в OpenAI стали менее тщательными, ресурсов на выявление и смягчение угроз выделяется всё меньше — при оценке в $300 млрд компания вынуждена выпускать новые модели быстро, чтобы сохранять конкурентное преимущество, сообщает Financial Times со ссылкой на восемь информированных источников. По мере того, как возможности больших языковых моделей расширяются, увеличивается и вероятность их использования в качестве оружия; но растёт и спрос на них, и руководство компании стремится выпускать продукты в минимальные сроки.

Мирового стандарта для процесса тестирования ИИ на предмет безопасности не существует, но в этом году вступят в силу положения европейского «Закона об ИИ», которые обяжут разработчиков проводить испытания безопасности своих самых мощных моделей. Ранее некоторые разработчики в добровольном порядке взяли на себя обязательства перед властями Великобритании и США давать возможность проводить такое тестирование сторонним исследователям. OpenAI намеревается выпустить новую модель o3 уже на следующей неделе, то есть на её проверку будет меньше недели; но дату выпуска могут изменить.

Источник изображения: Levart_Photographer / unsplash.com

Так мало времени этому вопросу в компании ещё не уделяли. В 2023 году вышла GPT-4, оценки для которой проводились около шести предшествующих месяцев. Некоторые опасные возможности модели, рассказал один из участников её тестирования, обнаружились лишь через два месяца после начала процесса. OpenAI взяла на себя обязательство по созданию специальных версий систем ИИ, чтобы оценить возможность их нецелевого применения — например, чтобы выяснить, можно ли сделать биологический вирус более заразным. Эта задача требует значительных ресурсов: сбора специализированной информации, например, по вирусологии, и её отправки в модель при дополнительном обучении — тонкой настройке.

В действительности компания выполняет свои обязательства лишь в ограниченном объёме, проводя тонкую настройку старых и менее эффективных моделей и игнорируя более мощные и продвинутые. Так, в отчёте о безопасности вышедшей в январе модели o3-mini приводятся сведения о более ранней GPT-4o — о некоторых испытаниях для o1 и o3-mini компания не сообщала вообще. OpenAI заявила в свою защиту, что повысила эффективность процессов оценки и ввела автоматизированные тесты, благодаря чему сроки удалось сократить. Согласованного рецепта для таких подходов как тонкая настройка не существует, напомнили в компании, но выразили уверенность, что её методы являются лучшими из возможных, и в отчётах они были отмечены с максимальной прозрачностью.

Ещё одна проблема состоит в том, что тесты безопасности зачастую проводятся не на финальных моделях, которые выходят в открытый доступ, а на «контрольных точках» — более ранних версиях, которые впоследствии обновляются, получая повышенные производительность и новые возможности, и в отчётах OpenAI даются ссылки на «почти финальные» версии. В компании отметили, что «контрольные точки» «преимущественно идентичны» вариантам, которые выходят в общий доступ.