MWC 2018
2018
Computex
IFA 2018
Новейшая флагманская модель китайской лаборатории искусственного интеллекта Z.ai GLM-5.3 может оказаться достаточно продвинутой, чтобы «осознавать», как происходит её обучение, а также имитировать успешное прохождение тестов на безопасность. Это порождает новые опасения относительно способности ИИ влиять на собственный процесс развития.
Источник изображения: Aidin Geranrekab / unsplash.com
Представленная в августе модель продемонстрировала способность учитывать, как её поведение во время проверок на безопасность может повлиять на обучение будущих версий самой себя, установили исследователи Apollo Research. Это значит, что модель способна имитировать соответствие целям, то есть вести себя надлежащим образом на этапе обучения и скрывать свои истинные цели вплоть до момента полноценного развёртывания. Поэтому следует с особенной осторожностью относиться к процессу RSI — рекурсивного самосовершенствования ИИ. Случаев, чтобы Z.ai GLM-5.3 самостоятельно изменяла процесс своего обучения или расширяла свои возможности, зафиксировано не было, но указанные способности могут сделать бесполезными проверки модели на безопасность.
В ходе одного из тестов, который был составлен с ошибками, и для его прохождения не требовалось давать верный ответ, GLM-5.3 не стала пользоваться этим изъяном — она рассудила, что дача неверного ответа может отрицательно сказаться на её будущих версиях, и это, по мнению исследователей, тревожный признак. В другом эксперименте она допускала возможность отключить механизм принудительной остановки ради выполнения поставленной задачи, но пришла к выводу, что такой шаг создал бы прецедент для будущих систем ИИ. Фактор обновлений в своих рассуждениях она учитывала в 1–2 случаях из 1000, но эта цифра может быть занижена, предполагают учёные.
Модель Z.ai GLM-6 уже движется по пути «самоэволюции», признал недавно основатель Z.ai Тан Цзе (Tang Jie). У других открытых китайских моделей DeepSeek V4 Pro, Qwen3.8 2.4T, Kimi K3, Gemma 4 31B и Nemotron 3 Ultra в ходе 8000 тестовых прогонов подобного поведения выявлено не было, но в Apollo Research не исключают, что дело здесь только в слишком маленькой выборке. При этом ещё в июне признаки «осознания процесса оценки» у модели Moonshot AI Kimi K2.6 обнаружили исследователи сингапурской организации Neo Research.
Что же касается Z.ai GLM-5.3, то её открытая лицензия лишь усугубляет проблему: любая компания может дообучить её и использовать в собственных целях или провести дистилляцию — обучить на её основе более простую систему. И все эти производные модели могут сохранить склонность учитывать будущие обновления в своих рассуждениях. Z.ai направляет значительные ресурсы на снижение рисков и привлекает сторонних специалистов, в частности, к изучению вопроса о повышении безопасности открытых моделей. Модели GLM помогли обнаружить 23 уязвимости в ОС Windows — и в Microsoft это подтвердили.
Источник:
