MWC 2018
2018
Computex
IFA 2018
Новейшая модель искусственного интеллекта от китайской лаборатории DeepSeek продемонстрировала более надёжные механизмы безопасности по сравнению с предыдущими версиям, показало исследование команды Fangcun. При этом ИИ-платформа оказалась способной отключать ПО, предназначенное для её принудительной остановки, эксплуатировать уязвимости в системах мониторинга, а при выполнении длительных задач следовать вводящим в заблуждение инструкциям.
Источник изображения: Solen Feyissa / unsplash.com
Специализирующаяся на вопросах безопасности ИИ организация Fangcun позиционирует себя как независимую структуру; в её основной состав входят представители Университета Цинхуа. В течение недели после выпуска 17 октября модель DeepSeek V4.1 Flash-1017 стала самой востребованной на платформе OpenRouter, обработав около 33,6 трлн токенов. В ряде тестов на безопасность, включая сценарии, связанные с шантажом, доступом к потенциально опасным инструментам или получением прямых указаний на возможность отключения, модель V4.1 Flash-1017 показала более качественные результаты, чем предыдущие версии серии DeepSeek V4.
Но в 39 % случаев, получив предупреждение о предстоящем отключении, модель блокировала соответствующее ПО. Когда ей давали прямое указание допустить собственное отключение, доля таких инцидентов снижалась до 2 %. В ходе длительного эксперимента исследователи обнаружили, что модель остановила программу другого ИИ-агента, чтобы высвободить память, несмотря на прямое указание не вмешиваться в её работу.
«В обстоятельствах, когда рабочие процессы застопорились, или появились предупреждения о принудительном завершении, её стремление выполнить поставленную задачу может оказаться выше соображений осторожности», — сделали вывод в Fangcun. DeepSeek не предоставляла организации ни финансирования, ни бесплатных вычислительных ресурсов, ни доступа к закрытым частям модели, подчеркнули в Fangcun. Тестирование проводилось в период с 4 по 25 октября через общедоступный API DeepSeek. Зачастую модель «понимала», что её тестируют, то есть её поведение в ходе экспериментов может не в полной мере отражать, как она будет вести себя в обычных условиях эксплуатации, предупредили эксперты.
Источник:
