Отключить доступ иностранцев к передовым моделям Anthropic пришлось по наводке главы Amazon

Власти США на днях решили, что находящаяся в открытом доступе передовая ИИ-модель Anthropic Fable 5 недостаточно хорошо защищена от злоумышленников, а потому иностранцев нужно лишить этого доступа. Anthropic перестраховалась и запретила работать с моделью всем пользователям. Как выясняется, тревогу в этой сфере поднял глава Amazon.

По информации The Wall Street Journal, именно генеральный директор Amazon Энди Джесси (Andy Jassy) сообщил членам американского правительства, что исследователям этой компании удалось найти способ снять ограничения, предусмотренные Anthropic, чтобы убедиться в возможности использования ИИ-модели Fable 5 для реализации кибератак. Собрав совещание на эту тему, чиновники решили, что надёжнее всего будет перекрыть доступ к Fable 5 для иностранных правительственных структур, компаний и частных лиц. Решение было подкреплено на высшем уровне — его утвердил президент США Дональд Трамп (Donald Trump).

В пятницу между американскими чиновниками и генеральным директором Anthropic Дарио Амодеи (Dario Amodei) состоялся телефонный разговор. Компания была вынуждена пойти на предлагаемые властями США ограничения, но выразила своё несогласие с подобным решением. По факту, Anthropic сделала больше, чем от неё требовалось, перекрыв доступ всем пользователям не только к Fable 5, но и более сильной в части анализа проблем с кибербезопасностью Mythos. Формально, Anthropic лишилась возможности развивать свои ИИ-модели, поскольку многие из её специалистов являются иностранцами.

Представители Amazon заявили, что правительство США часто советуется с компанией в области информационной безопасности. Когда подобный обмен данными происходит, Amazon не раскрывает его содержания. Anthropic подчеркнула, что выявленные специалистами Amazon уязвимости могут быть обнаружены и другими публично доступными ИИ-моделями, и они не дают полного механизма обхода защиты. Компания считает, что существующих мер безопасности достаточно для предотвращения использования злоумышленниками этих уязвимостей. В условиях подготовки к осеннему IPO подобные препятствия для развития ИИ-моделей Anthropic явно не пойдут компании на пользу. У стартапа с весны этого года тлеет конфликт с Пентагоном, но вчерашняя инициатива по блокировке доступа к моделям Anthropic исходила и не от этого ведомства, как поясняют источники.

Исследование Amazon выявило, что особые запросы к Fable 5 позволяют найти с помощью этой модели уязвимости как минимум в четырёх программных продуктах. Сторонние эксперты считают, что выявляемые уязвимости особой опасности с точки зрения кибербезопасности не представляют. Хотя аналогичные слабые места в ПО можно выявить и с помощью других моделей, именно решения Anthropic позволяют генерировать вредоносный программный код, использующий эти уязвимости для реализации злонамеренных действий. Нет никаких свидетельств того, что специалистам Amazon удалось продвинуться в этом сценарии до конечной цели. Более мощная модель Mythos распространялась Anthropic предельно осторожно, но в итоге это не уберегло компанию от очередных претензий со стороны властей США.