У руководства стартапа Anthropic, чьи передовые ИИ-модели уже неделю как находятся под запретом из-за опасений в сфере национальной безопасности, появилась возможность вести переговоры с высокопоставленными чиновниками США непосредственно на полях саммита G7, поскольку генеральный директор Дарио Амодеи (Dario Amodei) принял участие в данном мероприятии.
Источник изображения: Anthropic
Как поясняет Politico, Белый дом и Anthropic сейчас сосредоточились на создании регуляторных механизмов, которые позволили бы правительству США вмешиваться в процесс распространения ИИ-моделей в случае обнаружения в них серьёзных угроз для национальной безопасности и стабильности экономической системы. Оценка этих угроз должна стать системной работой, предваряющей выпуск новых ИИ-моделей в обращение. Правительство стремится создать стандартную процедуру анализа подобных уязвимостей и наладить регулярное взаимодействие в этой сфере с разработчиками систем ИИ.
Участники переговоров сходятся во мнении, что ни одна ИИ-модель не может быть лишена изъянов с точки зрения безопасности, которые позволяли бы злоумышленникам использовать её в корыстных целях, а потому правительство США должно разработать чёткие процедуры оценки подобных рисков для всех моделей. Помимо критериев оценки рисков, должна появиться методика определения последствий негативного воздействия злоумышленников на новые ИИ-модели. Сейчас со стороны правительства США в переговорах принимает участие глава по общественной политике Сара Хек (Sarah Heck), а интересы Anthropic представляет один из основателей компании Там Браун (Tom Brown).
Переход к обсуждению технических вопросов и стандартизации указывает на наличие прогресса в переговорах. Как известно, неделю назад Anthropic не была готова признать, что обнаруженные специалистами Amazon уязвимости в ИИ-модели Fable 5 имеют критическое значение и могут быть использования для снятия ограничений на доступ к определённым сферам деятельности, включая разработку биологического оружия при помощи ИИ. Властям США пришлось настоять на закрытии доступа к двум передовым ИИ-моделям Anthropic для иностранных граждан, но компания не смогла сделать это избирательно, поэтому доступ был перекрыт для всех пользователей данных систем.