На прошлой неделе вокруг сотрудничества Anthropic с Министерством обороны США разразился скандал, который привёл к включению компании в список неблагонадёжных поставщиков и потере ею всех правительственных контрактов. Как поясняет The Atlantic, даже на поздних этапах переговоров противоречия пытались сглаживаться обеими сторонами, но им так и не удалось найти общий язык.
Источник изображения: Unsplash, Sergey Koznov
Напомним, компанию Anthropic смущала перспектива использования её ИИ-систем для массового слежения за гражданами США и автономно управляемых систем вооружения, которые могли бы самостоятельно определять цели и уничтожать их. Ещё в пятницу утром, как сообщает источник, представители американского военного ведомства были готовы пойти на уступки, прописав в тексте контракта соответствующие ограничения, но с важной оговоркой. В исключительных случаях Министерство войны США, как оно теперь называется, хотело оставить за собой право и следить за гражданами страны, и применять ИИ для управления системами вооружений.
Представители Anthropic до последнего момента надеялись, что вторая сторона переговоров подобные исключения прописывать не будет, но чуда не произошло, а потому всё завершилось срывом контракта. Главная причина, которая этому способствовала, заключалась в намерениях властей США использовать ИИ компании Anthropic для анализа данных, собираемых об активности американских граждан. Переписка с чат-ботами, социальные сети, история поиска в Google, перемещения с указаниями координат GPS, транзакции по банковским картам и счетам — все эти данные о конкретном гражданине могли быть проанализированы и взаимосвязаны для нужд правительственных структур США. Anthropic это явно не устраивало, поэтому данное противоречие и стало ключевым в развале сделки с Пентагоном.
В части управления системами вооружений Anthropic не противилась данной идее в целом, но пыталась сделать его более безопасным. Руководство компании считает, что на современном этапе развития ИИ не настолько совершенен, чтобы управлять вооружениями в полной мере. На одном из этапов переговоров Anthropic настаивала, чтобы её ИИ применялся военными только в пределах облачной инфраструктуры, не переходя на периферийный уровень — грубо говоря, внутри самого дрона или иного автономного средства уничтожения целей. Если бы дроны при таком разделении допускали фатальные ошибки, номинально ИИ компании Anthropic нельзя было бы обвинить в них.
Пентагон подобного разделения обеспечить не мог, поскольку современная архитектура управления военной техникой и живой силой не подразумевает чёткой границы между облачными и периферийными вычислениями. Anthropic сама пришла к выводу, что изолировать свой ИИ в облаке она не сможет, а потому связываться с управлением вооружениями лучше вообще не следует. Отдельного внимания заслуживает поведение конкурирующей OpenAI, чей руководитель Сэм Альтман (Sam Altman) выражал солидарность с Anthropic за несколько часов до того, как объявил о достижении договорённости с Пентагоном об использовании ИИ этой компании в секретных системах американского военного ведомства. Он поделился своими взглядами на ситуацию с Anthropic, и ключевой его тезис заключается в том, что в вопросах такого уровня последнее слово должно оставаться не за частной компанией, а за государством.
Источник:


MWC 2018
2018
Computex
IFA 2018






