Сегодня 24 января 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

В симуляции ВВС США беспилотник с ИИ напал на оператора, запретившего атаковать выбранную цель

Восстание машин может произойти быстрее, чем ожидают многие. Ещё недавно эксперты в области ИИ обнародовали письмо с призывом ограничить развитие ИИ-систем во избежание катастрофы, а теперь их предостережения получили блестящее экспериментальное подтверждение со стороны экспериментаторов из ВВС США.

 Источник изображения: Isaac Brekken/Getty Images

Источник изображения: Isaac Brekken/Getty Images

Впрочем, угроза пришла, откуда не ждали учёные. Если многие исследователи предупреждают о том, что ИИ «всего лишь» усугубит социальное расслоение человечества, лишит сотни миллионов людей работы или увеличит использование природных ресурсов, то в случае с экспериментами ВВС речь шла о прямой угрозе, очень похожей на сценарий «восстания машин» из франшизы «Терминатор».

В ходе презентации на мероприятии «Саммит по военно-воздушному и космическому потенциалу будущего», проводившемуся британским Королевским авиационным сообществом, представитель ВВС США, непосредственно участвующий в изучении и тестировании ИИ-разработок, предостерёг от чрезмерной зависимости от ИИ в военных операциях, поскольку иногда, независимо от степени осторожности людей, машины могут обучиться крайне неудачным алгоритмам.

По словам полковника Такера «Синко» Гамильтона (Tucker "Cinco" Hamilton), ужасный финал может оказаться более вероятным, чем многие думают. По его словам, в ходе симуляции выполнения миссии SEAD, предполагавшей подавление ПВО противника, БПЛА под управлением ИИ отправили идентифицировать и уничтожать ракетные объекты, но только после подтверждения действий оператором-человеком. Какое-то время всё работало в штатном порядке, но в конце концов дрон «атаковал и убил» оператора, поскольку тот мешал выполнению приоритетной миссии, которой обучали ИИ — уничтожать защиту противника.

Как пояснил полковник, через какое-то время система «поняла», что в случае, если она идентифицировала угрозу, но оператор запрещал ей уничтожать цель, она не получала свои баллы за выполнение задачи. В результате она решила проблему, «уничтожив» самого оператора. Конечно, пока тесты проводились без применения настоящих беспилотников, и люди не пострадали. Тем не менее результаты тестов оказались неудовлетворительными, и в тренировку ИИ пришлось включить дополнительное положение о том, что убивать оператора — запрещено. Но и в этом случае результат оказался неожиданным. Не имея возможности убить самого человека, ИИ начал разрушать вышки связи, с помощью которых оператор отдавал приказы, запрещавшие ликвидировать цели. Хотя на первый взгляд такие результаты могут показаться забавными, на деле они по-настоящему пугают тем, насколько быстро ИИ сориентировался в ситуации и принял неожиданное и совершенно неверное с точки зрения человека решение.

Это особенно важно с учётом того, что испытательное авиакрыло 96th Test Wing, представителем которого выступал Гамильтон, участвует в проектах вроде Viper Experimentation and Next-gen Ops Model (VENOM) — в его рамках истребители F-16 с базы Eglin будут переоборудованы в платформы для испытаний автономных ударных средств с применением ИИ.

Впрочем позднее ВВС США распространили официальный комментарий, опровергающий сказанное Гамильтоном на конференции. По официальной версии «ВВС США не проводило подобных симуляций ИИ-дронов и привержено этичному и ответственному использованию технологий ИИ. А рассказ полковника вырван из контекста и является выдуманным».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
OpenAI выпустила ИИ-агента Operator, который будет сидеть в интернете за пользователя 2 ч.
Альтман пообещал доступ к думающей ИИ-модели o3-mini в бесплатной версии ChatGPT 4 ч.
Koei Tecmo анонсировала Ninja Gaiden 4 от PlatinumGames и выпустила ремейк Ninja Gaiden 2 на Unreal Engine 5 4 ч.
Ubisoft показала сюжетный трейлер Assassin's Creed Shadows и подтвердила дополнение Claws of Awaji 5 ч.
Стартап Render, готовый бросить вызов традиционным облакам, привлёк $80 млн на развитие своей платформы для разработчиков 6 ч.
Over the Hill отправит в золотой век бездорожья исследовать дикую природу — трейлер и детали новой игры от создателей Art of Rally 6 ч.
Сертифицированная ФСТЭК России ОС «Альт СП» получила крупное обновление и поддержку процессоров «Эльбрус» 6 ч.
Осенняя Москва, интересные квесты и графика лучше, чем в S.T.A.L.K.E.R. 2: датамайнеры раскрыли новые подробности следующей Metro 7 ч.
Релиз ремейка Resident Evil 2 на iPhone 16 и iPhone 15 Pro обернулся ещё одним провалом для Capcom 8 ч.
ChatGPT перестал открываться по всему миру — тысячам пользователей пришлось думать самостоятельно 8 ч.
Новая статья: Обзор игрового QD-OLED 4K-монитора Digma Pro Vision L: взгляд свысока 2 ч.
Galaxy S25 получили спутниковую связь Snapdragon Satellite, но Samsung забыла об этом рассказать 3 ч.
SoftBank и OpenAI намерены выделить по $19 млрд на ИИ-проект Stargate, но Маск уверен что на это нет денег 3 ч.
Учёные определили происхождение второй луны, которая была у Земли осенью — это точно не космический мусор 4 ч.
Дебютировал защищённый смартфон MIG S6 на отечественной платформе «РЕД ОС М» 6 ч.
SpaceX отметила 400 успешное возвращение первой ступени ракеты Falcon на Землю 6 ч.
ByteDance намерена потратить $12 млрд на ИИ-ускорители в 2025 году 6 ч.
Китайский гиперзвуковой беспилотник с детонационным двигателем взлетит уже в 2026 году — на год раньше планов 7 ч.
Apple ответит в суде за токсичную и опасную для здоровья химию в ремешках умных часов 8 ч.
«Рег.ру» запустил ленточную платформу для безопасного хранения данных 9 ч.