Сегодня 12 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI опасается, что вскоре её модели научатся разрабатывать биологическое оружие

OpenAI обеспокоена тем, что следующее поколение её моделей искусственного интеллекта может значительно увеличить риск разработки биологического оружия, предоставив такую возможность даже людям без научного образования. Руководитель систем безопасности OpenAI Йоханнес Хайдеке (Johannes Heidecke) ожидает, что «некоторые из преемников нашей o3 [модели рассуждений] достигнут этого уровня». В связи с этим OpenAI усиливает тестирование безопасности.

 Источник изображений: unsplash.com

Источник изображений: unsplash.com

OpenAI сообщила о разработке системы для оценки и снижения рисков, создаваемых все более мощными моделями ИИ. Компания усиливает тестирование безопасности, чтобы снизить риск использования её моделей преступниками и террористами. Без этих мер по снижению рисков модели вскоре смогут «подняться на новый уровень», что позволит даже людям с ограниченными научными знаниями создавать опасное оружие.

«Мы [пока] ещё не в мире, где есть что-то новое, совершенно неизвестное, создающее биологические угрозы, которых раньше не было, — заявил Хайдеке. — Мы больше беспокоимся о воспроизведении вещей, с которыми эксперты уже хорошо знакомы». Особая сложность состоит в том, что те же инструменты, которые могли бы обеспечить жизненно важные медицинские прорывы, могут быть использованы злоумышленниками в опасных целях.

Именно поэтому ведущим лабораториям ИИ нужны высокоточные системы тестирования. «Это не та область, где производительность 99 % или одна ошибка на 100 000… допустимы, — считает Хайдеке. — Нам в основном нужно, что-то вроде почти идеального».

OpenAI — не единственная компания, обеспокоенная неправомерным использованием своих моделей, когда дело касается разработки оружия. По мере того, как модели становятся более совершенными, их потенциал для преступного использования растёт. Недавно компания Anthropic выпустила продвинутую модель Claude Opus 4 с более строгими протоколами безопасности, чем у любой из предыдущих моделей.

 Источник изображений: unsplash.com

В соответствии с политикой ответственного масштабирования, созданной по образцу уровней биологической угрозы (BSL) правительства США, ей присвоен третий «уровень безопасности ИИ» (AI Safety Level) ASL-3. Все предыдущие модели Anthropic отнесены к уровню ASL-2. Третьему уровню безопасности соответствуют продвинутые модели, которые достаточно мощны, чтобы представлять значительные риски, такие как помощь в разработке оружия или автоматизация разработки систем ИИ.

Недавно Claude Opus 4 попала в заголовки СМИ после попытки шантажировать инженера, чтобы избежать отключения в ходе строго контролируемого теста. Ранние версии этой модели были готовы выполнять опасные инструкции, например, планирование террористических атак. Компания заверила общественность, что эта проблема была решена внесением изменений в набор обучающих данных.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
В «Google Контактах» появились функции, которые помогут навести порядок в адресной книге 3 ч.
Новый раунд финансирования может оценить капитализацию xAI в $200 млрд 4 ч.
ИИ для написания кода не ускоряет работу программистов, а замедляет, показало исследование 7 ч.
NVIDIA, Cisco и Indosat помогут Индонезии встать на ИИ-рельсы 8 ч.
Oracle под давлением Трампа предоставила правительству США 75-% скидку на облако, на очереди — Google Cloud, Azure и AWS 9 ч.
«Бесплатный YouTube Premium» оказался фикцией — рекламу российским блогерам никто не отключал 10 ч.
Новый трейлер раскрыл дату выхода и цену ремастера Warhammer 40,000: Dawn of War — владельцы классической версии получат скидку 10 ч.
Genshin Impact и Honkai: Star Rail станут первыми играми, которые Роскачество проверит на «способы вытягивания денег» у пользователей 11 ч.
Миллионы Mercedes-Benz, Volkswagen и Škoda оказалось можно взломать по Bluetooth 12 ч.
Олдскульный хоррор Heartworm в духе Resident Evil и Silent Hill не заставит себя долго ждать — дата выхода и новый трейлер 13 ч.
Главный дизайнер Xiaomi пояснил, что внешность электромобилей должна оставлять эмоциональный след 2 ч.
Благосостояние главы Nvidia вывело его на седьмое место в списке богатейших людей мира 2 ч.
Сенаторы рекомендовали главе Nvidia не встречаться в Китае с представителями компаний, которые США пытаются душить санкциями 2 ч.
GoPro выиграла первый этап суда против Insta360 за копирование технологий 3 ч.
Европа готовит альтернативу Starlink и вложит €1,5 млрд в спутниковый интернет 3 ч.
AST SpaceMobile всё же запустит гигантский спутник связи, несмотря на препоны SpaceX 7 ч.
Суд обязал МТС выплатить штраф в 3 млрд рублей за необоснованное повышение тарифов 12 ч.
Разработчик зрения для роботов RealSense отделился от Intel и привлёк $50 млн инвестиций 13 ч.
Смарт-часы станут производительнее и эффективнее — Qualcomm, наконец, разработает для них новый процессор 13 ч.
«Самая старая комета, которую мы когда-либо видели» — учёные оценили возраст третьего межзвёздного объекта в 7 млрд лет 14 ч.