Сегодня 07 октября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → химическое оружие

OpenAI опасается, что вскоре её модели научатся разрабатывать биологическое оружие

OpenAI обеспокоена тем, что следующее поколение её моделей искусственного интеллекта может значительно увеличить риск разработки биологического оружия, предоставив такую возможность даже людям без научного образования. Руководитель систем безопасности OpenAI Йоханнес Хайдеке (Johannes Heidecke) ожидает, что «некоторые из преемников нашей o3 [модели рассуждений] достигнут этого уровня». В связи с этим OpenAI усиливает тестирование безопасности.

 Источник изображений: unsplash.com

Источник изображений: unsplash.com

OpenAI сообщила о разработке системы для оценки и снижения рисков, создаваемых все более мощными моделями ИИ. Компания усиливает тестирование безопасности, чтобы снизить риск использования её моделей преступниками и террористами. Без этих мер по снижению рисков модели вскоре смогут «подняться на новый уровень», что позволит даже людям с ограниченными научными знаниями создавать опасное оружие.

«Мы [пока] ещё не в мире, где есть что-то новое, совершенно неизвестное, создающее биологические угрозы, которых раньше не было, — заявил Хайдеке. — Мы больше беспокоимся о воспроизведении вещей, с которыми эксперты уже хорошо знакомы». Особая сложность состоит в том, что те же инструменты, которые могли бы обеспечить жизненно важные медицинские прорывы, могут быть использованы злоумышленниками в опасных целях.

Именно поэтому ведущим лабораториям ИИ нужны высокоточные системы тестирования. «Это не та область, где производительность 99 % или одна ошибка на 100 000… допустимы, — считает Хайдеке. — Нам в основном нужно, что-то вроде почти идеального».

OpenAI — не единственная компания, обеспокоенная неправомерным использованием своих моделей, когда дело касается разработки оружия. По мере того, как модели становятся более совершенными, их потенциал для преступного использования растёт. Недавно компания Anthropic выпустила продвинутую модель Claude Opus 4 с более строгими протоколами безопасности, чем у любой из предыдущих моделей.

 Источник изображений: unsplash.com

В соответствии с политикой ответственного масштабирования, созданной по образцу уровней биологической угрозы (BSL) правительства США, ей присвоен третий «уровень безопасности ИИ» (AI Safety Level) ASL-3. Все предыдущие модели Anthropic отнесены к уровню ASL-2. Третьему уровню безопасности соответствуют продвинутые модели, которые достаточно мощны, чтобы представлять значительные риски, такие как помощь в разработке оружия или автоматизация разработки систем ИИ.

Недавно Claude Opus 4 попала в заголовки СМИ после попытки шантажировать инженера, чтобы избежать отключения в ходе строго контролируемого теста. Ранние версии этой модели были готовы выполнять опасные инструкции, например, планирование террористических атак. Компания заверила общественность, что эта проблема была решена внесением изменений в набор обучающих данных.


window-new
Soft
Hard
Тренды 🔥
Банк Англи призвал не ждать скорой экономической выгоды от ИИ 28 мин.
ESU на носу: второй год расширенной поддержки Windows 10 обойдётся предприятиям в два раза дороже 9 ч.
«В Найт-Сити не бывает счастливых концов»: новый тизер Cyberpunk: Edgerunners 2 приготовил фанатов к эмоциональной травме 10 ч.
NetApp представила зеттабайтную платформу храненния Novus для ИИ-фабрик с миллионами GPU 11 ч.
Гоночный экшен Star Wars: Galactic Racer от ветеранов разработки Burnout встретили в Steam «в основном положительными» отзывами 13 ч.
Разработчики боевика Warhammer Survivors в духе Vampire Survivors подтвердили цену и дату выхода игры — новый трейлер и демоверсия в Steam 14 ч.
Nvidia выпустила драйвер с поддержкой Call of Duty: Modern Warfare 4, Star Wars: Galactic Racer и новых игровых оптимизаций 15 ч.
Google обвинили в том, что она годами обдирала 20 млн британцев завышенными комиссиями в «Play Маркете» 15 ч.
За месяц с запуска цифрового рубля россияне открыли 220 000 кошельков — почти вчетверо больше ожиданий 15 ч.
Невиновность ничего не доказывает: новый геймплейный трейлер Warhammer 40,000: Dark Heresy показал, как ведёт следствие Инквизиция 16 ч.
Глава Xbox рассказала о ближайших перспективах платформы 4 мин.
Starlink показала примеры опасных сближений спутников и призвала конкурентов активнее делиться данными об их координатах 2 ч.
Pimax представила конкурентов VR-гарнитуре Steam Frame и мини-ПК Steam Machine 5 ч.
Новая статья: Обзор комплекта памяти TeamGroup T-Create Expert DDR5-6000 CL30 64GB: строгая внешность, гибкий характер 8 ч.
Новая статья: Парето против Альтмана 9 ч.
LogicFolding в сделку не входил: Qualcomm опровергла слухи о лицензировании чиповой технологии Huawei 10 ч.
МТС запустила первую в России инфраструктуру для беспилотных авто — её использует «Яндекс» 13 ч.
Paramount поглотила Warner Bros. за $110 млрд — новая Skydance собрала крупнейшие киностудии, телесети и стриминги 13 ч.
Bull удвоила мощности по производству суперкомпьютерных стоек во Франции 15 ч.
РТК-ЦОД создал Центр сертификации доверенной ИТ-инфраструктуры 16 ч.