Сегодня 01 октября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → биологическая угроза

OpenAI опасается, что вскоре её модели научатся разрабатывать биологическое оружие

OpenAI обеспокоена тем, что следующее поколение её моделей искусственного интеллекта может значительно увеличить риск разработки биологического оружия, предоставив такую возможность даже людям без научного образования. Руководитель систем безопасности OpenAI Йоханнес Хайдеке (Johannes Heidecke) ожидает, что «некоторые из преемников нашей o3 [модели рассуждений] достигнут этого уровня». В связи с этим OpenAI усиливает тестирование безопасности.

 Источник изображений: unsplash.com

Источник изображений: unsplash.com

OpenAI сообщила о разработке системы для оценки и снижения рисков, создаваемых все более мощными моделями ИИ. Компания усиливает тестирование безопасности, чтобы снизить риск использования её моделей преступниками и террористами. Без этих мер по снижению рисков модели вскоре смогут «подняться на новый уровень», что позволит даже людям с ограниченными научными знаниями создавать опасное оружие.

«Мы [пока] ещё не в мире, где есть что-то новое, совершенно неизвестное, создающее биологические угрозы, которых раньше не было, — заявил Хайдеке. — Мы больше беспокоимся о воспроизведении вещей, с которыми эксперты уже хорошо знакомы». Особая сложность состоит в том, что те же инструменты, которые могли бы обеспечить жизненно важные медицинские прорывы, могут быть использованы злоумышленниками в опасных целях.

Именно поэтому ведущим лабораториям ИИ нужны высокоточные системы тестирования. «Это не та область, где производительность 99 % или одна ошибка на 100 000… допустимы, — считает Хайдеке. — Нам в основном нужно, что-то вроде почти идеального».

OpenAI — не единственная компания, обеспокоенная неправомерным использованием своих моделей, когда дело касается разработки оружия. По мере того, как модели становятся более совершенными, их потенциал для преступного использования растёт. Недавно компания Anthropic выпустила продвинутую модель Claude Opus 4 с более строгими протоколами безопасности, чем у любой из предыдущих моделей.

 Источник изображений: unsplash.com

В соответствии с политикой ответственного масштабирования, созданной по образцу уровней биологической угрозы (BSL) правительства США, ей присвоен третий «уровень безопасности ИИ» (AI Safety Level) ASL-3. Все предыдущие модели Anthropic отнесены к уровню ASL-2. Третьему уровню безопасности соответствуют продвинутые модели, которые достаточно мощны, чтобы представлять значительные риски, такие как помощь в разработке оружия или автоматизация разработки систем ИИ.

Недавно Claude Opus 4 попала в заголовки СМИ после попытки шантажировать инженера, чтобы избежать отключения в ходе строго контролируемого теста. Ранние версии этой модели были готовы выполнять опасные инструкции, например, планирование террористических атак. Компания заверила общественность, что эта проблема была решена внесением изменений в набор обучающих данных.


window-new
Soft
Hard
Тренды 🔥
Ultimate за $30, ПК-игры и Xbox Cloud Gaming для всех: Microsoft анонсировала масштабные изменения в Game Pass 14 мин.
Базу данных Wikimedia Foundation переведут в вектор — это упростит поиск для людей и ИИ 3 ч.
Epic Games: iOS 18.6 показала, что барьеры для сторонних магазинов приложений были искусственными 3 ч.
Apple, Google и Meta ответят в суде за рекламу вызывающих зависимость игр-казино 4 ч.
Apple назвала антимонопольный иск Маска к ней и OpenAI пустышкой и попросила его отклонить 6 ч.
«Ничего подобного мы раньше не делали»: нелинейный шутер Judas от авторов BioShock на самом деле «радикально отличается» от BioShock 6 ч.
Microsoft оживила общение с Copilot, наделив бота трёхмерными аватарами 7 ч.
Microsoft начала распространение Windows 11 25H2 — без каких-либо заметных нововведений 7 ч.
МегаФон GCloud виртуализуется с помощью «Базиса» 8 ч.
Первый за 10 лет патч сломал Prototype и Prototype 2 в Steam, но дал фанатам надежду на ремастер 8 ч.
OpenAI объединится с Samsung и SK hynix, чтобы удовлетворить потребность в памяти для ИИ-мегапроекта Stargate 5 мин.
Oura представила керамические умные кольца Ring 4 за $499, зарядный футляр за $99 и медицинский сервис за $99 21 мин.
Сегодня в России отмечается День работников отрасли ЦОД 43 мин.
Selectel проведёт ежегодную флагманскую конференцию Selectel Tech Day 2025 в Москве 2 ч.
Паукообразный робот Charlotte будет возводить по дому в день — и на Луне тоже 2 ч.
Crucial выпустила самую быструю память LPCAMM2 LPDDR5X для ноутбуков — 8533 МТ/с 2 ч.
В гейзерах спутника Сатурна Энцелада засекли органику, намекающую на зарождение жизни — данные зонда «Кассини» 2 ч.
Представлен доступный смартфон Realme 15x — экран 144 Гц, защита IP69 и батарея на 7000 мА·ч за $200 2 ч.
Oracle может потребоваться $100 млрд заёмных средств для поддержки проектов OpenAI 2 ч.
ИИ-бум привёл к подорожанию одноплатных компьютеров Raspberry Pi 3 ч.