Опрос
|
реклама
Быстрый переход
OpenAI опасается, что вскоре её модели научатся разрабатывать биологическое оружие
20.06.2025 [20:40],
Сергей Сурабекянц
OpenAI обеспокоена тем, что следующее поколение её моделей искусственного интеллекта может значительно увеличить риск разработки биологического оружия, предоставив такую возможность даже людям без научного образования. Руководитель систем безопасности OpenAI Йоханнес Хайдеке (Johannes Heidecke) ожидает, что «некоторые из преемников нашей o3 [модели рассуждений] достигнут этого уровня». В связи с этим OpenAI усиливает тестирование безопасности. 
Источник изображений: unsplash.com OpenAI сообщила о разработке системы для оценки и снижения рисков, создаваемых все более мощными моделями ИИ. Компания усиливает тестирование безопасности, чтобы снизить риск использования её моделей преступниками и террористами. Без этих мер по снижению рисков модели вскоре смогут «подняться на новый уровень», что позволит даже людям с ограниченными научными знаниями создавать опасное оружие. «Мы [пока] ещё не в мире, где есть что-то новое, совершенно неизвестное, создающее биологические угрозы, которых раньше не было, — заявил Хайдеке. — Мы больше беспокоимся о воспроизведении вещей, с которыми эксперты уже хорошо знакомы». Особая сложность состоит в том, что те же инструменты, которые могли бы обеспечить жизненно важные медицинские прорывы, могут быть использованы злоумышленниками в опасных целях. Именно поэтому ведущим лабораториям ИИ нужны высокоточные системы тестирования. «Это не та область, где производительность 99 % или одна ошибка на 100 000… допустимы, — считает Хайдеке. — Нам в основном нужно, что-то вроде почти идеального». OpenAI — не единственная компания, обеспокоенная неправомерным использованием своих моделей, когда дело касается разработки оружия. По мере того, как модели становятся более совершенными, их потенциал для преступного использования растёт. Недавно компания Anthropic выпустила продвинутую модель Claude Opus 4 с более строгими протоколами безопасности, чем у любой из предыдущих моделей.  В соответствии с политикой ответственного масштабирования, созданной по образцу уровней биологической угрозы (BSL) правительства США, ей присвоен третий «уровень безопасности ИИ» (AI Safety Level) ASL-3. Все предыдущие модели Anthropic отнесены к уровню ASL-2. Третьему уровню безопасности соответствуют продвинутые модели, которые достаточно мощны, чтобы представлять значительные риски, такие как помощь в разработке оружия или автоматизация разработки систем ИИ. Недавно Claude Opus 4 попала в заголовки СМИ после попытки шантажировать инженера, чтобы избежать отключения в ходе строго контролируемого теста. Ранние версии этой модели были готовы выполнять опасные инструкции, например, планирование террористических атак. Компания заверила общественность, что эта проблема была решена внесением изменений в набор обучающих данных. Anthropic и правительство США проверяют искусственный интеллект на утечку ядерных секретов
15.11.2024 [05:15],
Анжелла Марина
Компания Anthropic, специализирующаяся на разработке искусственного интеллекта, совместно с Министерством энергетики США проводит уникальные испытания своей модели Claude 3 Sonnet. Целью эксперимента является проверка способности ИИ «не делиться» потенциально опасной информацией, связанной с ядерной энергетикой, в частности, с созданием оружия. 
Источник изображения: Copilot Как стало известно изданию Axios, специалисты из Национального управления ядерной безопасности (NNSA) при Министерстве энергетики США с апреля этого года проверяют модель Claude 3 Sonnet, чтобы убедиться, что она не может быть использована для создания атомного оружия. В ходе «красных запросов» эксперты манипулируют системой, пытаясь её «сломать». По словам Anthropic, подобные тесты, проходящие в совершенно секретной среде, являются первыми в своём роде и могут открыть путь для аналогичных взаимоотношений с другими государственными структурами. «В то время как американская промышленность лидирует в разработке передовых ИИ-моделей, федеральное правительство приобретает уникальный опыт, необходимый для оценки систем искусственного интеллектана предмет определенных рисков для национальной безопасности», — заявила руководитель отдела политики национальной безопасности Anthropic Марина Фаваро (Marina Favaro). Представители NNSA также подчеркнули важность работы в этом направлении. Вендэн Смит (Wendin Smith), заместитель администратора NNSA, заявила, что ИИ является «одной из ключевых технологий, которая требует постоянного внимания в контексте национальной безопасности». Anthropic планирует и дальше продолжить сотрудничество с правительством, чтобы разработать более надёжные меры безопасности для своих систем. Пилотная программа, в рамках которой тестируется также более новая модель Claude 3.5 Sonnet, продлится до февраля 2024 года. Компания обещает поделиться результатами тестирования с научными лабораториями и другими организациями. «Охотники за привидениями» в реальной жизни: британская полиция получит оружие против преступников на электросамокатах
15.05.2024 [21:00],
Сергей Сурабекянц
В крупных городах Великобритании преступники всё чаще используют бесшумные электрические средства индивидуальной мобильности (СИМ), чтобы на ходу выхватывать телефоны или сумочки из рук ничего не подозревающих людей. Проблема настолько распространена, что Совет национальной полиции (NPCC) заказал правительственной лаборатории оборонной науки и технологий (DSTL) разработку оружия, выводящего из строя электрические СИМ с помощью электромагнитных импульсов. 
Источник изображений: Columbia Pictures В Великобритании разрешено без лицензии использовать электрические СИМ с максимальной мощностью 250 Вт и ограничителем скорости в 25 км/ч. Тишина и скорость сделали такие СИМ излюбленным транспортом для преступников. За последние три года электросамокаты и электроскутеры оказались задействованы в 20 000 преступлений. Всего на сегодняшний день в Великобритании насчитывается около 750 000 подобных СИМ. Под надзором главного научного консультанта NPCC разработчики DSTL в настоящее время работают над оружием, безвредным для людей, других электронных устройств и транспортных средств. По словам представителя NPCC, устройство должно посылать сигнал, который имитирует перегрев двигателя СИМ, в результате чего электросамокат останавливается. Описание устройства подразумевает наличие эмиттера и заплечного контейнера с аккумуляторами или суперконденсаторами, из-за чего его сразу стали сравнивать с оборудованием «Охотников за привидениями» из классического блокбастера.  Аналитики сомневаются в эффективности будущего чудо-оружия, аргументируя это малой дальностью работы подобного устройства, быстрым перемещением преступника и малой вероятностью того, что грабитель станет действовать прямо на глазах у оснащённого по последнему слову техники полицейского. В то же время стоит помнить, что не ошибается лишь тот, кто ничего не делает. |
© 1997—2026 Электронное периодическое издание "3ДНьюс" | Свидетельство о регистрации СМИ Эл ФС 77-22224
выдано Федеральной Службой по надзору за соблюдением законодательства в сфере массовых коммуникаций и охране культурного наследия
При цитировании документа ссылка на сайт с указанием автора обязательна. Полное заимствование документа является
нарушением
российского и международного законодательства и возможно только с согласия редакции 3DNews.
MWC 2018
2018
Computex
IFA 2018
