Сегодня 09 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI создала команду по изучению «катастрофических» угроз ИИ, вплоть до ядерной

Ответственная за сервис ChatGPT компания OpenAI сообщила, что сформировала подразделение по оценке и исследованию моделей искусственного интеллекта на предмет защиты от того, что характеризуется как «катастрофические риски».

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

Команду под названием Preparedness («боеготовность») возглавил директор Центра развёртываемого машинного обучения при Массачусетском технологическом институте Александр Мадри (Aleksander Madry) — по данным профессиональной соцсети LinkedIn, он занял этот пост в компании ещё в мае. В задачи подразделения входит отслеживание, прогнозирование и защита от опасностей, которые несут перспективные системы ИИ — от их дара убеждения (как в случае с составлением фишинговых писем) до генерации вредоносного кода. Некоторые из категорий угроз пока, к счастью, не обозначились в реальном поле: к ним отнесли химические, биологические, радиационные и ядерные.

Гендиректор OpenAI Сэм Альтман (Sam Altman) неоднократно выражал опасения, что ИИ способен «привести к вымиранию человечества», и формирование в компании соответствующего подразделения отражает эту позицию. Компания открыта и для изучения «менее очевидных» областей риска ИИ, добавил господин Альтман. Связаться с компанией для изложения своих опасений может любой желающий — авторы десяти лучших работ получат денежный приз в размере $25 тысяч или работу в OpenAI. «Представьте, что мы предоставили вам неограниченный доступ к моделям OpenAI Whisper (расшифровка речи), Voice (преобразование текста в речь), GPT-4V и DALLE·3, а вы оказались злодеем. Рассмотрим наиболее уникальные, хотя и, вероятно, потенциально катастрофически неправильные сценарии использования модели», — говорится в одном из конкурсных вопросов.

Подразделению Preparedness будет поручено сформулировать «политику разработки с учётом угроз» — документ с подробным описанием подхода OpenAI к построению инструментов оценки и мониторинга моделей ИИ, действий по снижению угроз, а также структуры управления для надзора в процессе развития моделей. Специалисты команды дополнят прочие аспекты работы OpenAI в области безопасного ИИ, уделяя особое внимание этапам до и после развёртывания модели.

Альтман и Илья Суцкевер (Ilya Sutskever), главный научный сотрудник и соучредитель OpenAI, убеждены, что ИИ с уровнем сознания выше человеческого может появиться в ближайшие десять лет, и не факт, что этот ИИ будет доброжелательным. Поэтому компания считает необходимым изучать возможности по его ограничению.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
ИИ-функция Circle to Search получила AI Mode и теперь может помочь в прохождении игр 24 мин.
Samsung разрабатывает Auto DeX — альтернативу автомобильной платформе Android Auto 34 мин.
Зона расширяется: GSC Game World наконец подтвердила релиз S.T.A.L.K.E.R. 2: Heart of Chornobyl на PS5 2 ч.
Mistral AI хочет привлечь $1 млрд для конкуренции с OpenAI 3 ч.
За год замедления YouTube в России Rutube нарастил просмотры в 7,5 раза 3 ч.
Два американца ответят в суде за хищение $650 млн через криптовалютную пирамиду OmegaPro — они обещали доход до 300 % 4 ч.
«Мы не занимаемся модернизацией Mass Effect»: Owlcat отреагировала на сравнения The Expanse: Osiris Reborn с культовой серией BioWare 6 ч.
VK опубликовала рейтинг самых популярных игр и приложений в RuStore 7 ч.
ИИ неделями дурачил пользователей музыкального сервиса, выдавая себя за рок-группу из живых людей 7 ч.
Суд США заблокировал правило FTC о простой отмене подписок «в один клик» 7 ч.
Конец эпохи стилусов: Samsung Galaxy Z Fold7 оказался лишён поддержки S Pen 22 мин.
GlobalFoundries поглотит MIPS — разработчика процессоров на архитектуре RISC-V 36 мин.
BYD пообещала оплатить любой ущерб при автономной парковке её автомобилей с автопилотом 51 мин.
Представлен электромобиль Rivian R1 с четырьмя двигателями — от $115 990 57 мин.
Apple подумывала о запуске облака на собственных чипах, но решение так и не приняла 2 ч.
Nvidia стала первой компанией в истории с капитализацией $4 триллиона 2 ч.
Samsung представила первую «бюджетную» раскладушку — Galaxy Z Flip7 FE по цене от 69 990 рублей 3 ч.
Новая статья: Первый взгляд на гибкие смартфоны Samsung Galaxy Z Fold7 и Samsung Galaxy Z Flip7 3 ч.
Samsung представила Galaxy Z Fold7 — тонкий складной смартфон с 200-Мп камерой и ценой от 148 990 рублей 3 ч.
Представлена похудевшая раскладушка Samsung Galaxy Z Flip7 с чипом Exynos 2500 и увеличенными экранами за 91 990 рублей 3 ч.