Сегодня 17 октября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI создала команду по изучению «катастрофических» угроз ИИ, вплоть до ядерной

Ответственная за сервис ChatGPT компания OpenAI сообщила, что сформировала подразделение по оценке и исследованию моделей искусственного интеллекта на предмет защиты от того, что характеризуется как «катастрофические риски».

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

Команду под названием Preparedness («боеготовность») возглавил директор Центра развёртываемого машинного обучения при Массачусетском технологическом институте Александр Мадри (Aleksander Madry) — по данным профессиональной соцсети LinkedIn, он занял этот пост в компании ещё в мае. В задачи подразделения входит отслеживание, прогнозирование и защита от опасностей, которые несут перспективные системы ИИ — от их дара убеждения (как в случае с составлением фишинговых писем) до генерации вредоносного кода. Некоторые из категорий угроз пока, к счастью, не обозначились в реальном поле: к ним отнесли химические, биологические, радиационные и ядерные.

Гендиректор OpenAI Сэм Альтман (Sam Altman) неоднократно выражал опасения, что ИИ способен «привести к вымиранию человечества», и формирование в компании соответствующего подразделения отражает эту позицию. Компания открыта и для изучения «менее очевидных» областей риска ИИ, добавил господин Альтман. Связаться с компанией для изложения своих опасений может любой желающий — авторы десяти лучших работ получат денежный приз в размере $25 тысяч или работу в OpenAI. «Представьте, что мы предоставили вам неограниченный доступ к моделям OpenAI Whisper (расшифровка речи), Voice (преобразование текста в речь), GPT-4V и DALLE·3, а вы оказались злодеем. Рассмотрим наиболее уникальные, хотя и, вероятно, потенциально катастрофически неправильные сценарии использования модели», — говорится в одном из конкурсных вопросов.

Подразделению Preparedness будет поручено сформулировать «политику разработки с учётом угроз» — документ с подробным описанием подхода OpenAI к построению инструментов оценки и мониторинга моделей ИИ, действий по снижению угроз, а также структуры управления для надзора в процессе развития моделей. Специалисты команды дополнят прочие аспекты работы OpenAI в области безопасного ИИ, уделяя особое внимание этапам до и после развёртывания модели.

Альтман и Илья Суцкевер (Ilya Sutskever), главный научный сотрудник и соучредитель OpenAI, убеждены, что ИИ с уровнем сознания выше человеческого может появиться в ближайшие десять лет, и не факт, что этот ИИ будет доброжелательным. Поэтому компания считает необходимым изучать возможности по его ограничению.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Создатель Dead Space увидел в новых владельцах Electronic Arts шанс для Dead Space 4 и «уже начал делать звонки» 42 мин.
Бразилия стала главным мировым экспортёром DDoS-атак 2 ч.
Разработчики новой Painkiller объяснили, зачем превратили игру в динамичный кооперативный шутер 3 ч.
Трассировка лучей, «кошмарная» сложность и «Новая игра +»: Techland раскрыла план улучшений Dying Light: The Beast 4 ч.
Gemini научили выполнять цепочки действий в «Google Таблицах» 4 ч.
Власти Японии призвали OpenAI соблюдать авторские права по отношению к манге и аниме при генерации видео в Sora 2 6 ч.
Anthropic представила инструмент Skills, который сделает ИИ полезнее в реальной работе 15 ч.
Умер легендарный гейм-дизайнер Томонобу Итагаки — создатель Dead or Alive и отец современной Ninja Gaiden 16 ч.
OnePlus представила OxygenOS 16 в стиле iOS с расширенными ИИ-функциями и не только 17 ч.
Мультиплеерной игрой Quantic Dream оказалась условно-бесплатная MOBA — первый трейлер, геймплей и подробности Spellcasters Chronicles 18 ч.
G.Skill показала экстремальный разгон DDR5 без экстремального охлаждения — 48 Гбайт довели до 10 600 МГц 19 мин.
Дочка Xpeng представила шестиместный «летающий автобус» — дизайн подсмотрели у американцев 21 мин.
Президент РФ предложить запитать ЦОД от угольных электростанций 33 мин.
Xiaomi раскрыла дизайн доступного флагмана Redmi K90 Pro Max и объявила дату его презентации 2 ч.
Bloomberg узнал, где и когда Samsung представит свой первый трёхстворчатый складной телефон 2 ч.
Огромный ускоритель SpaceX Super Heavy картинно завис над водами залива, прежде чем навсегда исчезнуть в пучине 2 ч.
Легендарная Vertu представила смартфон Agent Q, который можно купить только в одном магазине в мире 2 ч.
Huawei представила самый доступный складной смартфон Nova Flip S — всего от $490 3 ч.
Открытая ИИ-модель Google DeepMind Cell2Sentence-Scale 27B совершила прорыв в терапии рака, который подтвердили учёные 3 ч.
SK hynix показала 245-Тбайт SSD серии PS1101 для дата-центров 4 ч.