Сегодня 21 ноября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI создала команду по изучению «катастрофических» угроз ИИ, вплоть до ядерной

Ответственная за сервис ChatGPT компания OpenAI сообщила, что сформировала подразделение по оценке и исследованию моделей искусственного интеллекта на предмет защиты от того, что характеризуется как «катастрофические риски».

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

Команду под названием Preparedness («боеготовность») возглавил директор Центра развёртываемого машинного обучения при Массачусетском технологическом институте Александр Мадри (Aleksander Madry) — по данным профессиональной соцсети LinkedIn, он занял этот пост в компании ещё в мае. В задачи подразделения входит отслеживание, прогнозирование и защита от опасностей, которые несут перспективные системы ИИ — от их дара убеждения (как в случае с составлением фишинговых писем) до генерации вредоносного кода. Некоторые из категорий угроз пока, к счастью, не обозначились в реальном поле: к ним отнесли химические, биологические, радиационные и ядерные.

Гендиректор OpenAI Сэм Альтман (Sam Altman) неоднократно выражал опасения, что ИИ способен «привести к вымиранию человечества», и формирование в компании соответствующего подразделения отражает эту позицию. Компания открыта и для изучения «менее очевидных» областей риска ИИ, добавил господин Альтман. Связаться с компанией для изложения своих опасений может любой желающий — авторы десяти лучших работ получат денежный приз в размере $25 тысяч или работу в OpenAI. «Представьте, что мы предоставили вам неограниченный доступ к моделям OpenAI Whisper (расшифровка речи), Voice (преобразование текста в речь), GPT-4V и DALLE·3, а вы оказались злодеем. Рассмотрим наиболее уникальные, хотя и, вероятно, потенциально катастрофически неправильные сценарии использования модели», — говорится в одном из конкурсных вопросов.

Подразделению Preparedness будет поручено сформулировать «политику разработки с учётом угроз» — документ с подробным описанием подхода OpenAI к построению инструментов оценки и мониторинга моделей ИИ, действий по снижению угроз, а также структуры управления для надзора в процессе развития моделей. Специалисты команды дополнят прочие аспекты работы OpenAI в области безопасного ИИ, уделяя особое внимание этапам до и после развёртывания модели.

Альтман и Илья Суцкевер (Ilya Sutskever), главный научный сотрудник и соучредитель OpenAI, убеждены, что ИИ с уровнем сознания выше человеческого может появиться в ближайшие десять лет, и не факт, что этот ИИ будет доброжелательным. Поэтому компания считает необходимым изучать возможности по его ограничению.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Миллионер с мизерной зарплатой: выяснилось, сколько зарабатывает глава OpenAI 14 мин.
Рекордная скидка и PvP-режим Versus обернулись для Warhammer: Vermintide 2 полумиллионом новых игроков за неделю 18 мин.
Роскомнадзор с декабря начнёт блокировать сайты за публикацию научной информации о VPN для обхода блокировок 26 мин.
Новый трейлер раскрыл дату выхода Mandragora — метроидвании с элементами Dark Souls и нелинейной историей от соавтора Vampire: The Masquerade — Bloodlines 2 ч.
В Японии порекомендовали добавить в завещания свои логины и пароли 3 ч.
Обновления Windows 11 больше не будут перезагружать ПК, но обычных пользователей это не касается 4 ч.
VK похвасталась успехами «VK Видео» на фоне замедления YouTube 5 ч.
GTA наоборот: полицейская песочница The Precinct с «дозой нуара 80-х» не выйдет в 2024 году 7 ч.
D-Link предложила устранить уязвимость маршрутизаторов покупкой новых 8 ч.
Valve ужесточила правила продажи сезонных абонементов в Steam и начнёт следить за выполнением обещаний разработчиков 8 ч.
Астрономы впервые сфотографировали умирающую звезду за пределами нашей галактики — она выглядит не так, как ожидалось 2 ч.
Представлена технология охлаждения чипов светом — секретная и только по предварительной записи 2 ч.
Японская Hokkaido Electric Power намерена перезапустить ядерный реактор для удовлетворения потребности ЦОД в энергии 3 ч.
Грузовик «Прогресс МС-29» улетел к МКС с новогодними подарками и мандаринами для космонавтов 3 ч.
Meta планирует построить за $5 млрд кампус ЦОД в Луизиане 4 ч.
HPE готова ответить на любые вопросы Минюста США по расследованию покупки Juniper за $14 млрд 4 ч.
Thermaltake представила компактный, но вместительный корпус The Tower 250 для игровых систем на Mini-ITX 5 ч.
Флагманы Oppo Find X8 и X8 Pro на Dimensity 9400 стали доступны не только в Китае — старший оценили в €1149 6 ч.
«ВКонтакте» выросла до 88,1 млн пользователей — выручка VK взлетела на 21,4 % на рекламе 6 ч.
В Китае выпустили жидкостный кулер с 6,8-дюймовым изогнутым OLED-экраном за $137 6 ч.