Сегодня 14 ноября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI создала команду по изучению «катастрофических» угроз ИИ, вплоть до ядерной

Ответственная за сервис ChatGPT компания OpenAI сообщила, что сформировала подразделение по оценке и исследованию моделей искусственного интеллекта на предмет защиты от того, что характеризуется как «катастрофические риски».

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

Команду под названием Preparedness («боеготовность») возглавил директор Центра развёртываемого машинного обучения при Массачусетском технологическом институте Александр Мадри (Aleksander Madry) — по данным профессиональной соцсети LinkedIn, он занял этот пост в компании ещё в мае. В задачи подразделения входит отслеживание, прогнозирование и защита от опасностей, которые несут перспективные системы ИИ — от их дара убеждения (как в случае с составлением фишинговых писем) до генерации вредоносного кода. Некоторые из категорий угроз пока, к счастью, не обозначились в реальном поле: к ним отнесли химические, биологические, радиационные и ядерные.

Гендиректор OpenAI Сэм Альтман (Sam Altman) неоднократно выражал опасения, что ИИ способен «привести к вымиранию человечества», и формирование в компании соответствующего подразделения отражает эту позицию. Компания открыта и для изучения «менее очевидных» областей риска ИИ, добавил господин Альтман. Связаться с компанией для изложения своих опасений может любой желающий — авторы десяти лучших работ получат денежный приз в размере $25 тысяч или работу в OpenAI. «Представьте, что мы предоставили вам неограниченный доступ к моделям OpenAI Whisper (расшифровка речи), Voice (преобразование текста в речь), GPT-4V и DALLE·3, а вы оказались злодеем. Рассмотрим наиболее уникальные, хотя и, вероятно, потенциально катастрофически неправильные сценарии использования модели», — говорится в одном из конкурсных вопросов.

Подразделению Preparedness будет поручено сформулировать «политику разработки с учётом угроз» — документ с подробным описанием подхода OpenAI к построению инструментов оценки и мониторинга моделей ИИ, действий по снижению угроз, а также структуры управления для надзора в процессе развития моделей. Специалисты команды дополнят прочие аспекты работы OpenAI в области безопасного ИИ, уделяя особое внимание этапам до и после развёртывания модели.

Альтман и Илья Суцкевер (Ilya Sutskever), главный научный сотрудник и соучредитель OpenAI, убеждены, что ИИ с уровнем сознания выше человеческого может появиться в ближайшие десять лет, и не факт, что этот ИИ будет доброжелательным. Поэтому компания считает необходимым изучать возможности по его ограничению.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Capcom раскрыла дату выхода ремейка Resident Evil 2 на iPhone 16 и iPhone 15 Pro 2 ч.
OpenAI призывает создать ИИ-альянс, который объединит США и союзников, включая страны Ближнего Востока 3 ч.
Google в рамках эксперимента удалит новости издателей ЕС из поисковых результатов 4 ч.
YouTube тестирует новый формат просмотра длинных видео как на Shorts 6 ч.
YouTube на Quest запускает функцию совместного просмотра — до 7 друзей в одном VR-кинозале 7 ч.
FTC потребовала от Meta продать Instagram и WhatsApp 11 ч.
Поработайте за нас: AWS предоставит учёным кластеры из 40 тыс. ИИ-ускорителей Trainium 13 ч.
Комедийный детектив Loco Motive в духе квестов 90-х выйдет на два года позже обещанного — дата релиза и новый трейлер 14 ч.
Warhammer 40,000, Armored Core и даже Concord: анимационный сериал Secret Level от авторов «Любовь, смерть и роботы» получил насыщенный трейлер 15 ч.
«RuStore на гаджетах Apple быть!» — Госдума приняла в I чтении законопроект об обязательной установке RuStore 16 ч.
На TSMC подали в суд за дискриминацию: на фабрику чипов в США тайванцу устроиться проще, чем американцу 45 мин.
XPeng показала сухопутный авианосец Land Aircraft Carrier — его пассажирский дрон выполнил первый полёт на публике 59 мин.
ЦОД Iron Mountain запитают от подводных «воздушных змеев» SeaQurrent 2 ч.
SoftBank построит в Японии первый в мире ИИ-суперкомпьютер на базе NVIDIA DGX B200 3 ч.
Xiaomi выпустила свой 100-тысячный электромобиль всего лишь через 230 дней с момента запуска производства 5 ч.
Представлен электроскутер на солнечных панелях Lightfoot — плюс 5 км пути за час на солнце 7 ч.
Новая статья: Обзор смартфона Infinix ZERO 40 4G: фотографируй как старший брат 10 ч.
Изменение климата не победить: выбросы растут, а Китай впереди всех по зелёной энергетике 11 ч.
Новая статья: Обзор игрового UWQHD-монитора MSI MPG 341CQPX QD-OLED: ожидаемое обновление 12 ч.
Биткоин снова обновил максимум: сколько это будет продолжаться и причём тут Трамп 12 ч.