Сегодня 07 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Совет директоров OpenAI сможет блокировать выпуск нейросетей, если сомневается в их безопасности

После недавнего скандала с отставкой генерального директора OpenAI Сэма Альтмана (Sam Altman) и его возвращения компания OpenAI всерьёз задумалась не только о реформировании структуры управления бизнесом, но и повышении ответственности разработчиков за выпуск больших языковых моделей. Теперь совет директоров может задержать выпуск новых моделей, если сочтёт их недостаточно безопасными.

 Источник изображения: OpenAI

Источник изображения: OpenAI

Ключевая роль в этом механизме контроля и согласования будет отведена, по данным Bloomberg, специальной «группе готовности» под руководством Александра Мадри (Aleksander Madry), совмещающего эту должность с научной деятельностью в Массачусетском технологическом институте. В задачи группы экспертов будет входить анализ подготовленной к релизу каждой новой большой языковой модели на предмет выявления «катастрофических рисков». К таковым относятся вероятные последствия применения данной языковой модели, которые повлекут сотни миллиардов долларов материального ущерба или даже человеческие жертвы.

Группа Мадри будет на ежемесячной основе делиться отчётами о деятельности разработчиков OpenAI со специальным советом по безопасности, а тот уже будет делиться своими выводами с генеральным директором компании и советом директоров. Сэм Альтман сможет принимать решение о выпуске новой языковой модели на рынок или её задержке для доработки, причём совет директоров получает право наложить вето на положительное решение главы OpenAI о выпуске модели в общий доступ.

Группа анализа готовности языковых моделей была сформирована внутри OpenAI ещё в октябре, до хорошо известных событий с перестановками в руководстве. В целом, внутри компании действуют ещё две группы, занимающиеся анализом разработок. Прежде всего, это группа безопасности как таковой, а также группа «сверхрегулирования» (superalignment), которая учитывает гипотетические угрозы от внедрения сверхмощных систем искусственного интеллекта в будущем.

Разрабатываемые OpenAI языковые модели будут оцениваться группой Мадри по шкале, подразумевающей четыре градации рисков: низкая, средняя, высокая или критическая. По замыслу, компания сможет выпускать в оборот только те системы искусственного интеллекта, которые в итоге всех процедур анализа и доработки получили оценку риска не выше низкого или среднего. Как признался сам Мадри, «OpenAI — это не что-то, происходящее само собой и способное нести нам пользу или вред, это нечто, формируемое нами». Представитель компании выразил надежду, что подобным подходом к управлению рисками в сфере искусственного интеллекта будут пользоваться и другие разработчики. В стенах OpenAI подобная практика формировалась последовательно и в течение последних двух месяцев просто была закреплена решениями высшего руководства.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Поддержка шутера Chernobylite 2: Exclusion Zone сократится из-за провального старта и вороха проблем 4 ч.
TikTok скоро переродится в США в виде нового приложения, чтобы избежать блокировки 4 ч.
Дорого и опасно: европейская ассоциация издателей выступила против инициативы Stop Killing Games, которая защищает права игроков 12 ч.
Анонсирован HellHeart Breaker — гибрид роглайт-экшена и симулятора свиданий 13 ч.
Новая статья: Death Stranding 2: On the Beach — сиквел, который понравится не всем. Рецензия 06-07 00:03
Новая статья: Gamesblender № 733: «умирающая» Xbox, возвращение Red Dead Online и AMD FSR 4 на PlayStation 05-07 23:30
Рынок российского ПО за год вырос на четверть и приблизился к 2,5 трлн руб. 05-07 13:27
«Жизнь в Найт-Сити продолжается»: CD Projekt Red и студия Trigger официально анонсировали Cyberpunk: Edgerunners 2 05-07 11:21
Еврокомиссия подтвердила: правила по ИИ вступят в силу без отсрочки 05-07 04:08
Microsoft закрыла офис в Пакистане после 25 лет работы 05-07 04:06
Новая статья: Компьютер месяца — июль 2025 года 4 ч.
Giga Computing представила ИИ-серверы на базе NVIDIA HGX B200 с воздушным и жидкостным охлаждением 5 ч.
Роботакси Tesla впервые попало в ДТП — пострадала припаркованная Toyota 6 ч.
Let's Encrypt начал выдавать бесплатные сертификаты для IP-адресов, но нужно это немногим 12 ч.
Учёные придумали точное «рентгеновское» зрение для роботов на базе технологии, родственной Wi-Fi 13 ч.
Грузовой космический корабль «Прогресс МС-31» доставил 2,6 т припасов, оборудования и топлива на МКС 19 ч.
Космические похороны пошли не по плану: стартап TEC потерял прах 166 человек в Тихом океане 19 ч.
Esperanto, создатель уникального тысячеядерного RISC-V-ускорителя, закрывается — всех инженеров переманили крупные компании 06-07 00:44
Потеряшек не будет: зонд NASA «Новые горизонты» нашёл себя среди звёзд без помощи с Земли 05-07 15:32
Повальный спрос на HBM тормозит внедрение CXL- и PIM-памяти 05-07 15:16