Сегодня 15 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Совет директоров OpenAI сможет блокировать выпуск нейросетей, если сомневается в их безопасности

После недавнего скандала с отставкой генерального директора OpenAI Сэма Альтмана (Sam Altman) и его возвращения компания OpenAI всерьёз задумалась не только о реформировании структуры управления бизнесом, но и повышении ответственности разработчиков за выпуск больших языковых моделей. Теперь совет директоров может задержать выпуск новых моделей, если сочтёт их недостаточно безопасными.

 Источник изображения: OpenAI

Источник изображения: OpenAI

Ключевая роль в этом механизме контроля и согласования будет отведена, по данным Bloomberg, специальной «группе готовности» под руководством Александра Мадри (Aleksander Madry), совмещающего эту должность с научной деятельностью в Массачусетском технологическом институте. В задачи группы экспертов будет входить анализ подготовленной к релизу каждой новой большой языковой модели на предмет выявления «катастрофических рисков». К таковым относятся вероятные последствия применения данной языковой модели, которые повлекут сотни миллиардов долларов материального ущерба или даже человеческие жертвы.

Группа Мадри будет на ежемесячной основе делиться отчётами о деятельности разработчиков OpenAI со специальным советом по безопасности, а тот уже будет делиться своими выводами с генеральным директором компании и советом директоров. Сэм Альтман сможет принимать решение о выпуске новой языковой модели на рынок или её задержке для доработки, причём совет директоров получает право наложить вето на положительное решение главы OpenAI о выпуске модели в общий доступ.

Группа анализа готовности языковых моделей была сформирована внутри OpenAI ещё в октябре, до хорошо известных событий с перестановками в руководстве. В целом, внутри компании действуют ещё две группы, занимающиеся анализом разработок. Прежде всего, это группа безопасности как таковой, а также группа «сверхрегулирования» (superalignment), которая учитывает гипотетические угрозы от внедрения сверхмощных систем искусственного интеллекта в будущем.

Разрабатываемые OpenAI языковые модели будут оцениваться группой Мадри по шкале, подразумевающей четыре градации рисков: низкая, средняя, высокая или критическая. По замыслу, компания сможет выпускать в оборот только те системы искусственного интеллекта, которые в итоге всех процедур анализа и доработки получили оценку риска не выше низкого или среднего. Как признался сам Мадри, «OpenAI — это не что-то, происходящее само собой и способное нести нам пользу или вред, это нечто, формируемое нами». Представитель компании выразил надежду, что подобным подходом к управлению рисками в сфере искусственного интеллекта будут пользоваться и другие разработчики. В стенах OpenAI подобная практика формировалась последовательно и в течение последних двух месяцев просто была закреплена решениями высшего руководства.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Один сбитый бит — и всё пропало: атака GPUHammer на ускорители Nvidia ломает ИИ с минимальными усилиями 2 ч.
Механизмы, конвейерные ленты, роботы: в Steam стартовал «Фестиваль автоматизации» со скидками, демоверсиями и не только 2 ч.
Чат-бот с креативом: Claude стал ИИ-дизайнером, научившись работать с Canva 2 ч.
Call of Duty: Black Ops 7 скоро выйдет из тени — анонсирован большой показ «самой умопомрачительной» игры в истории серии 3 ч.
Иран захотел создать госооблако по американским стандартам безопасности 3 ч.
Опять за старое: разработчики God of War готовят следующий блокбастер, но не по новой франшизе 5 ч.
ИИ-сводки в Gmail превратили в инструмент для фишинговых атак, но Google уже закрыла уязвимость 6 ч.
В открытый доступ попали внутренние документы о проблемах разработки Subnautica 2 — Krafton подтвердила утечку 6 ч.
Windows 11 сама решит, когда экономить батарею — Microsoft тестирует незаметное адаптивное энергосбережение 7 ч.
Ведущий разработчик Far Cry 4 рассказал об «очень и очень интересной» механике с Пэйганом Мином, которая не попала в игру 9 ч.
Новая статья: Охладить пыл фон Неймана: сверхпроводимость — в каждый ЦОД! 2 ч.
Пользователей флагманских наушников Sony WH-1000XM6 взбудоражила новость о сломавшемся шарнире — от этого массово страдали XM5 2 ч.
«Яндекс» замотивирует сотрудников, раздав им акций на 15 млрд рублей 4 ч.
«Инфосистемы Джет» реализовали для ООО «МПК “Атяшевский”» масштабируемый проект с модульными ЦОД 7 ч.
200 Тбайт ёмкости и 50 лет сохранности: HoloMem предложила недорогую и эффективную замену LTO — картриджи HoloDrive 8 ч.
В «М.Видео-Эльдорадо» назвали самые популярные среди россиян бренды наушников 9 ч.
Горячая пора: изменение климата угрожает стабильности работы дата-центров 9 ч.
Lenovo представила первый белый ThinkPad — тонкий ноутбук Aura X9 AI Edition 10 ч.
KFC вместе с Asus ROG выпустила уникальные кейкапы для геймерских клавиатур 11 ч.
Biostar представила индустриальный компьютер EdgeComp MS-1335U с поддержкой четырёх дисплеев 13 ч.