Сегодня 24 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Совет директоров OpenAI сможет блокировать выпуск нейросетей, если сомневается в их безопасности

После недавнего скандала с отставкой генерального директора OpenAI Сэма Альтмана (Sam Altman) и его возвращения компания OpenAI всерьёз задумалась не только о реформировании структуры управления бизнесом, но и повышении ответственности разработчиков за выпуск больших языковых моделей. Теперь совет директоров может задержать выпуск новых моделей, если сочтёт их недостаточно безопасными.

 Источник изображения: OpenAI

Источник изображения: OpenAI

Ключевая роль в этом механизме контроля и согласования будет отведена, по данным Bloomberg, специальной «группе готовности» под руководством Александра Мадри (Aleksander Madry), совмещающего эту должность с научной деятельностью в Массачусетском технологическом институте. В задачи группы экспертов будет входить анализ подготовленной к релизу каждой новой большой языковой модели на предмет выявления «катастрофических рисков». К таковым относятся вероятные последствия применения данной языковой модели, которые повлекут сотни миллиардов долларов материального ущерба или даже человеческие жертвы.

Группа Мадри будет на ежемесячной основе делиться отчётами о деятельности разработчиков OpenAI со специальным советом по безопасности, а тот уже будет делиться своими выводами с генеральным директором компании и советом директоров. Сэм Альтман сможет принимать решение о выпуске новой языковой модели на рынок или её задержке для доработки, причём совет директоров получает право наложить вето на положительное решение главы OpenAI о выпуске модели в общий доступ.

Группа анализа готовности языковых моделей была сформирована внутри OpenAI ещё в октябре, до хорошо известных событий с перестановками в руководстве. В целом, внутри компании действуют ещё две группы, занимающиеся анализом разработок. Прежде всего, это группа безопасности как таковой, а также группа «сверхрегулирования» (superalignment), которая учитывает гипотетические угрозы от внедрения сверхмощных систем искусственного интеллекта в будущем.

Разрабатываемые OpenAI языковые модели будут оцениваться группой Мадри по шкале, подразумевающей четыре градации рисков: низкая, средняя, высокая или критическая. По замыслу, компания сможет выпускать в оборот только те системы искусственного интеллекта, которые в итоге всех процедур анализа и доработки получили оценку риска не выше низкого или среднего. Как признался сам Мадри, «OpenAI — это не что-то, происходящее само собой и способное нести нам пользу или вред, это нечто, формируемое нами». Представитель компании выразил надежду, что подобным подходом к управлению рисками в сфере искусственного интеллекта будут пользоваться и другие разработчики. В стенах OpenAI подобная практика формировалась последовательно и в течение последних двух месяцев просто была закреплена решениями высшего руководства.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Российский суд запретил Google продолжить процесс по банкротству «Гугл» в США 49 мин.
Создатели The Quarry и Until Dawn должны были выпустить экшен во вселенной «Бегущего по лезвию» — детали отменённой Blade Runner: Time To Live 53 мин.
«Ошеломляющий объём работы»: ремастер The Elder Scrolls IV: Oblivion поразил дизайнера оригинальной игры 2 ч.
Минфин и ЦБ РФ запустят криптобиржу для «суперквалифицированных» инвесторов 4 ч.
«Возвращает легенду в строй»: антиутопическое приключение на колёсах Beholder: Conductor вышло в Steam и порадовало игроков 4 ч.
Герои не нашего времени: Ubisoft анонсировала мобильную блокчейн-игру Might and Magic Fates 5 ч.
В WhatsApp теперь можно запретить экспорт переписки и автозагрузку фото из чата, а также ограничить Meta AI 6 ч.
Google и X могут стать следующими целями для Еврокомиссии 6 ч.
Google проиграла биткоину по рыночной капитализации 7 ч.
ИИ обрёл человеческое лицо: Character.AI представила модель AvatarFX для превращения ботов в анимированных персонажей 8 ч.
Китайские IT-гиганты всё-таки успели закупить NVIDIA H20 на миллиарды долларов до объявления новых санкций 10 мин.
Новая статья: Обзор планшета DIGMA PRO Empire: успешная попытка усидеть на двух стульях 21 мин.
Не было бы счастья: Индия и Китай стали лидерами по внедрению IPv6 потому, что когда-то им досталось совсем мало IPv4-адресов 40 мин.
Учёные предложили буквально пускать золотую пыль в глаза для лечения возрастной слепоты 2 ч.
Meta запустила онлайн-переводы и другие функции на базе ИИ для умных очков Ray-Ban 4 ч.
AMD подтвердила участие в Computex 2025 — ожидается анонс Radeon RX 9060 XT 4 ч.
Honor представила фитнес-браслет Band 10 за $34 — он умеет выявлять проблемы с сердцем на ранних этапах 6 ч.
Дроны против молний: в Японии нашли замену громоотводам 7 ч.
Представлен флагманский смартфон Realme GT7 с чипом Dimensity 9400+ и батареей на 7200 мА·ч за $355 7 ч.
Бум ИИ помог SK hynix сместить Samsung с позиции лидера на рынке DRAM 8 ч.