Сегодня 31 марта 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Совет директоров OpenAI сможет блокировать выпуск нейросетей, если сомневается в их безопасности

После недавнего скандала с отставкой генерального директора OpenAI Сэма Альтмана (Sam Altman) и его возвращения компания OpenAI всерьёз задумалась не только о реформировании структуры управления бизнесом, но и повышении ответственности разработчиков за выпуск больших языковых моделей. Теперь совет директоров может задержать выпуск новых моделей, если сочтёт их недостаточно безопасными.

 Источник изображения: OpenAI

Источник изображения: OpenAI

Ключевая роль в этом механизме контроля и согласования будет отведена, по данным Bloomberg, специальной «группе готовности» под руководством Александра Мадри (Aleksander Madry), совмещающего эту должность с научной деятельностью в Массачусетском технологическом институте. В задачи группы экспертов будет входить анализ подготовленной к релизу каждой новой большой языковой модели на предмет выявления «катастрофических рисков». К таковым относятся вероятные последствия применения данной языковой модели, которые повлекут сотни миллиардов долларов материального ущерба или даже человеческие жертвы.

Группа Мадри будет на ежемесячной основе делиться отчётами о деятельности разработчиков OpenAI со специальным советом по безопасности, а тот уже будет делиться своими выводами с генеральным директором компании и советом директоров. Сэм Альтман сможет принимать решение о выпуске новой языковой модели на рынок или её задержке для доработки, причём совет директоров получает право наложить вето на положительное решение главы OpenAI о выпуске модели в общий доступ.

Группа анализа готовности языковых моделей была сформирована внутри OpenAI ещё в октябре, до хорошо известных событий с перестановками в руководстве. В целом, внутри компании действуют ещё две группы, занимающиеся анализом разработок. Прежде всего, это группа безопасности как таковой, а также группа «сверхрегулирования» (superalignment), которая учитывает гипотетические угрозы от внедрения сверхмощных систем искусственного интеллекта в будущем.

Разрабатываемые OpenAI языковые модели будут оцениваться группой Мадри по шкале, подразумевающей четыре градации рисков: низкая, средняя, высокая или критическая. По замыслу, компания сможет выпускать в оборот только те системы искусственного интеллекта, которые в итоге всех процедур анализа и доработки получили оценку риска не выше низкого или среднего. Как признался сам Мадри, «OpenAI — это не что-то, происходящее само собой и способное нести нам пользу или вред, это нечто, формируемое нами». Представитель компании выразил надежду, что подобным подходом к управлению рисками в сфере искусственного интеллекта будут пользоваться и другие разработчики. В стенах OpenAI подобная практика формировалась последовательно и в течение последних двух месяцев просто была закреплена решениями высшего руководства.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Голливудские студии перенаправили монетизацию фейковых трейлеров на YouTube себе в карман 14 мин.
Франция оштрафовала Apple на €150 млн за ограничение таргетинга в iOS 15 мин.
Билл Гейтс хотел бы превратить Microsoft в ИИ-компанию и заработать миллиарды на «эскизных идеях» 2 ч.
«Вы объединяете мир»: в Death Stranding сыграло более 20 миллионов человек 2 ч.
«Яндекс» выпустил открытую ИИ-модель YandexGPT 5 Lite: её можно запускать на обычной рабочей станции 3 ч.
«Яндекс» выпустила ИИ-модель YandexGPT 5 Lite — она поможет ускорить IT-разработку и исследования 4 ч.
Split Fiction установила три мировых рекорда и попала в «Книгу рекордов Гиннесса» 4 ч.
Monster Hunter Wilds продолжает бить рекорды Capcom — продажи игры за месяц достигли 10 миллионов копий 6 ч.
Китайская Zhipu AI ворвалась в ИИ-гонку с бесплатным ИИ-агентом AutoGLM Rumination 6 ч.
Бренды вернули рекламу в X с минимальными бюджетами, лишь бы не разгневать Илона Маска 7 ч.
Возврат к корням: Vantage Towers разместила базовые станции на деревянных столбах 28 мин.
Ryzen 9 9950X3D с помощью обычного утюга и лески заставили разогнаться почти до 6 ГГц 35 мин.
Arm собралась руками Nvidia захватить половину рынка процессоров для дата-центров 49 мин.
Доступная раскладушка Samsung Galaxy Z Flip 7 FE будет выглядеть точно как прошлогодний Z Flip 6 3 ч.
На заводе «ЦТС» в Калининградской области начали выпускать средние серверных плат 3 ч.
Qualcomm представит 2 апреля новый процессор для бюджетных флагманов — преемника Snapdragon 8s Gen 3 4 ч.
Huawei отчиталась о рухнувшей на 28 % годовой прибыли — деньги ушли на исследования и разработки 4 ч.
Zeekr анонсировала зарядные станции с рекордной мощностью в 1,2 МВт, но подходящих электромобилей пока не существует 4 ч.
Oppo раскрыла дизайн смартфонов серии Oppo Find X8 в преддверии анонса 5 ч.
Японский консорциум предложил построить плавучий ЦОД с питанием от возобновляемых источников в Иокогаме 7 ч.