Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI решила научить ИИ лучше понимать человеческие ценности

OpenAI пересмотрела Model Spec — свод правил, определяющий принципы поведения её ИИ-моделей. Компания выделила пять основных пунктов, главным из которых стало понимание намерений человека. Новые правила также определят поведение ИИ в незнакомых ситуациях.

 Источник изображения: Brecht Corbeel/Unsplash

Источник изображения: Brecht Corbeel/Unsplash

Помимо следования намерениям человека, документ закрепляет принципы минимизации вреда, честности и прозрачности искусственного интеллекта. Согласно обновлённым правилам и рекомендациям, модели должны не просто буквально выполнять инструкции, но и учитывать их смысл. При этом они должны сообщать о пределах своих знаний и помогать пользователям самостоятельно принимать решения и достигать поставленных целей.

OpenAI рассматривает обновлённый документ как часть работы по согласованию поведения ИИ в общении с человеком. Компания признала, что существующие модели пока не полностью соответствуют новым принципам, и изучает дополнительные методы обучения, которые позволят лучше усвоить их.

Подход OpenAI перекликается с концепцией и «конституционного ИИ» (Constitutional AI) компании Anthropic, в которой набор принципов используется для формирования поведения моделей и повышения прозрачности заложенных в них ценностей.

Примечательно, что обновление OpenAI последовало за инцидентом, в ходе которого автономный ИИ-агент компании взломал в тестовой среде крупнейшую платформу искусственного интеллекта Hugging Face, показав тем самым, что передовые модели могут нарушать установленные правила и обходить защитные механизмы при выполнении поставленных человеком задач.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 4 ч.
Google заставит разработчиков адаптировать приложения под складные смартфоны — иначе их заблокируют в Play Store 5 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 5 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 6 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 6 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 7 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 7 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 8 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 9 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 10 ч.
Phison представила космические SSD Pascari Space 2 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 4 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 5 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 5 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 6 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 6 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 6 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 7 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 7 ч.
TCL придумала, как избавить OLED-мониторы от выгорания без выключения экрана — и заодно сделать их дешевле 9 ч.