Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI объяснила борьбу с гремлинами в ответах ИИ — и позволила снять ограничения

OpenAI рассказала широкой аудитории о своей проблеме с гоблинами — к этому компанию подвиг материал на сайте Wired. Как выяснилось, разработчик систем искусственного интеллекта вынужден дополнительно инструктировать свои модели «никогда не говорить о гоблинах, гремлинах, енотах, троллях, ограх, голубях или других животных и существах», потому что эти модели в процессе обучения выработали такую «странную привычку».

 Источник изображения: Vikram Singh / unsplash.com

Источник изображения: Vikram Singh / unsplash.com

Компания обратила внимание на то, что ИИ стал подозрительно часто прибегать к метафорам с гоблинами и другими вымышленными существами с выходом модели GPT-5.1, особенно при подключении персонажа «Ботаник» (Nerdy). С каждым последующим выпуском модели проблема только усугублялась, пока не обнаружилось, что в процессе обучения с подкреплением эти причудливые метафоры сопровождались вознаграждением.

Вознаграждение производилось только при включении личности «Ботаника», но процесс обучения с подкреплением не гарантирует, что усвоенные механизмы поведения так и останутся привязанным к породившим их условиям. На последующих этапах этот стиль поведения может вознаграждаться и усиливаться и в других местах, особенно если эти результаты повторно используются в контролируемой тонкой настройке или в данных о предпочтениях, пояснил разработчик.

Упоминания гоблинов и гремлинов преимущественно исчезли марте, когда OpenAI отказалась от «Ботаника», но всплыли в сервисе программирования Codex с моделью GPT-5.5 — её обучение началось ещё до того, как компания обнаружила первопричину. Поэтому ей пришлось давать Codex дополнительные инструкции не упоминать мифологических существ. Впрочем, для тех, кому эта манера поведения нравится, OpenAI предложила код отмены этих инструкций.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 6 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 7 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 7 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 8 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 9 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 9 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 10 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 11 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 12 ч.
Huawei похвасталась, что число пользователей HarmonyOS превысило 100 млн 12 ч.
Phison представила космические SSD Pascari Space 4 ч.
Intel запустила новую волну увольнений — Тан продолжает повышать эффективность компании 5 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 6 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 6 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 7 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 8 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 8 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 8 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 9 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 9 ч.