Сегодня 06 декабря 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI придумала, как бороться с враньём ChatGPT

OpenAI спровоцировала бум генеративного ИИ в прошлом году, когда выпустила чат-бота ChatGPT, который за два месяца приобрёл аудиторию в 100 млн ежемесячных пользователей, установив рекорд самого быстрорастущего приложения. На данный момент остро встала проблема дезинформирования пользователей искусственным интеллектом, и для борьбы с этим явлением компания предложила своё решение. Некоторые независимые эксперты выразили скептицизм по поводу того, насколько эффективным будет предложенный метод.

 Источник изображения: pixabay

Источник изображения: pixabay

Дезинформирование, или «галлюцинации» ИИ возникают, когда модели, подобные ChatGPT или Google Bard, полностью фабрикуют информацию, ведя себя так, как будто они излагают факты. «Даже самые современные ИИ-модели склонны выдавать ложные сведения. Они демонстрируют тенденцию выдумывать факты в моменты неопределённости, — пишут исследователи OpenAI в своём отчёте. — Эти галлюцинации вызывают много проблем в областях, требующих многоступенчатых рассуждений, поскольку одной логической ошибки достаточно, чтобы сорвать гораздо более масштабное решение».

Новая стратегия OpenAI по борьбе с выдумками заключается в том, чтобы обучать модели ИИ вознаграждать себя за каждый отдельный, правильный шаг рассуждений, когда они приходят к ответу, вместо того чтобы вознаграждать только за правильный окончательный вывод. Исследователи назвали этот подход «контроль процесса». По их мнению, он может привести к созданию более логичного ИИ, поскольку эта стратегия побуждает модели следовать «цепочке мыслей», подобной человеческой.

«Обнаружение и смягчение логических ошибок модели, или галлюцинаций, является критическим шагом на пути к созданию согласованного AGI [искусственного интеллекта общего назначения]» — сказал Карл Коббе (Karl Cobbe), штатный математик OpenAI, отметив, что, хотя компания не изобрела подход, основанный на наблюдении за процессом, но она помогает его продвигать. По словам Коббе, OpenAI открыла доступ к сопроводительному набору данных из 800 000 меток, которые она использовала для обучения специальной модели, упомянутой в исследовательской работе.

Бен Уинтерс (Ben Winters), старший советник Информационного центра электронной конфиденциальности и руководитель проекта «ИИ и права человека», выразил свои сомнения по поводу исследования, заявив, что хотел бы изучить полный набор данных и сопутствующие примеры. «Я просто не думаю, что исследование само по себе значительно смягчает опасения по поводу дезинформации и неверных результатов, когда ИИ действительно используется в реальной жизни», — сказал Уинтерс.

Управляющий директор Института AI Now Сара Майерс Вест (Sarah Myers West), сказала, что OpenAI не предоставила основных деталей о данных, использованных для обучения и тестирования GPT-4. «Таким образом, все ещё существует огромная непрозрачность, которая препятствует любым значимым усилиям по обеспечению подотчётности в области ИИ, даже когда эти системы уже непосредственно влияют на людей», — отметила она.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новый геймплейный трейлер подтвердил перенос Steel Seed — постапокалиптический стелс-экшен от авторов Close to the Sun выйдет лишь в 2025 году 7 ч.
OpenAI o1 открыли для пользователей — ИИ-модель вышла в полной версии и доступна по подписке 9 ч.
Следующей целью игроков в Hitman: World of Assassination станет мастер шпагатов Жан-Клод Ван Дамм 9 ч.
Microsoft упростила обновление сторонних приложений на ПК, но всё не так просто 10 ч.
AMD выпустила драйвер с поддержкой Marvel Rivals, S.T.A.L.K.E.R. 2: Heart of Chornobyl и других новых игр 10 ч.
Институт развития интернета раскрыл число загрузок профинансированных проектов — больше половины пришлось на мобильные детские игры 11 ч.
Умные кольца Oura к зиме научились выявлять простуду на ранних стадиях — Samsung так не умеет 12 ч.
Магический стимпанк в феодальной Японии: вышел новый геймплейный трейлер пошаговой ролевой игры Shadow of the Road 13 ч.
Samsung выпустила бета-версию One UI 7.0 — новый интерфейс, ещё больше ИИ и масса свежих функций 13 ч.
«Не просто игра»: Sony объявила дату выхода My First Gran Turismo, бесплатной версии Gran Turismo 7 13 ч.
Глава AMD считает, что ИИ позволил за полтора года продвинуться дальше, чем за предыдущие десять лет 25 мин.
xAI привлекла $6 млрд инвестиций, которые помогут ей построить суперкомпьютер с 1 млн GPU 2 ч.
Google научила ИИ распознавать эмоции — у этого могут быть ужасные последствия 7 ч.
Новая статья: Обзор игрового QD-OLED 4K-монитора Gigabyte AORUS FO32U2P: настоящий премиум 8 ч.
Pure Storage, намеревающаюся изжить HDD из ЦОД, стала на шаг ближе к мечте — заключены соглашения с Amazon, Microsoft, Google и Meta 8 ч.
Дженсен Хуанг пообещал Таиланду помочь в развитии ИИ и ЦОД, но путь этот будет непростым 10 ч.
Gunnir показала низкопрофильные видеокарты Arc B580 и Arc A770 для компактных компьютеров и серверов 12 ч.
Учёные создали лучший на сегодня протонный аккумулятор — он дешёвый, безопасный, долговечный и не боится мороза 13 ч.
Мощнейший в мире ИИ-суперкомпьютер xAI Colossus расширят в десять раз — до 1 млн чипов Nvidia 14 ч.
Net One построит ЦОД мощностью 125 МВт на базе собственной электрогенерации 14 ч.