Сегодня 29 ноября 2023
18+
MWC 2018 2018 Computex IFA 2018
Новости Software

ChatGPT научился понимать голосовые команды и работать с изображениями

OpenAI расширила варианты взаимодействия с ChatGPT. Новая версия чат-бота теперь принимает в качестве промтов (подсказок) не только текст, но также изображения и голосовые команды. Для коммерческих пользователей новые возможности станут доступны в ближайшие две недели, а остальным придётся какое-то время подождать.

 Источник изображения: The Verge

Источник изображения: The Verge

Общение голосом с ChatGPT в чём-то похоже на разговор с любым голосовым помощником, но, по утверждению OpenAI, качество ответов значительно выше благодаря улучшенной базовой технологии. Пользователь нажимает кнопку и произносит вопрос, ChatGPT преобразует его в текст и передаёт в большую языковую модель, получает ответ, преобразует его обратно в речь и произносит ответ вслух.

Новые возможности ChatGPT опираются на большую языковую модель Whisper, которая выполняет значительную часть работы по преобразованию речи в текст и обратно. По утверждению OpenAI, новая модель может генерировать «человеческий голос из текста и образца речи длиной в несколько секунд». Пока доступно пять вариантов голоса ChatGPT, но OpenAI видит в этой модели гораздо больший потенциал.

Возможность создать синтезированный голос любого человека, опираясь всего на несколько секунд его речи, даёт широкое поле деятельности для киберпреступников, признаёт OpenAI в анонсе новых функций: «Это новые риски, такие как возможность злоумышленников выдать себя за общественных деятелей или совершить мошенничество». По утверждению компании, модель недоступна для широкого использования именно по этой причине: OpenAI планирует ограничить модель конкретными вариантами использования и партнёрскими соглашениями.

Что касается запроса в ChatGPT при помощи изображения, пользователю достаточно сфотографировать или нарисовать предмет своего интереса и отправить боту. В процессе общения можно применять текстовые или голосовые подсказки, чтобы уточнить запрос или ограничить область поиска.

Очевидно, что использование изображений в качестве подсказки для чат-бота также имеет свои потенциальные проблемы. В первую очередь это касается запроса о личности человека на фотографии, хотя OpenAI заявляет, что ограничила «способность ChatGPT анализировать и делать прямые заявления о людях» как по соображениям точности, так и по соображениям конфиденциальности.

Спустя почти год после первого запуска ChatGPT OpenAI продолжает расширять границы применения и использования своего чат-бота, пытаясь избежать связанных с ним проблем и недоработок. В частности, компания намеренно ограничивает возможности своих новых ИИ-моделей. Но такой подход не будет работать вечно. По мере того, как все больше людей используют голосовое управление и поиск изображений, а ChatGPT становится мультимодальным и полезным виртуальным помощником, удерживать ИИ в рамках будет все труднее и труднее.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме
window-new
Soft
Hard
Тренды 🔥
Capcom наконец подтвердила дату выхода Dragon's Dogma 2 и показала много нового геймплея — сражения с монстрами, параллельный мир и эльфийский язык 23 мин.
Еженедельный чарт Steam: главный хит осенней распродажи обошёл Cyberpunk 2077, но уступил кооперативному хоррору Lethal Company 2 ч.
Bethesda ответила игрокам на критику постоянных загрузок и быстрого перемещения в Starfield 3 ч.
Cyberpunk 2077: Phantom Liberty взяла новую вершину продаж, а над The Witcher 4 работает уже почти половина CD Projekt RED 4 ч.
Создатели сериала Fallout поделились новыми кадрами и подробностями сюжета — завязка, главные герои и каноничная история 5 ч.
Evernote ограничит бесплатных пользователей 50 заметками — для большего придётся оформить платную подписку 6 ч.
Paint в Windows 11 обзавёлся ИИ-генератором изображений на базе DALL-E 3 6 ч.
Дата выхода, системные требования и поддержка русского языка: Capcom раньше времени обновила страницу Dragon’s Dogma II в Steam 7 ч.
Надёжный инсайдер раскрыл окончательную дату выхода Skull and Bones — официальный анонс на горизонте 8 ч.
Поглощение Figma компанией Adobe несёт угрозу инновациям, посчитали в Великобритании 8 ч.
Cerebras, критиковавшая NVIDIA за сотрудничество с Китаем, сама оказалась связана с компанией, ведущей дела с Пекином 16 мин.
ОАЭ присоединились к китайскому проекту по созданию базы на Луне 2 ч.
Новая статья: Обзор робота-уборщика Evolution AIRO White со станцией самоочистки 2 ч.
NVIDIA и Amazon анонсировали мощнейший облачный ИИ-суперкомпьютер Project Ceiba 2 ч.
Amazon представила мощные ускорители Trainium2 для обучения больших ИИ-моделей, а также Arm-процессоры Graviton4 4 ч.
NVIDIA анонсировала суперускоритель GH200 NVL32 и очередной самый мощный в мире ИИ-суперкомпьютер Project Ceiba 4 ч.
Huawei представила первый в мире планшет со спутниковой связью — MatePad Pro 11 (2024) на скандальном чипе Kirin 9000S 5 ч.
Ericsson выпустила чипы, выполненные по техпроцессу Intel 4, раньше самой Intel 6 ч.
Рынок памяти восстанавливается медленно: акции Micron упали на 4 % из-за слабого повышения прогноза по росту выручки 8 ч.
Vertiv представила деревянные модульные ЦОД TimberMod 8 ч.