Сегодня 31 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → поиск по изображению

ChatGPT научился понимать голосовые команды и работать с изображениями

OpenAI расширила варианты взаимодействия с ChatGPT. Новая версия чат-бота теперь принимает в качестве промтов (подсказок) не только текст, но также изображения и голосовые команды. Для коммерческих пользователей новые возможности станут доступны в ближайшие две недели, а остальным придётся какое-то время подождать.

 Источник изображения: The Verge

Источник изображения: The Verge

Общение голосом с ChatGPT в чём-то похоже на разговор с любым голосовым помощником, но, по утверждению OpenAI, качество ответов значительно выше благодаря улучшенной базовой технологии. Пользователь нажимает кнопку и произносит вопрос, ChatGPT преобразует его в текст и передаёт в большую языковую модель, получает ответ, преобразует его обратно в речь и произносит ответ вслух.

Новые возможности ChatGPT опираются на большую языковую модель Whisper, которая выполняет значительную часть работы по преобразованию речи в текст и обратно. По утверждению OpenAI, новая модель может генерировать «человеческий голос из текста и образца речи длиной в несколько секунд». Пока доступно пять вариантов голоса ChatGPT, но OpenAI видит в этой модели гораздо больший потенциал.

Возможность создать синтезированный голос любого человека, опираясь всего на несколько секунд его речи, даёт широкое поле деятельности для киберпреступников, признаёт OpenAI в анонсе новых функций: «Это новые риски, такие как возможность злоумышленников выдать себя за общественных деятелей или совершить мошенничество». По утверждению компании, модель недоступна для широкого использования именно по этой причине: OpenAI планирует ограничить модель конкретными вариантами использования и партнёрскими соглашениями.

Что касается запроса в ChatGPT при помощи изображения, пользователю достаточно сфотографировать или нарисовать предмет своего интереса и отправить боту. В процессе общения можно применять текстовые или голосовые подсказки, чтобы уточнить запрос или ограничить область поиска.

Очевидно, что использование изображений в качестве подсказки для чат-бота также имеет свои потенциальные проблемы. В первую очередь это касается запроса о личности человека на фотографии, хотя OpenAI заявляет, что ограничила «способность ChatGPT анализировать и делать прямые заявления о людях» как по соображениям точности, так и по соображениям конфиденциальности.

Спустя почти год после первого запуска ChatGPT OpenAI продолжает расширять границы применения и использования своего чат-бота, пытаясь избежать связанных с ним проблем и недоработок. В частности, компания намеренно ограничивает возможности своих новых ИИ-моделей. Но такой подход не будет работать вечно. По мере того, как все больше людей используют голосовое управление и поиск изображений, а ChatGPT становится мультимодальным и полезным виртуальным помощником, удерживать ИИ в рамках будет все труднее и труднее.


window-new
Soft
Hard
Тренды 🔥
В Epic Games Store стартовала раздача комедийного приключения ручной работы Pilgrims от создателей Machinarium и Samorost 20 мин.
THQ Nordic показала 12 минут геймплея Titan Quest 2 и раскрыла, что войдёт в игру на старте раннего доступа 2 ч.
Недоработки в системе защиты данных Spotify раскрыли музыкальный вкус знаменитостей и политиков 3 ч.
«СберТех» представил систему Platform V CopyWala для резервного копирования СУБД на базе PostgreSQL 3 ч.
Google защитит автозаполнение паролей в Chrome на Android биометрией 3 ч.
Исследователь обнаружил крайне опасную уязвимость в Safari — Apple оценила находку всего в $1000 3 ч.
Electronic Arts «созрела» для анонса Plants vs. Zombies: Replanted — трейлер, дата выхода и отличия от классической игры 3 ч.
Путин подписал закон о штрафах за поиск экстремистского контента, передачу аккаунтов и рекламу VPN 4 ч.
Новый трейлер хоррора Cronos: The New Dawn от разработчиков ремейка Silent Hill 2 подтвердил дату выхода игры и релиз на Nintendo Switch 2 4 ч.
Palo Alto Networks купит разработчика ИБ-продуктов CyberArk за $25 млрд 5 ч.
Intel внезапно выпустила три новых процессора Core Ultra 5 поколения Arrow Lake 33 мин.
Выпущенные в Индии iPhone увернулись от повышеннух пошлин Трампа, пока что 38 мин.
DJI представила 360-градусную экшн-камеру Osmo 360, которая умеет снимать 100-минутные ролики в 8K 2 ч.
G42 готова завершить сделку с Northern Data для получения доступа к ЦОД в Европе 2 ч.
Китайская Fourier показала «самого милого» гуманоидного робота для дома и школы 2 ч.
Galaxy S25 FE выйдет раньше, чем ожидалось — Samsung поделилась планами по выпуску новинок 3 ч.
Складные смартфоны набирают популярность: Galaxy Z Fold7 в полтора раза обогнал Fold6 по предзаказам в США 4 ч.
Microsoft впервые заработала на Game Pass $5 млрд за год — это сгладило рухнувшие на 22 % продажи консолей Xbox 5 ч.
«Компания не будет тратить на это деньги»: SpaceX ответит в суде за пренебрежение безопасностью сотрудников 5 ч.
Выручка Vertiv выросла на 35 % на фоне «беспрецедентного роста ЦОД», но новые тарифы мешают бизнесу 6 ч.