OpenAI расширила варианты взаимодействия с ChatGPT. Новая версия чат-бота теперь принимает в качестве промтов (подсказок) не только текст, но также изображения и голосовые команды. Для коммерческих пользователей новые возможности станут доступны в ближайшие две недели, а остальным придётся какое-то время подождать.

Источник изображения: The Verge

Общение голосом с ChatGPT в чём-то похоже на разговор с любым голосовым помощником, но, по утверждению OpenAI, качество ответов значительно выше благодаря улучшенной базовой технологии. Пользователь нажимает кнопку и произносит вопрос, ChatGPT преобразует его в текст и передаёт в большую языковую модель, получает ответ, преобразует его обратно в речь и произносит ответ вслух.

Новые возможности ChatGPT опираются на большую языковую модель Whisper, которая выполняет значительную часть работы по преобразованию речи в текст и обратно. По утверждению OpenAI, новая модель может генерировать «человеческий голос из текста и образца речи длиной в несколько секунд». Пока доступно пять вариантов голоса ChatGPT, но OpenAI видит в этой модели гораздо больший потенциал.

Возможность создать синтезированный голос любого человека, опираясь всего на несколько секунд его речи, даёт широкое поле деятельности для киберпреступников, признаёт OpenAI в анонсе новых функций: «Это новые риски, такие как возможность злоумышленников выдать себя за общественных деятелей или совершить мошенничество». По утверждению компании, модель недоступна для широкого использования именно по этой причине: OpenAI планирует ограничить модель конкретными вариантами использования и партнёрскими соглашениями.

Что касается запроса в ChatGPT при помощи изображения, пользователю достаточно сфотографировать или нарисовать предмет своего интереса и отправить боту. В процессе общения можно применять текстовые или голосовые подсказки, чтобы уточнить запрос или ограничить область поиска.

Очевидно, что использование изображений в качестве подсказки для чат-бота также имеет свои потенциальные проблемы. В первую очередь это касается запроса о личности человека на фотографии, хотя OpenAI заявляет, что ограничила «способность ChatGPT анализировать и делать прямые заявления о людях» как по соображениям точности, так и по соображениям конфиденциальности.

Спустя почти год после первого запуска ChatGPT OpenAI продолжает расширять границы применения и использования своего чат-бота, пытаясь избежать связанных с ним проблем и недоработок. В частности, компания намеренно ограничивает возможности своих новых ИИ-моделей. Но такой подход не будет работать вечно. По мере того, как все больше людей используют голосовое управление и поиск изображений, а ChatGPT становится мультимодальным и полезным виртуальным помощником, удерживать ИИ в рамках будет все труднее и труднее.

Персональный помощник становится одним из ключевых инструментов поиска в Интернете и выполнения базовых задач на мобильном устройстве. Поэтому компании уделяют самое пристальное внимание этому перспективному направлению. На конференции разработчиков Google I/O компания объявила о ряде крупных нововведений для Assistant.

Прежде всего, подтвердились слухи о появлении помощника Google на конкурирующей платформе Apple iOS в роли отдельного от Google Search приложения. Безусловно, возможности Assistant на iPhone ограничены по сравнению с Siri и работой на родной платформе Android.

Как поясняет Google, виной тому ограничения API для сторонних приложений, так что помимо поисковых запросов помощник сможет выполнять лишь некоторые задачи вроде отправки сообщений через iMessages и воспроизведения музыки в Spotify, но не сможет, например, установить будильник. Пользователям также не предоставлена возможность перенастроить кнопку Home на запуск Assistant вместо Siri, вместо этого предлагается установить виджет.

Следующим, едва ли не ещё более радикальным, новшеством Google Assistant стала возможность делать запросы не только голосом, но и посредством клавиатуры, как на Android, так и на iOS. Теперь при открытии помощника можно переключиться на текстовый ввод, нажав на серую кнопку клавиатуры.

Неправда ли удобно, особенно в общественных местах или шумном окружении? Понимая приватный характер запроса, помощник будет отвечать тем же сугубо текстово-визуальным способом, без озвучивания результатов. В отличие от традиционного поискового запроса, работа с помощником в беззвучном режиме напоминает взаимодействие с ним через новое и малопопулярное чат-приложение Google Allo. Явным достоинством нового способа является возможность просматривать историю запросов и ответов, просто перемотав вверх.

Это не всё: компания работает над третьим методом взаимодействия с помощником — через камеру. Достаточно навести смартфон на вывеску ресторана, и Google Assistant сообщит подробности об этом заведении и отзывы посетителей, а если в центре кадра окажется цветок, то помощник подскажет его название. Если указать на постер концерта, то можно рассчитывать на информацию об артисте, на ссылки для покупки билетов или прослушивания песни на YouTube. А для мгновенного подключения к Wi-Fi достаточно чтобы в объектив попала информация о названии сети и пароле.

Технологии для работы этой функции давно находятся в портфеле компании — это Google Lens: поиск по картинкам и приложение Google Photos проводят интеллектуальный анализ объектов на изображениях, а Google Translate осуществляет потоковый перевод надписей через фотокамеру. Качество работы этих функций достигло необходимого уровня, чтобы стать частью личного помощника. Немалую роль в работе визуального анализа играют и связанные данные геопозиционирования.

Samsung недавно попыталась предложить подобную функциональность в своём помощнике Bixby. Но пока его полезность в основном сводится к поиску похожих изображений или покупке товаров на Amazon. Впрочем, сфера применения расширяется, и скоро помощник появится в продвинутых холодильниках Samsung.

Google же обещает появление в этому году Assistant на Android TV, что будет сопровождаться глубоким редизайном интерфейса телевизионной платформы, о чём сообщил старший вице-президент компании по разработкам для Android Дэйв Бурке (Dave Burke).

Немного статистики по Android TV: каждые два месяца активируются более миллиона новых телевизоров и приставок, а количество адаптированных приложений в Google Play превысило 3000. Точная дата обновления не названа, но учитывая прежний опыт анонсов на конференции I/O и последующих запусков, его можно ожидать до конца лета.

Assistant стал настолько сообразительным, что Google предлагает теперь доверять ему и покупки. Например, можно сделать заказ любимой еды с помощью простого голосового запроса. Так как персональный помощник небескорыстно полагается на платёжную систему Android Pay, то и процесс покупки проходит в упрощённом режиме, вплоть до получения квитанции. Пользователю лишь необходимо сделать запрос, выбрать поставщика, указать адрес доставки, выбрать способ оплаты и подтвердить операцию, например, с помощью отпечатка пальца.

Каждая компания, желающая привлечь покупателей посредством Assistant, должна соответствующим образом наладить работу с сервисом Google. Сейчас уже 70 крупных партнёров подключились к новой службе. Взаимодействие осуществляется через API Actions on Google.

Для загрузки доступна обновлённая версия «Яндекс.Браузера» для Android. Главным изменением в веб-обозревателе стало появление системы пословных подсказок.

Новый инструмент не только упрощает ввод запросов, но и сохраняет за пользователем право внести свои правки в предлагаемые варианты.

Традиционные браузерные подсказки представляют собой небольшой список наиболее популярных запросов. Если вводимая фраза не совпадает с предложенными вариантами, то приходится вводить запрос самостоятельно, либо сначала загружать заведомо бесполезные результаты поиска, а уже потом вносить правки.

Новая система решает описанную проблему. Внедрённый инструмент полагается на дополнительные пословные подсказки. По мере ввода запроса браузер предлагает отдельные слова, что позволяет быстро составить нужную фразу. При этом присутствует возможность в любой момент внести правки.

«Яндекс» отмечает, что браузер компании для Android стал первым широко распространённым веб-обозревателем, который ввёл пословные подсказки. На сегодняшний день количество установок браузера через магазин Google Play значится в диапазоне от 10 до 50 млн.

YouTube собирается заменить систему создания аннотаций для видео появившимися в сервисе некоторое время назад подсказками и конечными заставками. Эти два инструмента предназначены в первую очередь для мобильных устройств и дают доступ ко многим функциям аннотаций — например, к привязке других видео и опросам.

Компания решила внести такие изменения в сервис, потому что возможность не работает на мобильных устройствах, а большинство пользователей считают её бесполезной. Замена произойдёт 2 мая, при этом существующие аннотации останутся нетронутыми.

По словам разработчиков, редактор аннотаций был запущен в 2008 году, ещё до того, как мир стал активно пользоваться смартфонами. «60 % просмотров в YouTube осуществляются с мобильных устройств, так зачем работать над созданием аннотаций, которые даже не увидит большая часть вашей публики? — пишет менеджер по продукту YouTube Мули Салем (Muli Salem). — Конечные заставки и подсказки работают на мобильных устройствах и компьютерах и позволяют вам получать больший доход».

Аннотации в сервисе действительно выглядят устаревшими и неуместными. Небольшие серые прямоугольники предназначены для того, чтобы давать ссылки на другие видео, а также добавлять примечания и вспомогательную информацию. Однако за несколько лет, по словам Салема, частота их использования снизилась на 70 %.

Многие знают, что большинство людей щёлкает по аннотациям только для того, чтобы их закрыть. А многие пользователи вообще их отключают, чтобы они не загромождали экран.

В помощнике Google Now появилась новая возможность, которая будет удобна многим владельцам автомобилей и смартфонов под управлением Android. Теперь водители вряд ли пропустят ближайшую заправку, так как Google Now будет отмечать на карте эти объекты.

Функция работает более точно при использовании навигации, но и без прокладки маршрута Google Now будет учитывать часто посещаемые места и сообщать о заправках, находящихся на вероятном направлении движения пользователя.

Новая возможность окажется особенно полезной при дальних поездках и позволит избежать лишней траты времени и топлива на поиск заправки, а также при движении по скоростным автострадам, где заправки встречаются реже и их легко пропустить. Скоро ли заработают эти подсказки в наших краях, не известно, но в США водители уже могут воспользоваться этими преимуществами.

В целом, технология предсказания маршрута может использоваться не только в отношении заправочных станций, но и любых других объектов, которые Google Now сочтёт важными для пользователя. А в случае, если подсказка окажется лишней, не так уж сложно избавиться от её назойливого присутствия.

На страницу результатов поиска Яндекса добавлен перевод с иностранных языков. Поиск в дополнение к русскому выучил английский, польский, украинский, немецкий, французский, испанский, итальянский и турецкий языки. Переводы работают как в настольной, так и в мобильной версии.

Например, вам срочно нужно перевести что-то на русский с английского. Просто спросите у Яндекса [who is on duty today перевод], и поиск переведет фразу с помощью сервиса translate.yandex.ru. Перевод – синхронный, он продолжается по мере ввода текста в форму. А если есть необходимость узнать перевод конкретного слова, то поиск ответит словарной статьёй, содержащей синонимы и примеры использования слова.

Материалы по теме:

• На Яндекс.Картах появились маршруты общественного транспорта Алматы и других городов;
• Новая версия Яндекс.Авто: продвинутый поиск и обновленный дизайн.

Источник:

• clubs.ya.ru/company/

Яндекс сообщил об интересном улучшении поисковых подсказок. Подсказки теперь способны переводить слова с английского языка на русский. Поэтому теперь чтобы узнать, что означает слово, не нужно его искать. Нужно всего лишь набрать его в поисковой строке Яндекса и добавить «перевод» или «по-английски». Перевод в подсказках работает и в обратном направлении – с русского на английский. В подсказки также добавлены переводы популярных слов и выражений на разные языки. Перевод слов реализован благодаря словарю Lingvo компании ABBYY, который уже давно используется на сервисе Яндекс.Словари.

Ответы в подсказках продолжают программу Яндекса «Интентный поиск» — поиска, который не просто отвечает на запрос, а помогает решить конкретную задачу. В рамках программы ранее подсказки стали отвечать на вопросы общеизвестными фактами, ндосрочно информировать о пробках, погоде и курсах валют.

Материалы по теме:

• Яндекс выдает актуальную информацию о погоде и курсах валют прямо в поисковых подсказках;
• Яндекс запустил новый интерфейс поиска по изображениям.

Источник:

• clubs.ya.ru/company/

Яндекс сообщил об интересном улучшении поисковых подсказок. Подсказки теперь знают актуальную информацию про курсы валют, погоду и пробки в вашем городе. При этом ответ пользователь получает ещё до того, как задает запрос полностью. «Умные» подсказки работают как в большом, так и в мобильном поиске.

Курсы валют показываются по последним данным от ЦБ РФ. Погоду подсказки узнают у сервиса Яндекс.Погода, а пробки – у Яндекс.Карт (эти факты показываются с учетом региона).

Ответы в подсказках продолжают программу Яндекса «Интентный поиск» — поиска, который не просто отвечает на запрос, а помогает решить конкретную задачу.

Материалы по теме:

• Яндекс празднует пятнадцатилетие;
• Яндекс запустил новый интерфейс поиска по изображениям.

Источник:

• clubs.ya.ru/company/

Яндекс научился понимать, какие поисковые подсказки пригодятся пользователям в первую очередь. Теперь, подбирая запросы для списка подсказок, он учитывает не просто популярность запросов, но и то, о чём его только что спрашивали. Например, если пользователь нашел фильм [назад в будущее] и решил продолжить поиск, то после набора буквы «к» он увидит в поисковых подсказках в первую очередь [кристофер ллойд] и [как снимали назад в будущее], а не популярные по умолчанию [контакт] или [карта метро].

Перед тем как включить новый алгоритм формирования подсказок для всех пользователей, Яндекс проводил тестирование новой функции на некоторых пользователямх.по сообщению компании, участвовавшим в эксперименте новшество понравилось — практически с самого начала можно было заметить, что увеличилось количество кликов по подсказкам и сократилось время ввода запроса.

Материалы по теме:

• Яндекс.Расписания подскажут, как ездят электрички между 60 городами;
• Twitter обзаведётся "упрощённым поиском".

Источник:

• clubs.ya.ru

Яндекс сообщил об интересном улучшении поисковых подсказок. Теперь на некоторые вопросы можно получить ответ прямо в подсказках. При этом ответ пользователь получает ещё до того, как задает запрос полностью. «Умные» подсказки работают как в большом, так и в мобильном поиске.

Большинство ответов было добавлено автоматически, но не обошлось и без ручного труда. Сотрудники Яндекса добавили вручную более трёх тысяч цифр и фактов: от веса кирпича до длины экватора.

Ответы в подсказках продолжают программу Яндекса «Интентный поиск» — поиска, который не просто отвечает на запрос, а помогает решить конкретную задачу.

Материалы по теме:

• В поиске по Gmail появится функция автозаполнения;
• Google начала тестирование семантического поиска.

Источник:

• clubs.ya.ru/company/