ИИ-чат-бот Bing научат отвечать изображениями, строить графики и диаграммы, передавать историю чатов и многое другое

На мероприятии в Нью-Йорке руководители Microsoft предоставили IT-журналистам возможность взглянуть на функции, которые появятся в Bing в течение следующих нескольких месяцев. Bing Chat станет более наглядным благодаря большему количеству ответов, ориентированных на изображения и графику, позволит пользователям экспортировать свои истории чата Bing, использовать контент из сторонних плагинов и многое другое.

Microsoft внедряет наработки последних месяцев во время закрытого тестирования Bing. Компания заявляет, что с момента запуска Bing Chat, своего чат-бота на основе ИИ-моделей OpenAI GPT-4 и DALL-E 2, количество активных пользователей сервиса в день превысило 100 миллионов. Представители Microsoft рассказали подробнее о нововведениях в Bing Chat.

Ответы изображениями

Bing Chat скоро будет отвечать изображениями — по крайней мере, там, где это имеет смысл. Ответы на вопросы будут сопровождаться соответствующими изображениями, если таковые существуют. Процесс будет во многом похож на стандартный вариант поиска Bing, но упакованный в карточный интерфейс. Microsoft не говорит, какие именно категории контента могут запускать ответ изображением, однако у него есть фильтрация для предотвращения появления конкретных изображений. Помимо этого, чат-бот использует комбинацию классификаторов токсичности и черных списков, обученных обнаруживать потенциально опасные подсказки, чтобы поддерживать чат в относительной чистоте. Ещё одним из аспектов Bing Chat, который улучшается, является прозрачность его ответов, особенно основанных на фактах. Bing будет включать цитаты, указывающие на текст, из которого взята информация, а при нажатии на них будет выделен соответствующий отрывок.

Визуальные ответы в виде диаграмм и графиков

Bing Chat сможет создавать диаграммы и графики с помощью подсказок и данных. Раньше на вопрос вроде «Какие города Бразилии самые густонаселённые?» чат-бот давал основной список результатов. Но в ближайшем будущем Bing Chat представит эти результаты визуально в виде диаграммы. Это, по-видимому, представляет собой шаг Bing к полноценной платформе для повышения производительности, особенно в сочетании с расширенными возможностями генерации изображений, которые появятся в будущем. В ближайшие недели Bing Image Creator — инструмент Microsoft, который может создавать изображения из текстовых подсказок на базе DALL-E 2 — будет понимать больше языков помимо английского (всего более 100). Как и в случае с английским языком, пользователи смогут корректировать изображения, которые они создают, с помощью дополнительных подсказок.

Мультимодальный поиск

Что касается изображений, Bing Chat получит возможность понимать изображения так же, как и текст. Пользователи смогут загружать изображения и искать в Интернете соответствующий контент. Мультимодальность также поддерживает новую функцию контекста страницы в приложении Edge для мобильных устройств. Пользователи смогут задавать вопросы в чате Bing, связанные с мобильной страницей, которую они просматривают.

Истории чатов

Вскоре Bing Chat будет хранить истории чатов пользователей, позволяя им продолжить с того места, где они остановились, и вернуться к предыдущим чатам, когда захотят. Это похоже на функцию истории чата, которую OpenAI недавно представила в ChatGPT, показывая список чатов и ответы бота на каждый из этих чатов. Специфика функции ещё вызывает некоторые вопросы, например, как долго будут храниться чаты, однако точно известно, что пользователи смогут удалить свою историю в любое время.

Bing Chat также получит функции экспорта и обмена данными, позволяя пользователям обмениваться разговорами в социальных сетях или в документе Word. Помимо прочего, возможно, самым главным дополнением к Bing Chat являются плагины. Плагины от таких партнеров, как OpenTable и Wolfram Alpha, значительно расширяют возможности Bing Chat, например помогают пользователям бронировать места или создавать визуализации и получать ответы на сложные научные и математические вопросы. Как и истории чатов, функциональность плагинов пока находится на очень ранней стадии.