OpenAI выпустила GPT-Realtime-2 и ещё две голосовые модели, но доступны они лишь через API

Компания OpenAI объявила о включении в API ряда новых возможностей голосового интеллекта, призванных помочь разработчикам создавать приложения, способные «говорить», расшифровывать и переводить разговоры с пользователями.

Источник изображения: Zac Wolff/unsplash.com

В частности, разработчикам через API Realtime теперь доступны три новые модели голосового управления в реальном времени — GPT-Realtime-2, GPT-Realtime-Translate и GPT-Realtime-Whisper. Новые модели поддерживают более естественное голосовое взаимодействие, перевод в реальном времени и транскрипцию речи в текст с низкой задержкой.

Модель GPT-Realtime-2 создана для голосового взаимодействия в реальном времени, обладая способностью анализировать запросы, вызывать инструменты, обрабатывать исправления и естественно продолжать разговор. В отличие от своей предшественницы GPT-Realtime-1.5, эта модель построена на основе логики класса GPT-5, разработанной для обработки более сложных запросов от пользователей.

GPT-Realtime-2 включает в себя следующие новые возможности для голосовых агентов:

• Преамбулы: разработчик может добавить короткие фразы, например, «позвольте мне это проверить», перед завершением ИИ-агентом задачи.
• Параллельные вызовы инструментов: модель может использовать сразу несколько инструментов одновременно, информируя пользователя.
• Улучшенное восстановление: модель может более корректно реагировать на ошибки, вместо того чтобы завершать работу без комментариев.
• Расширенный контекст: контекстное окно увеличено с 32K до 128K.
• Улучшенное понимание предметной области: модель лучше запоминает специализированные термины, имена собственные и лексику, связанную со здравоохранением.
• Управление тоном: модель может корректировать интонацию в зависимости от ситуации.
• Регулируемый уровень сложности рассуждения: разработчики могут выбирать между минимальным, низким, средним, высоким и сверхвысоким уровнями.

Модель GPT-Realtime-Translate предназначена для предоставления услуг перевода в реальном времени, «поддерживая темп» разговора с пользователем. Модель поддерживает более 70 языков ввода (то есть языков, которые она может понимать) и 13 языков вывода (языков, которые она передает говорящему). Сообщается, что модель может сохранять смысл, подстраиваясь под говорящего, даже когда пользователи меняют контекст, используют региональное произношение или специфическую для предмета лексику.

Модель GPT-Realtime-Whisper — потоковая модель транскрипции, созданная для преобразования речи в текст с низкой задержкой.

«Запускаемые нами модели переводят аудио в реальном времени из простого диалога в голосовые интерфейсы, которые действительно могут работать: слушать, рассуждать, переводить, транскрибировать и предпринимать действия по мере развития разговора», — сообщила компания.

Стоимость GPT-Realtime-2 составляет $32 за 1 млн входных аудиотокенов, $0,40 за 1 млн кешированных входных токенов и $64 за 1 млн выходных аудиотокенов. Стоимость GPT-Realtime-Translate составляет $0,034 в минуту, а GPT-Realtime-Whisper — $0,017 в минуту. Разработчики могут опробовать новые модели на онлайн-платформе OpenAI Playground.