Сегодня 02 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Google представила Gemini Live — ИИ-ассистента с памятью, естественной речью и компьютерным зрением

Во вторник на конференции Google I/O 2024 была анонсирована новая возможность для ИИ-чат-бота Gemini — функция Gemini Live, которая позволяет пользователям вести «углубленные» голосовые диалоги с Gemini на своих смартфонах. Пользователи могут прерывать Gemini во время его реплик, чтобы задать уточняющие вопросы, и чат-бот будет адаптироваться к речи пользователя в режиме реального времени. Кроме того, Gemini может видеть и реагировать на окружение пользователя, используя фотографии или видео, снятые камерами смартфонов.

 Источник изображений: Google

Источник изображений: Google

Gemini Live — это в некотором роде соединение платформы компьютерного зрения Google Lens и виртуального помощника Google Assistant, и их дальнейшая эволюция. На первый взгляд Gemini Live не кажется кардинальным обновлением по сравнению с существующими технологиями. Но Google утверждает, что система использует новые методы генеративного ИИ, чтобы обеспечить превосходный, менее подверженный ошибкам анализ изображений, и сочетает эти методы с улучшенным речевым движком для более последовательного, эмоционально выразительного и реалистичного многооборотного диалога.

Технические инновации, используемые в Gemini Live, частично связаны с проектом Project Astra, новой инициативой DeepMind по созданию приложений и «агентов» на базе ИИ с поддержкой «понимания» в реальном времени различных источников данных — текста, аудио и изображения. «Мы всегда хотели создать универсального агента, который будет полезен в повседневной жизни, — сказал на брифинге Демис Хассабис (Demis Hassabis), генеральный директор DeepMind. — Представьте себе агентов, которые могут видеть и слышать то, что мы делаем, лучше понимать контекст, в котором мы находимся, и быстро реагировать в разговоре, делая темп и качество взаимодействия гораздо более естественными».

Gemini Live, который будет запущен только в конце этого года, сможет отвечать на вопросы о предметах, находящихся в поле зрения (или недавно попавших в поле зрения) камеры смартфона, например, в каком районе находится пользователь или как называется сломавшаяся деталь велосипеда. Либо пользователь сможет указать системе на часть компьютерного кода, а Live объяснит, за что она отвечает. А на вопрос о том, где могут находиться очки пользователя, Gemini Live скажет, где он видел их в последний раз. А как это облегчит поиск потерянного пульта от телевизора!

Live также сможет стать своеобразным виртуальным наставником, помогая пользователям отрепетировать речь к мероприятию, обдумать идеи и так далее. Live может подсказать, какие навыки следует подчеркнуть на предстоящем собеседовании или стажировке, или дать совет по публичному выступлению.

Способность Gemini Live «запоминать», что происходило недавно, стала возможной благодаря архитектуре модели, лежащей в ее основе — Gemini 1.5 Pro, а также, но в меньшей степени, других «специфических» генеративных моделей. У Gemini 1.5 Pro весьма ёмкое контекстное окно, а значит, она может принять и обработать большое количество данных — около часа видео — прежде чем подготовить ответ. В Google отметили, что Gemini Live будет помнить всё, что происходило в последние часы.

Gemini Live напоминает генеративный ИИ, применяемый в очках Meta, которые аналогичным образом могут просматривать изображения, снятые камерой, и интерпретировать их практически в реальном времени. Судя по демонстрационным роликам, которые Google показала во время презентации, Live также очень похож на недавно обновленный ChatGPT от OpenAI.

Ключевое различие между новым ChatGPT и Gemini Live заключается в том, что решение от Google не будет бесплатным. После запуска Live будет эксклюзивом для Gemini Advanced, более сложной версии Gemini, которая доступна подписчикам плана Google One AI Premium Plan, стоимостью 20 долларов в месяц.

Возможно, в качестве отсылки к очкам Meta, в одном из демонстрационных роликов Google был показан человек в AR-очках, оснащенных приложением, похожим на Gemini Live. Правда, компания Google, желая избежать очередного провала в сфере умных очков, отказалась сообщить, появятся ли этот или подобный продукт с генеративным ИИ на рынке в ближайшем будущем.

Источник:


window-new
Soft
Hard
Тренды 🔥
Telegram, подвинься: Маск представил мессенджер XChat с шифрованием в стиле биткоина 12 мин.
«Базис» и Татарстан создадут импортонезависимую облачную инфраструктуру для госсервисов и бизнеса республики 19 мин.
Надёжный инсайдер: Ubisoft дала зелёный свет The Crew 4 39 мин.
«Базис» и СберТех обеспечат бизнесу удобную и устойчивую инфраструктуру 49 мин.
Java отметила 30-летие — это по-прежнему один из популярнейших языков программирования 2 ч.
«Если будем распыляться, у нас ничего не выйдет»: CD Projekt останется верна большим RPG вроде The Witcher 4 и Cyberpunk 2, несмотря на соблазны 2 ч.
Разработчик Bulletstorm и Gears of War: E-Day остановил производство двух секретных игр — в People Can Fly пройдут новые увольнения 4 ч.
Грядущая конференция Apple WWDC для разработчиков будет скудна на новости в сфере ИИ 9 ч.
Valorant получит долгожданный просмотр сыгранных матчей и переедет на Unreal Engine 5 до конца 2025 года 14 ч.
На долю взлома аккаунтов на «Госуслугах» приходится 90 % от общего числа преступлений с неправомерным доступом к данным 01-06 07:04
Представлены ленточные приводы и картриджи LTO-10 ёмкостью до 75 Тбайт 25 мин.
Минцифры урезало госфинансирование отечественных базовых станций: из 46 млрд рублей осталось только 20 млрд 31 мин.
Вышла плата Banana Pi BPI-R4 Pro для маршрутизаторов с Wi-Fi 7, 2.5/10GbE-портами и пятью слотами M.2 59 мин.
Принадлежащая Alibaba турецкая Trendyol Group построит ЦОД на 48 МВт в Анкаре 2 ч.
С каждым нанометром — дороже: себестоимость 2-нм пластин вырастет на 50 % по сравнению с 3-нм 2 ч.
Blue Origin свозила на границу космоса ещё шесть туристов на ракете New Shepard 3 ч.
EnCharge AI представила аналоговые ИИ-ускорители EN100 4 ч.
Новая статья: Сравнительный тест камер флагманских смартфонов (2025): Apple iPhone 16 Pro Max, HONOR Magic 7 Pro, HUAWEI Mate 70 Pro, Samsung Galaxy S25 Ultra, vivo X200 Pro, Xiaomi 15 Ultra 12 ч.
Новая статья: Тест-драйв российского электромобиля «Атом»: гибрид «Оки» и Tesla 13 ч.
Трамп отозвал кандидатуру Джареда Айзекмана на пост главы NASA — в этом замешан Илон Маск 20 ч.