Сегодня 23 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Google представила Gemini Live — ИИ-ассистента с памятью, естественной речью и компьютерным зрением

Во вторник на конференции Google I/O 2024 была анонсирована новая возможность для ИИ-чат-бота Gemini — функция Gemini Live, которая позволяет пользователям вести «углубленные» голосовые диалоги с Gemini на своих смартфонах. Пользователи могут прерывать Gemini во время его реплик, чтобы задать уточняющие вопросы, и чат-бот будет адаптироваться к речи пользователя в режиме реального времени. Кроме того, Gemini может видеть и реагировать на окружение пользователя, используя фотографии или видео, снятые камерами смартфонов.

 Источник изображений: Google

Источник изображений: Google

Gemini Live — это в некотором роде соединение платформы компьютерного зрения Google Lens и виртуального помощника Google Assistant, и их дальнейшая эволюция. На первый взгляд Gemini Live не кажется кардинальным обновлением по сравнению с существующими технологиями. Но Google утверждает, что система использует новые методы генеративного ИИ, чтобы обеспечить превосходный, менее подверженный ошибкам анализ изображений, и сочетает эти методы с улучшенным речевым движком для более последовательного, эмоционально выразительного и реалистичного многооборотного диалога.

Технические инновации, используемые в Gemini Live, частично связаны с проектом Project Astra, новой инициативой DeepMind по созданию приложений и «агентов» на базе ИИ с поддержкой «понимания» в реальном времени различных источников данных — текста, аудио и изображения. «Мы всегда хотели создать универсального агента, который будет полезен в повседневной жизни, — сказал на брифинге Демис Хассабис (Demis Hassabis), генеральный директор DeepMind. — Представьте себе агентов, которые могут видеть и слышать то, что мы делаем, лучше понимать контекст, в котором мы находимся, и быстро реагировать в разговоре, делая темп и качество взаимодействия гораздо более естественными».

Gemini Live, который будет запущен только в конце этого года, сможет отвечать на вопросы о предметах, находящихся в поле зрения (или недавно попавших в поле зрения) камеры смартфона, например, в каком районе находится пользователь или как называется сломавшаяся деталь велосипеда. Либо пользователь сможет указать системе на часть компьютерного кода, а Live объяснит, за что она отвечает. А на вопрос о том, где могут находиться очки пользователя, Gemini Live скажет, где он видел их в последний раз. А как это облегчит поиск потерянного пульта от телевизора!

Live также сможет стать своеобразным виртуальным наставником, помогая пользователям отрепетировать речь к мероприятию, обдумать идеи и так далее. Live может подсказать, какие навыки следует подчеркнуть на предстоящем собеседовании или стажировке, или дать совет по публичному выступлению.

Способность Gemini Live «запоминать», что происходило недавно, стала возможной благодаря архитектуре модели, лежащей в ее основе — Gemini 1.5 Pro, а также, но в меньшей степени, других «специфических» генеративных моделей. У Gemini 1.5 Pro весьма ёмкое контекстное окно, а значит, она может принять и обработать большое количество данных — около часа видео — прежде чем подготовить ответ. В Google отметили, что Gemini Live будет помнить всё, что происходило в последние часы.

Gemini Live напоминает генеративный ИИ, применяемый в очках Meta, которые аналогичным образом могут просматривать изображения, снятые камерой, и интерпретировать их практически в реальном времени. Судя по демонстрационным роликам, которые Google показала во время презентации, Live также очень похож на недавно обновленный ChatGPT от OpenAI.

Ключевое различие между новым ChatGPT и Gemini Live заключается в том, что решение от Google не будет бесплатным. После запуска Live будет эксклюзивом для Gemini Advanced, более сложной версии Gemini, которая доступна подписчикам плана Google One AI Premium Plan, стоимостью 20 долларов в месяц.

Возможно, в качестве отсылки к очкам Meta, в одном из демонстрационных роликов Google был показан человек в AR-очках, оснащенных приложением, похожим на Gemini Live. Правда, компания Google, желая избежать очередного провала в сфере умных очков, отказалась сообщить, появятся ли этот или подобный продукт с генеративным ИИ на рынке в ближайшем будущем.

Источник:


window-new
Soft
Hard
Тренды 🔥
Китай ужесточит контроль над интернетом с помощью новой цифровой идентификации 22-06 06:22
Новая статья: Deltarune — сила в добре. Рецензия 22-06 00:02
20 минут геймплея The Blood of Dawnwalker — амбициозной вампирской RPG от ведущих разработчиков The Witcher 3 и Cyberpunk 2077 21-06 23:48
Новая статья: Gamesblender № 731: процессор AMD в следующей Xbox, анонс ремейка Silent Hill и худшая игра года 21-06 23:33
Би-би-си угрожает Perplexity судом из-за нарушения авторских прав при обучении нейросетей 21-06 22:08
Китайская MiniMax представила ИИ-модель M1 — её обучение обошлось в 200 раз дешевле GPT-4 21-06 19:49
Акционеры обвинили Apple в обмане относительно сроков выхода обновлённого Siri на базе ИИ 21-06 14:44
Cloudflare отразила крупнейшую в истории DDoS-атаку — на пике мощность достигала 7,3 Тбит/с 21-06 13:44
«Крупнейшая утечка в истории» оказалась устаревшим сборником архивов паролей 21-06 11:24
Sega случайно раскрыла актуальные продажи последних Persona, Yakuza, Sonic и Total War, а Persona 4 Revival придётся подождать 21-06 10:54
Новая статья: Обзор видеокарты MSI GeForce RTX 5080 16G SUPRIM SOC: когда на меньшее не согласен 8 ч.
Meta ведёт переговоры о покупке венчурного фонда NFDG, у которого есть собственный ИИ-кластер Andromeda 9 ч.
Tesla запустила сервис роботакси в Техасе — пока с большими ограничениями 9 ч.
MediaTek представила платформу  Dimensity 8450 для мощных «середнячков» — отличий от Dimensity 8400 почти нет 19 ч.
Китайская CXMT скоро займёт до 9 % мирового рынка памяти DDR5 24 ч.
В следующем году TSMC может занять до 75 % рынка контрактных услуг по выпуску чипов 22-06 07:25
Intel массово сократит маркетологов, заменив их ИИ и подрядчиками 22-06 06:25
Xsight Labs выпустила DPU E1 с 64 ядрами Arm Neoverse N2 и 40 линиями PCIe 5.0 21-06 23:32
TP-Link выпустила водонепроницаемую точку доступа EAP772-Outdoor с поддержкой Wi-Fi 7 21-06 19:07
Наблюдатели заметили секретную встречу китайских спутников в космосе — возможно, для дозаправки 21-06 16:25