Сегодня 22 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Google представила ИИ-модель SL2T, которая понимает язык жестов

Подразделение Google DeepMind рассказало о намерении донести революцию в области искусственного интеллекта до 70 млн человек по всему миру, которые общаются на языках жестов. Новая модель SL2T преобразует эти языки в текст.

 Источник изображения: deepmind.google

Источник изображения: deepmind.google

Google SL2T — многоязычная модель-переводчик, которая дебютирует на смартфонах Pixel 11, позволяя преобразовывать язык жестов в текст через приложения Gboard и Live Transcribe. На начальном этапе её применение ограничивается американским языком жестов и его переводом на английский. Способность ИИ обрабатывать человеческую речь за последние годы значительно продвинулась — сейчас можно просто диктовать текст на смартфон, планшет или ПК. Но до настоящего момента это не относилось к тем, кто пользуется одним из более чем 200 существующих языков жестов.

Модель SL2T позволяет людям, испытывающим проблемы со слухом, взаимодействовать со смартфоном, используя привычный язык и не вводя текст вручную. В этом формате теперь можно отправлять поисковые запросы, составлять электронные письма и сообщения для мессенджеров, редактировать документы и выполнять другие задачи, в том числе отправлять запросы и инструкции для ИИ-помощника Gemini. Модель доступна в Google Live Transcribe, то есть перевод с языка жестов можно осуществлять в реальном времени во время видеозвонков.

Google обучила SL2T на более чем 100 тыс. часов с данными 50 жестовых языков, и четверть из этого набора относится к американскому. Первоначальный вариант поддерживает только американский, но Google проводила обучение и на примерах других, чтобы модель могла изучить общие закономерности. Чтобы развеять опасения по поводу конфиденциальности, в Google уточнили, что в SL2T используется встроенная модель компьютерного зрения MediaPipe Holistic, которая отслеживает геометрию положений лица, рук, туловища и тела человека — на облачный сервер отправляются для расшифровки только их координаты, а не видеозапись.

Модель производит преобразование непосредственно в текст, минуя промежуточные текстовые аннотации. Это позволяет SL2T эффективнее интерпретировать невербальные выражения и пространственные грамматические структуры, характерные для американского языка жестов. Google также приняла меры для сокращения задержки, предотвращения галлюцинаций, предусмотрела поддержку левшей и правшей, а также пользователей, которые «говорят» только одной рукой — чтобы второй можно было держать смартфон. Важным отличием SL2T от предыдущих моделей того же назначения является её способность следить не только за руками, но также за движением головы, лица и туловища, которые также помогают передавать смысл. В перспективе Google намерена охватить другие языки жестов, а также разработать модели для генерации напрямую на этих языках.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Cop Bastard — симулятор крутого парня. Рецензия 5 ч.
Драйвер GeForce чрезмерно изнашивал SSD — Nvidia выпустила исправление 12 ч.
Стартап Миры Мурати выпустил Inkling 2 Mini — локальный ИИ для кода и агентов, который работает на MacBook 14 ч.
Персонажи с памятью и миры под управлением ИИ — Ubisoft создала Motherbrain для внедрения ИИ в игры 14 ч.
Из систем суперкомпьютера Fugaku украдены сотни закрытых ключей для доступа к другим суперкомпьютерам и облакам 15 ч.
Биткоин рухнул до двухлетнего минимума — от рекордных $126 000 не осталось и половины 18 ч.
Новая статья: Tanuki: Pon’s Summer — самая очаровательная версия Японии. Рецензия 21-11 00:04
Запуск GTA VI установил абсолютный рекорд индустрии развлечений — 32 миллиона проданных копий и $3,79 миллиарда выручки 20-11 23:48
В Steam выйдет самое полное издание «Дальнобойщиков 3: Покорение Америки» с поддержкой русского языка и недоступным прежде контентом 20-11 22:11
Anthropic заявила о доказательстве гипотезы Римана с помощью ИИ — одной из главных загадок математики, над которой бились 167 лет 20-11 20:17
Восемь лет и девять гравитационных манёвров — BepiColombo выходит на орбиту Меркурия 11 ч.
Трамп надумал брать налоги с зарубежных ЦОД американских компаний 14 ч.
Everpure отчиталась о рекордной выручке и повысила прогноз на год 15 ч.
«Аладдин» представил Aladdin LiveTSM — сертифицированное средство доверенной загрузки для Windows и Linux 15 ч.
«Было установлено, что он лгал» — вот почему Хуанга уволили из Nvidia 19 ч.
Махинации в бухгалтерии Nvidia заинтересовали Комиссию по ценным бумагам и биржам США 19 ч.
Фотонные сопроцессоры Q.ANT NPU Gen 2+ ускорят работу ИИ 20-11 21:46
Valve предупредила, что Steam Machine может стать дефицитной и подорожать, —  и объяснила почему 20-11 21:45
«Фотонная» память для ИИ: MemoryAI Photonic Appliance от Penguin Solutions объединяет до 16 Тбайт DDR5 и 576 Гбайт HBM3E 20-11 21:42
Сюрприз отменяется: Япония отказалась от полёта к астероиду, который мог оказаться потерянной советской станцией 20-11 21:41