Сегодня 05 ноября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Meta✴ представила открытую ИИ-модель ImageBind, способную обрабатывать шесть типов данных

Meta объявила о разработке модели искусственного интеллекта с открытым кодом, которая способна обрабатывать шесть потоков данных: текст, звук, статическое и динамическое изображение (видео), температуру, информацию о глубине сцены, а также информацию о движении.

 Источник изображения: ***

Источник изображения: Meta

ИИ-модель ImageBind пока представляет собой исследовательский проект, о возможном практическом применении которого пока не говорится ничего, но этот проект указывает на перспективы генеративных систем. Стоит также отметить, что Meta упорно продолжает делиться своими разработками с общественностью, тогда как её конкуренты масштаба OpenAI и Google становятся всё более закрытыми.

Ключевая концепция исследования — объединение данных различных типов в многомерный индекс. Это своеобразное развитие идеи генеративных ИИ, которые сегодня доступны потребителю. К примеру, генераторы изображений вроде DALL-E, Stable Diffusion и Midjourney обучаются на сопоставлении текста и изображения, то есть двух типов данных: нейросеть ищет закономерности в визуальных данных, которые связываются с описаниями изображений. Это в итоге позволяет системам генерировать картинки по произвольным описаниям. Схожим образом работают генераторы аудио и видео.

Проект ImageBind — попытка поместить в единое пространство сразу шесть типов данных: визуальные, в том числе неподвижные картинки и видео; тепловые, то есть информацию от инфракрасных сенсоров; текст; звук; данные о глубине; данные о движении от инерциального измерительного блока (IMU) — такие используются в смартфонах и смарт-часах. Разработчики платформы пытаются обучить её работать с этими данными так же, как с текстом или изображениями. Обученная таким образом будущая система виртуальной реальности сможет генерировать целостные окружения: так, если попросить её сымитировать морское путешествие, она поместит пользователя на корабль с шумом волн на заднем плане, дополнив его раскачивающейся палубой и океанским бризом.

В перспективе инженеры Meta предполагают и далее расширять потоки сенсорных данных, добавив «осязание, речь, обоняние и сигналы функциональной МРТ мозга». Машины же, в свою очередь, получат возможность самообучаться в реальном времени на информации в различных формах.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Не очень хорошо, но очень интересно»: критики вынесли вердикт экшен-хоррору Slitterhead от создателя Silent Hill 4 ч.
«У нас всего один шанс»: Ubisoft объяснила, почему перенос Assassin's Creed Shadows был необходим 6 ч.
Игрок обнаружил в ремейке Silent Hill 2 секретное послание — разработчики боялись, что загадка будет слишком сложной 7 ч.
Baldur’s Gate 3, Stellar Blade, Star Wars Outlaws и многие другие: поддержку PS5 Pro на запуске получат более 50 игр 8 ч.
Евросоюз проверит iPadOS на соответствие требованием антимонопольного законодательства 9 ч.
Windows 11 закрепилась как самая популярная ОС в Steam 11 ч.
«Смута» получила «знаковое» обновление 2.0.0 и крупнейшую скидку с релиза, а на iOS и Android вышла визуальная новелла «Смута: Зов сердца» 14 ч.
iOS 18.2 выйдет раньше — интеграция с ChatGPT и ИИ-генератор эмодзи Genmoji появятся на iPhone уже 2 декабря 15 ч.
Энтузиаст запустил классическую Doom на умном будильнике Alarmo от Nintendo 15 ч.
Project Borealis: Prologue обзавелась страницей в Steam — новые скриншоты демоверсии фанатской Half-Life 3 на Unreal Engine 5 16 ч.