Нейросеть Flamingo от Google научилась составлять описания для роликов YouTube Shorts

Объединённая команда Google DeepMind рассказала о своём новом проекте — визуальной языковой модели Flamingo, которая составляет описания для коротких видео раздела YouTube Shorts. Такие записи публикуются в считанные минуты и зачастую лишены описаний и содержательных заголовков, что усложняет их поиск. Flamingo призвана решить эту проблему.

Источник изображения: deepmind.com

Визуальная языковая модель составляет описания коротких видео, анализируя их начальные кадры и предлагая пояснения тому, что происходит, например: «собака удерживает на голове стопку крекеров». Созданные ИИ текстовые описания сохраняются в формате метаданных — это поможет «лучше классифицировать видео и сопоставлять результаты поиска с пользовательскими запросами». ИИ решает характерную для раздела YouTube Shorts проблему: авторы зачастую пренебрегают метаданными к видео, да и сами ролики в основном просматриваются в общей ленте, и в результате обнаружить их через поиск не получается.

Генерируемые Flamingo описания не показываются ни зрителям, ни даже самим авторам видео, рассказал директор по управлению продуктом YouTube Shorts Тод Шерман (Todd Sherman). Тем не менее, текст этих описаний соответствует этическим нормам продуктов Google, хотя и маловероятно, что ИИ незаслуженно попытается выставить видео в дурном свете. Flamingo уже запущен на YouTube и добавляет свои описания ко всем новым роликам раздела Shorts — процедуру также прошла значительная часть уже опубликованных материалов, и в первую очередь наиболее популярные.

Администрация платформы также не исключила, что ИИ-модель начнёт работать и с полноформатными длинными видео YouTube, хотя потребность в этом не столь высока: люди тратят часы, дни, недели и даже месяцы на съёмку и редактирование этих материалов, поэтому добавление метаданных к ним — лишь небольшая часть процесса создания видео. А поскольку зрители выбирают длинные видео с учётом миниатюры и заголовка, у создателей этих записей есть естественный стимул для правильного заполнения метаданных.