Компания Google объявила о запуске ИИ-модели Gemini Omni 1.2 Flash, которая предназначена для генерации видео. Обновлённый алгоритм может создавать ролики продолжительностью до 15 секунд, лучше следует текстовым подсказкам и поддерживает возможность редактирования созданных видео. В дополнение к этому на 30 % снизилась стоимость взаимодействия с ИИ-моделью по сравнению с Gemini Omni 1.1: $0,07 за секунду видео с разрешением 720p.
Источник изображения: Google
Помимо снижения цены генерации, оптимизировать расходы помогает сам процесс взаимодействия с Gemini Omni 1.2 Flash. Пользователь может быстро создать черновик видео в качестве 360p или 720p, затем внести точечные корректировки с помощью текстовых запросов (вместо того, чтобы генерировать весь ролик заново), а после этого создать финальную версию ролика в формате 1080p или 4K.
Gemini Omni 1.2 Flash поддерживает создание роликов продолжительностью до 15 секунд, тогда как Gemini Omni 1.1 позволяла создавать 10-секундные видео. Длительность видео можно задать с шагом в 1 секунду — от 3 до 15 секунд. Такой подход позволяет создавать, например, полноценные рекламные ролики, обзоры продуктов и др.
В процессе редактирования пользователь может направлять ИИ-модель в нужном ему направлении, комбинируя изображения персонажей, продуктов или стилей, фрагменты движений продолжительностью до 3 секунд и аудиоподсказки. Лица персонажей, их одежда, изображения на упаковках товаров и цвета сохраняют согласованность при смене ракурсов в течение всего ролика.
Разработчики добились уменьшения «визуального дрейфа», за счёт чего нейросеть лучше сохраняет узнаваемость персонажей, объектов и сцен от первого до последнего кадра. Один и тот же ролик можно дорабатывать шаг за шагом. К примеру, можно заменить какой-либо объект или фон, поменять освещение или погоду, соотношение сторон. Многошаговое диалоговое редактирование доступно для 15-секундных видео, благодаря чему проще создавать рекламные ролики для разной аудитории или разных регионов без необходимости генерировать видео с нуля.
При необходимости можно сгенерировать видео с более плавным и естественным звучанием диалогов, более чёткой синхронизацией губ и раздельной настройкой для всех говорящих. Реализована возможность задать непрерывное движение камеры с учётом строгой согласованности кадров. Персонажи, текст и движения камеры остаются согласованными на протяжении всего видео, в нескольких итерациях и при переходах.