Компания Google объявила о запуске Vertex AI Media Studio — набора ИИ-инструментов, с помощью которых пользователи могут создавать видео на основе текстового описания. Сервис построен на базе платформы Vertex AI и объединяет несколько передовых ИИ-моделей для реализации всех аспектов видеопроизводства, включая визуальные эффекты, озвучку и фоновую музыку, не требуя от пользователей навыков в редактировании видео или написании программного кода.

Источник изображения: Steve Johnson/unsplash.com

Пользователям предлагается начать процесс работы с создания изображения с помощью ИИ-генератора Imagen 3. Затем полученное изображение можно превратить в видео с помощью алгоритма Veo 2, который также предлагает возможность настройки разных параметров. По данным Google, Veo позволяет выбрать тип движения камеры, например, съёмка с дрона или панорама, а также настроить частоту кадров и продолжительность ролика. Если алгоритм добавит в видео какие-то лишние элементы, их можно легко удалить с помощью инструмента Magic Eraser.

После завершения работы над визуальными эффектами пользователю предлагается задействовать ИИ-синтезатор голоса Chirp для создания закадровой озвучки. В завершающей стадии ИИ-модель Lyria, являющаяся совместным творением DeepMind и YouTube, поможет сгенерировать музыкальное сопровождение, которое будет служить фоном для пользовательского видео.

Теоретически в конце должно получиться готовое к публикации видео, которые не уступает профессиональному ни с точки зрения происходящего в кадре, ни с точки зрения озвучки. И всё это пользователь может создать в одном сервисе Vertex AI Studio, т.е. по сути том же сервисе, где разработчики тестируют новейшие версии ИИ-модели Gemini.

Представив на прошлой неделе семейство больших языковых моделей Gemini и внедрив их в чат-бот Bard, компания Google теперь предложила Gemini разработчикам сторонних приложений и сервисов. Компания запустила целый ряд новых и обновлённых сервисов, в том числе службу AI Studio, которая ранее была известна как MakerSuite.

Источник изображения: pixabay.com

AI Studio — это веб-инструмент для разработчиков, который функционирует как шлюз в более широкую экосистему Gemini, начиная с продвинутой нейросети Gemini Pro и заканчивая самой мощной Gemini Ultra, выход которого намечен на следующий год. С помощью этого сервиса разработчики могут быстро создавать подсказки и чат-боты на базе Gemini, а затем получать API-ключи для использования их в своих приложениях, или доступ к коду, чтобы работать над ним в более полнофункциональной IDE.

Важно отметить, что существует относительно щедрая бесплатная квота на использование нейросети — до 60 запросов в секунду. Этого должно быть достаточно для быстрой итерации идей без обременительных ограничений и, возможно, даже достаточно для работы с некоторыми не слишком крупными приложениями.

Тем не менее, за скорость всё же придётся «платить»: для разработчиков, использующих бесплатную подписку (а это на текущий момент практически всё, поскольку Google планирует запустить платную версию только одновременно с запуском модели Gemini Ultra), рецензенты Google смогут контролировать входные и выходные данные API и веб-приложения, чтобы «улучшить качество продукта». Google при этом гарантирует, что эти данные не будут сопоставляться с аккаунтом Google и ключами API конкретного пользователя.

По сравнению с предыдущей версией MakerSuite, обновлённый софт выглядит более «навороченным». Среди прочего, в нём появится поддержка Gemini Pro и модели Gemini Pro Vision. Это позволит разработчикам работать как с текстом, так и с изображениями (хотя и не создавать их). «Мы хотим пригласить разработчиков протестировать новый инструмент, — сообщил Джош Вудворт (Josh Woodward), вице-президент Google Labs. — Это первая версия, и у нас много доработок, которые мы уже сейчас делаем для будущих обновлений, но мы стараемся разработать её таким образом, чтобы люди могли просто войти и начать создавать с её помощью».

Используя веб-интерфейс, разработчики могут выбирать модели, чтобы контролировать творческий диапазон ответов ИИ, и приводить примеры, чтобы дать указания боту по тону и стилю. Также можно настроить параметры безопасности модели. Вудворд также отметил, что команда постаралась разработать AI Studio таким образом, чтобы даже бесплатный уровень не был похож на пробный или закрытый продукт. И действительно, если ограничения по скорости бесплатного уровня достаточны для их использования, разработчики могут сразу же начать публиковать свои приложения AI Studio или использовать их через API или SDK Google.

Жанин Бэнкс (Jeanine Banks), вице-президент и генеральный директор Google Developer X и глава отдела по работе с разработчиками, также подчеркнула, что AI Studio — это вход в более широкую экосистему ИИ Google и, в частности, в Vertex AI, корпоративную платформу Google для разработчиков генеративного ИИ.

«[Мы предлагаем] идею "развиваться вместе с Google", когда вы можете войти, создать что-то, запустить, развернуть, позволить людям использовать это и иметь щедрый бесплатный уровень. Но затем мы также поставляем целый набор SDK, которые позволяют разработчикам запускать и создавать приложения на Gemini Pro, которые могут работать практически везде, от бэкенда с поддержкой Node.js и Python, до мобильных устройств с поддержкой Java, Kotlin и Swift, и до веба, конечно же, с JavaScript», — объяснила она. Говоря об экосистеме в целом, Бэнкс также пояснил, что в начале следующего года Google планирует внедрить Gemini в Chrome Dev Tools и мобильную платформу разработки Google Firebase.

Учитывая скорость развития генеративного ИИ, сложно даже предсказать, для чего разработчики захотят использовать эти инструменты в дальнейшем, но Бэнкс и Вудворд подчеркнули, что Google планирует создать AI Studio как лёгкую ступеньку для разработчиков всех уровней подготовки.