Сегодня 30 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → диффузионная модель

Topaz Labs представила диффузную ИИ-модель, которая автоматически улучшает старые видео

Компания Topaz Labs, специализирующая на разработке программного обеспечения для редактирования фотографий и видео, представила модель ИИ Project Starlight для повышения качества старых кадров из домашней видеоколлекции или архивного контента, качество которого могло со временем ухудшиться в ходе хранения на традиционных носителях.

 Источник изображения: Topaz Labs

Источник изображения: Topaz Labs

По словам разработчика, это первая в истории диффузионная модель, созданная для этих целей, и ей не требуется ручной ввод данных для исправления видео. Сообщается, что Project Starlight была создана с нуля с использованием новой архитектуры модели с более чем 6 млрд параметров, и её работа поддерживается передовыми ускорителями NVIDIA. Для сравнения, вышедшая в мае 2024 года большая языковая модель GPT-4o от OpenAI с возможностью обработки текста, аудио, изображений и видео в качестве входных данных, изначально имела 8 млрд параметров.

Topaz Labs утверждает, что модель «точно восстанавливает детали» и обеспечивает «непревзойдённое восстановление деталей в сочетании с непревзойдённой временной согласованностью». По словам компании, именно в этом и заключается суть её новой модели: улучшение нескольких кадров для достижения высококачественных результатов восстановления без артефактов движения или несоответствий между кадрами и объектами.

Project Starlight также автоматически удаляет шумы, устраняет размытость, масштабирует и сглаживает кадры по запросу. Для работы с этой ИИ-моделью вовсе не требуется наличие специальных знаний в области обработки видео.

Возвращение старого видео к жизни включает в себя несколько процессов, в том числе масштабирование, цветокоррекцию и сортировку, интерполяцию кадров, устранение повреждений и восстановление звука. Для каждого из этих вариантов восстановления уже созданы инструменты на базе ИИ, но для достижения наилучших результатов всем процессом в настоящее время должны управлять люди.

Topaz Labs сообщила, что пользователи могут с помощью её ИИ-модели бесплатно восстанавливать видео длительностью до 10 с, в то время как клипы продолжительностью до 5 минут будут иметь максимальное разрешение 1080p и для этого потребуются кредиты. Версия для корпоративных пользователей поддерживает восстановление более продолжительных видео и с более высоким разрешением. Пока неизвестно, будет ли Project Starlight работать локально или будет интегрирована в другие приложения компании.

Разработана система обучения ИИ на повреждённых данных — это защитит от претензий правообладателей

Модели искусственного интеллекта, которые генерируют картинки по текстовому описанию, при обучении на оригинальных изображениях могут их «запоминать», поднимая таким образом вопрос о нарушении авторских прав. Для защиты от претензий со стороны правообладателей была разработана система Ambient Diffusion для обучения моделей ИИ только на повреждённых данных.

 Источник изображения: github.com/giannisdaras

Источник изображения: github.com/giannisdaras

Диффузионные модели — передовые алгоритмы машинного обучения, которые генерируют высококачественные объекты, постепенно добавляя шум в набор данных, а затем обращая этот процесс вспять. Как показали исследования, такие модели способны запоминать образцы из обучающего массива. Эта особенность может иметь неприятные последствия в аспектах конфиденциальности, безопасности и авторских прав. К примеру, если ИИ обучается работе с рентгеновскими снимками, он не должен запоминать изображения конкретных пациентов.

Чтобы избежать этих проблем, исследователи из Техасского университета в Остине и Калифорнийского университета в Беркли разработали фреймворк Ambient Diffusion для обучения диффузионных моделей ИИ только на изображениях, которые были повреждены до неузнаваемости — так практически обнуляется вероятность, что ИИ «запомнит» и воспроизведёт оригинальную работу.

Чтобы подтвердить свою гипотезу, учёные обучили модель ИИ на 3000 изображений знаменитостей из базы CelebA-HQ. При получении запроса эта модель начинала генерировать изображения, почти идентичные оригинальным. После этого исследователи переобучили модель, использовав 3000 изображений с сильными повреждениями — маскировке подверглись до 90 % пикселей. Тогда она начала генерировать реалистичные человеческие лица, которые сильно отличались от оригинальных. Исходные коды проекта его авторы опубликовали на GitHub.


window-new
Soft
Hard
Тренды 🔥
В Telegram появилась «Проверка фактов», но не у всех 32 мин.
Слухи: Bethesda подготовила новые трейлеры The Elder Scrolls VI, но не для широкой публики 34 мин.
Восток и Запад встречаются в дебютном трейлере дополнения Badlands к симулятору выживания DayZ 35 мин.
Безоговорочный возврат средств, скидка за лояльность и план патчей: создатели провального ремастера Warhammer 40,000: Space Marine обратились к игрокам 45 мин.
«Придётся пройти ещё раз»: звезда Assassin’s Creed IV: Black Flag недвусмысленно намекнула на неанонсированный ремейк игры 3 ч.
AirPods с живым переводом и Wi-Fi без паролей могут появиться в iOS 26 уже осенью 7 ч.
Президент США заявил, что покупатель для американских активов TikTok найден 7 ч.
Baidu откроет исходный код Ernie, что может изменить расстановку сил на мировом ИИ-рынке 7 ч.
Meta переманила из OpenAI ещё четырёх специалистов в области ИИ 29-06 06:57
Обновился формат изображений PNG — теперь в нём поддерживается HDR, анимация и Exif 29-06 01:31
ATP представила индустриальные SSD серий N651Si/N651Sc с повышенной долговечностью 5 мин.
Блоки питания TESLA: надёжность, защита и выгодная цена для любой сборки 13 мин.
Китайские электромобили станут безопаснее: власти ужесточат требования к защите батарей от возгораний и взрывов 43 мин.
Албания присоединилась к европейской суперкомпьютерной программе EuroHPC JU 2 ч.
CoreWeave снова пытается купить оператора ЦОД Core Scirntific, от которого зависит бизнес компании 3 ч.
ИИ от Palantir ускорит и удешевит строительство АЭС 4 ч.
Micron представила накопители Micron 2600 QLC с уровнем производительности памяти TLC 5 ч.
Подразделение Volkswagen займётся сдачей роботакси на базе минивэна ID. Buzz в аренду таксопаркам 5 ч.
Практически все характеристики наушников Nothing Headphones (1) стали известны до официального анонса 1 июля 6 ч.
Gigabyte выпустила RTX 5060 и RTX 5060 Ti в исполнениях Eagle Max и Windforce Max с полноразмерным разъёмом PCIe 7 ч.