Сегодня 04 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → диффузионная модель

Topaz Labs представила диффузную ИИ-модель, которая автоматически улучшает старые видео

Компания Topaz Labs, специализирующая на разработке программного обеспечения для редактирования фотографий и видео, представила модель ИИ Project Starlight для повышения качества старых кадров из домашней видеоколлекции или архивного контента, качество которого могло со временем ухудшиться в ходе хранения на традиционных носителях.

 Источник изображения: Topaz Labs

Источник изображения: Topaz Labs

По словам разработчика, это первая в истории диффузионная модель, созданная для этих целей, и ей не требуется ручной ввод данных для исправления видео. Сообщается, что Project Starlight была создана с нуля с использованием новой архитектуры модели с более чем 6 млрд параметров, и её работа поддерживается передовыми ускорителями NVIDIA. Для сравнения, вышедшая в мае 2024 года большая языковая модель GPT-4o от OpenAI с возможностью обработки текста, аудио, изображений и видео в качестве входных данных, изначально имела 8 млрд параметров.

Topaz Labs утверждает, что модель «точно восстанавливает детали» и обеспечивает «непревзойдённое восстановление деталей в сочетании с непревзойдённой временной согласованностью». По словам компании, именно в этом и заключается суть её новой модели: улучшение нескольких кадров для достижения высококачественных результатов восстановления без артефактов движения или несоответствий между кадрами и объектами.

Project Starlight также автоматически удаляет шумы, устраняет размытость, масштабирует и сглаживает кадры по запросу. Для работы с этой ИИ-моделью вовсе не требуется наличие специальных знаний в области обработки видео.

Возвращение старого видео к жизни включает в себя несколько процессов, в том числе масштабирование, цветокоррекцию и сортировку, интерполяцию кадров, устранение повреждений и восстановление звука. Для каждого из этих вариантов восстановления уже созданы инструменты на базе ИИ, но для достижения наилучших результатов всем процессом в настоящее время должны управлять люди.

Topaz Labs сообщила, что пользователи могут с помощью её ИИ-модели бесплатно восстанавливать видео длительностью до 10 с, в то время как клипы продолжительностью до 5 минут будут иметь максимальное разрешение 1080p и для этого потребуются кредиты. Версия для корпоративных пользователей поддерживает восстановление более продолжительных видео и с более высоким разрешением. Пока неизвестно, будет ли Project Starlight работать локально или будет интегрирована в другие приложения компании.

Разработана система обучения ИИ на повреждённых данных — это защитит от претензий правообладателей

Модели искусственного интеллекта, которые генерируют картинки по текстовому описанию, при обучении на оригинальных изображениях могут их «запоминать», поднимая таким образом вопрос о нарушении авторских прав. Для защиты от претензий со стороны правообладателей была разработана система Ambient Diffusion для обучения моделей ИИ только на повреждённых данных.

 Источник изображения: github.com/giannisdaras

Источник изображения: github.com/giannisdaras

Диффузионные модели — передовые алгоритмы машинного обучения, которые генерируют высококачественные объекты, постепенно добавляя шум в набор данных, а затем обращая этот процесс вспять. Как показали исследования, такие модели способны запоминать образцы из обучающего массива. Эта особенность может иметь неприятные последствия в аспектах конфиденциальности, безопасности и авторских прав. К примеру, если ИИ обучается работе с рентгеновскими снимками, он не должен запоминать изображения конкретных пациентов.

Чтобы избежать этих проблем, исследователи из Техасского университета в Остине и Калифорнийского университета в Беркли разработали фреймворк Ambient Diffusion для обучения диффузионных моделей ИИ только на изображениях, которые были повреждены до неузнаваемости — так практически обнуляется вероятность, что ИИ «запомнит» и воспроизведёт оригинальную работу.

Чтобы подтвердить свою гипотезу, учёные обучили модель ИИ на 3000 изображений знаменитостей из базы CelebA-HQ. При получении запроса эта модель начинала генерировать изображения, почти идентичные оригинальным. После этого исследователи переобучили модель, использовав 3000 изображений с сильными повреждениями — маскировке подверглись до 90 % пикселей. Тогда она начала генерировать реалистичные человеческие лица, которые сильно отличались от оригинальных. Исходные коды проекта его авторы опубликовали на GitHub.


window-new
Soft
Hard
Тренды 🔥
Конец эпохи: Intel закрыла приложение Unison для синхронизации ПК и смартфонов 2 мин.
Минюст США убедил Google и Apple не блокировать TikTok, пообещав их не штрафовать 8 мин.
Destiny: Rising не заставит себя долго ждать — дата выхода и новый геймплейный трейлер 4 ч.
Anthem уйдёт в вечный офлайн — Electronic Arts скоро отключит серверы провального шутера 5 ч.
«Базальт СПО» представила в Китае российский ПАК с китайскими чипами Loongson 7 ч.
Петиция «Прекратите убивать игры» набрала миллион подписей для рассмотрения в Евросоюзе, но борьба ещё не окончена 7 ч.
Аналитики раскрыли продажи Death Stranding 2: On the Beach — игра уже стала хитом на PlayStation 5 8 ч.
Windows 11 становится всё популярнее среди геймеров — на неё переходят не только с Windows 10 9 ч.
Новый шутер от соавтора Doom Джона Ромеро оказался под угрозой — из-за увольнений в Microsoft студия осталась без денег и сотрудников 9 ч.
39 млн записей с персональными данными россиян утекло за первое полугодие 11 ч.
E Ink придумала встроить в тачпад ноутбука экран на электронных чернилах — для общения с ИИ и не только 3 ч.
Новая статья: ИИтоги июня 2025 г.: ой, да было бы что заменять! 5 ч.
Transcend выпустила свой самый быстрый SSD для ПК — MTE260S со скоростью до 14 000 Мбайт/с 6 ч.
«Большой прекрасный закон» Трампа сулит тёмные времена солнечной энергетике США 6 ч.
Nothing Phone (3) для Индии получил более ёмкую батарею, чем для США и Европы 7 ч.
Дело о растрате 6 млрд рублей при создании «планшета Чубайса» дошло до суда 7 ч.
Tesla подтвердила падение спроса на Cybertruck до 5000 единиц в квартал — на порядок ниже изначального плана 8 ч.
Nvidia сегодня может отобрать у Apple звание самой дорогой компании в истории 8 ч.
В России поступили в продажу беспроводные наушники Realme Buds T200x, Buds T200 Lite и Buds Air7 — от 1699 рублей 9 ч.
Pebble выпустила умное-кольцо Halo Smart Ring, которое умеет показывать время и стоит менее $100 9 ч.