C помощью нейросетей съёмка Нью-Йорка 1911 года превращена в цветное видео 4k/60p

В 1911 году шведская компания Svenska Biografteatern сделала видеозапись поездки в Нью-Йорк, в результате чего было получено более восьми минут видео, которое в своём первоначальном виде имеет довольно слабое разрешение и низкую нестабильную частоту кадров.

В течение ряда лет предпринимались различные попытки улучшить разрешение, частоту кадров, цвета и другие детали. Результаты получались разные, но одним из лучших на сегодня стала работа Дениса Ширяева (Denis Shiryaev), который недавно поделился улучшенным видео на Reddit и своём канале YouTube.

Видео Нью-Йорка 1911 года в 4K/60p

Согласно описанию видео, а также комментарию, оставленному Ширяевым в Reddit, в проекте были задействованы четыре нейронные сети, включая DeOldify NN (для колоризации). В целом, различным нейронным сетям удалось увеличить частоту кадров до 60 в секунду, поднять разрешение до 4K, повысить резкость и даже провести автоматическое оцветнение.

Исходное видео Нью-Йорка 1911 года с наложением озвучки и откорректированной скоростью воспроизведения

Результат куда лучше оригинала, однако с автоматическим оцветнением нейросеть явно не справилась. Наложенные звуки позволяют глубже погрузиться в атмосферу деловой столицы США более чем 100-летней давности. Мы уже писали о том, как Денис Ширяев визуально улучшил знаменитую короткометражку братьев Люмьер «Прибытие поезда» 1896 года. На его канале есть и другие любопытные работы, включая лунную миссию «Аполлона-16»: