ТВ под прицелом MediaMetrics: как это сделано

Благодаря инновационным разработкам компании «Технологии видеоанализа», популярный новостной агрегатор MediaMetrics пополнился инструментом pro.mediametrics.ru/reports, формирующим рейтинг упоминаемости известных людей в различных телепередачах. Новый сервис в полной мере демонстрирует возможности современных систем компьютерного зрения и, по заверениям разработчиков, является единственной на данный момент в Рунете аналитической площадкой, отражающей полную картину упоминаемости тех или иных известных персон (губернаторов, депутатов, министров, знаменитостей) на основных российских федеральных телеканалах. О том, какие технологические решения легли в основу нового инструмента MediaMetrics, как он работает и каковы перспективы развития систем видеоаналитики в России и мире, нам рассказал генеральный директор компании «Технологии видеоанализа» Вадим Конушин.

Генеральный директор компании «Технологии видеоанализа» Вадим Конушин

3DNews: Вадим, компания «Технологии видеоанализа» специализируется на прикладных исследованиях и разработках в области компьютерного зрения и видеоаналитики. Расскажите нашим читателям об истории развития вашей организации и достигнутых успехах на рынке.

В. Конушин: Наша компания основана в 2010 году. Большинство наших сотрудников являются выпускниками или студентами Лаборатории компьютерной графики и мультимедиа МГУ. Поэтому прикладные исследования в области компьютерного зрения для каждого из нас начинаются уже с третьего курса, при поступлении в лабораторию.

Компания была зарегистрирована после победы в конкурсе «СТАРТ» фонда Бортника (Фонд содействия развитию малых форм предприятий в научно-технической сфере) с проектом «Система анализа состава и поведения аудитории по данным видеонаблюдения». В каком-то виде систему сделали, но изначальные планы оказались слишком амбициозными. И по имеющимся ресурсам и доступным технологиям компьютерного зрения на тот момент, да и просто понимание рынка было ограниченным. Так что законченного продукта, на который был бы спрос, не было. Поэтому в первые годы мы чаще отвлекались на разные НИРы, заказные разработки. Всё в области компьютерного зрения и чаще всего даже видеоаналитики, но до эпохи глубокого обучения каждый раз было достаточно много специфической работы, которую сложно применить в других задачах. Сейчас с этим намного проще, так как одинаковый инструментарий можно быстрее и легче применить к разным направлениям. Конечно, своя специфика в разных задачах остаётся, но попробовать быстро собрать прототип, добиться какой-то разумной точности можно намного меньшими силами.

Со временем мы стали всё больше фокусироваться на задаче анализа изображений лиц — выделении и сопровождении лиц в видео, идентификации, определении пола и возраста. Постепенно учились говорить «нет» предложениям на заказную разработку по отличающимся темам. Разработали хорошую библиотеку, удобную для интеграции в различные продукты. Посещая профильные выставки, начали лучше понимать потребности компаний.

В последние два года мы активно интегрируемся в продукты различных компаний. Среди наших применений и уже имеющихся интеграций можно отметить видеонаблюдение, системы контроля доступа, проверку заёмщиков (в кредитном бюро), системы Digital Signage, робототехнику (распознавание подходящих людей), аппараты выдачи пропусков.

3DNews: Сегодня в индустрии IT всё большую популярность приобретают решения с использованием технологий машинного обучения и систем искусственного интеллекта на базе нейронных сетей. Применяете ли вы перечисленные технологии в своих системах компьютерного зрения?

В. Конушин: Конечно. Сейчас, думаю, уже нет никого работающего с 2D-распознаванием лиц, кто бы не использовал глубокие нейронные сети. Они безусловно привели к буму в большинстве областей компьютерного зрения, и в распознавании лиц чуть ли не в первую очередь.

3DNews: В мире представлено немало продуктов, использующих технологии видеоанализа для решения различных задач. В чём заключаются отличительные особенности ваших разработок в этой области? Быть может, ваши технологии дешевле/прогрессивнее/быстрее/проще в использовании, чем у конкурентов?

В. Конушин: Начнём с того, что все используют достаточно похожие алгоритмы. Разумеется, есть отличия, из-за которых кто-то может иметь даже заметное преимущество в точности или скорости, но вот совсем радикальных отличий, скорее всего, нет. Далее, всё очень быстро развивается и меняется. Условно говоря, студент сегодня может обучить алгоритм идентификации более точный, чем был лучший в мире алгоритм два, ну или в крайнем случае три года назад. Ну и наконец, есть сложности с открытыми тестированиями. Где-то тестовые данные находятся в открытом доступе (а значит, нет доверия к результатам), где-то данные специфические, также далеко не все компании представлены на этих конкурсах. Поэтому аргументированно заявить о своих преимуществах достаточно сложно, зато просто заявить очень легко.

По правде сказать, я и сам не знаю, где мы находимся относительно некоторых из конкурентов. С кем-то из них просто ни разу не пересекались в тестах, а с кем-то сравнивались очень давно, и всё могло измениться.

Из косвенных признаков я могу судить по тому, что фонд перспективных исследований в 2014 и 2015 годах устраивал конкурсы на лучший прототип технологии распознавания лиц людей. Конкурсы были организованы достаточно хорошо. Была, конечно, специфика данных, были некоторые вопросы к протоколу тестирования, но в целом всё достаточно корректно. В 2014 году мы на конкурсе заняли первое место, в 2015-м, намного более репрезентативном по числу участников, поделили второе-третье места с Центром речевых технологий (уступив ГосНИИАС-у). При этом фонд на тот момент собрал большинство отечественных компаний, разработчиков систем идентификации людей по лицу. По-моему, их было более двадцати (что свидетельствует о многочисленности российских компаний, специализирующаяся на разработках в области компьютерного зрения, и это только подобласть распознавания лиц).

Что для меня является более важным ориентиром — это выбор компаний. Особенно не конечных пользователей системы, а тех, кто интегрируют наши технологии в своём софте, иногда в первый раз добавляя функции идентификации, а иногда даже заменяя чужие, в том числе иностранные, «движки». В отличие от конечных пользователей они придирчивее относятся к таким технологиям, не ориентируются на побочную функциональность или пользовательский интерфейс. Они лучше разбираются в этих технологиях, проводят свои внутренние тесты и сравнения разных производителей. Иногда я вижу полученные графики, но не могу их распространять из-за подписанных соглашений о конфиденциальности. Иногда они их не предоставляют. Но в целом каждый раз, когда выбирают нас, я понимаю, что суммарно по точности, скорости работы, простоте интеграции, оперативности техподдержки, цене мы превзошли конкурентов.

По моим субъективным агрегированным ощущениям, на данный момент по сумме всех характеристик мы первые в России. Если ошибаюсь (опять же есть тёмные лошадки, с которыми пока почти не пересекались), то как минимум в тройке. В мире, думаю, тоже на хорошем уровне. NEC'у (считается на данный момент мировым лидером в этой области) пока проигрываем.

3DNews: Ваша компания принимала активное участие в разработке нового сервиса «МедиаМетрикса», формирующего рейтинг упоминаемости известных людей в различных телепередачах. Какие технологии были задействованы в проекте?

В. Конушин: Выделение лиц и идентификация людей по лицу.

3DNews: Можете нашей аудитории раскрыть техническую сторону проекта и буквально в двух словах рассказать, как работает новый сервис «МедиаМетрикса»? Правильно ли мы понимаем, что положенные в его основу алгоритмы в режиме реального времени анализируют эфир основных федеральных ТВ-каналов, производят идентификацию людей по изображению лиц и затем на основе полученной информации формируют рейтинг? Как ведётся подсчёт аудитории?

В. Конушин: Да, всё верно. Берём видеопотоки, вырезаем из них один кадр в секунду, находим лица и сравниваем их с базой фотографий известных людей. Далее объединяем близкие по времени обнаружения одного человека в сюжеты, чтобы не засчитывать одно лицо повторно по много раз. Подсчёт аудитории ведётся на стороне «МедиаМетрикса», так что могу напутать. Думаю, что они используют информацию о текущей аудитории разных каналов от ТВ-операторов.

3DNews: Есть ли планы по развитию и расширению функциональных возможностей упомянутого сервиса? Навскидку: было бы здорово, если бы была возможность добавлять различных медийных персон и просматривать по ним статистику.

В. Конушин: Конечно, развивать сервис планируем. Так как это совместный проект с MediaMetrics, то будем вместе думать, куда двигаться, стараться определить, на что есть спрос. Возможность добавления персон пользователями не рассматриваем, т. к. пользы от этого мало (просто разок «поиграться»), а при этом возникает ряд проблем (добавят некачественную фотографию или кого-то очень похожего на известного политика, что ухудшит общую точность). Скорее, мы будем сами добавлять новых людей в том числе по внешним запросам, и предоставлять за плату более подробную статистику.

Из ближайших планов есть определение брендов и статистика по ним. Если узнать, сколько раз и когда крутилась реклама своего бренда, компании ещё могут, то определить, сколько людей увидели их бренд во время спортивных трансляций, в новостях, в телешоу, сейчас возможности нет. А это потенциально очень интересная для них информация. Заодно можно легко получить такую информацию и по конкурентам и оценить эффективность траты своего рекламного бюджета. Думаем, что в этом направлении платежеспособный спрос есть.

Ну а дальше посмотрим. Можно подумать над более подробной статистикой, например с разбиением по типу появления — во время новостей, рекламного блока или в кино. Можно анализировать звук, можно стараться определить тональность упоминания о том или ином политике, много чего ещё.

3DNews: Планирует ли команда компании «Технологии видеоанализа» расширять исследования и разработки в области компьютерного зрения и видеоаналитики? Какие новые продукты стоит ожидать в будущем?

В. Конушин: Мы постоянно ведём исследования в области компьютерного зрения. В первую очередь, конечно, концентрируемся на задачах, связанных с анализом изображений лиц людей, так как это основной наш бизнес. Но периодически возникают и новые направления, иногда связанные с каким-то проектом, иногда в более инициативном порядке. Здесь можно упомянуть выделение логотипов, некоторых других типов объектов в видео, анализ медицинских снимков.

Если говорить о продуктах, то работаем над облачными сервисами для распознавания клиентов розничных магазинов и для оценки длины очередей. Есть планы по отдельным продуктам и в области безопасности.