Несколько дней назад стартап ElevenLabs представил бета-версию платформы для создания синтетических голосов-клонов реальных людей для озвучивания текстов. Буквально через несколько дней в Сети появились дипфейки голосов знаменитостей, озвучивающих крайне сомнительные тексты. По словам компании, отмечено «увеличивающееся число случаев злоупотребления клонированием голосов» — компания уже работает над решением проблемы с помощью введения дополнительных мер защиты.

Источник изображения: Kelly Sikkema/unsplash.com

Что имелось в виду под злоупотреблением, в компании не уточнили, но уже известно, что на интернет-форумах появились аудиозаписи с голосами знаменитостей, содержащие высказывания неприемлемого содержания.

Пока неизвестно, все ли материалы созданы с использованием технологии ElevenLabs, но значительная коллекция голосовых файлов содержит ссылку именно на платформу компании. Впрочем, ничего удивительно в этом нет, поскольку возникновение общедоступных систем машинного обучения привело к появлению многочисленных дипфейков различного рода.

Сейчас ElevenLabs собирает обратную связь для предотвращения злоупотреблений технологией. На данный момент компания не придумала ничего необычного кроме добавления дополнительных мер верификации аккаунтов для обеспечения доступа к клонированию голосов.

В числе идей: ввод платёжной информации или данных удостоверений личности. Дополнительно рассматривается верификация прав на использование голоса, который пользователи намерены клонировать, например, будет предложено загрузить образец с чтением предложенного текста. Наконец, компания рассматривает возможность полностью отказаться от инструмента Voice Lab и заставить проходить верификацию голосов в ручном режиме. Пока же пользователей призвали поделиться идеями с разработчиками сервиса.

Известно, что в первой половине января схожее решение представила Microsoft. Её инструмент VALL-E тоже позволяет преобразовать текст в речь, использовав в качестве образца всего 3 секунды записи голоса любого человека.

Компания Intel разработала технологию, способную в режиме реального времени отличить реального человека на видео от качественной подделки, выполненной силами ИИ, то есть дипфейка (deepfake). Разработку назвали FakeCatcher (англ. ловец подделок). Она использует программные и аппаратные средства Intel на уровне сервера, а взаимодействие FakeCatcher с пользователем происходит через веб-платформу.

Источник изображения: Intel

В Intel отмечают, что FakeCatcher способен определить подделку на видео с точностью до 96 %. Технология с помощью ряда датчиков отслеживает изменение цвета лицевых вен под кожей участника видео, создавая пространственно-временные карты. Затем, алгоритмы машинного обучения по этим картам определяют, настоящий ли человек в кадре.

По мнению Intel, их разработка может найти применение в социальных сетях. Также технологию могут использовать глобальные новостные СМИ, чтобы проверять поступающую информацию на достоверность.

Обычные пользователи тоже могли бы использовать FakeCatcher в своих целях, считают в Intel. Однако для этого нужно, чтобы какая-либо некоммерческая организация взяла на себя поддержку этого направления.