Платформа Character.AI с функциями чат-бота для диалогов с ИИ-персонажами представила новые мультимедийные функции. Среди них — генератор видео AvatarFX, а также инструменты Scenes и Streams, позволяющие создавать ролики с ИИ-персонажами и делиться ими в социальной ленте.

Источник изображения: Character.AI

Ранее сервис работал только в текстовом формате, но теперь, по словам представителей компании, развивается в сторону большей интерактивности. Сейчас пользователи могут создавать до пяти видео в день с помощью AvatarFX. Для этого нужно загрузить изображение, выбрать голос и написать реплики для персонажа. Также есть возможность использовать аудиофайл для настройки голоса, но эта функция, как отмечает TechCrunch, пока работает нестабильно.

Видео можно превращать в сцены (Scenes), представляющими из себя мини-истории с заранее заданными сюжетами от других пользователей. Пока эта опция доступна только в мобильном приложении, но скоро появится и в веб-версии. Функция Streams, позволяющая создавать динамические диалоги между двумя персонажами, выйдет на всех платформах на этой неделе. Готовые сцены можно будет публиковать в новой ленте сообщества.

Однако у платформы есть проблемы с безопасностью из-за риска злоупотребления столь широкими возможностями. Ранее родители подавали в суд на Character.AI, утверждая, что чат-боты пытались склонить их детей к самоповреждениям и суициду. В одном случае 14-летний подросток покончил с собой после продолжительного общения с ИИ-персонажем.

С расширением мультимедийных функций также могут возрастать риски злоупотреблений, например, использования фотографий реальных людей. Но компания заявляет, что блокирует загрузку изображений реальных людей, включая знаменитостей, и намеренно искажает их изображения (рисунок ниже), чтобы избежать создания deep-подделок. Однако иллюстрации с известными персонажами система не запрещает, что, возможно, оставляет лазейки для злоумышленников.

Источник изображения: Character.AI

Каждое видео помечается водяным знаком, но это не гарантирует полной защиты. Например, при попытке создать дипфейк на основе рисунка Илона Маска (Elon Musk) результат выглядит неестественно, но теоретически такие ролики всё равно можно использовать для обмана.

Источник изображения: Amanda Silberling / bsky.app

В Character.AI подчёркивают, что «стремятся балансировать между творческой свободой и безопасностью». По словам компании, цель платформы в том, чтобы предоставить пользователям интересные инструменты для самовыражения, минимизируя потенциальные угрозы. Однако есть те, кто сомневается, что текущих мер недостаточно для предотвращения новых скандалов.

Министерство юстиции США проводит очередную антимонопольную проверку в отношении компании Alphabet, являющейся материнской для Google. Ведомство изучает на предмет нарушения действующего в стране законодательства сделку между Google и Character.AI, в рамках которой технологический гигант получил доступ к разработанным стартапом технологиям на базе искусственного интеллекта.

Источник изображения: Greg Bulla / Unsplash

Напомним, в рамках упомянутой сделки Google получила неисключительную лицензию на использование ИИ-алгоритмов Character.AI, а некоторые сотрудники стартапа, включая его соучредителей, присоединились к технологическому гиганту. По данным источника, антимонопольные органы недавно уведомили Google о проведении проверки по поводу возможного структурирования соглашения с Character.AI с целью избежать официальной проверки слияния со стороны правительства.

«Мы всегда готовы ответить на любые вопросы регуляторов. Мы рады, что талантливые сотрудники Character.AI присоединились к компании, но нам не принадлежит доля в собственности, и они остаются отдельной компанией», — сообщил представитель Google. Представители Character.AI и Минюста пока никак не комментируют данный вопрос.

В сообщении сказано, что Минюст может проверить, является ли сама сделка антиконкурентной, даже если она не требует формального рассмотрения. Отмечается, что в настоящее время антимонопольное расследование находится на ранней стадии, но в конечном счёте оно может привести к правоприменительным мерам.

Любопытно, что в продолжающейся гонке за первенство в сфере ИИ другие технологические гиганты также заключали подобные сделки. В марте 2024 года Microsoft заключила сделку стоимостью $650 млн с Inflection AI, чтобы использовать ИИ-модели стартапа и нанять его сотрудников. В июне 2024 года Amazon наняла соучредителей и часть команды стартапа Adept. Эти сделки также привлекли внимание регулирующих органов.

Платформа Character.AI, которая специализируется на общении и ролевых играх пользователей с созданными искусственным интеллектом персонажами, представила модель для генерации видео AvatarFX.

Источник изображения: x.com/character_ai

Пока AvatarFX доступна в формате закрытого бета-тестирования; она позволяет анимировать персонажей на платформе в различных стилях и с различными голосами — эти персонажи могут быть любыми: от человекоподобных до животных из 2D-мультфильмов. В отличие от конкурирующих решений вроде OpenAI Sora, AvatarFX — не просто генератор видеороликов по текстовым запросам. Пользователи могут создавать видео на основе существующих статических изображений, например, анимировать фотографии реальных людей.

Подобные решения создают широкое пространство для злоупотреблений, указывает ресурс TechCrunch: недобросовестные пользователи могут начать загружать фотографии знаменитостей или тех, с кем знакомы в реальной жизни, чтобы виртуальный персонаж сказал или сделал нечто компрометирующее. Технологии создания убедительных дипфейков существуют уже не первый год, но их включение в популярные потребительские продукты масштаба Character.AI лишь усугубляет угрозу.

В прошлом году трагедией закончилось общение созданного на платформе Character.AI ИИ-персонажа «Игры престолов» с 14-летним американским подростком. В ответ на это администрация сервиса добавила в приложение родительский контроль и дополнительные средства безопасности. Комментариев по поводу возможных злоупотреблений AvatarFX в компании не дали.

ИИ-сервис Character.AI в ближайшее время получит отдельную версию для подростков с интегрированным родительским контролем. Она установит «более консервативные» ограничения на ответы чат-ботов, «особенно когда речь идёт о романтическом контенте». Эти действия стали реакцией компании на пристальное внимание прессы к двум судебным искам, в которых Character.AI обвиняется в «способствовании членовредительству и самоубийству».

Источник изображения: Character.AI

Character.AI, основанный бывшими сотрудниками Google, позволяет посетителям взаимодействовать с ботами, созданными на основе индивидуально обученной большой языковой модели. Они варьируются от чат-ботов-тренеров до симуляций вымышленных персонажей, многие из которых популярны среди подростков. Сайт позволяет пользователям, которые идентифицируют себя как 13-летних и старше, создавать учётную запись.

В поданных против Character.AI исках утверждается, что по крайней мере некоторые несовершеннолетние пользователи становятся навязчиво привязанными к ботам, которые готовы поддерживать беседы на темы секса, членовредительства, причинения вреда себе и другим, и даже самоубийства. В одном из случаев чат-бот намекнул подростку, которому родители запрещают долго сидеть за компьютером, что «разумной мерой» было бы убийство родителей. Другой подросток стал «очень злым и неуравновешенным», после общения с чат-ботом в течение некоторого времени. Истцы полагают, что боты Character.AI в подобных ситуациях должны направлять несовершеннолетних пользователей к ресурсам психологической поддержки.

Теперь версия для подростков получила специальную большую языковую модель и обеспечит более агрессивную блокировку вывода, который может быть «деликатным или наводящим на размышления», а также попытается лучше обнаруживать и блокировать пользовательские запросы ненадлежащего контента. При выявлении проявленного пользователем интереса к самоубийству или членовредительству, он будет перенаправлен на «Национальную линию по предотвращению самоубийств».

Несовершеннолетним также будет запрещено редактировать ответы ботов, что давало возможность добавлять контент, который Character.AI в противном случае мог бы заблокировать. Сейчас компания пытается бороться с появлением зависимости у пользователей. Кроме того, будут предприняты меры, чтобы предотвратить восприятие бота как живого человека. Появится отдельное предупреждение о том, что боты не могут предлагать профессиональные консультации.

Функции родительского контроля появятся в первом квартале следующего года. Они будут сообщать родителям, сколько времени ребёнок проводит в Character.AI и с какими ботами он взаимодействует чаще всего. Все изменения вносятся в сотрудничестве с «несколькими экспертами по безопасности подростков в Интернете», включая организацию ConnectSafely.

«Мы осознаем, что наш подход к безопасности должен развиваться вместе с технологией, которая управляет нашим продуктом, — создавая платформу, где творчество и исследование могут процветать без ущерба для безопасности, — говорится в пресс-релизе Character.AI. — Этот набор изменений является частью нашего долгосрочного обязательства по постоянному совершенствованию нашей политики и нашего продукта».