Платформа Character.AI, которая специализируется на общении и ролевых играх пользователей с созданными искусственным интеллектом персонажами, представила модель для генерации видео AvatarFX.

Источник изображения: x.com/character_ai

Пока AvatarFX доступна в формате закрытого бета-тестирования; она позволяет анимировать персонажей на платформе в различных стилях и с различными голосами — эти персонажи могут быть любыми: от человекоподобных до животных из 2D-мультфильмов. В отличие от конкурирующих решений вроде OpenAI Sora, AvatarFX — не просто генератор видеороликов по текстовым запросам. Пользователи могут создавать видео на основе существующих статических изображений, например, анимировать фотографии реальных людей.

Подобные решения создают широкое пространство для злоупотреблений, указывает ресурс TechCrunch: недобросовестные пользователи могут начать загружать фотографии знаменитостей или тех, с кем знакомы в реальной жизни, чтобы виртуальный персонаж сказал или сделал нечто компрометирующее. Технологии создания убедительных дипфейков существуют уже не первый год, но их включение в популярные потребительские продукты масштаба Character.AI лишь усугубляет угрозу.

В прошлом году трагедией закончилось общение созданного на платформе Character.AI ИИ-персонажа «Игры престолов» с 14-летним американским подростком. В ответ на это администрация сервиса добавила в приложение родительский контроль и дополнительные средства безопасности. Комментариев по поводу возможных злоупотреблений AvatarFX в компании не дали.

ИИ-сервис Character.AI в ближайшее время получит отдельную версию для подростков с интегрированным родительским контролем. Она установит «более консервативные» ограничения на ответы чат-ботов, «особенно когда речь идёт о романтическом контенте». Эти действия стали реакцией компании на пристальное внимание прессы к двум судебным искам, в которых Character.AI обвиняется в «способствовании членовредительству и самоубийству».

Источник изображения: Character.AI

Character.AI, основанный бывшими сотрудниками Google, позволяет посетителям взаимодействовать с ботами, созданными на основе индивидуально обученной большой языковой модели. Они варьируются от чат-ботов-тренеров до симуляций вымышленных персонажей, многие из которых популярны среди подростков. Сайт позволяет пользователям, которые идентифицируют себя как 13-летних и старше, создавать учётную запись.

В поданных против Character.AI исках утверждается, что по крайней мере некоторые несовершеннолетние пользователи становятся навязчиво привязанными к ботам, которые готовы поддерживать беседы на темы секса, членовредительства, причинения вреда себе и другим, и даже самоубийства. В одном из случаев чат-бот намекнул подростку, которому родители запрещают долго сидеть за компьютером, что «разумной мерой» было бы убийство родителей. Другой подросток стал «очень злым и неуравновешенным», после общения с чат-ботом в течение некоторого времени. Истцы полагают, что боты Character.AI в подобных ситуациях должны направлять несовершеннолетних пользователей к ресурсам психологической поддержки.

Теперь версия для подростков получила специальную большую языковую модель и обеспечит более агрессивную блокировку вывода, который может быть «деликатным или наводящим на размышления», а также попытается лучше обнаруживать и блокировать пользовательские запросы ненадлежащего контента. При выявлении проявленного пользователем интереса к самоубийству или членовредительству, он будет перенаправлен на «Национальную линию по предотвращению самоубийств».

Несовершеннолетним также будет запрещено редактировать ответы ботов, что давало возможность добавлять контент, который Character.AI в противном случае мог бы заблокировать. Сейчас компания пытается бороться с появлением зависимости у пользователей. Кроме того, будут предприняты меры, чтобы предотвратить восприятие бота как живого человека. Появится отдельное предупреждение о том, что боты не могут предлагать профессиональные консультации.

Функции родительского контроля появятся в первом квартале следующего года. Они будут сообщать родителям, сколько времени ребёнок проводит в Character.AI и с какими ботами он взаимодействует чаще всего. Все изменения вносятся в сотрудничестве с «несколькими экспертами по безопасности подростков в Интернете», включая организацию ConnectSafely.

«Мы осознаем, что наш подход к безопасности должен развиваться вместе с технологией, которая управляет нашим продуктом, — создавая платформу, где творчество и исследование могут процветать без ущерба для безопасности, — говорится в пресс-релизе Character.AI. — Этот набор изменений является частью нашего долгосрочного обязательства по постоянному совершенствованию нашей политики и нашего продукта».