Компания X, ранее известная как Twitter, объявила о создании нового центра модерации контента в Остине, штат Техас. Это решение было принято накануне слушаний 31 января в Сенате США, где генеральный директор X Линда Яккарино (Linda Yaccarino) должна будет объяснить сенаторам стратегию компании по борьбе с распространением материалов, касающихся сексуального насилия над детьми (Child Sexual Abuse Material — CSAM).

Источник изображения: X

Сосредоточенный на контенте, связанном с CSAM, центр станет первым полноценным подразделением по обеспечению безопасности и доверия после масштабных увольнений, проведённых после покупки платформы Илоном Маском (Elon Musk). В новом техасском офисе X планируется трудоустроить сто сотрудников. Новый центр модерации будет первым подобным подразделением с момента, когда Маск реорганизовал команды модерации вскоре после приобретения платформы.

Как сообщает компания X, обновлённая структура команды безопасности будет заниматься не только CSAM, но и другими аспектами модерации контента, включая противодействие разжиганию ненависти. Новый офис в Остине уже упоминается в блоге компании как ключевой элемент в их стратегии борьбы с нежелательным контентом, хотя точные обязанности новой команды и сроки открытия офиса пока не раскрываются.

Дополнительно, Джо Бенаррох (Joe Benarroch), операционный директор X, в интервью Bloomberg подчеркнул, что новый центр будет способствовать улучшению модерации в целом, охватывая широкий спектр задач: от борьбы со спамом и мошенничеством до обеспечения качественной поддержки клиентов.

Объявление о наборе сотрудников для офиса в Остине указывает на многофункциональность новой команды и подчёркивает её значимость в рамках общей стратегии безопасности компании X. Этот шаг демонстрирует решимость социальной сети X встать на защиту безопасности в интернете и готовность к активному участию в решении проблем цифрового мира.

Исследователи из Стэнфорда обнаружили, что популярный набор данных LAION-5B, используемый для обучения моделей генеративного искусственного интеллекта, и применявшийся для Stable Diffusion и Google Imagen, включает в себя сотни ссылок на материалы сексуального насилия над детьми (Child Sexual Abuse Material — CSAM). Установлено, что LAION-5B включал по меньшей мере 1679 нелегальных изображений, взятых из постов в социальных сетях и популярных сайтов для взрослых.

Источник изображения: LAION

Исследователи начали изучение набора данных LAION в сентябре 2023 года, стремясь выяснить, используются ли там материалы с сексуальным насилием над детьми. С этой целью хеши или идентификаторы изображений отправлялись на платформы обнаружения CSAM, такие как PhotoDNA, и в Канадский центр защиты детей.

Исследователи из Стэнфорда отметили, что наличие CSAM в наборе данных для обучения ИИ не обязательно негативно повлияет на результаты обученных моделей. Тем не менее, всегда есть вероятность, что модель использует что-то из незаконных материалов при генерации изображений. «Наличие повторяющихся идентичных случаев CSAM также является проблематичным, особенно из-за увеличения вероятности получения изображений конкретных жертв», — говорится в отчёте.

LAION, некоммерческая организация, которая управляет набором данных, сообщила, что придерживается политики «нулевой терпимости» к вредоносному контенту и временно удалит наборы данных из Сети. Согласно сайту LAION, набор данных не является непосредственно репозиторием изображений. Он представляет собой результат индексирования ресурсов интернета и содержит ссылки на изображения и замещающий текст.

Stability AI сообщила, что внутренние правила компании запрещают неправомерное использование её платформ. Компания утверждает, что при обучении своих моделей на наборе данных LAION-5B, она использовала лишь часть материалов, которые отбирались в том числе и с учётом безопасности.

Эксперты полагают, что будет сложно полностью удалить проблемный контент из моделей ИИ, обученных на нём. Они рекомендуют подождать, чтобы модели, обученные на LAION-5B, такие как Stable Diffusion 1.5, «устарели, а распространение прекратилось там, где это возможно». Google выпустила новую версию Imagen, но не раскрыла, на каком наборе данных она обучалась.

Генеральные прокуроры США призвали Конгресс создать комитет для расследования влияния ИИ на эксплуатацию детей и запретить создание CSAM, генерируемого ИИ.