Основатель мессенджера Telegram Павел Дуров пообещал французским судьям улучшить модерацию контента на платформе. Об этом сообщила радиостанция France Info со ссылкой на собственные осведомлённые источники.

Источник изображения: Rubaitul Azad / unsplash.com

Речь идёт о допросе, который состоялся 6 декабря и длился около 10 часов. В ходе допроса Дуров ответил на вопросы двух судей. «Отвечая на вопросы судей о незаконном контенте, который массово распространяется через Telegram, а также каналах, через которые реализуются наркотические средства, о похищенных банковских реквизитах, о возможности нанять киллера или о группах, предлагающих контент для педофилов, Павел Дуров, находившийся в сопровождении трёх адвокатов, пообещал "улучшить процедуры модерации" контента в Telegram», — говорится в сообщении France Info.

Павел Дуров отметил, что Telegram уже ведёт работу по улучшению алгоритмов модерации контента и ежемесячно с платформы за нарушение законов удаляются «от 15 до 20 млн учётных записей пользователей» по всему миру. Он также добавил, что Telegram не является единственной соцсетью или мессенджером, используемым разного рода недобросовестными пользователями для распространения незаконного контента.

Напомним, Дурова задержали во французском аэропорту Ле-Бурже в августе прошлого года. Позднее ему предъявили несколько обвинений, в том числе в соучастии в деятельности организованной группы по управлению онлайн-платформой для проведения незаконных транзакций, отказе от предоставления информации по запросу уполномоченных органов и др. Дурова отпустили из-под ареста, но на время проведения следствия он не имеет права покидать Францию.

В рамках начатого сегодня расследования, Еврокомиссия потребовала от соцсети X предоставить внутренние документы, касающиеся алгоритма рекомендаций платформы. Комиссия также издала «приказ о хранении» всех относящихся к делу документов, для контроля за возможным изменением алгоритма в будущем. Действия Еврокомиссии стали ответом на многочисленные жалобы на платформу со стороны немецких политиков в преддверии выборов в следующем месяце

В поступивших в Еврокомиссию жалобах утверждается, что алгоритм рекомендаций социальной сети X активно продвигает контент немецких ультраправых партий в преддверии выборов, которые запланированы в Германии на 23 февраля. Оправданность этих обвинений косвенно подтверждается заявлением Илона Маска (Elon Musk) в поддержку националистической партии «Альтернатива для Германии», в котором он утверждает, что эта партия «спасёт Германию».

На вопрос о том, не инициировано ли расширенное расследование Еврокомиссии спорным интервью Маска, представитель регулятора сообщил, что новый запрос помог «контролировать системы вокруг всех этих происходящих событий». Однако он подчеркнул, что расследование «полностью независимо от каких-либо политических соображений или каких-либо конкретных событий».

«Мы стремимся к тому, чтобы каждая платформа, работающая в ЕС, уважала наше законодательство, которое направлено на то, чтобы сделать онлайн-среду справедливой, безопасной и демократичной для всех граждан Европы», — заявила руководитель цифрового направления Еврокомиссии Хенна Вирккунен (Henna Virkkunen).

По сообщениям из осведомлённых источников, регулятор ЕС также запросил у соцсети X доступ к внутренним правилам модерации и алгоритмам продвижения контента.

Неожиданная реорганизация системы модерации контента в духе «свободы слова» на принадлежащей компании Meta✴ Platforms соцсети Facebook✴ вызвала опасения со стороны рекламодателей. Они считают, что такой подход может привести к всплеску вредоносного контента и дезинформации на платформе, а никому не хочется размещать свою рекламу рядом с подобным контентом. В итоге это негативно скажется на доходах платформы от рекламы.

Источник изображения: about.fb.com

Об этом пишет издание Financial Times со ссылкой на крупных рекламодателей, считающих, что решение Meta✴ прекратить действие программы проверки фактов и ослабление модерации публикуемых пользователями сообщений может дорого обойтись соцсети, большая часть дохода которой приходится на рекламу. Это связано с тем, что бренды опасаются того, что их реклама будет появляться рядом с токсичным контентом.

«Некоторые бренды уже сейчас тщательно оценивают свои планы, и это, несомненно, станет коммерческой проблемой для обеих сторон», — считает Фергус МакКаллум (Fergus McCallum), глава рекламного агентства TBWA\MCR.

Резкое ослабление контроля над онлайн-контентом Facebook✴ является частью стремления главы Meta✴ Марка Цукерберга (Mark Zuckerberg) заручиться поддержкой избранного президента США Дональда Трампа (Donald Trump) и одного из его главных союзников в лице Илона Маска (Elon Musk). Всего несколько дней потребовалось Цукербергу, чтобы сменить главу отдела глобальной политики Meta✴, а также привести в состав совета директоров компании Дана Уайта (Dana White), который является другом Трампа. В конце прошлой недели Meta✴ также объявила о прекращении программы по обеспечению многообразия, равноправия и инклюзивности, а Цукерберг в одном из недавних выступлений заявил, что корпорации стали «культурно кастрированными» и нуждающимися в большей «мужской энергии» и «большем поощрении агрессии».

Однако отказ от профессиональных специалистов по проверке фактов в пользу подхода соцсети X, где пользователи сами могут отмечать фейковые посты, вызвал беспокойство рекламной индустрии. Meta✴ долгое время находилась среди лидеров сегмента онлайн-рекламы наряду с Google, создав себе репутацию относительно безопасного партнёра, способного обеспечить рекламодателям высокую отдачу и имеющего тесные связи с крупными брендами. В отличие от Meta✴, принадлежащая Маску соцсеть X столкнулась с оттоком рекламодателей именно из-за проблем с модерацией контента, что привело к снижению доходов компании.

«Meta проделала огромную работу по устранению худших проявлений токсичного контента, и, если их новая политика отменит это, рекламодатели быстро заметят это и накажут компанию», — уверен Ричард Эксон (Richard Exon), основатель рекламного агентства Joint.

Лу Паскалис (Lou Paskalis), исполнительный директор маркетинговой консалтинговой компании AJL Advisory и бывший глава отдела по взаимодействию со СМИ в Bank of America, считает, что изменение политики Meta✴ в отношении модерации контента «создаст препятствия для маркетологов, которые не любят рисковать». По его мнению, это приведёт к тому, что некоторые рекламодатели сократят свою зависимость от Meta✴.

Топ-менеджеры других рекламных агентств заявили, что новости об изменении политики Meta✴ заставили их «нервничать», и они хотят получить от компании дополнительную информацию о том, как именно будут реализованы анонсированные Цукербергом изменения. «Бренды вступают в новый мир, где на устоявшиеся правила работы больше нельзя полагаться», — отметил Патрик Рид (Patrick Reid), исполнительный директор креативного рекламного агентства Imagination.

Рекламодатели также высказывают опасения по поводу планов Meta✴ скорректировать работу алгоритмов модерации, чтобы «резко сократить» количество контента, который автоматически удаляется фильтрами. Это включает в себя снятие ограничений на публикацию сообщений на такие темы, как миграция и гендер. Вместо этого компания хочет сосредоточить свои силы на поиске более серьёзных нарушений, в том числе связанных с мошенничеством, терроризмом, самоубийствами и др. При этом Цукерберг признал, что теперь системы компании будут отлавливать «меньше плохих вещей».

При этом не все рекламодатели столь уверены в том, что ослабление цензуры на платформах Meta✴ серьёзно навредит бизнесу компании. «Холодная и жёсткая правда заключается в том, что рекламодатели будут беспокоиться только в том случае, если это повредит их показателям. Если показатели останутся стабильными, никто не станет ломать голову над тем, «где» и «как» демонстрируется их реклама», — заявил Алекс Чизман (Alex Cheeseman), глава британского подразделения Outbrain.

На прошедшей недавно выставке CES 2025 глава маркетингового подразделения Meta✴ Алекс Шульц (Alex Shultz) заявил, что инструменты обеспечения безопасности рекламодателей никуда не денутся, и компания не спешит с реализацией новой политики, чтобы дать рекламодателям «время адаптироваться». Глава бизнес-группы Meta✴ Никола Мендельсон (Nicola Mendelson) написал в недавнем сообщении в соцсети LinkedIn, что Meta✴ продолжит инвестировать в инструменты безопасности для рекламодателей.

По данным источника, новость об изменении политики Meta✴ разделила на два лагеря сотрудников компании. Часть из них восприняли ослабление цензуры как отказ от важных мер защиты, но при этому они «боялись открыто высказывать своё мнение», опасаясь увольнения. Однако большая часть сотрудников отнеслась положительно к изменению политики компании, особенно потому, что проверка фактов считается «неблагодарным» занятием, «поскольку та или иная сторона обязательно обвинит вас в том, что вы заняли чью-то сторону». Люди, знакомые с Цукербергом лично, говорят о том, что глава Meta✴ давно является сторонником свободы слова, но он привык менять свою позицию в зависимости от политического и общественного давления.

Компания Meta✴ освободила некоторых ведущих рекламодателей на её платформах от стандартных способов модерации контента. Она пошла на эту меру, чтобы защитить свой многомиллиардный бизнес, опасаясь, что её автоматизированные системы модерации могли неправомерно применять санкции к ведущим брендам, пишет Financial Times (FT).

Источник изображения: Christin Hume / unsplash.com

Согласно внутренним документам Meta✴, с которыми ознакомились журналисты FT, в Facebook✴ и Instagram✴ были введены «защитные механизмы», работающие в пользу клиентов, которые тратят на платформах значительные суммы. Эти механизмы имеют более высокий приоритет, чем автоматизированные средства модерации на платформах — публикации ведущих рекламодателей проверяются только людьми. К примеру, существует термин «покупатели P95», обозначающий клиентов с расходами более $1500 в день. Такие клиенты освобождаются от действия системы автоматизированной модерации, и их публикации отправляются на ручную проверку человеком. Информация появилась ещё до того, как на этой неделе глава Meta✴ Марк Цукерберг (Mark Zuckerberg) сообщил, что компания реорганизует программу проверки фактов и снизит строгость инструментов автоматизированной модерации.

В Meta✴ обнаружили, что системы автоматизированной модерации ошибочно помечали учётные записи с высокими расходами на рекламу как нарушающие действующие в соцсетях правила, гласят внутренние документы компании от 2023 года. Число ложных срабатываний систем автоматизированной модерации было непропорционально высоким для аккаунтов с высокими расходами, сообщили FT в Meta✴; в компании, однако, не ответили, были ли какие-либо из «защитных механизмов» временными, или они продолжают действовать на постоянной основе. Представитель Meta✴ назвал представленные FT сведения «просто неточными» и «основанными на выборочном прочтении документов, в которых ясно указывается на то, о чём мы заявляли публично: предотвращение ошибок в применении правил». Рекламная выручка составляет значительную часть доходов Meta✴, которые по итогам 2023 года составили почти $135 млрд.

Источник изображения: Corinne Kutz / unsplash.com

В стремлении не допустить появления на платформе мошеннических или вредоносных материалов компания проверяет рекламные объявления, используя средства модерации на основе искусственного интеллекта и привлекая людей для выполнения этой задачи. В одном из внутренних документов Meta✴ говорится, что действуют семь механизмов, направленных на защиту бизнес-аккаунтов, которые приносят более $1200 дохода за 56 дней, и учётных записей частных лиц, которые тратят на рекламу более $960 за тот же период. В нём также указано, что такие механизмы помогают компании принимать решения о действиях при поступлении сигналов от систем ИИ-модерации — они были разработаны для «подавления» сигналов с учётом таких критериев как уровень расходов на рекламу.

Некоторые учётные записи с высокими расходами на рекламу отключаются от автоматизированной модерации и передаются на обслуживание профильным специалистам, признали в Meta✴, но подчеркнули, что ни один рекламодатель не освобождается от обязанности соблюдать действующие на платформах правила. Категории защитных барьеров для рекламодателей с высокими расходами подразделяются на «низкие», «средние» и «высокие» с точки зрения того, насколько они «оправданы». Основанные на уровне расходов механизмы имеют «низкий» приоритет, а критерий надёжности бизнеса у рекламодателя соответствует «высокому». Учитывая указанные в документах пороговые значения, от стандартных средств модерации могли быть освобождены несколько тысяч рекламодателей. По оценкам аналитиков Sensor Tower, в десятку крупнейших рекламодателей Facebook✴ и Instagram✴ входят Amazon, Procter & Gamble, Temu, Shein, Walmart, NBCUniversal и Google.

В одном из документов сотрудники Meta✴ предлагают активнее предлагать защиту от ИИ-модерации клиентам, отнесённым к категориям «платиновых и золотых покупателей» рекламы — чрезмерная строгость автоматизированных систем, по их мнению, «стоит Meta✴ доходов и вредит нашей репутации». Их предложили вывести из-под действия ряда систем за исключением «очень редких случаев», но и полностью освобождать категорию «платиновых и золотых» клиентов от модерации не стали — в 73 % случаев действия автоматизированных систем оказались оправданными.

Администрация мессенджера Telegram опубликовала статистику по блокировкам групп и каналов в текущем году — их число достигло 15 млн. Так администрация платформы отреагировала на обвинения французских властей в недостаточной модерации.

Источник изображения: Rubaitul Azad / unsplash.com

Данные о числе блокировок появились на сайте Telegram — эти каналы, по версии администрации платформы, нарушали политику сервиса или законодательство. За 2024 год были заблокированы 15,3 млн групп и каналов, в том числе 702 тыс. групп, в которых размещались материалы, содержащие контент с жестоким обращением с детьми, а также 129 тыс. групп и каналов террористической тематики; удалены более 100 млн единиц контента, связанного с терроризмом.

Источник изображения: telegram.org

С 2015 года модерация сочетала механизмы проактивного мониторинга с использованием алгоритмов машинного обучения, а также приём жалоб от пользователей; в этом году в Telegram появились средства модерации на основе искусственного интеллекта. Основатель платформы Павел Дуров был 24 августа арестован во Франции — его обвинили в недостаточной модерации и отказе сотрудничать с властями. Впоследствии ему был присвоен статус подозреваемого в распространении детской порнографии, мошенничестве и других преступлениях, которые совершались с использованием Telegram. Первый допрос Дурова состоялся 6 декабря.

Как видно на графике выше, после ареста Дурова количество блокировок заметно выросло.

Администрация Telegram внесла изменения в содержимое справочного раздела, дав невнимательным гражданам повод сделать вывод, что платформа теперь будет модерировать переписку пользователей. В действительности личные и групповые чаты мессенджера так и остались приватными, утверждает его администрация.

Источник изображения: Rubaitul Azad / unsplash.com

Ранее на странице «Часто задаваемые вопросы» в разделе подачи жалоб на незаконные материалы отмечалось, что «все чаты Telegram и групповые чаты являются приватными для их участников. Мы не обрабатываем никакие связанные с ними запросы». Сейчас этот раздел гласит: «Все приложения Telegram имеют кнопки „Сообщить“, которые позволяют вам сообщать нашим модераторам о незаконных материалах — всего за несколько нажатий». Приводится также адрес электронной почты для обращения и краткие инструкции, чтобы ускорить реакцию администрации.

Но это не значит, что платформа изменила свою политику и теперь собирается модерировать переписку пользователей. Фраза о приватном характере личных и групповых чатов переместилась в соседний раздел. В нём уточняется, что в отличие от личной и групповой переписки наборы стикеров, каналы и боты содержат информацию, доступную неограниченному кругу пользователей. Ранее глава Telegram Павел Дуров заявил, что администрации мессенджера приходится выдерживать баланс между безопасностью и конфиденциальностью пользователей.

Исповедующий бескомпромиссную свободу слова Илон Маск (Elon Musk) в деятельности принадлежащей ему социальной сети вынужден руководствоваться существующими правилами и законами, а ещё компания пытается добиться расположения рекламодателей. Работой на этих направлениях будут руководить два новых менеджера, назначенных на профильные посты недавно.

Источник изображения: Unsplash, BoliviaInteligente

Как сообщает Bloomberg, курировать изменения в информационной политике X отныне будет Кайли Макробертс (Kylie McRoberts), которая до этого занимала в компании другой пост, а за обеспечение взаимодействия с рекламодателями в области безопасности контента будет отвечать Йейл Коэн (Yale Cohen), ранее работавший в издательстве Publicis Media.

Генеральный директор X Линда Яккарино (Linda Yaccarino) в письме Bloomberg по поводу этих назначений сообщила: «Когда мы говорим о том, что безопасность и свобода слова могут и должны сосуществовать на страницах X — мы действительно убеждены в этом. Специалисты по безопасности контента без устали работают, буквально день и ночь, по всему миру, чтобы сделать это реальностью».

Не секрет, что часть рекламодателей отвернулась от X из-за провокационных высказываний Илона Маска или его попыток поставить свободу слова выше принятых в западном обществе принципов морали. Купив социальную сеть Twitter, как она раньше именовалась, в октябре 2022 года, Маск существенно сократил штат специалистов по безопасности контента. Нынешние назначения должны символизировать обратную тенденцию, пусть и не в пропорциональном размере. Макробертс станет уже третьим руководителем X по вопросам безопасности контента с момента перехода социальной сети под контроль Илона Маска. Этот пост пустовал с июня прошлого года, когда предшественница Макробертс Элла Ирвин (Ella Irwin) уволилась из X.

Компания X, ранее известная как Twitter, объявила о создании нового центра модерации контента в Остине, штат Техас. Это решение было принято накануне слушаний 31 января в Сенате США, где генеральный директор X Линда Яккарино (Linda Yaccarino) должна будет объяснить сенаторам стратегию компании по борьбе с распространением материалов, касающихся сексуального насилия над детьми (Child Sexual Abuse Material — CSAM).

Источник изображения: X

Сосредоточенный на контенте, связанном с CSAM, центр станет первым полноценным подразделением по обеспечению безопасности и доверия после масштабных увольнений, проведённых после покупки платформы Илоном Маском (Elon Musk). В новом техасском офисе X планируется трудоустроить сто сотрудников. Новый центр модерации будет первым подобным подразделением с момента, когда Маск реорганизовал команды модерации вскоре после приобретения платформы.

Как сообщает компания X, обновлённая структура команды безопасности будет заниматься не только CSAM, но и другими аспектами модерации контента, включая противодействие разжиганию ненависти. Новый офис в Остине уже упоминается в блоге компании как ключевой элемент в их стратегии борьбы с нежелательным контентом, хотя точные обязанности новой команды и сроки открытия офиса пока не раскрываются.

Дополнительно, Джо Бенаррох (Joe Benarroch), операционный директор X, в интервью Bloomberg подчеркнул, что новый центр будет способствовать улучшению модерации в целом, охватывая широкий спектр задач: от борьбы со спамом и мошенничеством до обеспечения качественной поддержки клиентов.

Объявление о наборе сотрудников для офиса в Остине указывает на многофункциональность новой команды и подчёркивает её значимость в рамках общей стратегии безопасности компании X. Этот шаг демонстрирует решимость социальной сети X встать на защиту безопасности в интернете и готовность к активному участию в решении проблем цифрового мира.

В октябре позапрошлого года после длительных попыток сбить цену Илон Маск (Elon Musk) был вынужден купить компанию Twitter на оговорённых ещё в апреле 2022 года условиях, а позже он переименовал соответствующую социальную сеть в X. Расследование австралийских регуляторов позволило выяснить, что с момента перехода компании под контроль Маска он уволил 1213 сотрудников, отвечавших за модерацию контента.

Источник изображения: Unsplash, charlesdeluvio

Как поясняет South China Morning Post, соответствующие данные австралийской правительственной организации eSafety Commission удалось получить от руководства X в соответствии с положениями локального Закона об онлайн-безопасности (Online Safety Act). Внимание регуляторов привлекло то обстоятельство, что в последующие за сменой собственника Twitter месяцы на страницах социальной сети заметно увеличилось количество «токсичного» контента.

Австралийским чиновникам удалось получить от X полный расклад по штатному расписанию, описывающий количество специалистов различного профиля, работающих в компании или трудившихся там ранее. Вместе с подрядчиками, ряды персонала X за прошедшее с октября 2022 года время покинули 1213 специалистов по модерации контента. Непосредственно инженерного персонала такого профиля было сокращено около 80 % от изначального количества. По мнению регуляторов, подобные действия нового руководства социальной сети привели к плачевным последствиям и росту систематических злоупотреблений информационной политикой платформы со стороны недобросовестных пользователей.

В октябре прошлого года австралийские власти уже штрафовали X за отсутствие внятных механизмов по борьбе с распространением незаконных материалов с участием несовершеннолетних. Компания Илона Маска не только не выплатила назначенный штраф в размере $388 000, но и выступила со встречной судебной претензией к австралийским регуляторам, которая сейчас рассматривается.

Администрация Reddit продолжает считать правильным решение о введении платного доступа к API, хотя оно и далось ценой конфликта с частью сообщества — в какой-то момент дошло до восстания модераторов. Но в перспективе платформа может внедрить модерацию на основе алгоритмов искусственного интеллекта, заявил ресурсу Fast Company гендиректор Reddit Стив Хаффман (Steve Huffman).

Источник изображения: Brett Jordan / unsplash.com

В мае администрация платформы объявила, что доступ к API будет платным. Это было сделано из-за того, что на контенте ресурса начали обучать модели ИИ. Хаффман подчёркивает, что Reddit является открытой платформой, но её контентом пользовались не только мелкие игроки, но и крупнейшие компании мира. Из-за введения платы за доступ к API сообщество лишилось большинства неофициальных приложений, некоторые из которых считались более удобными, чем официальные.

Гендиректор продолжает считать, что это решение было правильным, но донести его до сообщества можно было и по-другому, чтобы избежать конфликта или хотя бы смягчить его. Тогда не было бы восстания модераторов, которые начали злоупотреблять своими полномочиями, чтобы саботировать работу платформы: одни сообщества закрывались, а другие получали «взрослую» пометку NSFW, не позволявшую размещать в них рекламу.

А в перспективе на Reddit, заявил Хаффман, появятся механизмы модерации при помощи алгоритмов ИИ — они не заменят живых людей, а будут оказывать им помощь. В разных сообществах действуют разные правила, «иногда строгие, а иногда и эзотерические». Новички порой не могут даже начать общение в таких сообществах, потому что их публикации оперативно удаляются. В таких случаях ИИ окажется полезным — он будет указывать пользователям на нарушения правил ещё до публикации постов, и модераторам не потребуется делать это самостоятельно.

По утверждению независимых источников, за последние дни множество руководителей компаний и бывших коллег главы X Линды Яккарино (Linda Yaccarino) в частном порядке призвали её уйти в отставку, чтобы «спасти репутацию». Такие советы Линда получала даже на свадьбе своей дочери в субботу. Однако она отказалась покинуть компанию, заявив, что «верит в миссию X и её сотрудников». Напомним, социальная сеть X подверглась обвинениям в некачественном модерировании националистического контента, а Маска назвали на этом фоне антисемитом.

Источник изображения: Associated Press

Некоммерческая группа левого толка Media Matters for America на прошлой неделе опубликовала отчёты, которые демонстрируют рекламу на платформе X ведущих брендов рядом с постами, пропагандирующими «пронацистский» и «белый националистический контент». Эти обвинения побудили такие бренды, как IBM, Apple, Walt Disney, Comcast и Warner Bros, приостановить свою рекламу на платформе X, опасаясь соседства с «сомнительными материалами».

Многие компании сейчас пытаются дистанцироваться от владельца X Илона Маска (Elon Musk). Маск, самопровозглашённый «сторонник свободы слова», ослабил политику модерации и сократил ресурсы и персонал, обеспечивающие безопасность. Бренды опасаются жалоб акционеров и потенциальных бойкотов от своих клиентов, если продолжат размещать рекламу на платформе. Критики Маска считают, что он «должен найти новую модель дохода, поскольку он убил рекламу на платформе, и точка».

X нанял Линду Яккарино в июне, чтобы вернуть рекламодателей на платформу. До этого Линда работала руководителем отдела рекламы в NBCUniversal. Благодаря своим налаженным связям среди маркетологов крупных компаний, ей неоднократно приходилось преодолевать неприятие ими изменений, внесённых Маском в платформу, и противоречивых комментариев, которые он публиковал.

Яккарино утверждает, что за время её пребывания у руля социальной сети, показатели безопасности X улучшились. На прошлой неделе в ответ на обвинения в адрес платформы она заявила: «X предельно ясно рассказала о наших усилиях по борьбе с антисемитизмом и дискриминацией. Этому абсолютно нет места нигде в мире».

В воскресенье Маск написал в своём аккаунте X: «На прошлой неделе в СМИ появились сотни фальшивых историй, в которых утверждалось, что я антисемит. Нет ничего более далёкого от правды. Я желаю человечеству только лучшего, процветающего и захватывающего будущего для всех». Днём ранее Маск пообещал подать «термоядерный иск» против Media Matters за то, что, по его словам, было «мошеннической атакой» на X. Исполнительный директор Media Matters Анджело Карузоне (Angelo Carusone) в свою очередь уверен в собственной правоте и утверждает, что легко выиграет в суде.

Google установит новые требования к модерации контента для приложений на Android, использующих ИИ. С начала следующего года разработчики таких приложений должны внедрить функцию для жалоб на оскорбительный или спорный материал непосредственно в пользовательском интерфейсе. Эти изменения затронут не только чат-боты на основе ИИ, но и приложения, создающие визуальный и аудио контент. Инициатива направлена на борьбу с недопустимым контентом, в том числе с дипфейками и дезинформацией.

Источник изображения: dassel / Pixabay

Google уточнила, что новая политика будет применяться не ко всем приложениям с ИИ. Она коснётся чат-ботов, приложений для создания изображений, голосового и видеоконтента. Приложения, которые только хранят сгенерированный ИИ-контент или используют ИИ для обобщения текстовых материалов, останутся вне зоны действия новых правил.

Google акцентирует внимание на определённых категориях контента, требующих строжайшей модерации. В этот список входят фальшивые видео или изображения, созданные без согласия изображённых на них людей, а также записи реальных людей, применяемые в мошеннических целях.

Кроме того, компания будет особенно внимательно следить за распространением ложной или вводящей в заблуждение информации, связанной с выборами. Не менее строгий контроль установлен и для приложений, в которых генеративный ИИ используется преимущественно для сексуального удовлетворения, а также создания вредоносного кода.

В своём заявлении Google подчеркнула, что генеративный ИИ является быстро развивающейся категорией приложений, что даёт основания полагать, что компания может пересмотреть свою политику в области ИИ по мере дальнейшего развития технологии. Помимо новых правил в отношении контента, генерируемого ИИ, Google также расширила политику разрешений на использование фото- и видеоматериалов в Play Store, ограничивая доступ Android-приложений к данным.

«Фотоматериалы и видеозаписи на устройствах пользователей являются их личной и конфиденциальной информацией, требующей максимально ответственного отношения, — подчеркнула компания в своём заявлении. — Такие данные создают потенциальную уязвимость для пользователей в случае утечек или других форм эксплуатации. Ограничение доступа к ним не только повышает уровень безопасности пользователей, но и снижает нагрузку на разработчиков в части обработки чувствительной информации».

OpenAI рассказала, что её разработки способны облегчить решение одной из самых сложных и неприятных технических задач — задачи модерации контента. Большая языковая модель GPT-4 способна заменить десятки тысяч модераторов-людей, демонстрируя столь же высокую точность и даже большую последовательность.

Источник изображения: ilgmyzin / unsplash.com

Компания OpenAI сообщила в корпоративном блоге, что уже использует GPT-4 для уточнения собственной политики в отношении контента, его маркировки и принятия отдельных решений. Разработчик даже привёл ряд преимуществ искусственного интеллекта перед традиционными подходами к модерации контента.

Во-первых, люди интерпретируют политику по-разному, тогда как машины последовательны в своих суждениях. Рекомендации по модерации могут быть объёмными и постоянно меняться — людям требуется много времени, чтобы научиться и адаптироваться к переменам, а большие языковые модели реализуют новые политики мгновенно. Во-вторых, GPT-4 способен помочь разработать новую политику в течение нескольких часов. Процесс составления маркировки, сбора отзывов и уточнений обычно занимает несколько недель или даже месяцев. В-третьих, нельзя забывать о психологическом благополучии работников, которые по долгу службы постоянно сталкиваются с вредоносным контентом.

Популярные соцсети существуют уже почти два десятилетия, не говоря о прочих онлайн-сообществах, но модерация контента по-прежнему остаётся одной из сложнейших задач для онлайн-платформ. Meta✴, Google и TikTok сформировали целые армии модераторов, которым приходится просматривать ужасный и часто травмирующий контент. Большинство из них проживает в развивающихся странах с низкой заработной платой, работает в аутсорсинговых компаниях и пытается самостоятельно справляться с психологическими травмами, получая минимальный объём помощи.

Источник изображения: D koi / unsplash.com

OpenAI и сама в значительной степени ещё полагается на человеческий ресурс — она нанимает работников из африканских стран для комментирования и разметки контента. Этот контент может быть проблемным, что делает работу таких сотрудников напряжённой при низкой зарплате. А вышеупомянутые Meta✴, Google и TikTok в дополнение к модераторам-людям пользуются услугами ИИ-моделей собственной разработки, поэтому предложенное OpenAI решение окажется полезным для небольших компаний, у которых нет ресурсов на разработку собственных систем.

Каждая платформа признаёт, что идеальных механизмов модерации в больших масштабах не существует: ошибки совершают и люди, и машины. Процент ошибок может быть низким, но в открытый доступ по-прежнему прорываются миллионы потенциально опасных публикаций — и, вероятно, такое же число безвредного контента скрывается или удаляется. Плюс остаётся «серая зона» недостоверного или агрессивного контента, который отвечает требованиям политики модерации, но озадачивает автоматизированные системы — такой контент сложно оценивать даже модераторам-людям, вот и машины часто совершают ошибки. То же относится к публикациям сатирического характера и материалам, документирующим преступления или превышения полномочий сотрудниками правоохранительных органов. Наконец, нельзя забывать и о внутренних проблемах, характерных для систем ИИ — «галлюцинациях» и «дрейфе», которые также способны затруднить работу ИИ-модераторов.