Теги → модерация контента

Instagram понизит видимость потенциально вредного контента

Администрация Instagram сообщила о новых мерах, которые предпринимаются для снижения видимости «потенциально вредного» контента в приложении. Алгоритм, ранжирующий публикации в основной ленте и Stories, теперь станет уменьшать приоритет содержимого, которое «может содержать издевательства, ненависть или призывы к насилию».

Источник изображения: about.instagram.com

Источник изображения: about.instagram.com

Компания отметила, что правила использования сервиса уже содержат запрет на публикацию материалов подобного рода, однако новые меры оправдают себя в спорных или пограничных случаях, а также при размещении контента, который ещё не был удалён модераторами. Система работает в полностью автоматическом режиме и для анализа контента, а также его отнесения к той или иной категории будут рассматриваться многочисленные критерии вплоть до подписей к картинкам. К примеру, если ранее было удалено какое-либо изображение, и сопровождавшая его подпись появилась в новой публикации, то такая публикация сразу будет пессимизирована.

До настоящего момента платформа производила ранжирование содержимого только в общедоступном разделе Explore, однако теперь сервис решил озаботиться тем контентом, который пользователи видят непосредственно в своих лентах, если авторы, на которых они подписаны, публикуют нечто неприемлемое. Нечто подобное Instagram начала практиковать в 2020 году — тогда производилась пессимизация аккаунтов, уличённых модераторами в распространении дезинформации. Новая функция платформы предполагает понижение не аккаунтов в целом, а только отдельных записей.

Администрация сервиса также сообщила, что новый алгоритм учитывает историю жалоб, подаваемых пользователями. Если по каким-либо признакам система решит, что на очередную публикацию пользователь тоже может пожаловаться, её позиция в ленте будет понижена.

Microsoft приобрела компанию Two Hat, которая обеспечивает модерацию в сообществах Xbox

Microsoft приобрела компанию Two Hat, поставщика услуг модерации контента, который уже несколько лет следит за порядком в сообществах Xbox. Two Hat, основанная почти 10 лет назад бывшим специалистом по кибербезопасности Disney Interactive, использует ИИ для классификации и фильтрации миллиардов взаимодействий между людьми, анализируя текстовые сообщения, изображения, видео, имена пользователей и многое другое.

theverge.com

theverge.com

Приобретение Microsoft компании Two Hat призвано улучшить модерацию контента в играх и распространить её на другие потребительские услуги редмондской корпорации. В этой области у Microsoft большие амбиции. В начале этого года компания наняла бывшего руководителя Uber, который возглавил работу над новыми потребительскими приложениями. Крое того, в последнее время Microsoft пыталась приобрести популярные социальные продукты, включая TikTok, Pinterest и Discord. Генеральный директор компании Сатья Наделла (Satya Nadella) выразил заинтересованность в том, чтобы Microsoft сосредоточилась на сообществах, построенных вокруг создателей контента, а модерация играет первостепенную роль в любом онлайн-сервисе, основанном на сообществе.

theverge.com

theverge.com

У Two Hat есть несколько клиентов помимо Microsoft, и редмондская компания не планирует прекращать их поддержку. Мало того, компания заявляет о намерении привлечь новых клиентов. Что касается сотрудничества Two Hat и Microsoft, три года назад редмондский техногигант запустил ряд текстовых фильтров для своей сети Xbox, после того, как глава игрового бизнеса Фил Спенсер (Phil Spencer) изложил план по борьбе с токсичным поведением в играх. Two Hat помогала Microsoft в реализации этих идей. Что касается планов на будущее, сообщается, что Microsoft намерена получить возможность модерировать сеансы Xbox Live, фильтруя голосовые чаты в режиме реального времени.

СМИ массово опубликовали расследования на основе слитых документов Facebook — компания не хочет решать накопившиеся проблемы

Компания Facebook столкнулась с новой порцией журналистских расследований, результаты которых были практически одновременно опубликованы несколькими американскими СМИ. Эти расследования основаны на данных, полученных из внутренних документов компании, которые предоставила бывшая сотрудница Facebook Фрэнсис Хауген (Frances Haugen).

Глава Facebook Марк Цукерберг / Изображение: Chip Somodevilla / Getty Images

Глава Facebook Марк Цукерберг / Изображение: Chip Somodevilla / Getty Images

Многочисленные документы, которые обнародовала Хауген, показывают, что Facebook в курсе многих проблем своей платформы, но не предпринимает усилий для их устранения, поскольку это может привести к снижению просмотров и получаемых доходов. Например, исследование, датированное серединой прошлого года, показало, что в Facebook существовало множество групп сторонников популярной в США теории заговора QAnon, причём алгоритмы соцсети рекомендовали некоторым пользователям присоединиться к ним. Позднее такие группы были заблокированы, но длительное время этого не происходило.

В сообщении CNN, которое посвящено внутреннему анализу компании событий 6 января 2021 года, когда американские граждане буквально штурмом захватили Капитолий, говорится, что Facebook предприняла недостаточные меры для ограничения распространения информации с призывами к беспорядкам. Модераторы рассматривали такой контент как отдельные фрагменты вместо того, чтобы объединить свои усилия для борьбы с его распространением среди пользователей соцсети.

Бывшая сотрудница Facebook Фрэнсис Хауген / Изображение: Stefani Reynolds | Bloomberg | Getty Images

Бывшая сотрудница Facebook Фрэнсис Хауген / Изображение: Stefani Reynolds | Bloomberg | Getty Images

Газета The New York Times не осталась в стороне и тоже изучила опубликованные Хауген документы. В результате журналисты опубликовали материал о распространении дезинформации и призывов к насилию в Индии. Для эффективной борьбы с контентом такого типа у Facebook не было достаточного количества ресурсов в регионе, хотя компания и пыталась противостоять его распространению.

В публикации The Wall Street Journal отмечено, что, помимо прочего, призывы к беспорядкам и насилию распространялись среди жителей Индии с помощью мессенджера WhatsApp, который также принадлежит Facebook. Эта статья последовала за серией публикаций, в которых говорилось, что Facebook давно известно о том, что принадлежащая ей социальная сеть Instagram наносит вред психическому здоровью подростков, но компания не предпринимает никаких действий, чтобы исправить это. В это же время издание Protocol опубликовало серию статей, посвящённых проблемам, которые стали достояниям общественности благодаря внутренним документам Facebook.

Ранее в этом месяце Хауген дала показания перед комиссией Сената США по поводу документов, которые благодаря ей стали достоянием общественности. Facebook пытается дискредитировать свою бывшую сотрудницу и продолжает настаивать на том, что расследования журналистов не раскрывают всей картины происходящего. «В основе этих историй лежит ложная предпосылка. Да, мы ведём бизнес и получаем прибыль, но идея о том, что мы делаем это за счёт безопасности или благополучия людей, не даёт понимания того, в чём заключается наш собственный коммерческий интерес», — приводит источник слова представителя Facebook.

Facebook вновь обвинили в недостаточной модерации проблемного контента

Компанию Facebook вновь обвинили в том, что она ставит прибыль выше интересов общества. Об этом заявил бывший сотрудник «команды социальной честности» Facebook, подчеркнув, что для компании извлечение прибыли является более важным, чем борьба с разжиганием ненависти и дезинформацией внутри принадлежащей ей соцсети.

Изображение: Alex Castro / The Verge

Изображение: Alex Castro / The Verge

Неназванный источник, как сообщается, дал показания под присягой в Комиссии по ценным бумагам и биржам США. Помимо прочего, он отметил существующие различия между публичными заявлениями Facebook и тем, как принимаются решения внутри компании. Информатор заявил, что проект гиганта социальных сетей Internet.org, призванный обеспечить бесплатным доступом к некоторым интернет-ресурсам жителей наименее развитых стран, внутри компании рассматривался как средство получения данных о неосвоенных рынках и точка опоры для дальнейшего развития бизнеса Facebook.

«Это создаст опасный прецедент, если повесить всю историю на один источник, делающий широкий спектр утверждений без какого-либо очевидного их подтверждения. В основе этой истории лежит ложная предпосылка. Да, мы ведём бизнес и получаем прибыль, но идея о том, что мы делаем это за счёт безопасности или благополучия людей, не позволяет понять, в чём заключаются наши собственные коммерческие интересы», — прокомментировал данный вопрос представитель Facebook. Несмотря на это заявление, показания информатора во многом совпадают с заявлениями бывшей сотрудницы Facebook Фрэнсис Хаген (Frances Haugen), которая, помимо прочего, также обвиняла компанию в том, что извлечение прибыли для неё важнее борьбы с проблемным контентом.

WSJ: ИИ-алгоритм Facebook не способен эффективно удалять проблемный контент

По сообщениям сетевых источников, система искусственного интеллекта Facebook, используемая для поиска и блокировки проблемного контента в социальной сети компании, не способна эффективно выполнять поставленные задачи. Об этом пишет издание The Wall Street Journal со ссылкой на внутренние документы гиганта социальных сетей.

Изображение: foxbusiness.com

Изображение: foxbusiness.com

Согласно имеющимся данным, ИИ-система Facebook не способна эффективно идентифицировать видео от первого лица, а также контент, содержащий расистские высказывания, язык ненависти и чрезмерное насилие. Источник отмечает, что в некоторых случаях алгоритм не может отличить петушиные бои от автокатастрофы. Документы Facebook говорят о том, что в отношении контента с ненавистническими высказываниями ИИ-система определяет и блокирует лишь малую часть таких публикаций (менее 10 %). В случаях, когда алгоритм не может дать чёткое заключение о необходимости блокировки того или иного поста пользователя, спорный контент демонстрируется реже, но опубликовавший его аккаунт остаётся безнаказанным.

Около двух лет назад Facebook сократила время, которое есть у модераторов-людей на рассмотрение жалоб, а также внесла ряд других изменений в рабочие процессы, чтобы сократить общее количество жалоб. При этом сотрудники, ответственные за защиту платформы Facebook от нежелательного контента, сообщали руководству, что используемый ИИ-алгоритм недостаточно эффективен. По оценкам старшего инженера, автоматизированные системы компании удаляли сообщения, которые генерировали лишь 2 % просмотров разжигающих ненависть высказываний на платформе. Он также отметил, что в случае, если в ближайшее время не будут внесены существенные изменения в стратегию компании в плане модерации контента, то в краткосрочной перспективе ИИ-алгоритм будет выявлять не более 10-20 % проблемного контента.

Представитель Facebook Энди Стон (Andy Stone) заявил, что озвученные в отчёте проценты относятся к сообщениям, которые были удалены непосредственно ИИ-системой и не включают контент, обработанный иными способами, в том числе путём понижения рейтинга постов. Опубликованные данные резко контрастируют с ожиданиями руководства гиганта социальных сетей в лице генерального директора Марка Цукерберга (Mark Zuckerberg), который ранее заявлял, что ИИ-система компании будет способна обнаруживать «подавляющее большинство проблемного контента» к концу 2019 года. Представитель компании также отметил, что важнее учитывать другие цифры, показывающие сокращение общего количества ненавистнического контента на платформе.

У Facebook есть секретная программа, которая позволяет знаменитостям избегать модерации

У Facebook есть секретная программа, которая освобождает знаменитых пользователей, включая спортсменов и политиков, от привычного процесса модерации, сообщает издание The Wall Street Journal. Таким образом, социальная сеть позволяет им делиться записями, публикация которых вызвала бы проблемы у рядовых пользователей.

theverge.com

theverge.com

Программа, известная как XCheck или перекрёстная проверка, якобы предназначена для дополнительного контроля качества в отношении модерации, когда речь идёт о публикациях знаменитостей. Их записи должны отправляться команде специально подготовленных модераторов, чтобы гарантировать соблюдение правил Facebook. Сообщается, что в рамках программы было опубликовано 5,8 миллиона записей по состоянию на 2020 год.

Но важнее то, что фактически модерацию проходили только 10 % публикаций знаменитостей. Согласно отчёту, среди пользователей, чьи записи Facebook пропускала без модерации, были бывший президент США Дональд Трамп (Donald Trump) и сенатор Элизабет Уоррен (Elizabeth Warren).

theverge.com

theverge.com

Facebook признаёт, что критика XCheck оправдана и заявляет, что работает над реабилитацией программы. Компания говорит, что система предназначена для «точного соблюдения политик в отношении контента, который может потребовать большего понимания». В данный момент Facebook работает над решением проблем, выявленных в XCheck.

Apple уличили в небрежной модерации приложений в App Store

Apple уличили в небрежной фильтрации приложений в магазине App Store. Разработчики утверждают, что в тематических подборках компании присутствуют лишённые какой-либо функциональности программы, но при этом требующие от пользователей непомерной платы и отнимающие часть дохода у создателей качественного ПО.

arstechnica.com

arstechnica.com

В качестве примера приводится подборка Slime relaxations, опубликованная в австралийском варианте App Store. По данным разработчиков и пользователей, некоторые представленные в ней приложения требуют немалых денег за подписку, при этом не предоставляя значимой функциональности.

Например, в приложении Jelly: Slime Simulator подписчикам демонстрируют огромное количество рекламы. Для того чтобы отключить её, требуется платить по 13 долларов в неделю (по некоторым данным, «всего» $7,99) для того, чтобы получить доступ к сколько-нибудь значимым функциям продукта.

В любом случае, инструкции App Store для разработчиков прямо говорят, что компания будет «отклонять дорогие приложения, пытающиеся нечестно нажиться на пользователях благодаря иррационально высоким ценам». Такие правила трактуются разработчиками софта весьма субъективно, но многие сходятся во мнении, что подборка Slime relaxations «перешла черту».

macrumors.com

macrumors.com

Это не единственный случай. В феврале разработчик Коста Элефтерио (Kosta Eleftheriou) обнаружил бесполезное приложение для Apple Watch, рейтинг которого был накручен с помощью фейковых отзывов. Продукт был удалён Apple только после того, как разработчик и его сторонники подняли шум в Сети.

В Apple утверждают, что очень серьёзно рассматривают отклики о вредоносной деятельности размещённого в App Store софта и принимают необходимые меры, соответствующие каждому конкретному случаю, не позволяя недобросовестным разработчикам обманывать систему. Только в 2020 году было удалено порядка полумиллиона аккаунтов разработчиков и более 60 миллионов отзывов, оценённых как спам. Над совершенствованием процесса фильтрации и удалением вредоносного контента работает специальная команда.

При этом разработчики недовольны, что оценка жалоб отнимает слишком много времени. По словам одного из них, там, где у Apple на рассмотрение вопроса уходит 10 дней, Google хватает одного-двух.

Поскольку Apple жёстко противостоит инициативам, предлагающим заставить компанию допустить к работе с iOS сторонние магазины приложений, вокруг собственных ошибок IT-гиганта разгораются нешуточные страсти. В Apple утверждают, что только контроль с её стороны делает экосистему iOS столь безопасной. Обнаружение вредоносных и некачественных приложений, попавших в число рекомендованных, серьёзно ослабляет позиции компании в этом вопросе.

Twitter усилил модерацию и удалил во второй половине 2020 года больше оскорбительного контента, чем когда-либо

Компания Twitter стала лучше модерировать контент на своей платформе во второй половине прошлого года. Об этом свидетельствуют данные отчёта о прозрачности, который был опубликован на этой неделе.

Изображение: Getty Images

Изображение: Getty Images

Согласно имеющимся данным, в период с 1 июля по 31 декабря 2020 года соцсеть приняла меры против 964 459 аккаунтов за оскорбительное поведение. По сравнению с предыдущим шестимесячным отрезком этот показатель вырос на 142 %. За второе полугодие 2020-го Twitter приняла меры в отношении 1 126 990 аккаунтов, владельцы которых публиковали разжигающие ненависть сообщения, что на 77 % больше по сравнению с аналогичным показателем в первой половине 2020 года.

Компания связывает усиление модерации с изменениями в действующей политике сервиса, которые были внесены в течение прошлого года. Также отмечается использование специальных алгоритмов на базе машинного обучения, которые помогают точнее определять и блокировать контент, нарушающий правила социальной сети. В отчёте сказано, что инструменты автоматической модерации помогли отследить до 65 % оскорбительных твитов и других публикаций, так или иначе нарушающих правила. Это является значительным прогрессом, поскольку к концу 2019 году эффективность алгоритмов модерации составляла только 50 %.

В конце года в Twitter появился запрет на использование некоторых выражений, которые могут оскорбить людей по расовому признаку, этнической или национальной принадлежности. В середине прошлого года разработчики запретили публиковать ссылки на контент, пропагандирующий насилие и ненависть. Очевидно, что Twitter далеко до победы в борьбе с нарушающим правила платформы контентом, но нынешний отчёт показывает, что разработчики прикладывают массу усилий для этого.

window-new
Soft
Hard
Тренды 🔥