Reddit закрылся от поисковиков и ИИ-ботов, которые не платят за использование контента платформы

Социальная сеть Reddit продолжает бороться с веб-ботами, которые бесплатно используют контент платформы для обучения нейросетей. По данным источника, за последние несколько недель администрация Reddit скорректировала файл robot.txt, который сообщает ботам о разрешении или запрете на сканирование разделов сайта, таким образом, что контент сообщества и комментарии пользователей перестали корректно отображаться во многих поисковиках.

В сообщении сказано, что в настоящее время только система Google корректно отображает результаты поиска последних постов на Reddit. При этом в других поисковиках, таких как Bing или DuckDuckGo, аналогичные запросы обрабатываются некорректно, т.е. либо не находят интересующие пользователей страницы, либо отображают лишь их часть. Вероятно, в случае с Google проблем не наблюдается из-за достигнутых ранее договорённостей, в рамках которых поисковый гигант будет платить Reddit $60 млн в год за использование контента площадки для обучения собственных ИИ-алгоритмов.

При этом в Reddit опровергли информацию о том, что сделка с Google каким-то образом повлияла на разрешение разработчиков на использование контента платформы для обучения нейросетей. «Это совершенно не связано с нашим недавним партнёрством с Google. Мы вели переговоры с несколькими поисковыми системами. Мы не смогли договориться со всеми, поскольку некоторые не могут или не хотят давать каких-либо обещаний касательно использования ими контента Reddit, в том числе для обучения искусственного интеллекта», — прокомментировал данный вопрос представитель Reddit.

Для такого крупного сайта, как Reddit, блокировка веб-ботов крупных поисковых систем является смелым шагом, но вполне ожидаемым. За последний год администрация сайта стала значительно активнее защищать публикуемый пользователями контент, стремясь открыть новый источник дохода и привлечь инвесторов. Разработчики повысили стоимость использования API Reddit сторонними разработчиками, а также пригрозили Google блокировкой поисковика, если компания не перестанет бесплатно использовать контент платформы для обучения своих нейросетей.