Администрация платформы Reddit заявила, что обновит исключения для роботов (файл robots.txt), которые сообщают веб-ботам о разрешении или запрете сканировать сайт и его разделы. Ресурс также примет меры для фактического ограничения доступа некоторым ботам.
Источник изображения: redditinc.com
Традиционно файл robots.txt использовался для того, чтобы помочь поисковым системам правильно сканировать сайт. Но с развитием систем искусственного интеллекта появились боты, которые выкачивают контент сайтов целиком для обучения моделей без указания источника этого контента. Поэтому вместе с обновлением файла robots.txt администрация Reddit продолжит ограничивать скорость неизвестных ботов и блокировать их доступ к платформе — меры будут приниматься, если эти системы не будут соблюдать «Политику открытого контента» (Public Content Policy) на сайте.
Новый режим работы не должен повлиять на большинство пользователей и добросовестных участников ресурса, включая исследователей и некоммерческие организации вроде Internet Archive, сообщили в администрации Reddit. Меры вводятся лишь для того, чтобы не позволить другим компаниям обучать большие языковые модели ИИ на контенте платформы. Администрация ресурса опубликовала заявление после того, как стало известно, что ИИ-стартап Perplexity занимается сбором контента вопреки директивам robots.txt — гендиректор компании Аравинд Шринивас (Aravind Srinivas) заявил, что эти директивы не являются правовым обязательством.
Предстоящие изменения Reddit не затронут партнёров, которые заключили соглашения с платформой: Google и OpenAI обучают свои модели ИИ на контенте ресурса на возмездной основе. В прошлом году Reddit для защиты от неправомерного сбора контента ввела плату за доступ к API, что вызвало массовые протесты среди пользователей.