Традиционные сайты массово теряют аудиторию из-за чат-ботов и агентов с ИИ

Специализирующиеся на искусственном интеллекте компании обещали владельцам сайтов, что поисковые системы нового поколения обеспечат им приток посетителей через реферальный трафик. Новый доклад платформы лицензирования контента TollBit показал, что в действительности это не так.

Ранее OpenAI и Perplexity делали громкие заявления, что их поисковые системы с ИИ, которые проводят сбор материалов из Сети, обеспечат владельцам сайтов прирост посетителей и новые источники дохода. В действительности поисковые системы с ИИ отправляют на новостные сайты и блоги на 96 % меньше реферального трафика, чем традиционный поиск Google, гласит доклад TollBit, которым компания поделилась с Forbes. При этом за последние месяцы объёмы собираемой ИИ информации с сайтов выросли более чем вдвое. OpenAI, Perplexity, Meta✴ и другие ИИ-компании за IV квартал 2024 года сканировали сайты около 2 млн раз — данные предоставлены на примере 160 сайтов, включая национальные и местные новостные ресурсы, посвящённые потребительским технологиям сайты и посвящённые шопингу блоги. Каждая страница на них подвергалась сканированию в среднем семь раз.

TollBit предлагает сайтам средства обнаружения сканирования ИИ — каждый раз, когда это происходит, компания взимает с разработчиков ИИ-платформ плату в пользу ресурсов, зарегистрированных на её аналитической платформе. Это даёт TollBit представление о трафике и активности механизмов сканирования. В OpenAI, Meta✴ и Perplexity представленные в докладе данные комментировать не стали, но в Perplexity отметили, что их система следует директивам в файлах robots.txt — они указывают, к каким разделам сайтов разрешён доступ.

В феврале аналитики Gartner опубликовали прогноз, согласно которому к 2026 году трафик с традиционных поисковых систем из-за чат-ботов и агентов с ИИ упадёт на 25 %. Процесс уже пошёл: недавно специализирующаяся на образовательных технологиях компания Chegg решила засудить Google за сводки данных, которые показываются в поисковой выдаче; во II квартале минувшего года, когда они только начали появляться, трафик Chegg просел на 8 %, а в январе этого года он провалился уже на 49 %. По версии истца, ИИ-сводки в поиске включали материалы с сайта Chegg без указания источника. Падение трафика повлияло на Chegg до такой степени, что сейчас компания рассматривает возможность перехода в частное владение или вообще продажи своих активов. В Google иск Chegg назвали «беспочвенным» и заявили, что в поисковой выдаче повысилось разнообразие сайтов.

Ситуация осложняется тем, что при сканировании ресурсов и сборе данных разработчики ИИ указывают в своих системах не соответствующие действительности значения строки «User agent», и это не позволяет владельцам сайтов выявлять сканеры и формировать понимание, как ИИ-компании используют доступ к материалам ресурсов. Google, по одной из версий, использует для разных целей одних и тех же ботов — они и индексируют сайты, и собирают с них данные для ИИ. Действия Perplexity, которая говорит об уважении к директивам robots.txt, ещё более непредсказуемы: даже когда ресурс блокирует доступ средствами веб-сервера, сканирование предположительно не останавливается, потому что реферальный трафик продолжает поступать. Один из ресурсов, если верить официальным показателям, подвергся сканированию 500 раз, после чего от Perplexity на него пришли 10 000 посетителей. Это можно объяснить только работой неопознанного сканирующего бота.

В прошлом году Perplexity уличили в копировании и последующем почти дословном цитировании материалов, в том числе платных популярных новостных агентств, включая Forbes, CNBC и Bloomberg, — без ссылки на источник. Сервис компании также часто ссылался на низкокачественные созданные ИИ блоги и сообщения в социальных сетях, содержащие неточную информацию. New York Post и Dow Jones подали на Perplexity в суд, обвинив компанию в нарушении авторских прав. Бесконтрольное сканирование материалов сайтов приводит и к тому, что у их владельцев растут расходы на серверные ресурсы. OpenAI и Perplexity запустили ИИ-агентов, которые самостоятельно ищут необходимую информацию на сайтах и составляют подробные отчёты, что обязательно усугубит проблему.

Одним из очевидных способов разрешения конфликта является прямое лицензирование материалов. Associated Press, Axel Springer и Financial Times заключили соответствующие соглашения с OpenAI. Появились и новые компании, которые взимают плату с владельцев систем ИИ каждый раз, когда те копируют материалы с сайтов — по этой модели работает подготовившая доклад TollBit.