ИИ-ответы в поисковой выдаче Google обрушили посещаемость множества сайтов

Удобные «Обзоры ИИ» (AI Overviews), которые Google теперь размещает в верхней части результатов поиска, лишают трафика сайты, на которые пользователи могли бы перейти из поисковой системы. Попытки владельцев интернет-ресурсов блокировать ИИ Google приводят к пропаданию сайта из результатов поиска и ещё более резкому снижению посещаемости, так как генератор ИИ-ответов и поисковый бот Google объединены в единую систему, и раздельно контролировать доступ для них невозможно.

Источник изображений: unsplash.com

Доминирование Google в поиске, которое федеральный суд на прошлой неделе определил как «незаконную монополию», даёт компании решающее преимущество — издателям приходится выбирать между предоставлением своего контента для использования моделями ИИ и исчезновением из поиска Google, являющегося главным источником трафика. Многие из них не готовы идти на подобный риск.

Google утверждает, что AI Overviews — сводки, отображаемые в верхней части поисковой выдачи, — являются результатом её давней приверженности предоставлению более качественной информации и расширению возможностей для издателей.

«Каждый день Google отправляет миллиарды пользователей на сайты по всему интернету, и мы намерены продолжать этот давно устоявшийся обмен ценностями, — заявил представитель Google. — Благодаря обзорам ИИ люди находят “Поиск Google” более полезным и возвращаются, чтобы искать больше, создавая новые возможности для обнаружения контента».

Google использует отдельных краулеров для некоторых продуктов, таких как чат-бот Gemini. Но Googlebot, основной краулер компании, обслуживает как AI Overviews, так и «Поиск Google», так как, по словам представителя компании, «они тесно переплетены». Google сообщила, что издатели могут блокировать появление определённых страниц или их фрагментов в AI Overviews, но это также, вероятно, запретит их появление во всех других функциях поиска Google.

Генеральный директор iFixit Кайл Винс (Kyle Wiens) сообщил, что отношения сайта iFixit с Google «гораздо более слабые», чем с другими компаниями, занимающимися ИИ. «Я могу запретить ClaudeBot индексировать нас, не навредив нашему бизнесу, — заявил он, имея в виду стартап Anthropic, занимающийся генеративным ИИ. — Но, если я заблокирую Googlebot, мы потеряем трафик и клиентов».

«Это выглядит как экзистенциальный кризис [для владельцев интернет-ресурсов], — говорит издатель новостного сайта Talking Points Memo Джо Рагаццо (Joe Ragazzo). — Есть два плохих варианта. Вы уходите и немедленно умираете, или вы сотрудничаете с ними и, вероятно, просто медленно умираете, потому что в конечном итоге они тоже не будут нуждаться в вас».

Рост генеративного ИИ породил волну стартапов, предлагающих поисковые продукты на основе ИИ. Растущая популярность чат-ботов может стать серьёзной угрозой для поискового бизнеса Google. Но, чтобы составить конкуренцию поисковому гиганту, требуется максимально полное сканирование и индексирование интернет-ресурсов, что представляет собой непростую задачу. Для этого требуются деньги, вычислительные мощности и ёмкие хранилища информации.

Многие издатели, борясь с нелицензированным использованием контента для индексирования, ограничивают сканирование своих ресурсов для сторонних компаний, предоставляя наибольшую свободу действий лишь крупным поисковым системам, таким как Google или Bing, которые служат для них источниками трафика.

Поисковые стартапы не могут обеспечить трафик, сопоставимый с ведущими игроками в сфере интернет-поиска, поэтому они вынуждены платить издателям за лицензирование контента. На фоне волны сделок между медиакомпаниями и стартапами в области ИИ отказ Google от попыток лицензирования контента особенно заметен, а у издателей практически отсутствуют рычаги влияния на компанию. Если не считать единственной сделки на $60 млн с Reddit, которая привела к скачкообразному росту трафика на сайт социальной сети, Google дала понять издателям, что не заинтересована в подобных переговорах.

По свидетельствам осведомлённых источников, попытки поискового стартапа Perplexity заключить с Reddit подобную сделку не увенчались успехом из-за слишком высокой планки, установленной Google. Другие поисковые стартапы также не имеют возможности получить доступ к контенту ресурсов, подобных Reddit. «Нам понадобится 20 лет наших текущих доходов только для того, чтобы заплатить Reddit, — сказал Владимир Преловац, основатель поискового стартапа Kagi. — Я даже не рассматриваю такую ​​возможность».

Трудности с индексированием контента испытывают не только небольшие стартапы. Крупные популярные сайты, включая Amazon, Goodreads и Uniqlo, заблокировали поисковый робот SearchGPT от OpenAI, что потенциально создаёт проблемы для амбиций компании в интернет-поиске. OpenAI настаивает, что сайты могут появляться в результатах поиска, даже если запретят индексирование. Дело в том, что файлы robots.txt, которые устанавливают правила сканирования, не были признаны юридически значимыми, поэтому публичные данные можно индексировать, если не требуется вход в систему или ввод учётных данных.

После знаменательного судебного решения, установившего, что Google монополизировала рынок онлайн-поиска, Министерство юстиции США рассматривает разные варианты правовой защиты, от предоставления конкурентам доступа к поисковому индексу Google до разделения компании. Закон ЕC «О цифровых рынках» уже требует от Google делиться некоторыми данными поисковых запросов.

Винс считает, что «отделение поиска Google от их работы в области ИИ позволит устранить конфликты». Вице-президент по связям с общественностью поисковой системы DuckDuckGo Камил Базбаз (Kamyl Bazbaz) отметил важность поисковых индексов в эпоху ИИ, он уверен, что «технологические сдвиги, происходящие в поиске, делают индекс Google, связанный с антимонопольными проблемами, ещё более проблематичным».

Независимо от исхода антимонопольного дела против Google, изменения, происходящие в поисковой среде, лишний раз доказывают, что издателям нельзя становиться чрезмерно зависимыми от какой-либо одной технологической платформы, включая Google. «Мы убеждены, что вам нужно формировать настоящие отношения с читателями, — считает Рагаццо, — и именно так вы создаёте издание, которое может выдержать разные эпохи».