MWC 2018
2018
Computex
IFA 2018
Издание Time начало отдавать нейросетям отдельную версию своего сайта, отличающуюся от той, которую видят обычные пользователи. Вместо привычных HTML-страниц некоторые сервисы искусственного интеллекта получают компактные материалы на лёгком языке разметки Markdown со встроенными рекламными блоками.
Источник изображения: AI
На необычное поведение страниц обратил внимание разработчик с сайта Vroni.com, который сравнил ответы сервера Time при обращении с разными значениями User-Agent. При запросах от браузеров Chrome, Safari и поискового робота Googlebot сайт возвращал стандартную HTML-страницу объёмом около 303 Кбайт. Однако при обращении от ClaudeBot, PerplexityBot и OAI-SearchBot сервер отправлял урезанную Markdown-версию размером около 13 Кбайт без оформления, изображений и скриптов, предназначенную для быстрой обработки ИИ-моделями. При этом GPTBot и ChatGPT-User получали ответ с кодом 406, что указывает на выборочный подход к разным типам ИИ-ботов.
Анализ этой версии показал, что она создаётся с использованием технологий рекламной платформы Mobian. Каждому запросу присваивается уникальный идентификатор, а в заголовках ответа присутствуют параметры, связанные с подсчётом обработанных токенов: заголовок cache-control: no-store исключает возможность кеширования, вынуждая систему обращаться к серверу повторно. При этом параметр x-mobian-tokens указывает, что единицей монетизации служат не просмотры страниц, а непосредственно токены, потребляемые нейросетями. Такая архитектура превращает каждое обращение ИИ-агента в отдельный показ спонсорского контента.
Различия касаются не только формата страниц, но и их содержания. Например, в Markdown-версии подборки Best Inventions of 2025 исследователь обнаружил спонсорский раздел Ally Bank с вопросами и ответами, оформленными в стиле справочных материалов, а в обычной версии — аналогичный рекламный блок, но от некоммерческой организации Project Management Institute (PMI). В HTML-версии сайта эти материалы отсутствовали. Все такие публикации были помечены как спонсорские, однако отображались только для ИИ-ботов.
Time, как отмечает издание Vincent Schmalbach уже фиксирует, что в отдельные дни число обращений ИИ-ботов превышает количество посещений обычных пользователей. При этом поисковый робот Google продолжает получать ту же HTML-версию страниц, что и люди, тогда как специальные ИИ-боты обслуживаются по отдельному сценарию.
Источник:
