MWC 2018
2018
Computex
IFA 2018
В прошлом году Google развернула в поисковой машине функцию обзоров от искусственного интеллекта — не слишком удачный поначалу эксперимент показал, насколько результаты работы этого сервиса отличаются от традиционной выдачи со ссылками, которую поисковые службы показывали десятилетиями. Поисковые системы на базе ИИ вообще склонны ссылаться на менее популярные сайты и ресурсы, которые не попали бы в первую сотню ссылок «органической» выдачи Google, установили учёные.
Источник изображения: sarah b / unsplash.com
Немецкие учёные сравнили результаты традиционного поиска Google с его же «Обзорами от ИИ» и ответами чат-бота Gemini-2.5-Flash; в качестве дополнительных источников они использовали поисковую службу OpenAI GPT-4o и дополнительный режим модели GPT-4o, при котором веб-поиск подключается лишь по необходимости, если модель не обнаруживает ответа в собственной базе знаний. Массив тестовых запросов учёные собрали из трёх источников: WildChat — запросы, которые пользователи отправляли в ChatGPT; AllSides — запросы на политические темы; а также запросы, связанные с сотней самых популярных товаров на Amazon.
В целом системы поиска на основе генеративного ИИ чаще цитировали ресурсы, которые, как правило, не появлялись в первой десятке традиционной поисковой выдачи, показала статистика рейтинга Tranco. Цитируемые ИИ источники с меньшей вероятностью, чем ресурсы из выдачи традиционного поиска Google, оказывались в первой тысяче, а то и в первом миллионе рейтинга Tranco. Среди собственных предпочтений Gemini оказалось множество непопулярных сайтов: по всем результатам медианный источник информации чат-бота не попадал в первую тысячу Tranco. Цитируемые поисковыми системами на базе ИИ источники, как правило, не появлялись даже близко к верхушке выдачи Google: 53 % источников из «обзоров от ИИ» в Google не попали в первую десятку, а 40 % — в первую сотню результатов из традиционной выдачи.
Источник изображения: BoliviaInteligente / unsplash.com
Значительной оказалась разница в качестве источников: системы ИИ чаще обращались к корпоративным ресурсам и энциклопедиям, но почти никогда не ссылались на соцсети. Анализ ответов, который провела большая языковая модель, показал, что ИИ охватил то же количество идентифицируемых понятий, что и первая десятка ресурсов в традиционной выдаче — результаты были столь же подробными, разнообразными и актуальными. С другой стороны, ИИ проявил склонность сжимать информацию, то есть не упоминать второстепенных и неоднозначных аспектов, которые сохраняются в традиционном поиске.
Важным достоинством поисковых систем с ИИ оказалась способность объединять информацию из заложенной при обучении базой знаний с данными цитируемых сайтов. Модель GPT-4o, например, часто вообще не обращалась к внешним источникам, ограничиваясь собственными знаниями — это же оказалось и её слабым местом: иногда она запрашивала подробности у пользователя вместо того, чтобы самостоятельно обратиться к веб-поиску. Учёные не стали делать выводов о качестве работы поисковых системы с ИИ, но призвали выработать новые методы оценки качества их работы с учётом разнообразия, охвата понятий и способности моделей объединять собственные знания с данными внешних источников.
Источник:
