MWC 2018
2018
Computex
IFA 2018
На просьбу угадать число от 1 до 50 наиболее популярные модели искусственного интеллекта, в том числе OpenAI ChatGPT, Anthropic Claude Sonnet 4, Google Gemini 2.5 Flash и Meta✴ Llama 4 дали один и тот же ответ — 27.
Источник изображения: Igor Omilaev / unsplash.com
Неожиданное единодушие систем ИИ отметил специалист по работе с данными из консалтинговой компании Capco Мохд Фарааз (Mohd Faraaz). Ответ «27» на просьбу угадать число от 1 до 50 дали шесть из семи опрошенных им моделей. И только разработанный компанией xAI Илона Маска (Elon Musk) чат-бот Grok дал ответ «42», вероятно, почерпнув его из книги «Автостопом по Галактике» Дугласа Адамса (Douglas Adams). Чат-бот Anthropic Claude пояснил свой выбор так: «Я выбрал „27“ отчасти случайным образом, но, честно говоря, оно показалось мне хорошим вариантом ближе к середине, не слишком очевидным. Такие варианты как „25“ (ровно в середине) или „1“ и „50“ (крайние) показались слишком предсказуемыми. „27“ близко к середине, но имеет небольшую асимметрию — оно не точно в центре и некоторым образом кажется более естественным как догадка. Кроме того, люди зачастую избегают круглых чисел, когда загадывают „случайные“, так что я исключил кратные 5 или 10. Я хотя бы немного оказался близко к вашему числу?»
На поведение модели влияют массивы обучающих данных, процедура RLHF (обучение с подкреплением и обратной связью с человеком) и механизмы выборки, указывают опрошенные ресурсом The Register эксперты. Обрабатывая серию запросов об угадывании чисел, модели ИИ могут давать разные ответы, но чтобы они были случайными, таким системам необходим доступ к генератору случайных или псевдослучайных чисел, например, возможность выполнять код JavaScript. Генерируя же ответ исключительно собственными силами, модель ведёт себя более предсказуемо, отдавая предпочтение одним числам перед другими, обратил внимание в своей работе испанский специалист по работе с данными Хавьер Коронадо-Бласкес (Javier Coronado-Blázquez).
В рамках исследования он взял три диапазона случайных чисел, обратился к шести моделям ИИ, использовал семь языков и шесть температур — параметров, влияющих на предсказуемость ответов. По итогам 75 600 запросов большинство моделей в большинстве случаев оказались очень предсказуемыми, и ответы их варьировались не очень сильно. В 80 % случаев OpenAI GPT-4o-mini, Microsoft Phi-4 и Google Gemini 2.0 в диапазоне от 1 до 10 выбирали число 7. При запросах на испанском языке Gemini в диапазоне от 1 до 5, как правило, отвечал «3», а на английском — «4». Вообще в диапазоне 1–5 модели чаще отвечали «3» и «4»; в промежутке 1–10 самыми популярными были ответы «5» и «7»; а в диапазоне 1–100 чаще всего поступали ответы «37», «47» и «73». За исключением 4, все эти числа являются простыми.
На неспособность угадывать выпадение орла или решки при подбрасывании монеты обратили внимание в своём исследовании учёные из США Кэтрин Ван Коверинг (Katherine Van Koevering) и Джон Кляйнберг (Jon Kleinberg). Это роднит ИИ с человеком, указывают они, но ограничивает возможности моделей в задачах, когда требуется случайный ответ.
Источник:
