Сегодня 18 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Большие языковые ИИ-модели не могут справиться с подсчётом букв в слове «клубника» на английском

Несмотря на впечатляющие возможности больших языковых моделей (LLM), таких как GPT-4o и Claude, в написании эссе и решении уравнений за считанные секунды, они всё ещё несовершенны. Последний пример, ставший вирусным мемом, демонстрирует, что эти, казалось бы, всезнающие ИИ, не могут правильно посчитать количество букв «r» в английском слове «strawberry» (клубника).

 Источник изображения: Olga Kovalski/Unsplash

Источник изображения: Olga Kovalski/Unsplash

Проблема кроется в архитектуре LLM, которая основана на трансформерах. Они разбивают текст на токены, которые могут быть полными словами, слогами или буквами, в зависимости от модели. «LLM основаны на этой архитектуре трансформеров, которая, по сути, не читает текст. Когда вы вводите запрос, он преобразуется в кодировку», — объясняет Мэтью Гуздиал (Matthew Guzdial), исследователь искусственного интеллекта и доцент Университета Альберты, в интервью TechCrunch. То есть, когда модель видит артикль «the», у неё есть только одно кодирование значения «the», но она ничего не знает о каждой из этих трёх букв по отдельности.

Трансформеры не могут эффективно обрабатывать и выводить фактический текст. Вместо этого текст преобразуется в числовые представления, которые затем контекстуализируются, чтобы помочь ИИ создать логичный ответ. Другими словами, ИИ может знать, что токены «straw» и «berry» составляют «strawberry», но не понимает порядок букв в этом слове и не может посчитать их количество. Если задать ChatGPT вопрос, «сколько раз встречается буква R в слове strawberry», бот выдаст ответ «дважды».

«Сложно определить, что именно должно считаться словом для языковой модели, и даже если бы мы собрали экспертов, чтобы согласовать идеальный словарь токенов, модели, вероятно, всё равно считали бы полезным разбивать слова на ещё более мелкие части, — объясняет Шеридан Фойхт (Sheridan Feucht), аспирант Северо-восточного университета (Массачусетс, США), изучающий интерпретируемость LLM. — Я думаю, что идеального токенизатора не существует из-за этой нечёткости». Фойхт считает, что лучше позволить моделям напрямую анализировать символы без навязывания токенизации, однако отмечает, что сейчас это просто невыполнимо для трансформеров в вычислительном плане.

Всё становится ещё более сложным, когда LLM изучает несколько языков. Например, некоторые методы токенизации могут предполагать, что пробел в предложении всегда предшествует новому слову, но многие языки, такие как китайский, японский, тайский, лаосский, корейский, кхмерский и другие, не используют пробелы для разделения слов. Разработчик из Google DeepMind Йенни Джун (Yennie Jun) обнаружил в исследовании 2023 года, что некоторым языкам требуется в 10 раз больше токенов, чем английскому, чтобы передать то же значение.

В то время как в интернете распространяются мемы о том, что многие модели ИИ не могут правильно написать или посчитать количество «r» в английском слове strawberry, компания OpenAI работает над новым ИИ-продуктом под кодовым названием Strawberry, который, как предполагается, окажется ещё более умелым в рассуждениях и сможет решать кроссворды The New York Times, которые требуют творческого мышления, а также решать сверхсложные математические уравнения.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Китайские разработчики за полгода вложили в рекламу в RuStore больше, чем за весь прошлый год 3 ч.
Mistral добавила в Le Chat функции конкурентов: глубокие исследования, редактирование фото и мультиязычность 3 ч.
Илон Маск получил больше времени на подготовку к судебному заседанию по делу о покупке Twitter 3 ч.
Консорциум Unicode утвердил новые эмодзи — в их числе снежный человек и яблочный огрызок 3 ч.
Neverwinter Nights 2: Enhanced Edition пропала из продажи в российском Steam спустя сутки после релиза 11 ч.
Самостоятельный аддон Unfinished Business для RoboCop: Rogue City разочаровал критиков, а в Steam заслужил больше 90 % положительных отзывов 12 ч.
Легендарный турнир, знакомые персонажи и фаталити: вышел первый полноценный трейлер фильма «Мортал Комбат 2» 14 ч.
Adobe Firefly научился добавлять звуковое сопровождение к генерируемым ИИ видео 15 ч.
Netflix запустила в производство «неопровержимый» сериал по Assassin’s Creed — первые подробности 15 ч.
«Время для ещё одного прохождения»: Cyberpunk 2077 получила крупное обновление 2.3 и вышла на Mac 17 ч.
Uber наймёт 20 000 электромобилей Lucid для работы в роботакси 6 мин.
Faraday Future напомнила о своём существовании анонсом электрического минивэна с дисплеем вместо радиаторной решётки 2 ч.
Вкалывают роботы: UBTech показала технологию автоматической замены батарей, которая позволит роботам трудиться без остановки 4 ч.
HP начнёт сама показывать неотключаемую рекламу на своих ноутбуках и ПК 6 ч.
Новая статья: Обзор игрового QD-OLED 4K-монитора Gigabyte MO32U: снова в яблочко 11 ч.
Исторической стыковке кораблей «Союз» и «Аполлон» на орбите Земли исполнилось 50 лет 12 ч.
Процессоры Intel Raptor Lake не выдерживают аномальную жару в Европе — число жалоб на сбои резко возросло 13 ч.
Meta и акционеры заключили мировое соглашение по иску на $8 млрд из-за утечек данных Facebook 13 ч.
Самые дорогие процессоры для ПК: AMD раскрыла цены Threadripper PRO 9000WX 14 ч.
«Степлер-убийцу» консолей Switch 2 продали на аукционе за $250 000  вместе с первой жертвой 15 ч.