Сегодня 27 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ Gemini оказался совсем не так хорош в обработке больших объёмов данных, как заявляла Google

Новые исследования ставят под сомнение заявления Google о возможностях больших языковых моделей моделей Gemini по обработке больших объёмов данных, показывая, что их эффективность в анализе длинных текстов и видео значительно ниже заявленной.

 Источник изображения: Google

Источник изображения: Google

Недавние исследования выявили существенные недостатки в работе флагманских генеративных моделей искусственного интеллекта Google Gemini 1.5 Pro и 1.5 Flash, пишет издание TechCrunch. Google неоднократно подчёркивала способность Gemini обрабатывать огромные объёмы данных благодаря большому контекстному окну, утверждая, что модели могут анализировать документы объёмом в сотни страниц и искать информацию в видеозаписях. Однако два независимых исследования показали, что на практике эти модели справляются с такими задачами гораздо хуже.

Учёные из Массачусетского университета в Амхерсте (UMass Amherst), Института Аллена по искусственному интеллекту (Allen Institute for AI) и Принстона (Princeton University) тестировали Gemini на способность отвечать на вопросы о содержании художественных книг. Представленная для теста книга содержала около 260 000 слов (около 520 страниц). Результаты оказались неутешительными. Gemini 1.5 Pro правильно ответил только в 46,7 % случаев, а Gemini 1.5 Flash лишь в 20 % случаев. Далее усреднив результаты, выяснилось, что ни одна из моделей не смогла достичь точности ответов на вопросы выше случайной.

Маржена Карпинска (Marzena Karpinska), соавтор исследования, отметила: «Хотя такие модели, как Gemini 1.5 Pro, технически могут обрабатывать длинные контексты, мы видели много случаев, указывающих на то, что модели на самом деле не понимают содержание».

Второе исследование, проведённое учёными из Калифорнийского университета в Санта-Барбаре, фокусировалось на способности Gemini 1.5 Flash анализировать видеоконтент, а точнее слайды с изображениями. Результаты также оказались неудовлетворительными — из 25 изображений ИИ дал правильные ответы только в половине случаев, а при увеличении количества картинок точность ответов понизилась до 30 %, что ставит под сомнение эффективность модели в работе с мультимедийными данными.

Правда отмечается, что ни одно из исследований не прошло процесс рецензирования, и к тому же не тестировались самые последние версии моделей с контекстом в 2 миллиона токенов. Тем не менее, полученные результаты вызывают серьёзные вопросы в отношении реальных возможностей генеративных моделей ИИ в целом, и о том, насколько обоснованы маркетинговые заявления технологических гигантов.

Данные исследования появились на фоне растущего скептицизма в отношении генеративного ИИ. Так, недавние опросы международной консалтинговой компании Boston Consulting Group показали, что около половины опрошенных руководителей высшего звена не ожидают существенного повышения производительности от использования генеративного ИИ и обеспокоены возможными ошибками и проблемами с безопасностью данных.

Эксперты же призывают к разработке более объективных критериев оценки возможностей ИИ и к большему вниманию и независимой критике. Google пока не прокомментировал результаты этих исследований.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новый крупный патч добавил в Warhammer 40,000: Space Marine 2 режим «Осада» с бесконечными волнами тиранидов и еретиков 3 ч.
ИИ-поиск добрался до YouTube — в выдаче появились сгенерированные ИИ рекомендации и тексты 3 ч.
В Steam стартовала летняя распродажа с «морем скидок на игры всех жанров» 5 ч.
Легендарный сценарист Крис Авеллон присоединился к работе над амбициозной фэнтезийной RPG про борьбу с тоталитарным режимом 6 ч.
Продажи кооперативной игры Peak от авторов Content Warning и Another Crab's Treasure достигли новой вершины — два миллиона за девять дней 9 ч.
VK Tech представил Private Cloud Light — альтернативу зарубежным платформам виртуализации 10 ч.
ИИ-приложения теперь можно создавать прямо в чате с ботом Claude AI 11 ч.
«Мы возводили стены, а должны были строить мосты»: на PS5 вышла Death Stranding 2: On the Beach, а Кодзима опубликовал финальный трейлер игры 12 ч.
Обучать ИИ на онлайн-библиотеках законно — так решил суд в деле авторов книг против Meta 13 ч.
Пример Game Pass не заразителен: Sony не станет добавлять свои игры в PS Plus на релизе, потому что всё и так «очень хорошо» 13 ч.
Новая статья: Обзор HUAWEI MatePad Pro 12.2’’ (2025): обновление планшета с лучшим экраном 2 ч.
«Аквариус» передал в залог структуре «Сбера» доли в двух компаниях 4 ч.
Xiaomi представила компактный планшет Redmi K Pad на флагманском процессоре по цене от $390 4 ч.
Хiaomi представила открытые наушники OpenWear Stereo Pro с пятью динамиками за $139 4 ч.
Китайская Loongson представила серверные процессоры 3C6000 — до 64 ядер и производительность Xeon четырёхлетней давности 4 ч.
Такого кризиса ещё не было: кадровый голод в производстве чипов достигнет миллиона специалистов к 2030 году 4 ч.
Xiaomi представила фитнес-браслет Smart Band 10 с автономностью до 21 дня и ценой от $37,5 5 ч.
Xiaomi представила смарт-очки AI Glasses с камерой Sony, чипом Snapdragon и автономностью выше 8 часов за $280 6 ч.
Xiaomi представила Redmi K80 Ultra: самый мощный MediaTek, батарея на 7410 мА·ч и лишь двойная камера — от $360 6 ч.
Xiaomi представила раскладушку Mix Flip 2 с чипом Snapdragon 8 Elite, ёмкой батареей и двумя камерами Leica за $835 7 ч.