Сегодня 26 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ Gemini оказался совсем не так хорош в обработке больших объёмов данных, как заявляла Google

Новые исследования ставят под сомнение заявления Google о возможностях больших языковых моделей моделей Gemini по обработке больших объёмов данных, показывая, что их эффективность в анализе длинных текстов и видео значительно ниже заявленной.

 Источник изображения: Google

Источник изображения: Google

Недавние исследования выявили существенные недостатки в работе флагманских генеративных моделей искусственного интеллекта Google Gemini 1.5 Pro и 1.5 Flash, пишет издание TechCrunch. Google неоднократно подчёркивала способность Gemini обрабатывать огромные объёмы данных благодаря большому контекстному окну, утверждая, что модели могут анализировать документы объёмом в сотни страниц и искать информацию в видеозаписях. Однако два независимых исследования показали, что на практике эти модели справляются с такими задачами гораздо хуже.

Учёные из Массачусетского университета в Амхерсте (UMass Amherst), Института Аллена по искусственному интеллекту (Allen Institute for AI) и Принстона (Princeton University) тестировали Gemini на способность отвечать на вопросы о содержании художественных книг. Представленная для теста книга содержала около 260 000 слов (около 520 страниц). Результаты оказались неутешительными. Gemini 1.5 Pro правильно ответил только в 46,7 % случаев, а Gemini 1.5 Flash лишь в 20 % случаев. Далее усреднив результаты, выяснилось, что ни одна из моделей не смогла достичь точности ответов на вопросы выше случайной.

Маржена Карпинска (Marzena Karpinska), соавтор исследования, отметила: «Хотя такие модели, как Gemini 1.5 Pro, технически могут обрабатывать длинные контексты, мы видели много случаев, указывающих на то, что модели на самом деле не понимают содержание».

Второе исследование, проведённое учёными из Калифорнийского университета в Санта-Барбаре, фокусировалось на способности Gemini 1.5 Flash анализировать видеоконтент, а точнее слайды с изображениями. Результаты также оказались неудовлетворительными — из 25 изображений ИИ дал правильные ответы только в половине случаев, а при увеличении количества картинок точность ответов понизилась до 30 %, что ставит под сомнение эффективность модели в работе с мультимедийными данными.

Правда отмечается, что ни одно из исследований не прошло процесс рецензирования, и к тому же не тестировались самые последние версии моделей с контекстом в 2 миллиона токенов. Тем не менее, полученные результаты вызывают серьёзные вопросы в отношении реальных возможностей генеративных моделей ИИ в целом, и о том, насколько обоснованы маркетинговые заявления технологических гигантов.

Данные исследования появились на фоне растущего скептицизма в отношении генеративного ИИ. Так, недавние опросы международной консалтинговой компании Boston Consulting Group показали, что около половины опрошенных руководителей высшего звена не ожидают существенного повышения производительности от использования генеративного ИИ и обеспокоены возможными ошибками и проблемами с безопасностью данных.

Эксперты же призывают к разработке более объективных критериев оценки возможностей ИИ и к большему вниманию и независимой критике. Google пока не прокомментировал результаты этих исследований.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
В Steam стартовала летняя распродажа с «морем скидок на игры всех жанров» 11 мин.
Легендарный сценарист Крис Авеллон присоединился к работе над амбициозной фэнтезийной RPG про борьбу с тоталитарным режимом 2 ч.
«Это не просто ремастер»: долгожданная System Shock 2: 25th Anniversary Remaster стартовала в Steam с «очень положительными» отзывами 3 ч.
Продажи кооперативной игры Peak от авторов Content Warning и Another Crab's Treasure достигли новой вершины — два миллиона за девять дней 5 ч.
VK Tech представил Private Cloud Light — альтернативу зарубежным платформам виртуализации 6 ч.
ИИ-приложения теперь можно создавать прямо в чате с ботом Claude AI 6 ч.
«Мы возводили стены, а должны были строить мосты»: на PS5 вышла Death Stranding 2: On the Beach, а Кодзима опубликовал финальный трейлер игры 8 ч.
Обучать ИИ на онлайн-библиотеках законно — так решил суд в деле авторов книг против Meta 8 ч.
Пример Game Pass не заразителен: Sony не станет добавлять свои игры в PS Plus на релизе, потому что всё и так «очень хорошо» 9 ч.
OpenAI назвала китайский стартап Zhipu AI одним из самых перспективных в сфере ИИ 10 ч.
Xiaomi представила смарт-очки AI Glasses с камерой Sony, чипом Snapdragon и автономностью выше 8 часов за $280 2 ч.
Xiaomi представила Redmi K80 Ultra: самый мощный MediaTek, батарея на 7410 мА·ч и лишь двойная камера — от $360 2 ч.
Xiaomi представила раскладушку Mix Flip 2 с чипом Snapdragon 8 Elite, ёмкой батареей и двумя камерами Leica за $835 3 ч.
Представлен Vivo X200 FE — компактный флагман с камерой Zeiss для поколения Z 3 ч.
Google, TikTok и другие сервисы разместили серверы поближе к России, чтобы ускорить загрузку контента 4 ч.
VK Tech открыл доступ к сервису Bare Metal в дата-центрах VK 4 ч.
Samsung выпустила Galaxy Buds Core — свои самые доступные беспроводные наушники с активным шумоподавлением 4 ч.
Loongson представила 64-ядерные серверные процессоры 3C6000 на базе LoongArch 4 ч.
Четвёрка частных астронавтов добралась до МКС в рамках миссии Axiom Space Ax-4 5 ч.
Telxius и Ciena установили рекорд скорости передачи данных между США и Европой по трансатлантическому кабелю Marea 6 ч.