Сегодня 18 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ Gemini оказался совсем не так хорош в обработке больших объёмов данных, как заявляла Google

Новые исследования ставят под сомнение заявления Google о возможностях больших языковых моделей моделей Gemini по обработке больших объёмов данных, показывая, что их эффективность в анализе длинных текстов и видео значительно ниже заявленной.

 Источник изображения: Google

Источник изображения: Google

Недавние исследования выявили существенные недостатки в работе флагманских генеративных моделей искусственного интеллекта Google Gemini 1.5 Pro и 1.5 Flash, пишет издание TechCrunch. Google неоднократно подчёркивала способность Gemini обрабатывать огромные объёмы данных благодаря большому контекстному окну, утверждая, что модели могут анализировать документы объёмом в сотни страниц и искать информацию в видеозаписях. Однако два независимых исследования показали, что на практике эти модели справляются с такими задачами гораздо хуже.

Учёные из Массачусетского университета в Амхерсте (UMass Amherst), Института Аллена по искусственному интеллекту (Allen Institute for AI) и Принстона (Princeton University) тестировали Gemini на способность отвечать на вопросы о содержании художественных книг. Представленная для теста книга содержала около 260 000 слов (около 520 страниц). Результаты оказались неутешительными. Gemini 1.5 Pro правильно ответил только в 46,7 % случаев, а Gemini 1.5 Flash лишь в 20 % случаев. Далее усреднив результаты, выяснилось, что ни одна из моделей не смогла достичь точности ответов на вопросы выше случайной.

Маржена Карпинска (Marzena Karpinska), соавтор исследования, отметила: «Хотя такие модели, как Gemini 1.5 Pro, технически могут обрабатывать длинные контексты, мы видели много случаев, указывающих на то, что модели на самом деле не понимают содержание».

Второе исследование, проведённое учёными из Калифорнийского университета в Санта-Барбаре, фокусировалось на способности Gemini 1.5 Flash анализировать видеоконтент, а точнее слайды с изображениями. Результаты также оказались неудовлетворительными — из 25 изображений ИИ дал правильные ответы только в половине случаев, а при увеличении количества картинок точность ответов понизилась до 30 %, что ставит под сомнение эффективность модели в работе с мультимедийными данными.

Правда отмечается, что ни одно из исследований не прошло процесс рецензирования, и к тому же не тестировались самые последние версии моделей с контекстом в 2 миллиона токенов. Тем не менее, полученные результаты вызывают серьёзные вопросы в отношении реальных возможностей генеративных моделей ИИ в целом, и о том, насколько обоснованы маркетинговые заявления технологических гигантов.

Данные исследования появились на фоне растущего скептицизма в отношении генеративного ИИ. Так, недавние опросы международной консалтинговой компании Boston Consulting Group показали, что около половины опрошенных руководителей высшего звена не ожидают существенного повышения производительности от использования генеративного ИИ и обеспокоены возможными ошибками и проблемами с безопасностью данных.

Эксперты же призывают к разработке более объективных критериев оценки возможностей ИИ и к большему вниманию и независимой критике. Google пока не прокомментировал результаты этих исследований.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Студия ветерана Blizzard анонсировала динамичный изометрический боевик Arkheron — смесь Diablo и королевской битвы 7 ч.
Даже авторы сценария The Wolf Among Us 2 не знают, что происходит с игрой 8 ч.
Nothing анонсировала OS 4.0 — интерфейс стал проще, а камера умнее 9 ч.
Paradox добавила возмутившие фанатов платные кланы в стандартное издание Vampire: The Masquerade — Bloodlines 2 и анонсировала два сюжетных DLC 10 ч.
Жертвы утечки данных Facebook через Cambridge Analytica начали получать выплаты от Цукерберга 10 ч.
В мессенджере Max начинаются «открытые» тесты каналов — создавать их разрешат блогерам из реестра РКН 11 ч.
В России выплатили первую зарплату в цифровых рублях 12 ч.
На официальном сайте Like a Dragon засветилась Yakuza Kiwami 3 — Ryu Ga Gotoku Studio готовит анонс ремейка Yakuza 3 12 ч.
Rutube объяснил: пиратский контент на хостинг закачивают пользователи, но Netflix пока не жалуется 12 ч.
Microsoft обратилась к ИИ от Anthropic для Visual Studio Code — OpenAI больше не в почёте 13 ч.
Alibaba удалось разработать ИИ-чип T-Head PPU, сопоставимый по характеристикам с Nvidia H20 40 мин.
Новая статья: Обзор «золотого» блока питания GamerStorm PQ1000G (PQA00G-FD) с разъемом 12V-2x6 6 ч.
Глава NVIDIA разочарован запретом Китая на покупку RTX Pro 6000D, но все вопросы будут решаться на высшем уровне 6 ч.
Журналисты протестировали Apple Watch Series 11, Ultra 3 и SE 3 — всем нравится младшая модель 7 ч.
CoreWeave инвестирует ещё £1,5 млрд в британские ИИ ЦОД 7 ч.
Российский специалист по ремонту ПК-оборудования VIK-on выпустил DDR5-тестер для ноутбуков 7 ч.
Garmin выпустила смарт-часы Venu 4 — улучшенные функции, светодиодный фонарик и цена от $550 7 ч.
iPhone 17 Pro обласкали в первых обзорах: «значительное обновление, вызывающее восторг» 7 ч.
СМИ и блогеры протестировали iPhone Air: «ультратонкий смартфон не без компромиссов» 7 ч.
Вышли первые обзоры iPhone 17: «лучший вариант базовой модели за последние годы» 8 ч.