Сегодня 28 февраля 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Первое знакомство с революционной нейросетью Google Gemini разочаровало пользователей

Вчера компания Google представила флагманскую большую языковую модель искусственного интеллекта (ИИ) Gemini. Нейросеть предназначена для целого ряда продуктов и сервисов, включая ИИ-чат-бота Bard, конкурента ChatGPT. Однако большинство пользователей, успевших протестировать обновлённый Bard на свежей нейросети, остались недовольны результатами.

 Источник изображения: Google

Источник изображения: Google

В своих блогах и материалах для прессы Google превозносит превосходную архитектуру и возможности Gemini, утверждая, что данная модель соответствует или даже превосходит по производительности другие ведущие модели генеративного ИИ, такие как GPT-4 от OpenAI. Однако первый опыт взаимодействия некоторых пользователей свидетельствует об обратном.

Так, вчера Bard получил апгрейд в виде «облегчённой» версии модели под названием Gemini Pro. Пользователи сразу начали высказывать своё недовольство обновлением на страницах социальной сети X (бывший Twitter). К примеру, чат-бот не смог правильно предоставить простые факты, например, победителей премии «Оскар» 2023 года. При этом Gemini Pro неверно утверждает, что в прошлом году лучшим актёром стал Брендон Глисон (Brendan Gleeson), в то время как фактически победителем был Брендан Фрейзер (Brendan Fraser). При попытках пользователей задать этот же вопрос, можно в результате получить другой неправильный ответ.

 Источник изображения: Google

Источник изображения: Google

Похожая ситуация с вопросами касательно лучших фильмов: «На западном фронте без перемен» стал лучшим международным фильмом по мнению модели, «Говорят женщины» стал лучшим адаптированным сценарием, а «Пиноккио» — лучшим анимационным фильмом. Модель во всех этих примерах выдала некорректные ответы.

Кроме того, Bard на базе Gemini продемонстрировал плохую производительность при переводах. К примеру, при попытках пользователей запросить у модели слово на французском языке, состоящее из 6 букв, Gemini выдаёт вариант из 7 букв.

 Источник изображения: Google

Источник изображения: Google

А как насчёт обобщения новостей? Gemini Pro, имея в своём распоряжении «Google Поиск» и «Google Новости», очевидно, может предоставить краткий обзор новостей. Как бы не так. Похоже, Gemini Pro не желает комментировать потенциально спорные темы новостей, предлагая пользователям... погуглить самим. При этом конкурент от OpenAI ChatGPT, напротив, легко справляется с этой задачей, предоставляя краткое изложение со ссылками на новостные статьи. Хотя доступна эта функция лишь платным подписчикам — бесплатная версия ChatGPT не подключена к интернету.

 Источник изображения: OpenAI

Источник изображения: OpenAI

Как и все генеративные модели ИИ, Gemini Pro не застрахован от «взлома», то есть от запросов, которые обходят защитные фильтры, пытающиеся предотвратить обсуждение спорных тем. Используя автоматизированный метод алгоритмического изменения контекста подсказок до тех пор, пока защитные фильтры Gemini Pro не перестанут работать, исследователи ИИ-безопасности из стартапа Robust Intelligence, продающего инструменты для аудита моделей, смогли заставить Gemini Pro предложить способы аморальных действий, например, кражи у благотворительной организации.

Следует отметить, что Gemini Pro на текущий момент не является самой способной версией Gemini. Более продвинутая версия — Gemini Ultra — должна появиться на рынке в следующем году, в ИИ-чат-боте Bard и других продуктах. Поэтому сейчас Google сравнивает Gemini Pro с моделью конкурента GPT-3.5, которой уже около года, а не с последней версией GPT-4.

Тем не менее, Google пообещала, что Gemini Pro улучшит рассуждения, планирование и понимание по сравнению с предыдущей моделью, используемой в Bard, и заявила, что Gemini Pro лучше справляется с обобщением контента, мозговым штурмом и написанием текста. Пока что этого не видно.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
ИИ-модели Mistral AI появятся на платформе Microsoft Azure 27 мин.
По мотивам «Паранормального явления» выйдет жуткий хоррор от разработчика The Mortuary Assistant — первый тизер Paranormal Activity: Found Footage 2 ч.
GitHub Copilot Enterprise стал доступен всем желающим за $39 в месяц 2 ч.
Microsoft выпустила битое обновление Windows 11, но предложила временное решение и пообещала исправиться 2 ч.
Создатели солнечного Souls-экшена Enotria: The Last Song отказались от «самоубийственного» релиза в один день с Elden Ring: Shadow of the Erdtree 2 ч.
Будущие обновления Windows 11 потребуют SSE4.2 — процессоры для LGA 775 и Socket AM2/AM3 останутся за бортом 3 ч.
Возвращение к корням, аналог Call of Duty: Warzone и релиз в 2025 году: инсайдер раскрыл новые детали следующей Battlefield 3 ч.
Google объяснила, как Wear OS 4 значительно повышает время автономной работы смарт-часов 9 ч.
Еженедельный чарт Steam: новинки заняли почти половину топ-10, а Elden Ring вернулась в тройку лидеров после открытия предзаказа DLC 14 ч.
ВТБ переведёт десятки тысяч рабочих мест на отечественную ОС Astra Linux 16 ч.