Сегодня 04 ноября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Для обучения ИИ-модели Google PaLM 2 использовали впятеро больше текстовых данных, чем для предыдущей

Анонсированная на прошлой неделе большая языковая модель Google PaLM 2 была обучена на объёме, который в пять раз превышает аналогичный показатель модели 2022 года. Это позволяет новой нейросети решать более сложные задачи по программированию, математике и написанию текстов, выяснили журналисты CNBC.

 Источник изображения: blog.google

Источник изображения: blog.google

При обучении Google PaLM 2 было использовано 3,6 трлн токенов — эти элементы обучения больших языковых моделей помогают нейросетям предсказывать последующие слова в последовательностях. Алгоритмы предсказания, в свою очередь, позволяют большим языковым моделям составлять связные фразы. Предыдущую её версию, Google PaLM, которая была выпущена в 2022 году, обучили на 780 млрд токенов.

На прошедшем мероприятии Google I/O компания активно демонстрировала возможности искусственного интеллекта при его интеграции в поиск, электронную почту, работу с текстовыми документами и электронными таблицами, но не сообщала подробностей об объемах обучающих данных. Аналогичной стратегии предпочла придерживаться компания OpenAI, недавно представившая GPT-4. Свои действия компании объясняют конкурентным характером бизнеса, а общественность настаивает на большей прозрачности в отношении ИИ.

Google всё же рассказала, что новая модель оказалась меньше предыдущих, то есть эффективность технологии при выполнении более сложных задач выросла. PaLM 2, согласно внутренним документам компании, обучена на 340 млрд параметров, тогда как у первой версии их было 540 млрд — это свидетельствует, что увеличилась сложность модели. В компании подтвердили, что PaLM 2 обучена сотне языков, и это позволяет ей интегрироваться в 25 функций и продуктов экосистемы Google, включая экспериментальный чат-бот Bard.

Google PaLM 2, если верить общедоступным данным, может оказаться мощнее всех существующих моделей. Для сравнения, анонсированная в феврале Meta LlaMA обучена на 1,4 трлн токенов; OpenAI, когда ещё делилась информацией, докладывала, что GPT-3 обучалась на 300 млрд токенов; а представленная ещё два года назад Google LaMDA была обучена на 1,5 трлн токенов.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Baldur’s Gate 3, Stellar Blade, Star Wars Outlaws и многие другие: поддержку PS5 Pro на запуске получат более 50 игр 2 ч.
Соцсеть X обновила принцип блокировки пользователей — многим это не понравилось 3 ч.
Евросоюз проверит iPadOS на соответствие требованием антимонопольного законодательства 3 ч.
Windows 11 закрепилась как самая популярная ОС в Steam 5 ч.
«Смута» получила «знаковое» обновление 2.0.0 и крупнейшую скидку с релиза, а на iOS и Android вышла визуальная новелла «Смута: Зов сердца» 8 ч.
iOS 18.2 выйдет раньше — интеграция с ChatGPT и ИИ-генератор эмодзи Genmoji появятся на iPhone уже 2 декабря 8 ч.
Энтузиаст запустил классическую Doom на умном будильнике Alarmo от Nintendo 9 ч.
Project Borealis: Prologue обзавелась страницей в Steam — новые скриншоты демоверсии фанатской Half-Life 3 на Unreal Engine 5 10 ч.
Dragon Age: The Veilguard точно не получит DLC — BioWare «целиком» переключилась на новую Mass Effect 11 ч.
Аудитория кооперативного хоррора Phasmophobia превысила 20 млн игроков 03-11 15:56