Сегодня 02 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Для обучения ИИ-модели Google PaLM 2 использовали впятеро больше текстовых данных, чем для предыдущей

Анонсированная на прошлой неделе большая языковая модель Google PaLM 2 была обучена на объёме, который в пять раз превышает аналогичный показатель модели 2022 года. Это позволяет новой нейросети решать более сложные задачи по программированию, математике и написанию текстов, выяснили журналисты CNBC.

 Источник изображения: blog.google

Источник изображения: blog.google

При обучении Google PaLM 2 было использовано 3,6 трлн токенов — эти элементы обучения больших языковых моделей помогают нейросетям предсказывать последующие слова в последовательностях. Алгоритмы предсказания, в свою очередь, позволяют большим языковым моделям составлять связные фразы. Предыдущую её версию, Google PaLM, которая была выпущена в 2022 году, обучили на 780 млрд токенов.

На прошедшем мероприятии Google I/O компания активно демонстрировала возможности искусственного интеллекта при его интеграции в поиск, электронную почту, работу с текстовыми документами и электронными таблицами, но не сообщала подробностей об объемах обучающих данных. Аналогичной стратегии предпочла придерживаться компания OpenAI, недавно представившая GPT-4. Свои действия компании объясняют конкурентным характером бизнеса, а общественность настаивает на большей прозрачности в отношении ИИ.

Google всё же рассказала, что новая модель оказалась меньше предыдущих, то есть эффективность технологии при выполнении более сложных задач выросла. PaLM 2, согласно внутренним документам компании, обучена на 340 млрд параметров, тогда как у первой версии их было 540 млрд — это свидетельствует, что увеличилась сложность модели. В компании подтвердили, что PaLM 2 обучена сотне языков, и это позволяет ей интегрироваться в 25 функций и продуктов экосистемы Google, включая экспериментальный чат-бот Bard.

Google PaLM 2, если верить общедоступным данным, может оказаться мощнее всех существующих моделей. Для сравнения, анонсированная в феврале Meta LlaMA обучена на 1,4 трлн токенов; OpenAI, когда ещё делилась информацией, докладывала, что GPT-3 обучалась на 300 млрд токенов; а представленная ещё два года назад Google LaMDA была обучена на 1,5 трлн токенов.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
AMD закрыла сделку по покупке ZT Systems за $4,9 млрд 30 мин.
Cerebras Systems и Ranovus выбраны DARPA для поставки вычислительной платформы нового поколения для военных и коммерческих проектов 59 мин.
Meta выпустит умные очки с дисплеем и ценником выше $1000 уже к концу года 3 ч.
В Китае электролётам EHang разрешили перевозить людей по воздуху, но услуги аэротакси пока под запретом 3 ч.
Poco F7 Ultra и Poco F7 Pro — смартфоны с мощными чипами, продвинутыми системами камер и высокой надёжностью 3 ч.
НПК «Атроник» выпустила одноплатный компьютер формата PC/104-Plus с чипом Vortex86 DX3 3 ч.
Hyundai представила Insteroid — концепт электромобиля в стиле гоночных симуляторов 5 ч.
Amazon возобновила доставку товаров дронами в Техасе и Аризоне после двухмесячного перерыва 5 ч.
UMC открыла в Сингапуре новое передовое предприятие, снижая зависимость от Тайваня 7 ч.
Intel: Panther Lake возьмут всё самое лучше от актуальных Core и ангстремного техпроцесса 18A, но выйдут в 2026 году 9 ч.