Сегодня 23 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Для обучения ИИ-модели Google PaLM 2 использовали впятеро больше текстовых данных, чем для предыдущей

Анонсированная на прошлой неделе большая языковая модель Google PaLM 2 была обучена на объёме, который в пять раз превышает аналогичный показатель модели 2022 года. Это позволяет новой нейросети решать более сложные задачи по программированию, математике и написанию текстов, выяснили журналисты CNBC.

 Источник изображения: blog.google

Источник изображения: blog.google

При обучении Google PaLM 2 было использовано 3,6 трлн токенов — эти элементы обучения больших языковых моделей помогают нейросетям предсказывать последующие слова в последовательностях. Алгоритмы предсказания, в свою очередь, позволяют большим языковым моделям составлять связные фразы. Предыдущую её версию, Google PaLM, которая была выпущена в 2022 году, обучили на 780 млрд токенов.

На прошедшем мероприятии Google I/O компания активно демонстрировала возможности искусственного интеллекта при его интеграции в поиск, электронную почту, работу с текстовыми документами и электронными таблицами, но не сообщала подробностей об объемах обучающих данных. Аналогичной стратегии предпочла придерживаться компания OpenAI, недавно представившая GPT-4. Свои действия компании объясняют конкурентным характером бизнеса, а общественность настаивает на большей прозрачности в отношении ИИ.

Google всё же рассказала, что новая модель оказалась меньше предыдущих, то есть эффективность технологии при выполнении более сложных задач выросла. PaLM 2, согласно внутренним документам компании, обучена на 340 млрд параметров, тогда как у первой версии их было 540 млрд — это свидетельствует, что увеличилась сложность модели. В компании подтвердили, что PaLM 2 обучена сотне языков, и это позволяет ей интегрироваться в 25 функций и продуктов экосистемы Google, включая экспериментальный чат-бот Bard.

Google PaLM 2, если верить общедоступным данным, может оказаться мощнее всех существующих моделей. Для сравнения, анонсированная в феврале Meta LlaMA обучена на 1,4 трлн токенов; OpenAI, когда ещё делилась информацией, докладывала, что GPT-3 обучалась на 300 млрд токенов; а представленная ещё два года назад Google LaMDA была обучена на 1,5 трлн токенов.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Одной рукой играю, другой слёзы счастья вытираю»: пользователи Steam остались в восторге от The Elder Scrolls IV: Oblivion Remastered 12 мин.
Meta может потерять $7 млрд из-за новых пошлин Трампа против Китая 4 ч.
OpenAI готова купить браузер Chrome, если Google обяжут его продать 6 ч.
Новые правила «Оскара» разрешили применение ИИ в кино, но с оговоркой 9 ч.
Google бросила попытки искоренить сторонние cookies — они останутся в браузере Chrome 9 ч.
«Однозначно стоит своих денег»: хоррор Post Trauma в духе первых Silent Hill и Resident Evil вышел в российском Steam 11 ч.
Apple полностью поменяет команду разработки Siri, чтобы вывести её из застоя 11 ч.
Nvidia похвалилась, что поддержка технологии DLSS уже есть в 769 играх и приложениях 12 ч.
Анонсирован психологический хоррор «нового уровня» Displacement с элементами BioShock и Condemned — игра на грани закрытия 13 ч.
AMD выпустила необязательный драйвер с поддержкой The Elder Scrolls IV: Oblivion Remastered и FSR 4 для новых игр 13 ч.
Китайские техногиганты успели заказать у Nvidia ускорителей H20 на миллиарды долларов до введения запрета на их поставку 40 мин.
Microsoft развернёт системы охлаждения LG в своих ИИ ЦОД 2 ч.
Трагическое ДТП с электромобилем SU7 вынудило Xiaomi задержать премьеру кроссовера YU7 2 ч.
Политический активизм Маска обернулся для Tesla рухнувшей на 20 % выручкой от продаж электромобилей 3 ч.
Минпромторг исключит ноутбуки и серверы HP и Fujitsu из списка на параллельный импорт 10 ч.
Новая статья: Старость — не радость (и для кремния тоже) 10 ч.
GS Group освоила самое передовое в России корпусирование микросхем, но до мировых лидеров ещё далеко 11 ч.
Зонд «Гера» показал Марс с необычного ракурса и сфотографировал один из самых маленьких спутников в Солнечной системе 11 ч.
Европа проведёт эксперимент по производству еды прямо на орбите 11 ч.
Учёные построили симулятор чёрной и белой дыры — он поможет создать электронику будущего и не только 11 ч.