Сегодня 31 марта 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Для обучения ИИ-модели Google PaLM 2 использовали впятеро больше текстовых данных, чем для предыдущей

Анонсированная на прошлой неделе большая языковая модель Google PaLM 2 была обучена на объёме, который в пять раз превышает аналогичный показатель модели 2022 года. Это позволяет новой нейросети решать более сложные задачи по программированию, математике и написанию текстов, выяснили журналисты CNBC.

 Источник изображения: blog.google

Источник изображения: blog.google

При обучении Google PaLM 2 было использовано 3,6 трлн токенов — эти элементы обучения больших языковых моделей помогают нейросетям предсказывать последующие слова в последовательностях. Алгоритмы предсказания, в свою очередь, позволяют большим языковым моделям составлять связные фразы. Предыдущую её версию, Google PaLM, которая была выпущена в 2022 году, обучили на 780 млрд токенов.

На прошедшем мероприятии Google I/O компания активно демонстрировала возможности искусственного интеллекта при его интеграции в поиск, электронную почту, работу с текстовыми документами и электронными таблицами, но не сообщала подробностей об объемах обучающих данных. Аналогичной стратегии предпочла придерживаться компания OpenAI, недавно представившая GPT-4. Свои действия компании объясняют конкурентным характером бизнеса, а общественность настаивает на большей прозрачности в отношении ИИ.

Google всё же рассказала, что новая модель оказалась меньше предыдущих, то есть эффективность технологии при выполнении более сложных задач выросла. PaLM 2, согласно внутренним документам компании, обучена на 340 млрд параметров, тогда как у первой версии их было 540 млрд — это свидетельствует, что увеличилась сложность модели. В компании подтвердили, что PaLM 2 обучена сотне языков, и это позволяет ей интегрироваться в 25 функций и продуктов экосистемы Google, включая экспериментальный чат-бот Bard.

Google PaLM 2, если верить общедоступным данным, может оказаться мощнее всех существующих моделей. Для сравнения, анонсированная в феврале Meta LlaMA обучена на 1,4 трлн токенов; OpenAI, когда ещё делилась информацией, докладывала, что GPT-3 обучалась на 300 млрд токенов; а представленная ещё два года назад Google LaMDA была обучена на 1,5 трлн токенов.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Вернулись к тому, с чего начинали: похоже, Blizzard готовится переименовать Overwatch 2 в Overwatch 24 мин.
Новая игра по «Звёздным войнам» от бывших разработчиков XCOM выглядит как XCOM по «Звёздным войнам» — первые скриншоты 2 ч.
Apple выпустила iOS 18.4 с «Приоритетными уведомлениями» от ИИ и другими улучшениями 2 ч.
«Софтлайн» опубликовал аудированные итоги 2024 года, подтвердив увеличение прогноза на 2025 год 3 ч.
«Жестокая, энергичная и без компромиссов»: впечатления журналистов и 14 минут нового геймплея Doom: The Dark Ages 4 ч.
В «Google Презентациях» появился ИИ для генерации изображений Imagen 3 и другие инструменты для «потрясающих презентаций» 4 ч.
Amazon представила ИИ-агента Nova Act, который заменит человека в интернет-серфинге 6 ч.
Слухи: четыре известные корейские компании устроили борьбу за право создавать новые игры по StarCraft 6 ч.
Голливудские студии перенаправили монетизацию фейковых трейлеров на YouTube себе в карман 7 ч.
Франция оштрафовала Apple на €150 млн за ограничение таргетинга в iOS 7 ч.
Micron предупредила о дальнейшем росте цен на DRAM и NAND, и обвинила в этом ИИ 2 ч.
AMD теперь сможет «продавать больше GPU» — компания поглотила ZT Systems за $5 млрд 2 ч.
Стартовали продажи игровых ноутбуков с Nvidia Blackwell — за мобильную RTX 5090 просят как минимум $4299 4 ч.
На рынке комплектующих для игровых ПК появился новый крупный игрок — HP расширила ассортимент геймерского бренда Omen 6 ч.
Acer представила 240-Гц игровые QD-OLED-мониторы Predator X27U X1 и Predator X32 X2 по цене от $600 6 ч.
Meta подписала соглашение с Sembcorp о поставке энергии плавучих солнечных генераторов в Сингапуре 6 ч.
Возврат к корням: Vantage Towers разместила базовые станции на деревянных столбах 7 ч.
Arm собралась руками Nvidia захватить половину рынка процессоров для дата-центров 8 ч.
Доступная раскладушка Samsung Galaxy Z Flip 7 FE будет выглядеть точно как прошлогодний Z Flip 6 9 ч.
На заводе «ЦТС» в Калининградской области начали выпускать серверные платы 10 ч.