Сегодня 23 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Для обучения ИИ-модели Google PaLM 2 использовали впятеро больше текстовых данных, чем для предыдущей

Анонсированная на прошлой неделе большая языковая модель Google PaLM 2 была обучена на объёме, который в пять раз превышает аналогичный показатель модели 2022 года. Это позволяет новой нейросети решать более сложные задачи по программированию, математике и написанию текстов, выяснили журналисты CNBC.

 Источник изображения: blog.google

Источник изображения: blog.google

При обучении Google PaLM 2 было использовано 3,6 трлн токенов — эти элементы обучения больших языковых моделей помогают нейросетям предсказывать последующие слова в последовательностях. Алгоритмы предсказания, в свою очередь, позволяют большим языковым моделям составлять связные фразы. Предыдущую её версию, Google PaLM, которая была выпущена в 2022 году, обучили на 780 млрд токенов.

На прошедшем мероприятии Google I/O компания активно демонстрировала возможности искусственного интеллекта при его интеграции в поиск, электронную почту, работу с текстовыми документами и электронными таблицами, но не сообщала подробностей об объемах обучающих данных. Аналогичной стратегии предпочла придерживаться компания OpenAI, недавно представившая GPT-4. Свои действия компании объясняют конкурентным характером бизнеса, а общественность настаивает на большей прозрачности в отношении ИИ.

Google всё же рассказала, что новая модель оказалась меньше предыдущих, то есть эффективность технологии при выполнении более сложных задач выросла. PaLM 2, согласно внутренним документам компании, обучена на 340 млрд параметров, тогда как у первой версии их было 540 млрд — это свидетельствует, что увеличилась сложность модели. В компании подтвердили, что PaLM 2 обучена сотне языков, и это позволяет ей интегрироваться в 25 функций и продуктов экосистемы Google, включая экспериментальный чат-бот Bard.

Google PaLM 2, если верить общедоступным данным, может оказаться мощнее всех существующих моделей. Для сравнения, анонсированная в феврале Meta LlaMA обучена на 1,4 трлн токенов; OpenAI, когда ещё делилась информацией, докладывала, что GPT-3 обучалась на 300 млрд токенов; а представленная ещё два года назад Google LaMDA была обучена на 1,5 трлн токенов.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новые правила «Оскара» разрешили применение ИИ в кино, но с оговоркой 4 ч.
Google бросила попытки искоренить сторонние cookies — они останутся в браузере Chrome 4 ч.
«Однозначно стоит своих денег»: хоррор Post Trauma в духе первых Silent Hill и Resident Evil вышел в российском Steam 5 ч.
Apple полностью поменяет команду разработки Siri, чтобы вывести её из застоя 6 ч.
Nvidia похвалилась, что поддержка технологии DLSS уже есть в 769 играх и приложениях 7 ч.
Анонсирован психологический хоррор «нового уровня» Displacement с элементами BioShock и Condemned — игра на грани закрытия 8 ч.
AMD выпустила необязательный драйвер с поддержкой The Elder Scrolls IV: Oblivion Remastered и FSR 4 для новых игр 8 ч.
Apple перестала обманывать пользователей и убрала утверждение, что Apple Intelligence «доступен сейчас» 8 ч.
Gmail упростил отписку от надоедливых рассылок, собрав их все в одном месте 9 ч.
Bethesda анонсировала и выпустила The Elder Scrolls IV: Oblivion Remastered — с новой графикой, улучшенным геймплеем и без русского языка 10 ч.
Минпромторг исключит ноутбуки и серверы HP и Fujitsu из списка на параллельный импорт 5 ч.
Новая статья: Старость — не радость (и для кремния тоже) 5 ч.
GS Group освоила самое передовое в России корпусирование микросхем, но до мировых лидеров ещё далеко 6 ч.
Зонд «Гера» показал Марс с необычного ракурса и сфотографировал один из самых маленьких спутников в Солнечной системе 6 ч.
Европа проведёт эксперимент по производству еды прямо на орбите 6 ч.
Учёные построили симулятор чёрной и белой дыры — он поможет создать электронику будущего и не только 6 ч.
Qualcomm обвинила Arm в нарушении лицензионного соглашения и тайном намерении стать производителем чипов 8 ч.
Colorfire представила бело-оранжевую GeForce RTX 5060 Ti Meow с лапками 8 ч.
Астрономы обнаружили хвостатую планету, которая буквально испаряется с каждым оборотом вокруг своей звезды 10 ч.
Insta360 представила экшн-камеру X5 за $550 c простой заменой разбитых линз 11 ч.