Сегодня 27 февраля 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → llama 2

Meta✴ готовит к выпуску Code Llama — открытую языковую модель, которая пишет программный код

Meta готовится вывести на рынок свою новую разработку в области ИИ — программный комплекс для генерации кода, получивший название Code Llama. Этот шаг поможет компании влиться в ряды таких влиятельных игроков отрасли, как OpenAI, Google и Microsoft.

 Источник изображения: TheDigitalArtist / Pixabay

Источник изображения: TheDigitalArtist / Pixabay

Code Llama представляет собой модель ИИ, способную по запросу пользователя самостоятельно генерировать программный код. Ожидается, что она будет представлена в виде решения с открытым исходным кодом, и, по данным источников, её запуск может состояться уже на следующей неделе. Этот стратегический ход Meta направлен на конкуренцию с мощной ИИ-моделью Codex компании OpenAI.

Созданная на основе большой языковой модели нового поколения Llama 2, Code Llama использует её возможности для понимания и создания текста. Llama 2, работающая в рамках открытого исходного кода, уже изменила традиционный ИИ-пейзаж, позволяя компаниям создавать собственные ИИ-приложения без привязки к платным решениям OpenAI, Google и Microsoft.

Модель Code Llama обещает ещё больше трансформировать разработку ИИ. Ведь её цель — упростить создание ИИ-помощников, автоматизировав генерацию программного кода в реальном времени, что значительно повысит эффективность разработчиков. Это поможет пользователям отказаться от платных ИИ-помощников, включая такой продукт Microsoft, как GitHub Copilot, созданный на основе Codex.

Кроме развития социальных сетей, Meta активно участвует в исследованиях и разработке ИИ. В феврале этого года компания представила Llama, ИИ-модель, сравнимую по производительности с известным чат-ботом GPT-3 компании OpenAI. Появление Llama привело к появлению других языковых моделей с открытым исходным кодом, таких как Alpaca и Vicuna, которые имеют свои собственные улучшения. В июле 2023 года Meta показала обновлённую версию Llama 2. В отличие от своей предшественницы, модель Llama 2 имеет коммерческую лицензию, что позволяет использовать её в различных бизнес-приложениях.

Инвестиции в ИИ являются одним из приоритетных направлений для генерального директора Meta Марка Цукерберга (Mark Zuckerberg). В июне он заявил: «Мы продолжаем наблюдать за сильным вовлечением в наши приложения, и у нас есть самый захватывающий план, который я видел за последнее время: Llama 2, Threads, Reels, новые ИИ-продукты в процессе разработки, а также запуск Quest 3 этой осенью».

Во II квартале 2023 года Meta продолжала инвестировать в ИИ и виртуальную реальность, даже несмотря на стремление к экономии. Компания ожидает, что её суммарные расходы в 2023 году составят от 88 млрд до 91 млрд, что больше прежних прогнозов.

Запуск Code Llama подчёркивает стремление Meta к инновациям и желание занять лидирующие позиции в области ИИ. Этот шаг может переопределить ландшафт индустрии, дав разработчикам новые инструменты и усилив конкуренцию с уже существующими игроками.

Qualcomm будет сотрудничать с Meta✴ над поддержкой языковой модели Llama 2 смартфонами и ПК без доступа к облаку

Вчера Meta совместно с Microsoft представила новое поколение большой языковой модели (LLM) — Llama 2, которая будет использоваться в генеративных ИИ-приложениях и сервисах. Теперь, как сообщает компания Qualcomm, она будет работать совместно с Meta над механизмом интеграции Llama 2 в электронику, в частности — мобильные устройства на чипсетах Qualcomm Snapdragon.

 Источник изображения: Placidplace/pixabay.com

Источник изображения: Placidplace/pixabay.com

Как заявила Qualcomm в пресс-релизе, целью сотрудничества стало обеспечение работы приложений и сервисов на базе Llama 2 на таких устройствах без необходимости подключения их к облаку — это требуется, например, при использовании других ИИ-продуктов вроде ChatGPT и Bing Chat.

Как заявили в Qualcomm, способность запускать большие языковые модели вроде Llama 2 на самом устройстве вроде смартфона, ПК или AR/VR-гарнитуры имеет ряд достоинств.

Например, это позволяет разработчикам экономить на облачных сервисах, а также обеспечивать пользователям конфиденциальный, более надёжный и персонализированный опыт, чем тот, что можно обеспечить при использовании облачного сервиса.

Qualcomm намерена обеспечить поддержку ИИ-сервисов на основе Llama 2 на устройствах, использующих чипсеты Qualcomm Snapdragon — уже в 2024 году. Правда, пока неизвестно, будет ли такая поддержка предусмотрена только в новых чипсетах или Qualcomm удастся каким-то образом организовать совместимость с уже используемыми.

В Meta заявляют, что Llama 2 тренировалась на 40 % большем объёме данных, чем Llama первого поколения. Разработчик уже анонсировал варианты сотрудничества с Microsoft — модель будут бесплатно предоставлять исследователям и коммерческими клиентами облака Azure. Кроме того, возможна загрузка и запуск LLM локально, на ПК под управлением ОС Windows.

Meta✴ в партнёрстве с Microsoft выпустила ИИ-модель Llama 2 — она доступна для исследовательских и коммерческих целей

Meta и Microsoft представили Llama 2 — большую языковую модель нового поколения. Новая версия будет доступна для исследовательских и коммерческих целей, поддерживая открытый подход к разработке и распространению современных моделей ИИ. Это станет новым шагом в долгосрочном партнёрстве между двумя компаниями, направленном на расширении доступа к базовым технологиям ИИ по всему миру.

 Источник изображения: ME

Источник изображения: ME

Недавние прорывы в области ИИ, особенно в области генеративного ИИ, завоевали общественное признание технологии и продемонстрировали то, что разработчики этих технологий давно знают, что обладают потенциалом помочь людям совершать невероятные вещи, создавать новую эру экономических и социальных возможностей, предоставлять индивидуальным пользователям, создателям контента и бизнесам новые способы выражения себя.

Компании верят, что открытый подход является правильным для разработки современных моделей ИИ, особенно в области генеративных ИИ, где технология быстро развивается. Открытость доступа к моделям ИИ способствует тому, что поколение разработчиков и исследователей может их испытать, быстро находя и решая проблемы.

Meta уже более десяти лет ставит в центр своих усилий в области ИИ исследовательскую работу, открытый исходный код и сотрудничество с академическими и промышленными партнёрами. Десятки больших языковых моделей уже были выпущены и стимулируют прогресс разработчиков и исследователей. Используя их в качестве основных ингредиентов для новых опытов с применением генеративного ИИ, бизнес-сфера уже впечатлена огромным спросом на Llama 1 со стороны исследователей — более 100 000 запросов на доступ к большой языковой модели.

Теперь Meta готова открыть исходный код следующей версии Llama 2 и предоставить её бесплатно для исследовательских и коммерческих целей. Начиная со вчерашнего дня, Llama 2 будет доступна в каталоге моделей Azure AI, что позволит разработчикам, использующим Microsoft Azure, работать с ней и использовать инструменты облачных технологий для фильтрации контента и функций безопасности.

Люди и бизнес получили выгоду от долгосрочного партнерства между Microsoft и Meta. Теперь, благодаря расширенному партнёрству, Microsoft и Meta поддерживают открытый подход, чтобы предоставить расширенный доступ к базовым технологиям ИИ в интересах бизнеса по всему миру. Этому подходу верят не только Meta и Microsoft, но и широкий круг сторонников, включая компании, которые дали раннюю обратную связь и готовы создавать новые продукты с Llama 2.

Открытый подход Meta способствует прозрачности, доступности и безопасности ИИ. В Meta понимают, что хотя ИИ принёс значительные преимущества обществу, он также несёт риски. Компания привержена ответственному подходу к развитию ИИ и предоставляет ряд ресурсов, призванных помочь тем, кто использует Llama 2, поступать также ответственно.

В Meta создали новые инициативы для мобилизации творчества отдельных лиц, исследователей и разработчиков по всему миру, чтобы получить отзывы о том, как ИИ-модели работают и как их можно улучшить.

На протяжении всей истории компании Meta, инженеры разработали и поделились фреймворками, которые сейчас стали стандартами отрасли — например, React, ведущий фреймворк для создания веб- и мобильных приложений, и PyTorch, который теперь является популярным фреймворком для ИИ. Открытое распространение современных больших языковых моделей, по их мнению, также будет способствовать разработке полезного и безопасного генеративного ИИ. В Meta с нетерпением ждут, чтобы увидеть, что мир создаст с помощью Llama 2.

Энтузиаст клонировал групповой чат своих друзей с помощью ИИ

500 тыс. архивных сообщений iMessage потребовались IT-специалисту Иззи Миллеру (Izzy Miller) из США, чтобы обучить языковую ИИ-модель воспроизводить реалистичные диалоги со своими друзьями в групповом чате. По словам разработчика, модель хорошо запомнила подробности жизней собеседников и потрясающе легко имитирует их манеру общения.

 Источник изображения: Alex Knight/unsplash.com

Источник изображения: Alex Knight/unsplash.com

Групповые чаты с друзьями, коллегами, жителями одного дома или членами одного спортивного клуба сегодня используются повсеместно. Применяя технологию, аналогичную той, что стоит за решениями Bing Chat и ChatGPT, Миллер создал рабочий клон чата с пятью лучшими друзьями. По его словам, с использованием современных технологий сделать это оказалось на удивление легко — на работу ушло несколько выходных и сотня долларов. По словам специалиста, удивительно не только то, что модель усвоила манеру общения людей, но и то, кем они являются по сути, с кем встречаются, с кем ходили в школу и где жили.

Конечно, создать подобный клон получится не у каждого, поскольку Миллер является экспертом в IT, работающим над собственным стартапом Hex, также связанным с ИИ-технологиями. Тем не менее для опытного в данной сфере человека разработка не составит особого труда. Сам Миллер использовал большую языковую модель LLaMA, разработанную компанией Meta и утёкшую в Сеть. По словам Миллера, она приблизительно соответствует по возможностям GPT-3 компании OpenAI. Для обучения модели были использованы 500 тыс. сообщений, загруженные из iMessage и позволившие ИИ скопировать манеры поведения всех участников группового чата.

По мнению разработчика, ещё два-три года назад на реализацию подобного проекта у группы университетских исследователей ушли бы месяцы, а теперь один человек справился буквально за несколько дней.

 Источник изображения: Иззи Миллер

Источник изображения: Иззи Миллер

Впрочем, система всё ещё не совершенна. Иногда размывается разница между личностями участников, а сама ИИ-модель не обладает чувством времени и часто путается в событиях прошлого и настоящего. Например, бывшие подруги участников чата упоминаются как нынешние, а более реальным считается то, что чаще упоминается в переписке. В частности, клоны ведут себя так, как будто они всё ещё в колледже — именно тогда друзья общались больше всего.

Как заявил Миллер, модель «думает», что на дворе ещё 2017 год, а участникам чата всё ещё чуть больше 20 лет. Это добавляет комизма диалогам, поскольку модель напоминает «портал в прошлое».

Впрочем, недооценивать технологии не стоит — судя по новостям, боты вполне способны влиять на настроение и поступки пользователей и будут играть всё большую роль в жизни людей. Некоторые эксперты предупреждают, что техногиганты могут создавать цифровые копии людей, которые, например, можно продавать потенциальным работодателям для проведения виртуальных интервью или даже давать к ним доступ полиции. Также многие специалисты из разных отраслей опасаются, что ИИ будет способствовать дальнейшему усилению одиночества людей. Впрочем, сам Миллер считает, что его проект служит лишь забавным дополнением к реальной жизни, и друзья намерены в скором будущем встретиться лично, хотя работа и разбросала их по территории США.

В Стэнфорде создали аналог ChatGPT всего за $600

Ученные Стэнфордского университета разработали модель искусственного интеллекта Alpaca AI, которая во многих задачах работает аналогично ChatGPT. Отличие состоит в том, что построили её на основе платформы с открытым исходным кодом, а обучение обошлось менее чем в $600. Иными словами, современные продвинутые системы ИИ можно легко воспроизвести, причём с довольно скромными затратами.

 Источник изображения: Gerd Altmann / pixabay.com

Источник изображения: Gerd Altmann / pixabay.com

Всего полгода назад за эволюцией больших языковых моделей следили разве что учёные и энтузиасты, но с запуском ChatGPT стало очевидным: машины могут общаться так же, как люди. Они за считаные секунды пишут тексты из множества предметных областей, зачастую демонстрируя очень высокий уровень. Последующий выход GPT-4 показал, что и развиваются они с головокружительной скоростью, обещая в скором времени коренным образом преобразовать всё человечество. Собственные аналоги уже есть у Google, Apple, Meta, Baidu и Amazon — ИИ-системы скоро наводнят рынок, появившись в поисковых системах, автомобилях и даже смарт-часах.

Как выяснилось, чтобы построить аналог ChatGPT, не нужно ресурсов технологического гиганта — достаточно определённой базы знаний и бюджета в $600. Это на деле подтвердили учёные Стэнфордского университета, взяв за основу разработанную Meta открытую языковую модель LLaMA 7B — самую доступную из линейки LlaMA. Будучи обученной на триллионе примеров, она обладает ограниченными возможностями и в большинстве задач значительно отстаёт от ChatGPT. Основные материальные затраты и главное конкурентное преимущество моделей OpenAI GPT заключаются в огромном количестве времени и человеческих ресурсов, которые разработчик вложил в обучение модели: одно дело прочитать несколько миллиардов книг и совсем другое — усвоить большое число пар вопросов и ответов, готовящих ИИ к предстоящей работе.

 Источник изображения: github.com/tatsu-lab

Источник изображения: github.com/tatsu-lab

Запустив модель LLaMA 7B, учёные Стэнфорда дали GPT образец из созданных человеком пар вопросов-ответов и предписали ей генерировать по этому образцу новые данные, выдавая по 20 пар за итерацию. Автоматизировав задачу через открытые OpenAI средства OpenAI, они за короткое время получили в распоряжение 52 000 образцов диалога, подходящих для обучения LlaMA, что обошлось учёным менее чем в $500. Далее последовал этап тонкой настройки LlaMA — для этого потребовались ресурсы восьми компьютеров с 80-Гбайт ускорителями NVIDIA A100 на три часа. В облачной инфраструктуре эта услуга обошлась менее чем в $100. По окончании обучения исследователи протестировали свою модель, которой дали имя Alpaca, и сравнили её с ChatGPT в таких задачах как написание электронной почты, публикаций для соцсетей и помощь в работе. Alpaca успешно справилась с 90 тестами, а ChatGPT преодолел лишь 89.

Авторы проекта отметили, что, вероятно, могли бы достичь того же результата с меньшими материальными затратами, если бы поставили цель оптимизировать процесс. При наличии доступа к GPT-4 и более мощным моделям LlaMA, которые можно взять за основу, любой подготовленный специалист смог бы повторить опыт и даже достичь более весомых результатов, не останавливаясь на 52 000 пар вопросов и ответов, тем более, что свой набор учёные Стэнфорда опубликовали на Github. Они также предупредили, что пока не занимались важнейшим из вопросов для современных ИИ — не провели дополнительной тонкой настройки, чтобы обеспечить безопасную и этичную работу модели, поэтому тех, кто будет использовать их наработки, попросили сообщать о выявленных сбоях.

Повторить опыт стэнфордских учёных теоретически может любой желающий при наличии технической подготовки и суммы в $600, однако остаются некоторые препятствия. Лицензия OpenAI не разрешает использовать данные её моделей для разработки конкурирующих систем, а Meta пока разрешила академическим исследователям пользоваться только некоммерческими лицензиями — виной всему утечка LlaMA на имиджборд 4chan через неделю после анонса. С другой стороны, ещё одна сторонняя группа разработчиков нашла способ запустить Alpaca AI на одноплатных компьютерах Raspberry Pi с возможностью масштабирования до более продвинутых LlaMA-13B, 30B и 65B и не прибегать в услугам облачных провайдеров на этапе тонкой настройки — достаточно ресурсов всего одной бытовой, пусть и чрезвычайно мощной видеокарты NVIDIA GeForce RTX 4090 на пять часов.

В интернет утекли исходники большой языковой ИИ-модели LLaMA от Meta✴

Разрабатываемая компанией Meta языковая модель с генеративным искусственным интеллектом LLaMa появилась в открытом доступе. Исходные коды платформы обнаружились на площадке 4chan.

 Источник изображения: geralt/unsplash.com

Источник изображения: geralt/unsplash.com

3 марта на 4chan появился торрент-файл для загрузки системы, и вскоре код распространился в различных тематических сообществах. Некоторые считают, что свободное распространение подобных технологий не сулит ничего хорошего, поскольку такие системы могут использоваться для создания персонализированного спама или фишинговых атак и другой незаконной активности. Другие уверены, что открытый доступ необходим для разработки эффективной защиты ИИ-систем. Релизы схожего ПО ранее не привели к катастрофическим результатам, и никаких задокументированных случаев масштабного злонамеренного использования языковых моделей просто нет.

Как сообщает The Verge со ссылкой на исследователей, знакомых с «официальной» и появившейся в Сети версиями модели, они совпадают. В самой Meta отказались подтверждать или опровергать информацию.

Имеется четыре версии ИИ-системы: LLaMA-7B, 13B, 30B и 65B (по числу миллиардов параметров). Для примера: версия на 13 млрд может запускаться на машине с одним ускорителем A100 и обходится в несколько долларов за час эксплуатации на облачных платформах. При этом в многочисленных бенчмарках для языковых ИИ-моделей вариант превосходит GPT-3 со 175 млрд параметров. Впрочем, такие бенчмарки плохо отражают удобство использования в реальном мире обычными людьми. Тем не менее считается, что хорошо настроенная LLaMA сопоставима по характеристикам с ChatGPT, а её относительная компактность будет способствовать широкому распространению платформы.

У концепции свободного распространения такого ПО есть немало сторонников и противников. Если первые уверены, что общедоступность ИИ-кода позволит выловить все баги, уязвимости и избежать концентрации важных данных в руках корпораций, то противники Open Source считают, что публичное тестирование очень опасно.

В любом случае, утечка кода способна подорвать доверие между Meta и исследователями, получившими по запросу доступ к исходным данным, а результаты её повсеместного распространения, как плохие, так и хорошие, должны проявиться несколько позже.

Олдскульный квест Unusual Findings обзавёлся точной датой релиза — ждать осталось меньше месяца

Российское издательство «Бука» (кипрское ESDigital Games) и разработчики из независимой аргентинской студии Epic Llama анонсировали точную дату выхода своего олдскульного квеста Unusual Findings.

 Источник изображения: ESDigital Games

Источник изображения: ESDigital Games

Напомним, Unusual Findings была представлена в прошлом сентябре, вскоре после этого успешно прошла кампанию по сбору средств на Kickstarter и после пары переносов планировалась к выпуску до конца текущего года.

Как стало известно, Unusual Findings выйдет 12 октября на PC (Steam), PS4, PS5, Xbox One, Xbox Series X и S, а также Nintendo Switch. Игроки профинансировали появление проекта и на мобильных устройствах, но о них в анонсе не говорится.

Unusual Findings расскажет о трёх друзьях в потрясённом серией жестоких убийств городке образца 80-х. Принимаемые игроком решения будут влиять на отношения между персонажами, головоломки и сюжет.

Разработчики обещают пропитанный ностальгией мир с кучей отсылок, отдающую дань уважения фильмам 80-х историю, сочетание проверенных механик и собственных находок, радикальную музыку и стильный пиксель-арт.


window-new
Soft
Hard
Тренды 🔥
Инсайдер раскрыл главную игру мартовской подборки PS Plus за день до официального анонса 10 мин.
Sony отменила новую Twisted Metal 2 ч.
Сегодняшний сбой в Рунете объяснили проверкой спецслужб и настройкой шлюзов Роскомнадзора 2 ч.
Покемоны следующего поколения: анонсирована Pokemon Legends: Z-A для «систем семейства Nintendo Switch» 2 ч.
Qualcomm представила AI Hub — «инструмент мечты» для создания ИИ-приложений, работающих локально 3 ч.
PlayStation объявила о массовых сокращениях — увольнение 900 сотрудников, закрытие внутренней студии Sony, отмена игр 4 ч.
Microsoft сформулировала «принципы доступа к ИИ» — компания обещает не монополизировать рынок 4 ч.
Домен сообщества Steam попал в реестр запрещённых сайтов, но почти тут же оттуда пропал — Роскомнадзор прокомментировал ситуацию 6 ч.
Создатели Until Dawn уволят почти треть сотрудников, несмотря на три игры в разработке — сокращения добрались до Supermassive Games 6 ч.
Антимонопольная служба ЕС изучит инвестиции Microsoft в стартап Mistral AI 7 ч.