Сегодня Meta✴ представила не только новое поколение собственных языковых моделей Llama 3, но и подключила их к поисковым строкам своих основных приложений — Facebook✴, Messenger, Instagram✴ и WhatsApp, пусть и не во всех странах. Кроме того, компания запустила отдельный сайт для своего чат-бота, meta✴.ai.

Источник изображения: Meta✴

Meta✴ стремится не отставать, а то и превзойти конкурирующие продукты вроде ChatGPT от OpenAI, Gemini от Google и Claude от Anthropic, с которыми сегодня и сравнивала новое семейство больших языковых моделей Llama 3. Более того, Марк Цукерберг (Mark Zuckerberg) заявил, что Meta✴ AI «самый интеллектуальный ИИ-помощник из доступных для свободного пользователя». Meta✴ AI запустили ещё в прошлом году, и он по-прежнему поддерживает лишь английский язык, однако работает во многих странах, включая Австралию, Канаду, Гану, Ямайку, Малави, Новую Зеландию, Нигерию, Пакистан, Сингапур, Южную Африку, Уганду, Замбию и Зимбабве.

Среди новых функций Meta✴ AI — возможность попросить ИИ найти определённую информацию в Google и Bing. Разработчики не просто ускорили генерацию изображений с помощью Meta✴ AI, но и наделили ИИ возможностью анимировать картинки, а также улучшили функцию размещения текста на генерируемых изображениях.

Стремясь как можно сильнее расширить присутствие ИИ в своих продуктах, Meta✴ добавила его не только в поисковые строки, но и в индивидуальные и групповые чаты, и даже в ленты приложений. Например, увидев в ленте Facebook✴ фотографию северного сияния можно спросить ИИ, когда лучше отправиться в Исландию, чтобы наблюдать его своими глазами. Помимо этого, Meta✴ AI добавили в умные очки Ray-Ban, вскоре он появится и в VR-гарнитуре Meta✴ Quest.

Meta✴ представила Llama 3 — большую языковую модель нового поколения, которую без лишней скромности называет «самой способной LLM с открытым исходным кодом». Компания выпустила две версии: Llama 3 8B и Llama 3 70B соответственно с 8 и 70 миллиардами параметров. По словам компании, новые ИИ-модели значительно превосходят соответствующие модели прошлого поколения и являются одними из лучших моделей для генеративного ИИ из ныне существующих.

Источник изображения: vecstock / freepik.com

В подтверждение своих слов Meta✴ приводит результаты популярных тестов MMLU (знания), ARC (способность к обучению) и DROP (анализ фрагментов текста). Llama 3 8B превосходит другие модели своего класса с открытым исходным кодом, такие как Mistral 7B от Mistral и Gemma 7B от Google с 7 миллиардами параметров, по крайней мере в девяти тестах: MMLU, ARC, DROP, GPQA (вопросы по биологии, физике и химии), HumanEval (тест на генерацию кода), GSM-8K (математические задачи), MATH (ещё один математический тест), AGIEval (набор тестов на решение задач) и BIG-Bench Hard (оценка рассуждений на основе здравого смысла).

Источник изображений: Meta✴

Mistral 7B и Gemma 7B уже не назвать современными, при этом в некоторых тестах Llama 3 8B не показывает значимого превосходства над ними. Однако куда сильнее Meta✴ гордится более продвинутой моделью, Llama 3 70B, которую ставит в один ряд с другими флагманскими моделями для генеративных ИИ, включая Gemini 1.5 Pro — самую продвинутую в линейке Gemini от Google. Llama 3 70B опережает Gemini 1.5 Pro в тестах MMLU, HumanEval и GSM-8K, но уступает передовой модели Claude 3 Opus от Anthropic, превосходя лишь слабейшую модель серии, Sonnet, в пяти тестах: MMLU, GPQA, HumanEval, GSM-8K и MATH. Meta✴ также разработала собственный набор тестов, от написания текстов и кода до обобщений и выводов, в котором Llama 3 70B обошла Mistral Medium, GPT-3.5 от OpenAI и Claude Sonnet от Anthropic.

По словам Meta✴, новые модели более «управляемы», реже отказываются отвечать на вопросы и в целом выдают более точную информацию, в том числе в некоторых научных областях, что, вероятно, обосновано огромным количеством данных, использованных для их обучения: 15 триллионов токенов и 750 миллиардов слов, что в семь раз больше, чем в случае с Llama 2.

Откуда столько данных? Meta✴ ограничилась заверением, что все они взяты из «общедоступных источников». При этом в наборе данных для обучения Llama 3 содержалось в четыре раза больше кода в сравнении с использованным для Llama 2, а 5 % набора составляли данные на 30 отличных от английского языках, чтобы улучшить работу с ними. Кроме того, использовались синтетические данные, то есть полученные от других ИИ-моделей.

«Наши текущие ИИ-модели настроены отвечать лишь на английском, но мы обучаем их с использованием данных на других языках, чтобы ИИ лучше распознавал нюансы и закономерности», — прокомментировала Meta✴.

Вопрос необходимого количества данных для дальнейшего обучения ИИ в последнее время поднимается особенно часто, и Meta✴ уже успела подпортить репутацию на этом поприще. Не так давно сообщалось, что Meta✴ в погоне за конкурентами «скармливала» ИИ защищённые авторским правом электронные книги, хотя юристы компании предупреждали о возможных последствиях.

Что касается безопасности, Meta✴ встроила в новое поколение собственных ИИ-моделей несколько протоколов безопасности, таких как Llama Guard и CybersecEval, чтобы бороться с неправомерным использованием ИИ. Компания также выпустила специальный инструмент Code Shield для анализа безопасности кода открытых моделей генеративных ИИ, позволяющий обнаружить потенциальные уязвимости. Известно, что ранее эти же протоколы не уберегли Llama 2 от недостоверных ответов и выдачи персональной медицинской и финансовой информации.

Но и это ещё не всё. Meta✴ обучает модель Llama 3 с 400 миллиардами параметров — она сможет разговаривать на разных языках и принимать больше входящих данных, в том числе работать с изображениями. «Мы стремимся сделать Llama 3 многоязычной и мультимодальной моделью, умеющей учитывать больше контекста. Мы также стараемся улучшить производительность и расширить возможности языковой модели в рассуждениях и написании кода», — сказали в Meta✴.

Meta✴ готовится вывести на рынок свою новую разработку в области ИИ — программный комплекс для генерации кода, получивший название Code Llama. Этот шаг поможет компании влиться в ряды таких влиятельных игроков отрасли, как OpenAI, Google и Microsoft.

Источник изображения: TheDigitalArtist / Pixabay

Code Llama представляет собой модель ИИ, способную по запросу пользователя самостоятельно генерировать программный код. Ожидается, что она будет представлена в виде решения с открытым исходным кодом, и, по данным источников, её запуск может состояться уже на следующей неделе. Этот стратегический ход Meta✴ направлен на конкуренцию с мощной ИИ-моделью Codex компании OpenAI.

Созданная на основе большой языковой модели нового поколения Llama 2, Code Llama использует её возможности для понимания и создания текста. Llama 2, работающая в рамках открытого исходного кода, уже изменила традиционный ИИ-пейзаж, позволяя компаниям создавать собственные ИИ-приложения без привязки к платным решениям OpenAI, Google и Microsoft.

Модель Code Llama обещает ещё больше трансформировать разработку ИИ. Ведь её цель — упростить создание ИИ-помощников, автоматизировав генерацию программного кода в реальном времени, что значительно повысит эффективность разработчиков. Это поможет пользователям отказаться от платных ИИ-помощников, включая такой продукт Microsoft, как GitHub Copilot, созданный на основе Codex.

Кроме развития социальных сетей, Meta✴ активно участвует в исследованиях и разработке ИИ. В феврале этого года компания представила Llama, ИИ-модель, сравнимую по производительности с известным чат-ботом GPT-3 компании OpenAI. Появление Llama привело к появлению других языковых моделей с открытым исходным кодом, таких как Alpaca и Vicuna, которые имеют свои собственные улучшения. В июле 2023 года Meta✴ показала обновлённую версию Llama 2. В отличие от своей предшественницы, модель Llama 2 имеет коммерческую лицензию, что позволяет использовать её в различных бизнес-приложениях.

Инвестиции в ИИ являются одним из приоритетных направлений для генерального директора Meta✴ Марка Цукерберга (Mark Zuckerberg). В июне он заявил: «Мы продолжаем наблюдать за сильным вовлечением в наши приложения, и у нас есть самый захватывающий план, который я видел за последнее время: Llama 2, Threads, Reels, новые ИИ-продукты в процессе разработки, а также запуск Quest 3 этой осенью».

Во II квартале 2023 года Meta✴ продолжала инвестировать в ИИ и виртуальную реальность, даже несмотря на стремление к экономии. Компания ожидает, что её суммарные расходы в 2023 году составят от 88 млрд до 91 млрд, что больше прежних прогнозов.

Запуск Code Llama подчёркивает стремление Meta✴ к инновациям и желание занять лидирующие позиции в области ИИ. Этот шаг может переопределить ландшафт индустрии, дав разработчикам новые инструменты и усилив конкуренцию с уже существующими игроками.

Вчера Meta✴ совместно с Microsoft представила новое поколение большой языковой модели (LLM) — Llama 2, которая будет использоваться в генеративных ИИ-приложениях и сервисах. Теперь, как сообщает компания Qualcomm, она будет работать совместно с Meta✴ над механизмом интеграции Llama 2 в электронику, в частности — мобильные устройства на чипсетах Qualcomm Snapdragon.

Источник изображения: Placidplace/pixabay.com

Как заявила Qualcomm в пресс-релизе, целью сотрудничества стало обеспечение работы приложений и сервисов на базе Llama 2 на таких устройствах без необходимости подключения их к облаку — это требуется, например, при использовании других ИИ-продуктов вроде ChatGPT и Bing Chat.

Как заявили в Qualcomm, способность запускать большие языковые модели вроде Llama 2 на самом устройстве вроде смартфона, ПК или AR/VR-гарнитуры имеет ряд достоинств.

Например, это позволяет разработчикам экономить на облачных сервисах, а также обеспечивать пользователям конфиденциальный, более надёжный и персонализированный опыт, чем тот, что можно обеспечить при использовании облачного сервиса.

Qualcomm намерена обеспечить поддержку ИИ-сервисов на основе Llama 2 на устройствах, использующих чипсеты Qualcomm Snapdragon — уже в 2024 году. Правда, пока неизвестно, будет ли такая поддержка предусмотрена только в новых чипсетах или Qualcomm удастся каким-то образом организовать совместимость с уже используемыми.

В Meta✴ заявляют, что Llama 2 тренировалась на 40 % большем объёме данных, чем Llama первого поколения. Разработчик уже анонсировал варианты сотрудничества с Microsoft — модель будут бесплатно предоставлять исследователям и коммерческими клиентами облака Azure. Кроме того, возможна загрузка и запуск LLM локально, на ПК под управлением ОС Windows.

Meta✴ и Microsoft представили Llama 2 — большую языковую модель нового поколения. Новая версия будет доступна для исследовательских и коммерческих целей, поддерживая открытый подход к разработке и распространению современных моделей ИИ. Это станет новым шагом в долгосрочном партнёрстве между двумя компаниями, направленном на расширении доступа к базовым технологиям ИИ по всему миру.

Источник изображения: ME

Недавние прорывы в области ИИ, особенно в области генеративного ИИ, завоевали общественное признание технологии и продемонстрировали то, что разработчики этих технологий давно знают, что обладают потенциалом помочь людям совершать невероятные вещи, создавать новую эру экономических и социальных возможностей, предоставлять индивидуальным пользователям, создателям контента и бизнесам новые способы выражения себя.

Компании верят, что открытый подход является правильным для разработки современных моделей ИИ, особенно в области генеративных ИИ, где технология быстро развивается. Открытость доступа к моделям ИИ способствует тому, что поколение разработчиков и исследователей может их испытать, быстро находя и решая проблемы.

Meta✴ уже более десяти лет ставит в центр своих усилий в области ИИ исследовательскую работу, открытый исходный код и сотрудничество с академическими и промышленными партнёрами. Десятки больших языковых моделей уже были выпущены и стимулируют прогресс разработчиков и исследователей. Используя их в качестве основных ингредиентов для новых опытов с применением генеративного ИИ, бизнес-сфера уже впечатлена огромным спросом на Llama 1 со стороны исследователей — более 100 000 запросов на доступ к большой языковой модели.

Теперь Meta✴ готова открыть исходный код следующей версии Llama 2 и предоставить её бесплатно для исследовательских и коммерческих целей. Начиная со вчерашнего дня, Llama 2 будет доступна в каталоге моделей Azure AI, что позволит разработчикам, использующим Microsoft Azure, работать с ней и использовать инструменты облачных технологий для фильтрации контента и функций безопасности.

Люди и бизнес получили выгоду от долгосрочного партнерства между Microsoft и Meta✴. Теперь, благодаря расширенному партнёрству, Microsoft и Meta✴ поддерживают открытый подход, чтобы предоставить расширенный доступ к базовым технологиям ИИ в интересах бизнеса по всему миру. Этому подходу верят не только Meta✴ и Microsoft, но и широкий круг сторонников, включая компании, которые дали раннюю обратную связь и готовы создавать новые продукты с Llama 2.

Открытый подход Meta✴ способствует прозрачности, доступности и безопасности ИИ. В Meta✴ понимают, что хотя ИИ принёс значительные преимущества обществу, он также несёт риски. Компания привержена ответственному подходу к развитию ИИ и предоставляет ряд ресурсов, призванных помочь тем, кто использует Llama 2, поступать также ответственно.

В Meta✴ создали новые инициативы для мобилизации творчества отдельных лиц, исследователей и разработчиков по всему миру, чтобы получить отзывы о том, как ИИ-модели работают и как их можно улучшить.

На протяжении всей истории компании Meta✴, инженеры разработали и поделились фреймворками, которые сейчас стали стандартами отрасли — например, React, ведущий фреймворк для создания веб- и мобильных приложений, и PyTorch, который теперь является популярным фреймворком для ИИ. Открытое распространение современных больших языковых моделей, по их мнению, также будет способствовать разработке полезного и безопасного генеративного ИИ. В Meta✴ с нетерпением ждут, чтобы увидеть, что мир создаст с помощью Llama 2.

500 тыс. архивных сообщений iMessage потребовались IT-специалисту Иззи Миллеру (Izzy Miller) из США, чтобы обучить языковую ИИ-модель воспроизводить реалистичные диалоги со своими друзьями в групповом чате. По словам разработчика, модель хорошо запомнила подробности жизней собеседников и потрясающе легко имитирует их манеру общения.

Источник изображения: Alex Knight/unsplash.com

Групповые чаты с друзьями, коллегами, жителями одного дома или членами одного спортивного клуба сегодня используются повсеместно. Применяя технологию, аналогичную той, что стоит за решениями Bing Chat и ChatGPT, Миллер создал рабочий клон чата с пятью лучшими друзьями. По его словам, с использованием современных технологий сделать это оказалось на удивление легко — на работу ушло несколько выходных и сотня долларов. По словам специалиста, удивительно не только то, что модель усвоила манеру общения людей, но и то, кем они являются по сути, с кем встречаются, с кем ходили в школу и где жили.

Конечно, создать подобный клон получится не у каждого, поскольку Миллер является экспертом в IT, работающим над собственным стартапом Hex, также связанным с ИИ-технологиями. Тем не менее для опытного в данной сфере человека разработка не составит особого труда. Сам Миллер использовал большую языковую модель LLaMA, разработанную компанией Meta✴ и утёкшую в Сеть. По словам Миллера, она приблизительно соответствует по возможностям GPT-3 компании OpenAI. Для обучения модели были использованы 500 тыс. сообщений, загруженные из iMessage и позволившие ИИ скопировать манеры поведения всех участников группового чата.

По мнению разработчика, ещё два-три года назад на реализацию подобного проекта у группы университетских исследователей ушли бы месяцы, а теперь один человек справился буквально за несколько дней.

Источник изображения: Иззи Миллер

Впрочем, система всё ещё не совершенна. Иногда размывается разница между личностями участников, а сама ИИ-модель не обладает чувством времени и часто путается в событиях прошлого и настоящего. Например, бывшие подруги участников чата упоминаются как нынешние, а более реальным считается то, что чаще упоминается в переписке. В частности, клоны ведут себя так, как будто они всё ещё в колледже — именно тогда друзья общались больше всего.

Как заявил Миллер, модель «думает», что на дворе ещё 2017 год, а участникам чата всё ещё чуть больше 20 лет. Это добавляет комизма диалогам, поскольку модель напоминает «портал в прошлое».

Впрочем, недооценивать технологии не стоит — судя по новостям, боты вполне способны влиять на настроение и поступки пользователей и будут играть всё большую роль в жизни людей. Некоторые эксперты предупреждают, что техногиганты могут создавать цифровые копии людей, которые, например, можно продавать потенциальным работодателям для проведения виртуальных интервью или даже давать к ним доступ полиции. Также многие специалисты из разных отраслей опасаются, что ИИ будет способствовать дальнейшему усилению одиночества людей. Впрочем, сам Миллер считает, что его проект служит лишь забавным дополнением к реальной жизни, и друзья намерены в скором будущем встретиться лично, хотя работа и разбросала их по территории США.

Ученные Стэнфордского университета разработали модель искусственного интеллекта Alpaca AI, которая во многих задачах работает аналогично ChatGPT. Отличие состоит в том, что построили её на основе платформы с открытым исходным кодом, а обучение обошлось менее чем в $600. Иными словами, современные продвинутые системы ИИ можно легко воспроизвести, причём с довольно скромными затратами.

Источник изображения: Gerd Altmann / pixabay.com

Всего полгода назад за эволюцией больших языковых моделей следили разве что учёные и энтузиасты, но с запуском ChatGPT стало очевидным: машины могут общаться так же, как люди. Они за считаные секунды пишут тексты из множества предметных областей, зачастую демонстрируя очень высокий уровень. Последующий выход GPT-4 показал, что и развиваются они с головокружительной скоростью, обещая в скором времени коренным образом преобразовать всё человечество. Собственные аналоги уже есть у Google, Apple, Meta✴, Baidu и Amazon — ИИ-системы скоро наводнят рынок, появившись в поисковых системах, автомобилях и даже смарт-часах.

Как выяснилось, чтобы построить аналог ChatGPT, не нужно ресурсов технологического гиганта — достаточно определённой базы знаний и бюджета в $600. Это на деле подтвердили учёные Стэнфордского университета, взяв за основу разработанную Meta✴ открытую языковую модель LLaMA 7B — самую доступную из линейки LlaMA. Будучи обученной на триллионе примеров, она обладает ограниченными возможностями и в большинстве задач значительно отстаёт от ChatGPT. Основные материальные затраты и главное конкурентное преимущество моделей OpenAI GPT заключаются в огромном количестве времени и человеческих ресурсов, которые разработчик вложил в обучение модели: одно дело прочитать несколько миллиардов книг и совсем другое — усвоить большое число пар вопросов и ответов, готовящих ИИ к предстоящей работе.

Источник изображения: github.com/tatsu-lab

Запустив модель LLaMA 7B, учёные Стэнфорда дали GPT образец из созданных человеком пар вопросов-ответов и предписали ей генерировать по этому образцу новые данные, выдавая по 20 пар за итерацию. Автоматизировав задачу через открытые OpenAI средства OpenAI, они за короткое время получили в распоряжение 52 000 образцов диалога, подходящих для обучения LlaMA, что обошлось учёным менее чем в $500. Далее последовал этап тонкой настройки LlaMA — для этого потребовались ресурсы восьми компьютеров с 80-Гбайт ускорителями NVIDIA A100 на три часа. В облачной инфраструктуре эта услуга обошлась менее чем в $100. По окончании обучения исследователи протестировали свою модель, которой дали имя Alpaca, и сравнили её с ChatGPT в таких задачах как написание электронной почты, публикаций для соцсетей и помощь в работе. Alpaca успешно справилась с 90 тестами, а ChatGPT преодолел лишь 89.

Авторы проекта отметили, что, вероятно, могли бы достичь того же результата с меньшими материальными затратами, если бы поставили цель оптимизировать процесс. При наличии доступа к GPT-4 и более мощным моделям LlaMA, которые можно взять за основу, любой подготовленный специалист смог бы повторить опыт и даже достичь более весомых результатов, не останавливаясь на 52 000 пар вопросов и ответов, тем более, что свой набор учёные Стэнфорда опубликовали на Github. Они также предупредили, что пока не занимались важнейшим из вопросов для современных ИИ — не провели дополнительной тонкой настройки, чтобы обеспечить безопасную и этичную работу модели, поэтому тех, кто будет использовать их наработки, попросили сообщать о выявленных сбоях.

Повторить опыт стэнфордских учёных теоретически может любой желающий при наличии технической подготовки и суммы в $600, однако остаются некоторые препятствия. Лицензия OpenAI не разрешает использовать данные её моделей для разработки конкурирующих систем, а Meta✴ пока разрешила академическим исследователям пользоваться только некоммерческими лицензиями — виной всему утечка LlaMA на имиджборд 4chan через неделю после анонса. С другой стороны, ещё одна сторонняя группа разработчиков нашла способ запустить Alpaca AI на одноплатных компьютерах Raspberry Pi с возможностью масштабирования до более продвинутых LlaMA-13B, 30B и 65B и не прибегать в услугам облачных провайдеров на этапе тонкой настройки — достаточно ресурсов всего одной бытовой, пусть и чрезвычайно мощной видеокарты NVIDIA GeForce RTX 4090 на пять часов.

Разрабатываемая компанией Meta✴ языковая модель с генеративным искусственным интеллектом LLaMa появилась в открытом доступе. Исходные коды платформы обнаружились на площадке 4chan.

Источник изображения: geralt/unsplash.com

3 марта на 4chan появился торрент-файл для загрузки системы, и вскоре код распространился в различных тематических сообществах. Некоторые считают, что свободное распространение подобных технологий не сулит ничего хорошего, поскольку такие системы могут использоваться для создания персонализированного спама или фишинговых атак и другой незаконной активности. Другие уверены, что открытый доступ необходим для разработки эффективной защиты ИИ-систем. Релизы схожего ПО ранее не привели к катастрофическим результатам, и никаких задокументированных случаев масштабного злонамеренного использования языковых моделей просто нет.

Как сообщает The Verge со ссылкой на исследователей, знакомых с «официальной» и появившейся в Сети версиями модели, они совпадают. В самой Meta✴ отказались подтверждать или опровергать информацию.

Имеется четыре версии ИИ-системы: LLaMA-7B, 13B, 30B и 65B (по числу миллиардов параметров). Для примера: версия на 13 млрд может запускаться на машине с одним ускорителем A100 и обходится в несколько долларов за час эксплуатации на облачных платформах. При этом в многочисленных бенчмарках для языковых ИИ-моделей вариант превосходит GPT-3 со 175 млрд параметров. Впрочем, такие бенчмарки плохо отражают удобство использования в реальном мире обычными людьми. Тем не менее считается, что хорошо настроенная LLaMA сопоставима по характеристикам с ChatGPT, а её относительная компактность будет способствовать широкому распространению платформы.

У концепции свободного распространения такого ПО есть немало сторонников и противников. Если первые уверены, что общедоступность ИИ-кода позволит выловить все баги, уязвимости и избежать концентрации важных данных в руках корпораций, то противники Open Source считают, что публичное тестирование очень опасно.

В любом случае, утечка кода способна подорвать доверие между Meta✴ и исследователями, получившими по запросу доступ к исходным данным, а результаты её повсеместного распространения, как плохие, так и хорошие, должны проявиться несколько позже.

Российское издательство «Бука» (кипрское ESDigital Games) и разработчики из независимой аргентинской студии Epic Llama анонсировали точную дату выхода своего олдскульного квеста Unusual Findings.

Источник изображения: ESDigital Games

Напомним, Unusual Findings была представлена в прошлом сентябре, вскоре после этого успешно прошла кампанию по сбору средств на Kickstarter и после пары переносов планировалась к выпуску до конца текущего года.

Как стало известно, Unusual Findings выйдет 12 октября на PC (Steam), PS4, PS5, Xbox One, Xbox Series X и S, а также Nintendo Switch. Игроки профинансировали появление проекта и на мобильных устройствах, но о них в анонсе не говорится.

Unusual Findings расскажет о трёх друзьях в потрясённом серией жестоких убийств городке образца 80-х. Принимаемые игроком решения будут влиять на отношения между персонажами, головоломки и сюжет.

Разработчики обещают пропитанный ностальгией мир с кучей отсылок, отдающую дань уважения фильмам 80-х историю, сочетание проверенных механик и собственных находок, радикальную музыку и стильный пиксель-арт.