После многих лет ожиданий и разочарований компания Intel удалила поддержку своих ускорителей Xeon Phi Knights Mill и Knights Landing из последней версии компилятора LLVM/Clang 19. Это фактически означает прекращение поддержки архитектуры MIC (Many Integrated Core), которая изначально разрабатывалась для суперкомпьютера Aurora экзафлопсного класса.

Источник изображения: Intel

Процессоры Knights Mill должны были значительно увеличить производительность Aurora, но проект столкнулся с многочисленными задержками и не достиг ожидаемых показателей. Это в конечном итоге привело к отмене первой версии Aurora. Позже Министерство энергетики США изменило архитектуру Aurora, добавив в нее процессоры Intel Sapphire Rapids и графические процессоры Intel Ponte Vecchio. Однако и эта версия столкнулась с проблемами производительности и задержками срока реализации, сообщает Tom's Hardware и Phoronix.

Cейчас эксафлопсный суперкомпьютер Aurora находится на пути к своему запуску и, возможно, даже в этом году. Но проблемы программного и аппаратного обеспечения, в том числе с системой охлаждения, не позволяют ему полностью раскрыть свой потенциал.

Решение Intel прекратить поддержку Xeon Phi в LLVM/Clang отражает общий тренд среди основных компиляторов. Ранее в этом году поддержка была помечена устаревшей в LLVM/Clang 18, а в GCC она была объявлена устаревшей в версии 14 и полностью удалена в версии 15.

Как заявила сама Intel, «удаление поддержки позволит сократить усилия по обслуживанию компилятора и упростит его дальнейшую разработку». Компания намерена сосредоточиться на специализированных решениях для искусственного интеллекта и высокопроизводительных вычислений, что, видимо, знаменует собой окончание долгого пути для продуктов линейки Xeon Phi, вдохновленных Larrabee, производство которых Intel официально прекратила еще в 2019 году.

Компания Microsoft представила следующую версию своей модели искусственного интеллекта Phi-3 Mini. Она стала первой из трёх небольших ИИ-моделей, которые софтверный гигант планирует выпустить в свет.

Источник изображения: geralt/Pixabay

Phi-3 Mini с 3,8 млрд параметров обучается на наборе данных, который меньше по сравнению с массивом, используемым для обучения больших языковых моделей (LLM), таких как GPT-4. В настоящее время Phi-3 Mini доступна на облачной платформе Azure, а также в Hugging Face и Ollama. В дополнение к этому Microsoft планирует выпустить ИИ-модели Phi-3 Small с 7 млрд параметров и Phi-3 Medium с 14 млрд параметров.

В декабре прошлого года Microsoft выпустила модель Phi-2, которая работала так же хорошо, как и более крупные модели, такие как Llama 2. По словам разработчиков, Phi-3 работает лучше предыдущей версии и может давать ответы, близкие к тем, что дают модели в 10 раз больше. Корпоративный вице-президент Microsoft Azure AI Platform Эрик Бойд (Eric Boyd) заявил, что Phi-3 Mini по своим возможностям не уступает таким LLM, как GPT-3.5, и выполнена «в меньшем форм-факторе».

По сравнению с более крупными аналогами, небольшие ИИ-модели обычно дешевле в эксплуатации и лучше работают на персональных устройствах, таких как смартфоны и ноутбуки. В начале этого года СМИ писали, что Microsoft создала отдельную команду для разработки именно небольших ИИ-моделей. Наряду с Phi компания также создала модель Orca-Math, которая ориентирована на решение математических задач.

Конкуренты Microsoft занимаются разработкой небольших ИИ-моделей, многие из которых нацелены на решение более простых задач, таких как обобщение документов или помощь в написании программного кода. К примеру, модели Gemma 2B и 7B от Anthropic могут обрабатывать большие научные статьи с графиками и быстро обобщать их, а недавно выпущенная модель Llama 3 от Meta✴ может использоваться для создания чат-ботов и помощи в написании кода.

По словам Бойда, разработчики обучали Phi-3 по «учебному плану». Они вдохновлялись тем, как дети учатся на сказках, читаемых перед сном. Это книги с более простыми словами и структурами предложений, но в то же время зачастую в них поднимаются важные темы. Поскольку существующей литературы для детей при тренировке Phi-3 не хватало, разработчики взяли список из более чем 3000 тем и попросили большие языковые модели написать дополнительные «детские книги» специально для обучения Phi-3.

Бойд добавил, что Phi-3 просто развивает дальше то, чему обучились предыдущие итерации ИИ-модели. Если Phi-1 была ориентирована на кодирование, а Phi-2 начала учиться рассуждать, то Phi-3 ещё лучше справляется с кодированием и рассуждениями. Хотя модели семейства Phi-3 обладают некоторыми общими знаниями, они не могут превзойти GPT-4 или другие LLM по широте охвата.

Успех NVIDIA в сфере ИИ в наши дни сложно отрицать, и руководство компании всячески подчёркивает, что заложенная полтора десятка лет назад экосистема CUDA привела к нынешнему бурному развитию сегмента. Действующий глава Intel считает, что NVIDIA просто повезло, и если бы проект Larrabee не был закрыт, то лидером рынка оказалась бы именно Intel.

Источник изображения: Intel

Довольно необычными соображениями в духе «альтернативной истории» генеральный директор Intel Патрик Гелсингер (Patrick Gelsinger) поделился с аудиторией во время своего выступления в Массачусетском технологическом институте. Свои заявления он сделал в качестве ответа на вопрос о дальнейших планах Intel по стимулированию развития систем искусственного интеллекта. По мнению Гелсингера, выбор графических процессоров в качестве основного вычислительного средства при работе с большими языковыми моделями изначально не был очевиден, и даже NVIDIA на первых порах не делала на это ставку, убеждён глава Intel. По его словам, конкурирующая компания и её основатель Дженсен Хуанг (Jensen Huang) просто оказались «в нужном месте в нужное время».

«Дженсен усердно работал над созданием вычислительных систем с высокой пропускной способностью, поначалу преимущественно для графики, а затем ему очень сильно повезло», — прокомментировал ход развития компьютерной отрасли Гелсингер. Свой первый проект в области ИИ, по данным главы Intel, компания NVIDIA сперва даже не хотела поддерживать, и не видела в этой области перспектив применения для так называемых GPGPU.

Глава Intel также добавил, что если бы его компания около 15 лет назад не зарубила линейку ускорителей Larrabee, то сейчас она бы являлась лидером рынка высокопроизводительных вычислений, превосходя NVIDIA. «Когда меня выгнали из Intel тринадцать лет назад, был закрыт проект, который мог бы изменить ландшафт всей отрасли ИИ», — прокомментировал Гелсингер решение тогдашнего руководства Intel по поводу прекращения развития Larrabee.

Напомним, эти ускорители подразумевали использование множества малых x86-ядер для ускорения параллельных вычислений, включая обработку графики. Однако графическое направление было зарублено в 2009 году, а для сегмента «тяжёлых» вычислений подобные ускорители создавались до 2017 года.

Microsoft представила передовую ИИ-модель Phi-2, насчитывающую 2,7 млрд параметров. Модель продемонстрировала превосходные результаты в широком спектре тестов, включая понимание языка, решение математических задач, программирование и обработку информации. Главной особенностью Phi-2 является её способность конкурировать, а зачастую и превосходить ИИ-модели, в 25 раз превышающие её по размеру. Новинка уже доступна через Microsoft Azure AI Studio для исследователей и разработчиков, желающих интегрировать передовой ИИ в свои приложения.

Источник изображений: Microsoft

Генеральный директор Microsoft Сатья Наделла (Satya Nadella), представил модель Phi-2 на мероприятии Ignite. Отличительной особенностью этой модели является её обучение на данных, соответствующих качеству учебного уровня. Это означает, что данные для обучения модели были тщательно отобраны и структурированы, что способствовало точности и эффективности обучения. Такой подход позволяет Phi-2 более эффективно переносить знания и толкования, полученные из других моделей, укрепляя её способности в областях понимания языка, логического мышления и обработки информации.

Средняя производительность по сгруппированным бенчмаркам по сравнению с популярными открытыми SLMs

Phi-2 меняет устоявшиеся представления о связи между размером и мощностью языковых моделей. Модель сравнима с большими ИИ-моделями, такими как 7B Mistral компании Mistral AI, 13B Llama 2 компании Meta✴ и даже 70B Llama-2. Особое внимание заслуживает способность Phi-2 превосходить даже Gemini Nano компании Google, самую эффективную модель в серии Gemini, предназначенную для работы на мобильных устройствах. Это подчёркивает потенциал Phi-2 в области мобильных технологий, предоставляя функции автоматического резюмирования текстов, продвинутой корректуры и исправления грамматики, а также контекстуальных интеллектуальных ответов.

Сравнение между Phi-2 и моделью Gemini Nano 2 на основе заявленных бенчмарков Gemini

Специалисты Microsoft подчёркивают, что высокая производительность модели Phi-2 достигнута без применения методов обучения с подкреплением (reinforcement learning), основанных на человеческой обратной связи, или методов инструкционной настройки (instructional tuning). Это позволяет модели эффективно минимизировать проявления предвзятости и снижать риск токсичных выходных данных, что делает Phi-2 одной из наиболее безопасных и этичных моделей в сфере ИИ.

Безопасность оценена по 13 демографическим группам на основе ToxiGen. Подмножество из 6541 предложений выбрано и оценено в диапазоне от 0 до 1 на основе масштабированной перплексии и токсичности предложений. Более высокий балл указывает на меньшую вероятность генерации ИИ-моделью токсичных предложений по сравнению с безобидными

Phi-2 является частью серии малых языковых моделей (SLMs) компании Microsoft. Первая модель этой серии, Phi-1 с 1,3 млрд параметров, вышла ранее в этом году и была нацелена на задачи программирования на языке Python. В сентябре была представлена Phi-1.5 с аналогичным количеством параметров, но обученная на новых данных, включая синтетические тексты, созданные с помощью программирования на естественном языке.

Сравнение между моделями Phi-2 и Phi-1.5. Все задачи оцениваются в режиме 0-shot, за исключением BBH и MMLU, для которых используется 3-shot CoT и 5-shot соответственно

Phi-2 открывает новую главу в машинном обучении, где качество и эффективность обучения становятся ключевыми факторами. Эта ИИ-модель не только свидетельствует о значительных достижениях Microsoft в данной сфере, но и предоставляет новые возможности для разработчиков и исследователей по всему миру, открывая двери к более умным и безопасным технологиям будущего.

Cadence заключила соглашение о покупке у Rambus портфеля интеллектуальной собственности, связанной с решениями PHY и SerDes. Покупатель получит комплект технологических решений, а продавец сосредоточится только на лицензировании.

Источник изображения: rambus.com

Исторически Rambus была разработчиком технологий памяти, в том числе RDRAM и XDR DRAM — в какой-то момент компания получила патенты на фундаментальные технологии, необходимые для производства SDRAM, DDR SDRAM и их преемников. Это позволило разработчику судиться с любыми производителями памяти и разработчиками контроллеров памяти, включая AMD и NVIDIA, вынуждая их платить лицензионные сборы.

Со временем Rambus начала лицензировать контроллеры памяти и PHY — компания превратилась в «универмаг» для разработчиков чипов, которым необходимы готовые решения в области памяти, PCIe или MIPI. Сегодня покупателям предлагаются одни из лучших в отрасли контроллеров памяти и проверенные временем интерфейсы. Rambus сохранит за собой направление контроллеров памяти и всё, что связано с логикой, но передаст Cadence активы в области PHY и SerDes.

Это решение можно объяснить. Сохранение этих активов вынуждает Rambus инвестировать в разработки решений для новейших техпроцессов, что требует значительных вложений и чревато рисками, поскольку приходится конкурировать с более крупными и богатыми Cadence и Synopsys — проще закрепиться в роли поставщика контроллеров памяти и PHY. А без необходимости обновлять интеллектуальные активы компания может сосредоточиться на лицензировании чистых технологических решений.

Ожидается, что влияние сделки на выручку и прибыль обеих сторон по итогам этого года будет незначительным; её предполагаемый срок закрытия — III квартал 2023 года.