Южнокорейский стартап Panmnesia сообщил о разработке специализированного CXL-решения, которое позволяет расширять встроенную память ускорителей на базе GPU путём подключения внешних блоков DRAM или даже SSD. Отмечается, что современным приложениям ИИ и НРС требуется значительный объём быстрой памяти, но возможности ускорителей в этом плане ограничены.

Сложность расширения памяти актуальных ускорителей заключается в том, что в таких изделиях отсутствуют логическая структура CXL и компоненты, поддерживающие DRAM и/или SSD. Кроме того, подсистемы кеша и памяти GPU не распознают никаких расширений. В лучшем случае предлагается механизм унифицированной виртуальной памяти (UVM) для совместного доступа к содержимому памяти и CPU, и GPU. Однако этот механизм довольно медленный.

Источник изображений: Panmnesia

Panmnesia обошла существующие ограничения путём создания собственного root-комплекса, совместимого со стандартом CXL 3.1 и предоставляющего несколько root-портов. Он и обеспечивает поддержку внешней памяти через PCIe. При этом задействован особый декодер HDM (Host-managed Device Memory), отвечающий за работу с адресными пространствами. Это сложное решение в каком-то смысле «обманывает» подсистему памяти ускорителя, заставляя ее рассматривать внешнюю PCIe-память как доступную напрямую.

Прототип, основанный на кастомизированном GPU, в ходе тестов продемонстрировало задержки менее 100 нс при передаче данных в обоих направлениях. При этом решение Panmnesia предоставляет более гранулярный доступ к памяти в сравнении с UVM. Быстродействие CXL-системы Panmnesia оказалось в 3,22 раза выше в пересчёте на IPC по сравнению с UVM.

Британская телеком-компания Virgin Media Wholesale подала в суд на владельцев рыболовецкого траулера Lida Suzanna. По информации Datacenter Dynamic, предположительно именно это судно повредило подводный кабель, соединяющий Ирландию и Великобританию, 26 января 2015 года.

Компания подала иск в Ирландии, требуя возместить €800 тыс. ($870 тыс.) ущерба «владельцами и иными заинтересованными лицами», имеющими отношение к траулеру. Проложенный в 1999 году кабель Sirius South протяжённостью 219 км проложен между Дублином и Блэкпулом. Предполагается, что ловившее морских гребешков судно задело дно жёсткими металлическими рамными сетями, повредив телекоммуникационную инфраструктуру.

Всего Virgin владеет двумя кабелями между Ирландией и «большим» островом: Sirius South и Sirius North. Последний проложен в пределах Соединённого Королевства между Шотландией и Северной Ирландией. После инцидента оператор быстро переключился на второй кабель, но пользователи заметили падение скорости интернет-доступа.

Юристы истцов заявили, что ответчики должны были знать о расположении кабеля, отмеченного на используемых в отрасли картах и в ирландском Морском атласе, поскольку существующие правила обязывают экипаж иметь документы о расположении инфраструктурных цифровых магистралей. Представители владельцев траулера утверждают, что нет никаких доказательств того, что именно этот корабль имеет отношение к инциденту, а за любое повреждение несёт ответственность сама Virgin, не обеспечившая достаточного заглубления и защиты кабеля.

Источник изображения: Fer Nando/unsplash.com

В своё время неисправность устранило принадлежащее Orange Marine судно Pierre de Fermat, спустя несколько дней после происшествия. Всего известны 18 случаев повреждения именно этого кабеля с 1999 года, когда его проложила предшественница Virgin — компания NTL. Ранее Virgin Media подавала иск против другого траулера Willie Joe — тоже за повреждения в минувшие годы. Впрочем, в этом случае дело было улажено в 2022 году.

Нарушения целостности подводных интернет-кабелей случаются во всём мире довольно регулярно. Например, недавно были повреждены кабели в Красном море и на западе Африки, из-за чего сократился трафик между континентами. А Великобритания даже приобрела специальный корабль для защиты подводных оптоволоконных и силовых кабелей.

Летом прошлого года AMD, Arista, Broadcom, Cisco, Eviden/Atos, HPE, Intel, Meta✴✴ и Microsoft сформировали консорциум Ultra Ethernet (UEC), призванный составить конкуренцию технологии InfiniBand, которая фактически единолично контролируется NVIDIA после покупки Mellanox, и стандартизировать Ethernet-решения для современных ИИ- и HPC-платформ. А теперь AMD, Broadcom, Cisco, Google, HPE, Intel, Meta✴✴ и Microsoft сформировали альянс Ultra Accelerator Link (UALink), который должен составить конкуренцию NVLink.

К UEC за год присоединились ещё полсотни компаний, кроме, конечно, NVIDIA, которая, впрочем, про Ethernet тоже не забывает, хотя периодически получает критику со стороны Broadcom. Единственной альтернативой в деле построения фабрик для более-менее крупных кластеров остаётся Omni-Path Express, развиваемый Cornelis Networks, которая тоже присоединилась к UEC, но доля этой технологии на фоне Ethernet и InfiniBand мизерная. Кроме того, ни одна из этих технологий не может предложить то, что может NVIDIA NVLink — возможность напрямую объединить сотни ускорителей (точнее, их память) сверхбыстрым соединением с низким уровнем задержки.

Источник изображений: UALink via ServeTheHome

NVLink 4 достиг скорости 900 Гбайт/с на ускоритель и впервые вышел за пределы узла, позволив объединить в домен до 256 ускорителей, что NVIDIA и предложила в рамках DGX SuperPod H100. NVLink 5 удвоил пропускную способность до 1,8 Тбайт/с и теоретически позволит объединить до 576 ускорителей в одном домене. Именно NVLink позволил создать высокоплотные суперускорители GH200 NVL32 и GB200 NVL72. И именно их NVIDIA считает минимальной эффективной единицей кластеров ближайшего будущего, предлагая крупным заказчикам на меньшее даже не размениваться.

Intel в семействе Gaudi использует Ethernet (1,2 Тбайт/с на ускоритель) как для вертикального, так и для горизонтального масштабирования. AMD же полагается на Infinity Fabric (896 Гбайт/с на ускоритель) на базе PCIe и xGMI, которые до недавнего времени за пределы узла не выходили. Однако в конце 2023 года было объявлено, что в 2025 году AMD и Broadcom выпустят коммутатор на базе PCIe 7.0 (стандарт планируют только-только утвердить в этом же году), который будет поддерживать технологию, которая теперь называется AFL (Accelerated Fabric Link) — это и будет выходом Infinity Fabric за пределы узла.

И именно совместными наработками AMD и Broadcom поделятся в рамках UALink. Первую версию нового интерконнекта альянс обещает представить уже в III квартале 2024 года, а в IV квартале — версию 1.1. При этом пока прямо не говорится, будет ли основным транспортом PCIe или Ethernet, и какой протокол будет использоваться для работы с памятью. Но уже обещано, что UALink 1.0 позволит объединить до 1024 ускорителей в одном домене с возможностью прямых load/store-запросов к их памяти. Для дальнейшего масштабирования кластеров по-прежнему предлагается использовать Ultra Ethernet.

При этом UALink, строго говоря, не обещает возможности беспрепятственного общения ускорителей разных вендоров, зато позволяет упростить инфраструктуру и сделать её дешевле благодаря открытости и конкуренции. Хотя было бы приятно увидеть UALink в качестве аппаратной основы и для стандарта UXL, который намерен побороться с NVIDIA CUDA. Что касается CXL, то этот стандарт, тоже использующий PCIe в качестве транспорта, вероятно, останется «привязанным» к CPU и внутриузловым коммуникациям, хотя возможности его гораздо шире.

Компания Liqid сотрудничает с Dell довольно давно — ещё в прошлом году она смогла добиться размещения 16 ускорителей в своей платформе UltraStack L40S. Но на этом компания не остановилась и представила новую композитную платформу UltraStack 30, в которой смогла довести число одновременно доступных хост-системе ускорителей до 30.

Для подключения, конфигурации и управления ресурсами ускорителей Liqid использует комбинацию фирменного программного обеспечения Matrix CDI и интерконнекта Liqid Fabric. В основе последнего лежит PCI Express. Это позволяет динамически конфигурировать аппаратную инфраструктуру с учётом конкретных задач с её возвратом в общий пул ресурсов по завершению работы.

Сами «капсулы» с ресурсами подключены к единственному хост-серверу, что упрощает задачу масштабирования, минимизирует потери производительности, повышает энергоэффективность и позволяет добиться наиболее плотной упаковки вычислительных ресурсов, нежели это возможно в классическом варианте с раздельными серверами. А благодаря гибкости конфигурирования буквально «на лету» исключается простой весьма дорогостоящих аппаратных ресурсов.

Источник здесь и далее: Liqid

В случае UltraStack 30 основой по умолчанию является сервер серии Dell PowerEdge R760 с двумя Xeon Gold 6430 и 1 Тбайт оперативной памяти, однако доступен также вариант на базе Dell R7625, оснащённый процессорами AMD EPYC 9354. Опционально можно укомплектовать систему NVMe-хранилищем объёмом 30 Тбайт, в качестве сетевых опций доступны либо пара адаптеров NVIDIA ConnectX-7, либо один DPU NVIDIA Bluefield-3.

За общение с ускорительными модулями отвечает 48-портовой коммутатор PCI Express 4.0 вкупе с фирменными хост-адаптерами Liqid. Технология ioDirect позволяет ускорителям общаться друг с другом и хранилищем данных напрямую, без посредничества CPU. В трёх модулях расширения установлено по 10 ускорителей NVIDIA L40S, каждый несет на борту 48 Гбайт памяти GDDR6. Такая конфигурация теоретически способна развить 7,3 Пфлопс на вычислениях FP16, вдвое больше на FP8, и почти 1,1 Пфлопс на тензорных ядрах в формате TF32.

Платформа UltraStack 30 предназначена в первую очередь для быстрого развёртывания достаточно мощной ИИ-инфраструктуры там, где требуется тонкая подстройка и дообучение уже «натасканных» больших моделей. При этом стоит учитывать довольно солидное энергопотребление, составляющее более 11 кВт.

Также в арсенале компании есть решения SmartStack на базе модульных систем Dell PowerEdge C-Series, позволяющие подключать к каждому из лезвийных модулей MX760c, MX750с и MX740c до 20 ускорителей. Модульные решения Liqid поддерживают также ускорители других производителей, включая достаточно экзотические, такие как Groq.

Бывший генеральный директор Google Эрик Шмидт (Eric Schmidt) прогнозирует, что в обозримом будущем в США и Китае большие суперкомпьютеры будут заниматься ИИ-вычислениями под защитой военных баз. В интервью Noema он подробно рассказал о том, каким видит новые ИИ-проекты, и это будущее вышло довольно мрачным.

Шмидт поведал о том, как правительства будут регулировать ИИ и искать возможности контроля ЦОД, работающих над ИИ. Покинув Google, бизнесмен начал очень тесно сотрудничать с военно-промышленным комплексом США. По его словам, рано или поздно в США и Китае появится небольшое число чрезвычайно производительных суперкомпьютеров с возможностью «автономных изобретений» — их производительность будет гораздо выше, чем государства готовы свободно предоставить как своим гражданам, так и соперникам.

Каждый такой суперкомпьютер будет соседствовать с военной базой, питаться от атомного источника энергии, а вокруг будет колючая проволока и пулемёты. Разумеется, таких машин будет немного — гораздо больше суперкомпьютеров будут менее производительны и доступ к ним останется более широким. Строго говоря, самые производительные суперкомпьютеры США принадлежат Национальным лабораториям Министерства энергетики США, которые усиленно охраняются и сейчас.

Как заявил Шмидт, необходимы и договорённости об уровнях безопасности вычислительных систем по примеру биологических лабораторий. В биологии широко распространена оценка по уровням биологической угрозы для сдерживания её распространения и оценки уровня риска заражения. С суперкомпьютерами имеет смысл применить похожую классификацию.

Источник изображения: Joel Rivera-Camacho/unsplash.com

Шмидт был председателем Комиссии национальной безопасности США по ИИ и работал в Совете по оборонным инновациям. Также он активно инвестировал в оборонные стартапы. В то же время Шмидт сохранил влияние и в Alphabet и до сих пор владеет акциями компании стоимостью в миллиарды долларов.

Военные и разведывательные службы США пока с осторожностью относятся к большим языковым моделям (LLM) и генеративному ИИ вообще из-за распространённости «галлюцинаций» в таких системах, ведущих к весьма правдоподобным на первый взгляд неверным выводам. Кроме того, остро стоит вопрос сохранения секретной информации в таких системах.

Ранее в этом году Microsoft подтвердила внедрение изолированной от интернета генеративной ИИ-модели для спецслужб США после модернизации одного из своих ИИ-ЦОД в Айове. При этом представитель Microsoft два года назад предрекал, что нынешнее поколение экзафлопсных суперкомпьютеров будет последним и со временем все переберутся в облака.

Весной прошлого года компания Ampere Computing анонсировала наследников серии процессоров Altra и Altra Max — чипы AmpereOne с более высокими показателями производительности, энергоэффективности и масштабируемости. На момент анонса AmpereOne получили до 192 ядер, восемь каналов DDR5 и 128 линий PCIe 5.0.

Кроме того, эти чипы могут работать и в двухсокетных платформах. Позднее AmpereOne стали доступны у нескольких облачных провайдеров, а главным бенефециаром их появления стала Oracle, когда-то инвестировавшая в Ampere Computing значительные средства. Компания перевела все свои облачные сервисы на процессоры Ampere и даже портировала на них свою флагманскую СУБД. В общем, повторила путь AWS и Alibaba Cloud с процессорами Graviton и Yitian соответственно.

Но если последние являются облачным эксклюзивом, то чипы Ampere хоть и ориентированы в первую очередь на гиперскейлеров, более-менее доступны и небольшим компаниям. Поэтому в процессорной гонке останавливаться нельзя, так что на днях Ampere объявила об обновлении модельного ряда AmpereOne, запланированного к выпуску в 2025 году. Новые модели будут использовать продвинутый техпроцесс TSMC N3.

Источник здесь и далее: Ampere Computing via ServeTheHome

Согласно опубликованным планам, семейство AmpereOne какое-то время будет существовать в двух ипостасях: изначальном варианте 2023 года с 8-канальным контроллером памяти и 192 ядрами в пределе, производящемся с использованием 5-нм техпроцесса, и новом 3-нм, уже готовом к массовому производству. Ожидается, что 192-ядерный вариант с 12 каналами DDR5 станет доступен в конце этого года.

Фирменные технологии Ampere серии Flex позволят гибко управлять характеристиками платформы

3-нм вариант AmpereOne получит до 256 ядер и 12 каналов DDR5, однако отличать его будет не только это. К примеру, в нём дебютируют технологии FlexSpeed и FlexSKU, позволяющие на лету, без перезагрузок или выключения системы оперировать различными параметрами процессора — тактовой частотой, теплопакетом и даже количеством активных ядер. При этом FlexSpeed обеспечит детерминированный прирост производительности в отличие от x86-64, говорит компания.

Ampere утверждает, что новые AmpereOne превзойдут в удельной производительности на Вт AMD EPYC Bergamo и обеспечат более высокую производительность в пересчёте на стойку, нежели AMD EPYC Genoa. Особенное внимание компания уделяет энергоэффективности AmpereOne, которая заключается не только в экономии электроэнергии, но и драгоценного места в ЦОД. Проще говоря, компания упирает на повышение плотности размещения вычислительных мощностей.

Заодно Ampere в который раз говорит, что в инференс-сценариях её процессоры сопоставимы с некоторыми ускорителями, в частности, NVIDIA A10, но при этом существенно дешевле и экономичнее. В пересчёте на токены при производительности порядка 80 токенов в секунду платформа Ampere обходится на 28% дешевле и в то же время потребляет меньше энергии на целых 67%!

Более того, Ampere заключила союз с Qualcomm для выпуска серверной платформы, сочетающей AmpereOne в качестве процессоров общего назначения и ИИ-ускорителей Qualcomm Cloud AI 100 Ultra. Если сами процессоры успешно работают с LLM сравнительно небольшой сложности (до 7 млрд параметров), то новая платформа позволит запускать и сети с 70 млрд параметров. Кроме того, есть и готовое решение с VPU Quadra T1U.

Увидит ли свет в будущем гибридный процессор Ampere Computing с UCIe-чиплетами, будет зависеть от решений, принятых группой AI Platform Alliance, возглавленной Ampere Computing ещё осенью прошлого года. Но это вполне реальный сценарий: блоки ускорения специфических для ИИ-задач вычислений активно внедряются не только в серверных решениях, подобных Intel Xeon Sapphire/Emerald Rapids — сопроцессоры NPU уже дебютировали в потребительских и промышленных CPU Intel и AMD.

При этом Ampere Computing, вероятно, придётся несколько поменять политику дальнейшего развития, поскольку основными конкурентами для неё являются не только 128-ядерные AMD EPYC Bergamo и готовящиеся 144- и 288-ядерные Intel Xeon Sierrra Forest, но и Arm-процессоры Google Axion и Microsoft Cobalt 100, которые изначально создавались гиперскейлерами под свои нужды, а потому наверняка лучше оптимизированы под их задачи и, вероятнее всего, к тому же дешевле, чем продукты Ampere.

Компания SiPearl уточнила спецификации разрабатываемых ею серверных Arm-процессоров Rhea1, которые будут использоваться, в частности, в составе первого европейского экзафлопсного суперкомпьютера JUPITER, хотя основными чипами в этой системе будут всё же гибридные ускорители NVIDIA GH200. Заодно SiPearl снова сдвинула сроки выхода Rhea1 — изначально первые образцы планировалось представить ещё в 2022 году, а теперь компания говорит уже о 2025-м.

При этом существенно дизайн процессоров не поменялся. Они получат 80 ядер Arm Neoverse V1 (Zeus), представленных ещё весной 2020 года. Каждому ядру полагается два SIMD-блока SVE-256, которые поддерживают, в частности, работу с BF16. Объём LLC составляет 160 Мбайт. В качестве внутренней шины используется Neoverse CMN-700. Для связи с внешним миром имеются 104 линии PCIe 5.0: шесть x16 + две x4. О поддержке многочиповых конфигураций прямо ничего не говорится.

Источник изображения: SiPearl

Очень похоже на то, что SiPearl от референсов Arm особо и не отдалялась, поскольку Rhea1 хоть и получит четыре стека памяти HBM, но это будет HBM2e от Samsung. При этом для DDR5 отведено всего четыре канала с поддержкой 2DPC, а сам процессор ожидаемо может быть поделён на четыре NUMA-домена. И в такой конфигурации к общей эффективности работы с памятью могут быть вопросы. Именно наличие HBM позволяет говорить SiPearl о возможности обслуживать и HPC-, и ИИ-нагрузки (инференс).

Источник изображения: SiPearl

На примере Intel Xeon Max (Sapphire Rapids c 64 Гбайт HBM2e) видно, что наличие сверхбыстрой памяти на борту даёт прирост производительности в означенных задачах, хотя и не всегда. Однако это другая архитектура, другой набор инструкций (AMX), другая же подсистема памяти и вообще пока что единичный случай. С Fujitsu A64FX сравнения тоже не выйдет — это кастомный, дорогой и сложный процессор, который, впрочем, доказал эффективность и в HPC-, и даже в ИИ-нагрузках (с оговорками). В MONAKA, следующем поколении процессоров, Fujitsu вернётся к более традиционному дизайну.

Источник изображения: EPI

Пожалуй, единственный похожий на Rhea1 чип — это индийский 5-нм C-DAC AUM, который тоже базируется на Neoverse V1, но предлагает уже 96 ядер (48+48, два чиплета), восемь каналов DDR5 и до 96 Гбайт HBM3 в четырёх стеках, а также поддержку двухсокетных конфигураций. AWS Graviton3E, который тоже ориентирован на HPC/ИИ-нагрузки, вообще обходится 64 ядрами Zeus и восемью каналами DDR5. Наконец, NVIDIA Grace и Grace Hopper в процессорной части тоже как-то обходятся интегрированной LPDRR5x, да и ядра у них уже Neoverse V2 (Demeter), и своя шина для масштабирования имеется.

Источник изображения: EPI

В любом случае в 2025 году Rhea1 будет выглядеть несколько устаревшим чипом. Но в этом же году SiPearl собирается представить более современные чипы Rhea2 и обещает, что их разработка будет не столь долгой как Rhea1. Компанию им должны составить европейские ускорители EPAC, тоже подзадержавшиеся. А пока Европа будет обходиться преимущественно американскими HPC-технологиями, от которых стремится рано или поздно избавиться.

Организация PCI Special Interest Group (PCI-SIG) обнародовала спецификации электрических кабелей и разъёмов CopprLink для внешних и внутренних подключений PCIe 5.0/6.0. Новые соединения на основе меди позволят заменить существующие кабели OCuLink в тех случаях, когда требуется более высокая пропускная способность.

Стандарт CopprLink был анонсирован в конце 2023 года. Кабели данного типа обеспечат высокоскоростные подключения в пределах отдельных систем, а также между различными узлами в составе стойки. Кроме того, как отмечалось ранее, разрабатываются варианты для межстоечного соединения.

Спецификация CopprLink для внутренних подключений:

• Поддержка PCIe 5.0 и 6.0 со скоростью до 32,0 и 64,0 ГТ/с соответственно;
• Коннектор типа SNIA SFF-TA-1016;
• Максимальная длина соединения в пределах одной системы — 1 м;
• Варианты применения — соединение материнской платы с картой расширения, соединение материнской платы с объединительной платой, соединение чипов друг с другом и соединение платы расширения с объединительной платой;
• Целевые сферы использования — системы хранения и вычислительные узлы дата-центров.

Источник изображений: PCI-SIG

Спецификация CopprLink для внешних подключений:

• Поддержка PCIe 5.0 и 6.0 со скоростью до 32,0 и 64,0 ГТ/с соответственно;
• Коннектор типа SNIA SFF-TA-1032;
• Максимальная длина соединения между стойками — 2 м;
• Варианты применения: подключения типа CPU ↔ хранилище, CPU ↔ память, CPU ↔ ускоритель и ускорители в дезагрегированных серверных узлах;
• Целевые сферы использования — системы хранения и узлы дата-центров для задач ИИ.

Отмечается, что в дальнейшем кабели CopprLink будут развиваться с учётом возможностей интерфейса PCIe следующих поколений. Технология CopprLink, как ожидается, будет востребована в сферах, где необходимы небольшие задержки, включая дата-центры, производительные СХД, сети и пр. В будущем ожидается появление оптических кабелей PCIe.

Корпорация HPE, по сообщению The Register, подала в суд на Inspur Group: крупнейший в Китае и один из крупнейших производителей серверов в мире обвиняется в незаконном использовании ряда запатентованных технологий. Иск направлен в инстанцию Северного округа Калифорнии (США).

Истцы заявляют, что Inspur нарушила пять патентов HPE. Речь в них идёт, в частности, о методах и системах для управления массивами хранения, средствах определения энергопотребления в IT-сетях, инструментах эмуляции устройств и пр. Утверждается, что Inspur на протяжении нескольких лет игнорировала неоднократные предложения обсудить лицензирование технологий НРЕ.

В судебных документах говорится, что в состав Inspur Group входит ряд дочерних компаний, работающих под разными названиями. В число ответчиков включены Inspur Group, Inspur Electronic Information Industry (IEIT Systems), Aivres Systems (ранее известна как Inspur Systems), Betapex (прежнее название — Inspur Asset Holdings), Inspur USA и KAYTUS Singapore Pte. Сама Inspur Group неоднократно попадала под санкции США.

Источник изображения: Inspur

Одной из причин смены названий некоторых структур, как отмечается в иске, является то, что в марте 2023 года Inspur Group была внесена в санкционный список Министерства торговли США. Компаниям из этого перечня необходимо получить лицензию от американского правительства для ведения бизнеса в США. Вместо этого, как утверждается в жалобе, Inspur Group просто поменяла имена дочерних компаний, чтобы продолжить продавать свое IT-оборудование на американском рынке.

Вместе с тем, как считает НРЕ, компания Inspur продолжает продавать продукты, нарушающие патенты, под другими названиями. Например, сервер Aivres 5280M6, по сути, представляет собой переименованную версию Inspur IR5280M6. Оба решения имеют схожие названия, одни и те же изображения и идентичные технические характеристики.

В целом, как говорится в иске, Inspur «нарушила многочисленные патенты HPE». Из-за того, что китайский производитель не ответил на предложения о лицензировании технологий, HPE будет отставить права на интеллектуальную собственность в судебном порядке. О выдвигаемых требованиях ничего не сообщается.

Компания Fujifilm анонсировала ленточное хранилище Kangaroo для крупных корпоративных пользователей, которым необходимо архивировать большие объёмы информации. К выпуску также готовится модификация Kangaroo Lite, ориентированная на предприятия малого и среднего бизнеса.

Kangaroo — это полностью самостоятельное решение класса «всё в одном», у которого все компоненты заключены в корпус на колёсиках для удобства перемещения. Габариты составляют 113 × 60,4 × 104 см.

Источник изображения: Fujifilm

Доступны три модификации системы — Kangaroo S, Kangaroo M и Kangaroo L. Их серверная часть базируется на неназванном процессоре с 16 ядрами, который работает в связке с 128 Гбайт DDR5. В оснащение входят консоль KVM с монитором и клавиатурой, а также ИБП (3 кВА). Версии Kangaroo M и Kangaroo L оснащены внутренним хранилищем вместимостью 38,4 Тбайт; поддерживаются массивы RAID 1/6.

Источник изображения: Fujifilm

Все модификации рассчитаны на 120 ленточных картриджей (+ два чистящих картриджа). Варианты Kangaroo S и Kangaroo M оборудованы двумя приводами LTO-9, модель Kangaroo L — четырьмя. Применяется фирменное ПО Fujifilm Object Archive. Заявленный срок хранения информации достигает 30 лет.

Стандартная версия Kangaroo вместимостью 1 Пбайт обойдётся в €350 тыс. Модификацию Kangaroo Lite, способную хранить около 100 Тбайт данных, планируется продавать по цене €100 тыс. Сборка систем осуществляется в Германии.

Компания Kalray объявила о коммерческой доступности новых ускорителей Turbocard4 (TC4). Новинка позиционируется в качестве решения для ускорения работы систем машинного зрения, либо как акселератор «умной» индексации данных.

На борту ускорителя, выполненного в формате FHFL установлено сразу четыре чипа DPU Coolidge 2 с фирменной архитектурой Kalray MPPA. Эти процессоры были анонсированы ещё летом прошлого года в качестве энергоэффективных DPU с производительностью до 1,5 Тфлопс в режиме FP32 и 50 Топс в характерном для инференса режиме INT8.

Источник изображений здесь и далее: Kalray

Выбор рынков не случаен: машинное зрение сегодня является быстро растущей отраслью, в 2023 году оцененной в более чем $20 млрд, а к 2032 году эта цифра обещает вырасти до $175 млрд. Про индексацию данных для генеративного ИИ нечего и говорить — на дворе бум подобных технологий, а объёмы наборов данных постоянно растут. Такие датасеты требуют эффективной предобработки, иначе растущее время выборки нужных данных будет сдерживать производительность и обучения, и инференса.

Интересно, что производятся TC4 в Европе, на французской фабрике Asteelflash, уже получившей первый заказ на сумму более $1 млн. В силу перспективности избранных направлений не следует удивляться, что европейская инициатива Kalray и Asteelflash поддержана французским правительством в рамках программы CARAIBE. Уже в 2025 году планируется довести темпы производства ускорителей TC4 с сотен до нескольких тысяч в месяц.

Coolidge 2, по словам создателей, представляет собой универсальное решение на базе архитектуры VLIW. Он имеет 80 ядер с частотой до 1,2 ГГц, причём каждое ядро располагает FPU (IEEE 754-2008). Имеются оптимизации для матричных операций и трансцендентных функций. Процессор разделён на 5 кластеров по 16 ядер, каждый кластер имеет дополнительное управляющее ядро, отвечающее также за функции безопасности. Дополняет Coolidge 2 кеш объёмом 8 Мбайт, двухканальный контроллер памяти DDR4-3200 и пара интерфейсов 100GbE с поддержкой RoCE. Чип поддерживает форматы INT8, FP16, FP32 и даже FP64.

Поскольку на борту Turbocard4 работает сразу четыре Coolidge 2, речь идёт о 6 Тфлопс для FP32, 100 Тфлопс для FP16 и 200 Топс для INT8 при теплопакете в районе 120 Вт. Что касается программной поддержки, Kalray сопровождает свои решения SDK, базирующимся на открытых стандартах. Поддерживаются Linux и RTOS.

Equinix заключила предварительное соглашение с создателем малых модульных реакторов (SMR) Oklo, поддерживаемым главой OpenAI Сэмом Альтманом (Sam Altman). По данным Datacenter Dynamics, это первый договор, подписанный оператором, предусматривающий использование SMR. В заявлении по форме S4, поданном AltC Acquisition Corp в Комиссию по ценным бумагам и биржам США (SEC), раскрываются некоторые детали сделки.

В частности, Equinix внесла в качестве предоплаты $25 млн. Считается, что в данном случае речь идёт о финансировании акционерного капитала — Equinix получает возможность купить долю в 1,5-1,9 % в бизнесе Oklo. Сейчас разработчик реакторов находится в стадии обратного слияния со SPAC-компанией AltC Acquisition, намеренной вывести специалистов по атомной энергетике на IPO в июле 2024 года. Вместо акций Equinix также может получить дисконт на приобретение энергии.

Источник изображения: Oklo

Модульные реакторы Oklo на быстрых нейтронах способны генерировать до 15 МВт каждый и работать до 10 лет без перезарядки. Equinix будет получать энергию от SMR Oklo в США в течение 20 лет. Конкретные объёмы будут оговариваться в будущих соглашениях о покупке энергии (PPA), а в будущем Equinix сможет обновить и расширить PPA ещё на 20 лет. Оператор ЦОД также получил право преимущественной покупки энергии, вырабатываемой определёнными реакторами, сроком на 36 месяцев — выкупаемая мощность составит 100–500 МВт.

SMR, разрабатываемые также NuScale, Rolls-Royce и другими компаниями, предлагаются в качестве источника «низкоуглеродного» экобезопасного питания для ЦОД — это позволит дата-центрам работать без подключения к магистральным электросетям. В прошлом году Standard Power анонсировала планы приобрести 24 SMR у NuScale, хотя позже его назвали фейковым.

Компания Pure Storage, специализирующаяся на All-Flash СХД, считает, что дальнейшее увеличение вместимости SSD будет сопряжено с рядом трудностей, продиктованных необходимостью применения DRAM. Об этом, как сообщает ресурс Blocks & Files, рассказал Шон Роузмарин (Shawn Rosemarin), вице-президент Pure по исследованиям и разработкам.

По его словам, коммерческим SSD требуется примерно 1 Гбайт DRAM на каждый 1 Тбайт флеш-памяти. Наличие DRAM необходимо для подсистемы Flash Translation Layer (FTL). По словам Роузмарина, для накопителя ёмкостью 30 Тбайт требуется 30 Гбайт DRAM, для 75 Тбайт — 75 Гбайт и т. д. Таким образом, для SSD вместимостью, например, 128 Тбайт нужно 128 Гбайт DRAM, а это уже сопоставимо с объёмом ОЗУ в сервере.

Источник изображения: Pure Storage

Роузмарин отмечает, что увеличение вместимости корпоративных SSD свыше 30 Тбайт будет проблематично. Во-первых, DRAM заметно дороже NAND, что приведёт к значительному росту стоимости SSD. Во-вторых, из-за увеличения объёма DRAM возрастает энергопотребление, что не только поднимет стоимость владения, но и ухудшит надёжность накопителя. В результате по мере роста вместимости SSD заказчики могут столкнуться с серьёзным увеличением затрат.

Роузмарин заявляет, что единственный способ обойти указанные проблемы — найти более экономичную и менее энергозатратную альтернативу DRAM. Необходимые функции, по его словам, могут быть перенесены непосредственно на ПО СХД. Именно такой подход Pure реализует со своими проприетарными накопителями DFM (Direct Flash Module), последняя модификация которых имеет ёмкость 75 Тбайт. В этих устройствах отсутствует зависимость от DRAM на уровне накопителей.

Компания намерена выпустить DFM ёмкостью 150 Тбайт в 2025 году, а на 300 Тбайт — ориентировочно в 2026-м. В дальнейшие планы входит создание изделий вместимостью 600 Тбайт и 1,2 Пбайт. Аналогичного подхода придерживается и IBM в своих накопителях FlashCore Modules (FCM).

Канадский разработчик микрочипов Tenstorrent, возглавляемый легендарным Джимом Келлером (Jim Keller), наконец, представил свои первые решения на базе архитектуры RISC-V — ИИ-процессоры Grayskull и ускорители на их основе, Grayskull e75 и e150. Оба варианта доступны для приобретения уже сейчас по цене $599 за младшую версию и $799 за старшую. Данные решения предназначены для инференс-систем, разработки и отладки ПО.

В комплект разработчика входят инструменты TT-Buda и TT-Metalium. В первом случае речь идёт о высокоуровневом стеке, предназначенном для компиляции и запуска ИИ-моделей на аппаратном обеспечении Tenstorrent, а во втором — о низкоуровневой программной платформе, обеспечивающей прямой доступ к аппаратным ресурсам. Поддерживается PyTorch, ONNX и другие фреймворки. Создатели делают особенный упор на простоте программирования в сравнении с классическими GPU. Поддерживается широкий спектр ИИ-моделей, но Tenstorrent особенно выделяет BERT, ResNet, Whisper, YOLOv5 и U-Net.

Источник изображений здесь и далее: Tenstorrent

Архитектура Grayskull базируется на RISC-V, в настоящий момент максимальное количество фирменных ядер Tensix достигает 120, работают они на частотах вплоть до 1,2 ГГц. Каждое такое ядро содержит пять полноценных ядер RISC-V, блок тензорных операций, блок SIMD для векторных операций, а также ускорители сетевых операций и сжатия/декомпрессии данных. Дополнительно каждое ядро может иметь до 1,5 Мбайт сверхбыстрой памяти SRAM. Между собой ядра общаются напрямую.

В случае Grayskull e150 процессор работает в полной конфигурации со 120 ядрами и 120 Мбайт SRAM, объём внешней памяти LPDDR4 составляет 8 Гбайт (ПСП 118,4 Гбайт/с). Ускоритель выполнен в формате полноразмерной платы расширения с теплопакетом 200 Вт и интерфейсом PCIe 4.0 x16. У младшей модели, Grayskull e75, активных ядер только 96, их частота снижена до 1 ГГц, а пропускная способность внешней памяти при том же объёме снижена до 102,4 Гбайт/с. При этом теплопакет составляет всего 75 Вт, что позволило выполнить ускоритель в виде низкопрофильной платы расширения и обойтись без дополнительного питания.

Чипы Wormhole тоже используют Tensix. В составе Wormhole n300 таких ядер 128 (2 × 64), частота равна 1 ГГц при теплопакете 300 Вт. Объём SRAM составляет 1,5 Мбайт на ядро, а внешняя подсистема памяти включает 24 Гбайт GDDR6 и с ПСП 576 Гбайт/с. Wormhole n150 оснащены 72 ядрами Tensix, 108 Мбайт SRAM и 12 Гбайт GDDR6 с ПСП 288 Гбайт/с. TDP составляет 160 Вт. От Grayskull эти решения отличаются возможностью масштабирования путём прямого объединения плат. Также есть по паре сетевых интерфейсов 200GbE. Возможна работа с форматами FP8/16/32, TF32, BFP2/4/8, INT8/16/32 и UINT8.

Чипы Tenstorrent Grayskull и Wormhole лежат в основе уникальных масштабируемых платформ собственной разработки — AICloud и Galaxy. В первом случае используются процессоры Grayskull, поскольку Wormhole на рынке должен появиться позже. Платформа предназначена в качестве аппаратной для ИИ и HPC-нагрузок в облаке Tenstorrent.

Каждый 4U-узел AICloud высотой содержит восемь карт (16 чипов) и способен предоставить в распоряжение пользователей от 30 до 60 vCPU и от 256 до 1024 Гбайт памяти, вкупе с дисковым пространством объёмом 100–400 Гбайт. Восемь таких узлов составляют стойку, а четыре стойки — кластер Server Pod. Четыре таких кластера объединены общей системой интерконнекта, управления и СХД (до 200 Тбайт), дальнейшее масштабирование уже выходит на уровень ЦОД.

В Tenstorrent Galaxy упор сделан на возможность создания высокопроизводительных ИИ-систем с быстрым интерконнектом на базе Ethernet. Строительным блоком здесь являются 80-ядерные модули Wormhole. 4U-сервер вмещает 32 таких модуля, что в совокупности даёт 2560 ядер Tensix и 384 Гбайт глобально адресуемой GDDR6. Наличие 16 каналов 200GbE в каждом модуле обеспечивает производительность интерконнекта на уровне 3,2 Тбитс.

На уровне стойки высотой 48U это дает 256 чипов Wormhole, общий объём SRAM в этом случае достигает 30,7 Гбайт, а GDDR6 — 3 Тбайт. Производительность стойки оценивается разработчиками в 20 Попс (Петаопс), а совокупная скорость интерконнекта — в 76,8 Тбит/с. Расплатой за универсальность и производительность станет энергопотребление, достигающее 60 КВт.

Компания Microsoft вслед за AWS и Google Cloud объявила об отмене «штрафов» за уход из облачного сервиса Azure, передаёт The Register. В Microsoft заявляют, что поддерживают выбор клиентов, каким бы он ни был, так что теперь компания гарантирует бесплатный отказ от использования сервисов Azure с выгрузкой данных из облака Microsoft при переходе к другому провайдеру или их переносе на собственные серверы.

Примечательно, что такая лояльность к выбору уходящих клиентов наверняка связана с европейским Законом о данных, который упрощает переход клиентов между конкурентам. Новые правила должны заработать в сентябре 2025 года. Случаи с подобными «штрафами» сейчас пристально изучает и британское Управление по конкуренции и рынкам (CMA). Также есть мнение, что новые правила могут быть связаны не только и не столько с ЕС и Великобританией, сколько с некоторыми требованиями в США, особенно если это касается сотрудничества с военными ведомствами.

Источник изображения: Daniel Lincoln/unsplash.com

Первой, кто поспешил продемонстрировать свою готовность идти навстречу клиентам и законам, стала Google — компания предложила возможность «бесплатного» ухода из облака ещё в январе, правда, только для клиентов, отказывающихся от аккаунта в Google Cloud Platform. Аналогичный анонс сделала на прошлой неделе AWS, подчеркнув, что подобных условий не выдвигает. Зато это делает Microsoft. Для того, чтобы уйти из Azure, потребуется отказ от всех подписок, связанных с аккаунтом, после переноса данных.

По мнению экспертов, в таких анонсах больше маркетинга для новых клиентов или некоторых госзаказчиков, чем реальной пользы для текущих пользователей, поскольку полностью покидает облако лишь малая доля аудитории. В случаях, когда данные выгружаются для резервирования или с иной целью, плата за выгрузку всё равно берётся. Фактически возможна ситуация, когда желание воспользоваться новым сервисом у другого провайдера приводит либо к переносу существенной части (но не всех) нагрузок к нему или к отказу от перехода вообще.

Одним из столпов, на которых зиждется господство NVIDIA в мире ускорителей, является NVLink — высокоскоростной интерконнект, позволяющий чипам общаться напрямую не только в составе одного узла, но и за его пределами. AMD пытается ответить на это продвижением XGMI/Infinity Fabric, и в предварительном обзоре Instinct MI300 были затронуты вопросы топологии серверов в исполнении «красных».

Ещё тогда, в момент анонса MI300, компания Broadcom объявила о поддержке данного интерконнекта в будущих поколениях своих PCIe-коммутаторов, а сейчас ресурс ServeTheHome поделился новыми подробностями. XGMI действительно станет коммутируемым, что упростит масштабирование систем на базе ускорителей AMD Instinct. Интерконнект получил официально название AFL (Accelerated Fabric Link).

В основе AFL по-прежнему будет лежать PCI Express, в данном случае речь идёт уже о PCI Express 7.0. Поддержка данной технологии дебютирует в PCIe-коммутаторах Broadcom Atlas 4. В дополнение к ним будут выпущены и новые ретаймеры Vantage 7, которые также получат поддержку CXL 4.0.

Источник здесь и далее: Broadcom via ServeTheHome

Но перед этим Broadcom начнёт поставки образцов чипов-коммутаторов Atlas 3 со 144 линиями PCIe 6.0 во II половине 2024 года, а серверы с такими коммутаторами появятся в 2025 году. Поддержка CXL здесь будет расширена до версии 3.1.

Что касается ретаймеров, то здесь Broadcom уже нанесла ответный удар Astera Labs, анонсировав чипы серий Vantage 5 и Vantage 6 для экосистем PCI Express 5.0 и PCI Express 6.0 соответственно. Они будут выпускаться в вариантах с 8 и 16 линиями с опцией бифуркации и поддержкой CXL 2.0 и 3.1.

Broadcom заявляет о более низком энергопотреблении, достигнутом за счёт применения 5-нм техпроцесса, лучших в индустрии блоках SerDes и расширенных средствах диагностики, интегрированных в новые ретаймеры.

Экономичность здесь играет важную роль: хотя даже 7-нм ретаймер потребляет немного, таких микросхем в составе каждого GPU-сервера несколько, что при дальнейшем масштабировании выливается весьма серьёзные цифры. К тому же меньшая нагрузка ляжет и на систему охлаждения, ведь если CPU и ускорители могут обслуживаться СЖО, то остальные компоненты в таких серверах по-прежнему охлаждаются обычными вентиляторами.

Что касается SerDes-блоков, то они позволят на 40 % удлинить соединения при сохранении стабильной работы. Ну а наличие продвинутого диагностического программного обеспечения с расширенными возможностями упростит разработку, отладку и ремонт систем нового поколения.

Ретаймеры Vantage 5 будут использоваться в комплекте с коммутаторами Atlas 2 в решениях Broadcom уже сегодня, они обеспечат поддержку CXL 2.0, ну а системы с Vantage 6 и поддержкой CXL 3.1, как уже упоминалось, должны увидеть свет в следующем году.

Astera Labs есть о чём беспокоиться: если на данный момент её ретаймерам почти нет альтернативы, то уже в ближайшем будущем ситуация может коренным образом измениться, поскольку Broadcom явно осознала всю важность этого компонента в экосистеме PCI Express и оценила солидный объём потенциальной клиентской базы.

Облачный гигант Amazon Web Services (AWS) приобрёл у Talen Energy Corporation кампус ЦОД, строящийся у атомной электростанции Susquehanna в Пенсильвании (США). По данным Datacenter Dynamics, ещё на минувшей неделе Talen объявила о продаже кампуса «крупному облачному провайдеру». В презентации для инвесторов было раскрыто, что речь идёт об AWS.

Кампус Cumulus Data площадью более 485 га впервые анонсировали ещё в 2021 году — он находится в непосредственной близости от принадлежащей Talen АЭС мощностью 2,5 ГВт. Компания начала строительство в 2021 году и завершила первый объект гиперскейл-уровня на 28,9 тыс. м² и 48 МВт в 2023 году. Параллельно возводилась отдельная ферма для криптомайнинга для компании TeraWulf, но она, похоже, не является частью сделки с Amazon.

Изображение: Cumulus Data

Площадка и активы Cumulus Data проданы за $650 млн — $350 млн выплачены сразу, ещё $300 млн будут выплачены после завершения этапов строительства, запланированных на 2024 год. Дополнительно предусмотрена и гарантированная продажа «безуглеродной» электроэнергии станции Susquehanna по фиксированной цене, которая может быть пересмотрена только через 10 лет. В Talen уже сообщили, что довольны сделкой, которая принесла выгода и обеспечила возврат инвестиций.

Источник: Talen Energy

Ожидается, что в конечном итоге ёмкость кампуса AWS достигнет 960 МВт. У компании есть обязательства по минимальному потреблению энергии, они будут увеличиваться в течение нескольких лет с шагом в 120 МВт. Впрочем, у AWS остаётся возможность единовременно ограничить обязательства лимитом в 480 МВт. В рамках сделки предусмотрены и другие договорённости. Например, Talen обязуется поставлять с АЭС электричество кампусу AWS в рамках PPA.

Электростанция Susquehanna Steam Electric мощностью 2,5 ГВт была сдана в эксплуатацию в 1983 году — это одна из крупнейших атомных станций в США. Теперь ей владеет Talen Energy, основанная в 2015 году. В 2020 году компания основала Cumulus Growth для инвестиций «на стыке цифровой инфраструктуры и энергетики», а также Cumulus Coin, занимающуюся майнингом криптовалют. В России с 2018 года действует дата-центр «Калининский», расположенный у одноимённой АЭС в Тверской области.

В Евросоюзе активно инвестируют в инициативы, призванные обеспечить полупроводниковый суверенитет благодаря использованию открытой архитектуры RISC-V. EE Times сообщает, что инициативу курирует Барселонский суперкомпьютерный центр (Barcelona Supercomputing Center или BSC) — пионер в разработке европейских решений RISC-V.

Источник изображений: European Processor Initiative (EPI)

Страны ЕС беспокоит полупроводниковая зависимость от иностранных компаний, и это беспокойство усугубляется относительно недавним дефицитом чипов в мире. В то же время за использование в своих решениях архитектуры RISC-V никому не надо платить и ни у кого не нужно получать разрешений на её применение, поэтому технология так привлекательна для разработчиков.

BSC представляет собой один из ведущих исследовательских центров Европы. Он играет ключевую роль в разработке чипов на архитектуре RISC-V и возглавляет несколько проектов, связанных с этой технологией, в частности, European Processor Initiative (EPI). В рамках инициативы EPI стоимостью €70 млн разрабатывается новое поколение высокопроизводительных процессоров. Связанная с BSC компания OpenChip должна найти коммерческое применение разработанным технологиям.

BSC начал создавать собственные чипы семейства Lagarto довольно давно — первые 65-нм варианты представили ещё в мае 2019 года. Сегодня речь идёт уже о четвёртом поколении, которое будет выпускаться в соответствии с 7-нм техпроцессом. Центр работает и с другими европейскими компаниями и исследовательскими организациями над созданием комплексной экосистемы RISC-V, включающей ПО, ОС и компиляторы.

Подобные инициативы должны снизить зависимость Евросоюза от американских и азиатских производителей — отсутствие в ЕС зрелой индустрии высокопроизводительных чипов расценивается как значимая уязвимость. Европа считает, что RISC-V — идеальная платформа для достижения суверенитета, при этом бесплатная. Впрочем, эксперты признают, что о полной независимости не может быть речи из-за сложности экосистемы полупроводниковой индустрии. Но у Европы есть большая база знаний и потенциал разработки новых решений, предпринимаются и шаги к организации производства.

В BSC уже экспериментировали с Arm-процессорами, но после Brexit и приобретения компании Arm группой Softbank, выяснилось, что собственной региональной технологии у ЕС нет, тогда и обратили внимание на общедоступную RISC-V. В 2019 году Еврокомиссию убедили в необходимости начать выпуск чипов на этой архитектуре для суперкомпьютеров. В числе других европейских компаний, предлагающих RISC-V продукты, есть Gaiser, Esperanto Technologies, Semidynamics и Codasip, но они уделяют больше внимания процессорам и ускорителям, а не конечным готовые решения.

По оценкам экспертов, в Евросоюзе компаний, работающих с RISC-V, пока недостаточно. Тем не менее, организаторы новых инициатив предостерегают от нереалистичных ожиданий и призывают к стратегическому сотрудничеству — для производства требуются не только разработки, но и сырьё, высокоточное оборудование, и др. Европа может рассчитывать на выпуск решений в пределах 7-нм, более современные техпроцессы пока слишком дороги. Впрочем, ЕС уже добился значительного прогресса в достижении полупроводникового суверенитета с помощью RISC-V.

В Москве завершили строительство одного из крупнейших в России центров обработки данных (ЦОД) «Москва-2», пишет ТАСС со ссылкой на сообщение председателя Мосгосстройнадзора.

«После открытия “Москва-2” станет первым в стране коммерческим дата-центром, сертифицированным по Tier IV Constructed Facility — самому высокому уровню международного отраслевого стандарта надёжности и отказоустойчивости. В нем будет размещено серверное и сетевое оборудование для обработки, хранения и передачи больших массивов данных с использованием новейших технологий, чтобы обезопасить информацию как от физических, так и от виртуальных угроз», — сообщает пресс-служба комитета.

Источник изображения: atomdata.ru

ЦОД «Москва-2» также станет первым объектом в сети «Росатома» с таким высоким уровнем надёжности, отметил гендиректор компании «Атомдата-Центр», дивизиона госкорпорации «Росэнергоатом», которая и купила площадку за почти 24 млрд руб. ЦОД «Москва-2» расположен в Южном административном округе Москвы на территории площадью более 20 тыс. м². Дата-центр рассчитан на 3640 стойко-мест и имеет четыре машинных зала по 910 стоек. Общая подведённая мощность составляет 36 МВт (5 кВт на стойку).

Источник изображения: atomdata.ru

Для охлаждения залов используется распределённая гидравлическая система на базе воздухоохладителей и холодильных машин. Применяется схема охлаждения стоек с изолированным горячим коридором. На каждый машинный зал приходится 32 воздухоохладителя: 28 — в работе, 4 — в резерве (N+4). Бесперебойную работу ЦОД гарантирует автономная система энергообеспечения, включающая 16 дизель-генераторных установок мощностью свыше 2,5 тыс. кВт каждая. Также здесь есть административная зона с кабинетами и переговорными. В ЦОД заведены две волоконно-оптические трассы разными маршрутами.

Холдинг Alphabet сообщил результаты работы в IV квартале и 2023 году, завершившемся 31 декабря. Выручка облачного подразделения Google Cloud составила около $9,2 млрд, увеличившись год к году на 25,66 %. Что примечательно, подразделение сработало с операционной прибылью в размере $864 млн, в то время годом ранее у него были убытки в $186 млн.

Выручка всего Alphabet в IV квартале составила $86,31 млрд по сравнению с $76,048 млрд годом ранее. Выручка за весь 2023 год — $307,394 млрд, что значительно превышает результат 2022 года, равный $282,836 млрд. Чистая прибыль холдинга выросла в 2023 году до $73,795 млрд с $59,972 млрд годом ранее, отчасти благодаря решению компании продлить срок службы серверов и сетевого оборудования.

Alphabet впервые продлил срок службы своего оборудования в 2021 году, увеличив продолжительность работы серверов с трёх до четырёх лет, а сетевого оборудования — с четырёх до пяти. В 2023 году Alphabet вновь продлил срок эксплуатации оборудования, на этот раз — до шести лет. Благодаря этому только в IV квартале 2023 года расходы компании на амортизацию оборудования упали на $983 млн, а чистая прибыль увеличилась на $765 млн. За весь год амортизация оборудования Alphabet снизилась на $3,9 млрд, а чистая прибыль увеличилась на $3 млрд.

Изображение: Google

При этом компания вложила значительные средства в новую инфраструктуру. В IV квартале общие капитальные затраты составили $11 млрд, что, по словам президента и главного инвестиционного директора Alphabet и Google Рут Порат (Ruth Porat), было обусловлено «инвестициями в техническую инфраструктуру, причём самый крупный компонент — серверы, за которыми следуют ЦОД». В предыдущем квартале капзатраты составили $7,6 млрд. Резкое увеличение капзатрат обусловлено «перспективами создания уникальных приложений ИИ для пользователей, рекламодателей, разработчиков, облачных корпоративных клиентов и правительств во всем мире, а также возможностями долгосрочного роста, которые они предлагают».

Порат добавила, что компания будет придерживаться этой политики и в 2024 году. «Мы ожидаем, что капитальные затраты в 2024 году будут значительно больше, чем в 2023 году», — отметила она. Порат также подчеркнула, что фактором роста Google Cloud Platform (GCP) является ИИ. Гендиректор Сундар Пичаи (Sundar Pichai) заявил, что компания продолжит инвестировать в инфраструктуру, как в ЦОД, так и в вычислительную технику, чтобы поддержать рост возможностей ИИ-технологий.

Изображение: Google

Подразделение Google Cloud снова стало самым быстрорастущим сегментом. После значительного замедления роста с +28 % год к году во II квартале до +22 % в III квартале рост облака вновь ускорился до +26 %. Более того, в этот раз ускорение темпов роста было сильнее, чем у AWS и Azure. Рост доходов от облачных технологий вновь ускорился на 4 п. п. Также резко выросла операционная маржа Google Cloud — последовательно на 6 п.п. до 9 %. Компания объяснила замедление темпов роста в III квартале проведением оптимизации рабочей нагрузки. В ходе нынешнего отчёта Сундар Пичаи сообщил, что этот вопрос «в основном был проработан».

Темпы роста Google Cloud по-прежнему опережают рынок: по оценкам Synergy Research Group, общемировой прирост рынка облаков составил +20 % в годовом исчислении до $74 млрд в IV квартале, ускорившись с 18 % в годовом исчислении в III квартале. Доминирует Amazon (31 % рынка), за ним следуют Microsoft (24 %) и Google (11 %). Большая тройка занимает 67 % рынка. Причём Microsoft и Google нарастили свои доли, а AWS — снизила.

Медиакомпания X/Twitter получила налоговую льготу на сумму $10,1 млн за то, что согласилась разместить оборудование ЦОД в Атланте (Джорджия). Datacenter Dynamics сообщает, что бизнес Илона Маска (Elon Musk) пригрозил в противном случае отправить оборудование для ИИ-вычислений в Портленд (Орегон).

На прошлой неделе Управление по развитию округа Фултон (Development Authority of Fulton County) провело голосование, в результате которого подавляющим большинством голосов (шесть против двух) решено предоставить налоговые льготы сроком на 10 лет для проекта стоимостью $700 млн в Атланте. Предполагается дооснащение уже существующего объекта.

Фото: Kelly Sikkema / Unsplash

Инфраструктуру будут использовать для создания ИИ-продуктов X Platform. Например, больших языковых моделей (LLM) и инструментов семантического поиска. X заказала 10 тыс. ускорителей для этого проекта в апреле 2023 года, но в декабре местные власти отказали ей в налоговых льготах. X заявила о необходимости подобной «скидки», чтобы якобы не пришлось делать трудный выбор и размещать оборудование в Портленде (Орегон).

Несмотря на явный шантаж, в декабре X признала, что начнёт обновлять инфраструктуру независимо от того, предоставят ли местные власти льготу или нет. В январе представитель X признался, что большая часть ИИ-оборудования уже доставлена в ЦОД в Атланте, не считая одной партии стоимостью $200 млн. Тем не менее, он предупредил, что оставшееся «железо» могут направить в Портленд, если власти не пойдут навстречу.

X ссылается на то, что без льгот обслуживание инфраструктуры в Атланте будет на 21 % дороже, чем в Орегоне, а при их наличии стоимость в обоих штатах будет одинаковой. При этом проект не предусматривает создания новых рабочих мест, хотя и позволит сохранить 24 из уже существующих. Налоговые поступления в следующие 10 лет должны составить более $16 млн.

Фото: Taylor Vick / Unsplash

Пикантность ситуации в том, что у X практически не осталось собственных площадок. ЦОД в Атланте порядка десяти лет является одним из основных для компании. После прихода Маска компания покинула сначала один дата-центр в Сакраменто (Калифорния), а затем и второй, причём один из них в итоге достался Tesla. Суммарно компания высвободила 48 МВт, перенеся часть нагрузок в оставшиеся ЦОД. Ожидалось, что она сократит присутствие и в Атланте.

Компанию также обвиняли в иной форме «оптимизации» — неуплате счетов облачным провайдерам, включая Google, Oracle и Amazon. Маск требовал пересмотреть условия контрактов, но в результате X/Twitter столкнулась с техническими проблемами, вызвавшими сбои в работе сервисов. При этом компания по-прежнему во многом полагается на облака.

Американский регулятор присвоил высокий приоритет расследованию об использовании телеком-операторами США старых кабелей в свинцовой оболочке. Как сообщает The Wall Street Journal (WSJ), Агентство по охране окружающей среды (EPA) запросило встречу с участниками местного рынка телекоммуникационных услуг в связи с тем, что AT&T, Verizon и другие операторы до сих пор не избавились от кабелей, признанных небезопасным ещё в середине прошлого века.

В результате делом занялось EPA, которое выявило превышение уровня свинца выше максимально допустимого для безопасности детей в более чем сотне проб, взятых с мест расположения кабелей в свинцовых оболочках в трёх штатах. Агентство намерено взять дополнительные пробы в других местах. Ассоциация United States Telecom Association (USTelecom), представляющая интересы операторов США, сообщила, что Verizon сотрудничает с EPA. С аналогичным заявлением самостоятельно выступила и AT&T.

Источник изображения: NANDKUMAR PATEL / Unsplash

Операторы, в ведении которых находятся старые освинцованные кабели, заявили, что те не несут угрозы и вообще не являются основным источником загрязнения природы. Однако прошлогоднее расследование WSJ показало, что свинец из старых кабелей со временем попадает в окружающую среду — в воду, почву и воздух. Превышение норм было выявлено в самых разных концах страны. Пробы из окрестностей 130 кабелей были признаны токсичными сразу несколькими независимыми лабораториями. После этого вопросом заинтересовались американские сенаторы.

Журналисты заявили, что скрытыми источниками загрязнения являются более 2 тыс. старых магистралей, причём с проблемой не спешили бороться ни ответственные за них компании, ни природоохранные ведомства. Хотя телеком-операторы не применяют кабели в свинцовой оболочке с 1960-х годов, старые магистрали, как правило, остаются там же, где их когда-то проложили, даже если по соседству с ними проведены оптоволоконные линии. По некоторым оценкам, утилизация или нейтрализация токсичных кабелей обойдётся операторам в $60 млрд.

Регуляторы США, отвечающие за вопросы здравоохранения и защиты окружающей среды, подчёркивают, что загрязнение свинцом может подрывать здоровье людей — металл влияет на почки, сердце, репродуктивные способности и психическое развитие, причём «безопасной» дозы фактически не существует, особенно для детей. Свинец может довольно долго оставаться в кровотоке и десятилетиями накапливаться во внутренних органах и костях.

Консорциум NVM Express обновил спецификации, добавив возможность работы с вычислительными хранилищами NVMe Computational Storage Feature. Речь идёт о возможности использования устройств хранения, которые могут самостоятельно обрабатывать хранящуюся на них информацию по команде извне. Это позволит снизить совокупную стоимость владения IT-системами и повысить их общую производительность.

Спецификация включает два новых набора команд: Computational Programs и Subsystem Local Memory Command Sets. Первый отвечает за исполнение программ на устройстве хранения, в том числе их загрузку, поиск уже загруженных программ и их запуск. Набор обеспечивает модульный подход к программам, управляемым хостом. Второй предоставляет доступ к памяти в подсистеме NVM и позволяет работать с данными, обрабатываемыми программами на устройстве хранения.

Источник изображения: NVM Express

Вычислительное хранилище сокращает необходимость в перемещении данных между накопителями и процессором/ускорителем. Определённые операции могут производиться непосредственно на устройстве хранения, что повышает время отклика приложений, критичных к задержке. Это могут быть базы данных, модели ИИ и системы доставки контента.

В целом, функция NVMe Computational Storage Feature обеспечивает стандартизированную, не зависящую от поставщика оборудования архитектуру для хранения и обработки данных на накопителях NVMe. Решение ориентировано прежде всего на операторов дата-центров и гиперскейлеров.

Компания Güralp Systems Ltd, по сообщению ресурса Datacenter Dynamics, проложила в Ионическом море в 30 км от побережья Катании на Сицилии (Италия) инновационный подводный кабель SMART протяжённостью 21 км. Решение предназначено для мониторинга сейсмической активности.

Кабели SMART (Science Monitoring and Reliable Telecommunications — научный мониторинг и надежные телекоммуникации) предусматривают установку датчиков в подводные оптоволоконные повторители для сбора данных об окружающей среде на дне океана.

Система разработана компанией Güralp в партнёрстве с Национальным институтом геофизики и вулканологии (INGV) для итальянского проекта InSEA SMART Cable: Wet Demonstrator Project. Задача заключается в измерении сейсмического риска у побережья Сицилии. Инициатива InSEA финансируется Министерством исследований Италии и управляется INGV.

Источник изображений: Güralp

Цель проекта — изучение возможности размещения сейсмометров и датчиков мониторинга окружающей среды внутри и вокруг корпусов ретрансляторов традиционных подводных оптоволоконных интернет-кабелей. При этом одним из главных условий является сохранение научной ценности данных, собираемых такими приборами.

Кабельная система SMART содержит три измерительных ретранслятора, расположенных на расстоянии 6 км друг от друга. Каждый из них оснащён сейсмометром Certimus, акселерометром Fortimus, а также наружным блоком приборов, который содержит манометр абсолютного давления и датчик температуры.

Кабель SMART спроектирован таким образом, чтобы для его укладки могло использоваться стандартное оборудование. Он был проложен в декабре 2023 года на глубине около 2000 м. Компания Güralp уже начала сбор научных данных. Ожидается, что такая информация поможет в прогнозировании высоты цунами в регионе, а также позволит сократить время предупреждения.

SAP SE будет вынуждена заплатить немалую сумму американским властям, чтобы уладить весьма деликатное дело. Как сообщает Silicon Angle, компания заплатит более $220 млн, чтобы Министерство юстиции и Комиссия по ценным бумагам и биржам США (SEC) по крайней мере частично сняли с неё обвинения в даче многочисленных взяток.

Соответствующее соглашение анонсировало Министерство юстиции. Выяснилось, что SAP и её подельники для повышения шансов на заключение госконтрактов в нескольких странах реализовали недобросовестные схемы с дачей взяток. Утверждается, что фальсифицировалась и бухгалтерская отчётность, поскольку траты на взятки списывались на другие статьи расходов.

Между 2014 и 2017 годом компания, как считают регуляторы, подкупала чиновников в Южной Африке для того, чтобы получить «неправомерные преимущества» в борьбе за контракты с ключевыми муниципалитетами и компаниями страны. Аналогичные схемы предположительно реализовали в Индонезии с 2015 по 2018 гг., где чиновников подкупали, чтобы заключать сделки с местными министерствами и ведомствами. Для дачи взяток SAP, по слухам, обращалась за помощью к посредникам, имитировавших консультантов. Помимо собственно денег чиновникам нередко дарили и предметы роскоши.

Источник изображения: SAP

Параллельно с Министерством юстиции SEC вела собственное расследование и выяснила, что к недобросовестной конкуренции SAP также прибегала в Малави, Кении, Танзании, Гане и Азербайджане. Заодно SEC раскрыла схему с использованием посредников для подкупа чиновников как минимум с декабря 2014 года по январь 2022 — взятки в бухгалтерии всё так же проводили по другим статьям расходов.

В Министерстве юстиции США констатировали, что разработчик ПО получил определённые послабления, пойдя на сотрудничество с властями. Например, SAP незамедлительно обеспечила следствию доступ к внутренней документации и увеличила расходы на более строгое соответствие правилам ведения бизнеса для поддержания и укрепления репутации компании. Оценив подобные усилия, в министерстве пошли навстречу компании — оно прибегло к значительному снижению суммы штрафов, которые в противном случае могли бы оказаться намного выше.

Дополнительно с SAP заключили соглашение на три года о т.н. отсрочке судебного преследования (DPA). В результате два ключевых пункта обвинения будут сняты с повестки, если компания будет соблюдать определённые условия. Сколько именно заработала SAP благодаря взяткам, не уточняется. А вот принуждение клиентов к переходу на облачные версии продуктов SAP приносит плоды.