Недавно Western Digital сообщила о начале тестирования своих SSD ёмкостью 64 Тбайт для центров обработки данных, а сегодня на выставке FMS 2024 компания представила твердотельный накопитель следующего поколения объёмом 128 Тбайт. SSD использует память BiCS8 QLC NAND производства Kioxia и предназначен в первую очередь для «быстрых данных ИИ и приложений с высокой производительностью».

Источник изображений: anandtech.com

Демонстрационный SSD получил прошивку, оптимизированную для контрольных точек ИИ — рабочей нагрузки, которая включает последовательную запись, но также требует, чтобы диск поддерживал минимальный уровень обслуживания для одновременных операций чтения. Судя по фотографии с выставки, скорость последовательной записи при такой рабочей нагрузке достигает 6,32 Гбайт/с, а скорость одновременного последовательного чтения — 3,13 Гбайт/с. Других характеристик новинки Western Digital пока не сообщила, но судя по выставочному образцу, накопитель будет выпускаться в формфакторах U.2 и U.3.

218-слойная память BiCS8 использует гибридную схему «CMOS, напрямую связанная с массивом» (CMOS directly bonded to Array, CBA). Эта технология является эволюционным преемником технологий CMOS-under-Array (CuA) компании Micron и Periphery-under-Cell (4D PUC) компании SK hynix. BiCS8 NAND может взаимодействовать с контроллером со скоростью до 3600 МТ/с, что делает её пригодной для использования в накопителях поколения Gen 4+.

Western Digital — не единственная компания, разработавшая высокопроизводительный SSD ёмкостью 128 Тбайт. Samsung недавно сообщила о наличии у неё технологии для создания твердотельных накопителей объёмом 120 Тбайт. Solidigm продемонстрировала на выставке FMS 2024 прототип SSD QLC ёмкостью 122 Тбайт.

Рабочие нагрузки ИИ стали новым вызовом для поставщиков корпоративных SSD и стимулом для производства энергоэффективных быстродействующих и ёмких твердотельных накопителей с максимальной плотностью размещения в ЦОД.

Профильное аналитическое агентство iKS-Consulting и оператор дата-центров 3data провели совместное исследование ситуации на рынке коммерческих ЦОДов во втором квартале в Москве, Санкт-Петербурге, Московской и Ленинградской областях. Изучались цены аренды стойко-мест и услуг колокации. Было установлено, что в Московском регионе цены на услуги дата-центров выросли на 23 % в годовом сравнении, в среднем до 130 тыс. рублей за аренду стойко-места в месяц.

Источник изображения: Taylor Vick / Unsplash

В это же время в Санкт-Петербурге и Ленинградской области за тот же период времени цены на аренду стойко-места практически не изменились и остались на уровне 88,6 тыс. рублей в месяц. Рост цен авторы исследования связывают с вводом в эксплуатацию двух новых дата-центров — ЦОД «Москва-2» «Росатома» (компания «Атомдата») и «Магистральный» компании Datahouse (входит в стройгруппу ФСК). Стоимость аренды стойко-места в новых дата-центрах выше, чем у других участников рынка. Ещё одна новая крупная площадка — ЦОД PNK, находящийся под управлением 3data. В случае закрытия сделки между PNK и «Ростелекомом» эта площадка перейдёт в собственность «Ростелекома».

Таким образом, появление новых ЦОД не снижает среднюю цену на конкурентном рынке, а повышает её. «Цена на colocation в Московском регионе выросла вопреки ожиданиям», — говорится в исследовании. Что касается Санкт-Петербурга, то там ввод новых мощностей запланирован на 2025 год.

По итогам прошлого года объём рынка коммерческих ЦОД в России достиг почти 100 млрд рублей, что на четверть больше по сравнению с результатом 2022 года. В начале 2024 года участники рынка говорили, что ввод в эксплуатацию новых мощностей не гарантирует стабилизацию цен, поскольку для владельцев ЦОД увеличиваются затраты на строительство. В феврале этот сегмент рынка впервые попал под санкции США, на фоне чего участники рынка ожидали, в том числе, ограничения на поставки компонентов для строительства.

В «Ростелеком-ЦОД» сообщили, что 120-140 тыс. рублей за аренду стойко-места — это средняя рыночная цена на данный момент и «предпосылок к её снижению нет». Одним из влияющих на стоимость услуги факторов является ключевая ставка ЦБ, поэтому с её ростом цены не могут снижаться. Важное значение имеет и стоимость оборудования. «Мы значительно обновили вендор-лист, но новое оборудование не стало дешевле», — сообщил представитель компании. В «Атомдата» считают, что «существенных ценовых колебаний в ближайшем будущем не будет».

Недавний бум искусственного интеллекта озолотил Nvidia. В 2023 году компания поставила 3,76 миллиона графических процессоров для ЦОД, что на миллион больше, чем годом ранее, показав рост продаж на 42 %. Выручка Nvidia за 2023 год достигла $60,9 млрд, на 126 % превысив аналогичный показатель 2022 года.

Источник изображений: Nvidia

По результатам 2023 года Nvidia захватила 98 % рынка графических процессоров для центров обработки данных и 88 % рынка графических процессоров для настольных ПК. Такие результаты компания продемонстрировала несмотря на нехватку в 2023 году производственных мощностей TSMC, выпускающей чипы для Nvidia, и невзирая на запрет США на экспорт передовых чипов Nvidia в Китай.

Однако Nvidia не может почивать на лаврах: AMD готовит выпуск гораздо более энергоэффективных чипов, чем полупроводниковый хит сезона Nvidia H100, потребляющий до 700 Вт, а Intel продвигает процессор Gaudi 3 AI, который будет стоить $15 000 — вдвое дешевле, чем H100.

В гонку аппаратного обеспечения для ЦОД присоединяются и другие компании. Microsoft представила ускоритель искусственного интеллекта Maia 100, который она планирует использовать в своём анонсированном ЦОД стоимостью $100 млрд. Amazon производит специальные чипы для AWS, а Google планирует использовать собственные серверные процессоры для ЦОД уже в следующем году.

Однако, по утверждению Nvidia, все эти чипы пока менее производительны, чем её графические процессоры применительно к ускорению работы искусственного интеллекта. Nvidia также подчёркивает гибкость архитектуры своих графических процессоров. Таким образом, несмотря на появляющиеся альтернативы, ИИ-ускорители компании в ближайшем будущем сохранят свои лидирующие позиции.

Президент Российской Федерации подписал распоряжение, разрешающее телекоммуникационной компании «Ростелеком» выкупить 49-процентную долю финской Nokia в совместном предприятии (СП) «РТК — Сетевые технологии», которое было создано в 2018 году для разработки и производства телекоммуникационного оборудования и программного обеспечения в России.

Источник изображения: Ростелеком

Nokia планировала инвестировать в проект «РТК — Сетевые технологии» до 10 млрд рублей. Однако в 2022 году финская компания прекратила работу на российском рынке, что поставило под вопрос дальнейшее существование совместного предприятия. Теперь же «Ростелеком» получил разрешение выкупить долю Nokia на основании указа президента от 5 августа 2022 года, позволяющего российским компаниям приобретать активы уходящих из страны иностранных фирм, сообщает «Коммерсант».

В рамках совместного проекта Nokia должна была модернизировать региональные сети передачи данных «Ростелекома», заниматься разработкой программного обеспечения и решений на базе собственных технологий. На данный момент неизвестно, на какой стадии реализации находились эти проекты на момент ухода финского партнера.

Эксперты полагают, что «Ростелеком» мог консолидировать контроль над СП ради прав на технологии и компоненты оборудования Nokia, необходимые для развития отечественного производства телеком-решений в рамках импортозамещения. Также предприятие могло иметь действующие контракты с крупными клиентами.

В то же время сам коллектив СП невелик — всего 50 сотрудников в 2022 году и четыре человека в текущем году (по информации «Картотеки.ру»). Вероятно, специалисты будут переориентированы на новые проекты с отечественными партнерами, такими как компания «Булат» или поставщиками оборудования для транспортного сектора, в частности «Т8».

Консолидация контроля над СП позволит «Ростелекому» сохранить технологии и компетенции, наработанные совместно с Nokia, а также интегрировать актив в свою экосистему решений в рамках курса на импортозамещение в отрасли.

В рамках конференции Google I/O компания Google представила шестое поколение своего фирменного тензорного процессора (Tensor Processing Unit) с кодовым названием Trillium. Он предназначен для центров обработки данных, ориентированных на работу с искусственным интеллектом. По словам компании, новый чип почти в пять раз производительнее предшественника.

Источник изображения: The Verge

«Промышленный спрос на компьютеры для машинного обучения вырос в миллион раз за последние шесть лет и каждый год продолжает увеличиться в десять раз. Я думаю, что Google была создана для этого момента. Мы являемся новаторами в разработке чипов для искусственного интеллекта уже более десяти лет», — заявил генеральный директор Alphabet Сундар Пичаи (Sundar Pichai) в разговоре с журналистами.

Разрабатываемые Alphabet, материнской компанией Google, специализированные чипы для центров обработки данных, ориентированных на ИИ, представляют собой одну из немногих жизнеспособных альтернатив решениям компании Nvidia. Вместе с программным обеспечением, оптимизированным для работы с тензорными процессорами Google (TPU), эти решения позволили компании занять значительную долю на рынке.

По данным издания Reuters, Nvidia по-прежнему доминирует на рынке чипов для ИИ-дата-центров с долей 80 %. Значительная часть от оставшихся 20 % приходятся на различные версии TPU от Google. В отличие от Nvidia, компания Google не продаёт свои процессоры, а использует их сами и сдаёт в аренду облачные вычислительные платформы, которые на них работают.

Для шестого поколения TPU под названием Trillium компания заявляет прибавку вычислительной производительности в 4,7 раза по сравнению с TPU v5e в задачах, связанных с генерацией теста и медиаконтента с помощью больших языковых моделей ИИ (LLM). При этом Trillium на 67 % энергоэффективнее, чем TPU v5e, отмечают в компании. Как пишет портал TechCrunch, значительного увеличения производительности у Trillium компания смогла добиться благодаря увеличения количества используемых матричных умножителей (MXU), а также повышения тактовой частоты чипа. Кроме того, компания удвоила для Trillium пропускную способность памяти. Более конкретных технических деталей Trillium не приводится.

Вычислительные мощности нового процессора станут доступны для клиентов облачных сервисов Google к «концу 2024 года», отмечают в компании.

Однако от решений Nvidia компания Google не отказывается. В рамках конференции Google I/O также было заявлено, Google станет одним из первых облачных провайдеров, который с начала будущего года будет предлагать облачные услуги на базе специализированных ИИ-ускорителей нового поколения Nvidia Blackwell.

Microsoft планирует в течение двух лет инвестировать $2,9 млрд в расширение своей японской облачной и ИИ-инфраструктуры и создание лаборатории Microsoft Research Asia в Токио. Крупнейшие за 46 лет работы компании в Японии инвестиции также обеспечат обучение трёх миллионов человек использованию искусственного интеллекта.

Microsoft Azure, подразделение Alphabet Google Cloud и Amazon Web Services входят в тройку крупнейших операторов облачных вычислений в мире. Компании ускоренными темпами расширяют свои центры обработки данных и развивают активы облачных вычислений по всему миру, чтобы поддержать бум приложений и рабочих нагрузок искусственного интеллекта, начавшийся после запуска ChatGPT в конце 2022 года.

Облачное подразделение Amazon инвестирует $10 млрд в строительство центра обработки данных в Миссисипи и $5,3 млрд на аналогичную структуру в Саудовской Аравии. Google в настоящее время также строит новый центр обработки данных недалеко от Лондона стоимостью один миллиард долларов.

Компания Google анонсировала свой первый Arm-процессор — он получил название Axion и предназначается для использования в серверных системах для ЦОД. В своём пресс-релизе Google заявляет, что Axion обеспечивает лидирующие в отрасли показатели производительности и энергоэффективности.

Источник изображения: Google Cloud

Подробного описания процессора компания не приводит. Известно, что в основе Axion используются ядра Arm Neoverse V2 с архитектурой ArmV9 и привычным для неё набором инструкций. Также в составе чипа применяются специализированные микроконтроллеры Titanium, на которые возлагаются задачи, связанные с сетевыми подключениями и безопасностью. Кроме того, Titanium перекладывает операции обработки ввода-вывода хранилища на Hyperdisk, службы сетевого блочного хранения данных в Google Cloud.

По словам Google, Axion обеспечивает на 30 % более высокую производительность по сравнению с самыми быстрыми инструментами общего назначения на базе Arm в облаке, а также до 50 % больше производительности и до 60 % больше энергоэффективности по сравнению с сопоставимыми решениями на базе x86-совместимых процессоров. Наглядные примеры сравнений Google не приводит.

В компании отмечают, что уже начали переводить свои сервисы BigTable, Spanner, BigQuery, Blobstore, Pub/Sub, Google Earth Engine и YouTube Ads на системы с процессорами Axion.

В пресс-релизе Google Cloud также указано, что Axion построен на открытой основе, поэтому клиенты смогут переносить свои существующие рабочие нагрузки Arm в Google Cloud на новую платформу без каких-либо существенных изменений, используя программу SystemReady Virtual Environment (VE). Axion можно будет использовать во многих облачных сервисах Google, включая Google Compute Engine, Google Kubernetes Engine, Dataproc, Dataflow, Cloud Batch и других.

Компания Intel назначила исполнительного директора Hewlett Packard Enterprise Джастина Хотарда (Justin Hotard) главой своей группы, занимающейся разработкой технологий для центров обработки данных и искусственного интеллекта. Тем самым она привлекла для управления одним из своих ключевых подразделений стороннего специалиста.

Джастин Хотард. Источник изображения: Intel

В Hewlett Packard Enterprise Хотард отвечал за высокопроизводительные вычисления, искусственный интеллект и управление лабораториями HPE. В Intel он будет курировать разработку и поддержку некоторых наиболее важных продуктов компании, включая серверные процессоры Xeon, которые ранее доминировали в сегменте ЦОД, но уступили значительную долю рынка конкурирующим предложениям. До HPE Хотард также возглавлял компании NCR и Motorola Inc. В Intel он возглавит направление ИИ, специализированных графических процессоров и ускорителей и постарается вывести компанию на достойный уровень конкуренции с NVIDIA, которая в настоящий момент безоговорочно доминирует в этом направлении.

Восстановление своего лидирующего положения на рынке продуктов для центров обработки данных имеет решающее значение для планов генерального директора Пэта Гелсингера (Pat Gelsinger) по восстановлению превосходства Intel в индустрии производства микросхем. Хотя чипы для ЦОД составляют относительно небольшую часть отрасли, сами по себе специализированные процессоры и ускорители на их основе могут продаваться за десятки тысяч долларов каждый, что делает их чрезвычайно прибыльными.

Хотард, который приступит к своей работе в Intel с 1 февраля, сменит ветерана компании Сандру Риверу (Sandra Rivera). Ривера с понедельника перешла на должность главы подразделения программируемых решений Intel (Programmable Solutions Group, PSG), которое компания выделила в отдельный бизнес и планирует вывести на биржу в течение двух-трёх лет.

Intel отдельно объявила, что ещё один топ-менеджер её подразделения ЦОД и ИИ Арун Субраманьян (Arun Subramaniyan) возглавил новую софтверную компанию Articul8, специализирующуюся на внедрении машинного обучения и больших языковых моделей (LLM). Она была создана Intel совместно с инвестиционными компаниями DigitalBridge Group и Mindset Ventures.

В России на фоне сложившейся геополитической обстановки продолжает активно развиваться рынок ЦОД. Как сообщает газета «Ведомости», ссылаясь на статистику iKS-Consulting, в 2023 году общая ёмкость отечественных дата-центров поднялась на 21 % — до 70 300 стойко-мест.

Говорится, что приблизительно треть отрасли занимает «Ростелеком-ЦОД»: этот провайдер оперирует 21 408 стойками. В тройку лидеров также входят компании IXcellerate и DataPro с более чем 6000 стоек у каждой. Другими заметными игроками названы 3data, Selectel, МТС, «Росэнергоатом» и Oxygen — свыше 1000 стоек у каждого из операторов.

Источник изображения: «Ростелеком-ЦОД»

Если рассматривать российский рынок дата-центров в денежном выражении, то в 2022 году его объём достиг 89,1 млрд руб., что на 28,1 % больше по сравнению с предыдущим годом. Более половины от этой суммы — 55 % — пришлось на облачные услуги. Ещё примерно 40 % обеспечили colocation-сервисы. Согласно прогнозам аналитиков iKS-Consulting, в 2023 году рост в указанных сегментах может составить соответственно 30–40 % и 20–22 %.

На российском ЦОД-рынке наблюдаются два ключевых тренда: рост общего числа стоек и повышение стоимости. Второй фактор объясняется уходом из РФ зарубежных поставщиков, что спровоцировало увеличение стоимости оборудования. В частности, за 2022–2023 гг. значительно подорожали комплектующие для серверов: по некоторым позициям рост стоимости достигает 200 %.

Несмотря на сложности с поставками оборудования, российский рынок ЦОД, как ожидается, продолжит активно развиваться. До конца 2023 года отечественные провайдеры планируют ввести в эксплуатацию около 12 тыс. новых серверных стоек.

Операторы майнинговых ЦОД на фоне активного ослабления курса рубля начали отмечать рост спроса на свои услуги. Низкий курс национальной валюты на фоне стабильного биткоина позволяет снижать издержки. Кроме того, власти США ужесточили требования к майнерам, из-за чего в Россию устремились работавшие в Америке китайские добытчики криптовалют. Но крупнейшим фактором риска здесь остаётся отсутствие внятной законодательной базы для майнеров, пишет «Коммерсантъ».

Источник изображения: Kanchanara / unsplash.com

В России резко подскочил спрос на размещение майнингового оборудования в специализированных ЦОД: оператор BitRiver (мощности более чем на 350 МВт) доложил, что в первой половине 2023 года объём заказов удвоился в годовом исчислении; компания BitCluster (60 МВт) «ежедневно получает запросы» на размещение оборудования на 10, 20 30 МВт. Удовлетворить такой спрос российский рынок оказался просто не готов: выделять мощности и строить новые майнинговые ЦОД операторы просто не успевают, и крупным клиентам приходится просто ждать. При таком спросе рост рынка мог бы оказаться многократным, но за отсутствием доступных мощностей расти просто некуда, рассказали в операторе BWC UG (более 100 МВт мощностей).

В начале года объём промышленного майнинга в России был 1,2 ГВт, а к концу года он может вырасти до 1,7 ГВт, подсчитали в BitRiver. К концу III квартала спрос может превысить предложение на 70–100 МВт. Сегодня совокупные мощности майнеров в России составляют более 40 Эхеш/с или 10 % от общемирового показателя — ежедневно в стране зарабатывают около 100 биткоинов. Росту отрасли способствует падение рубля, который с начала года подешевел на 40 % и только с начала августа потерял 10 %. Если год назад себестоимость биткоина в России была $15 тыс., то теперь она рухнула до $10–12 тыс. при стабильной котировке биткоина в $30 тыс. Зарплаты сотрудникам и тарифы на электричество растут медленнее, чем падает рубль.

Кроме того, наблюдается переток китайских майнеров из США. Этому способствует целый ряд внутренних американских факторов: рост тарифов на электричество, рост процентных ставок по кредитам, ужесточение политики в отношении криптовалютной вообще и майнинговой в частности отраслей, а также ухудшение отношений Вашингтона и Пекина. С другой стороны, деятельность в России тоже таит в себе множество рисков, связанных с отсутствием внятного регулирования: российские власти теоретически могут потребовать продавать всю добытую криптовалюту на одну из централизованных площадок, и та в условиях санкционного давления может быть помечена как токсичная. По этой же причине непредсказуемой остаётся ситуация с поставками высокотехнологического оборудования.

Компания Intel сообщила, что на её инновационную технологию иммерсионного (погружного) охлаждения нашёлся первый большой заказчик — Министерство энергетики США. Ожидается, что решение Intel будет разработано и внедрено при финансовой поддержке министерства в размере $1,71 млн в течение трёх лет.

Источник изображения: ARPA-E

О разработке инновационной технология иммерсионного охлаждения, которая, как ожидается, будет задействована в центрах обработки данных Министерства энергетики США, Intel сообщила апреле этого года. В перспективе эта система сможет охлаждать процессоры, выделяющие 2000 Вт тепловой энергии. Intel оказалась в числе 15 организаций, которым Министерство энергетики США в рамках программы COOLERCHIPS или Cooling Operations Optimized for Leaps in Energy, Reliability, and Carbon Hyperefficiency for Information Processing Systems поручило разработку высокопроизводительных и энергоэффективных решений для охлаждения дата-центров. Программа также поддерживается Агентством перспективных исследовательских проектов Министерства энергетики США (ARPA-E).

Вопрос производительности, а также энергоэффективности систем охлаждения для ЦОД в настоящее время обретает очень важное значение, поскольку выделяемая тепловая мощность современных процессоров для дата-центров стремительно приближается к показателю 1000 Вт.

Тесты теплоотвода с покрытием для повышения эффективности вскипания жидкости. Источник изображения: Intel

Для решения проблемы компания Intel при поддержке ведущих академиков и специалистов индустрии ведёт разработку двухфазной иммерсионной системы охлаждения. Двухфазный тип охлаждения означает, что помимо охлаждения компонентов путём их погружения в специальную диэлектрическую жидкость, охлаждающее действие усиливается за счёт фазового перехода хладагента. Как пишет портал Tom’s Hardware, из описания, предложенного Intel следует, что их иммерсионная система совмещена с испарительными камерами, в которых будет происходить фазовый переход жидкости. Радиаторы в камерах фазового перехода имеют текстуру, напоминающую коралл. Она предназначена для эффективного улучшения движения жидкости и будет усилена неким специальным покрытием, повышающим эффективность процесса вскипания жидкости. Конструкцию радиатора предполагается изготавливать с помощью технологии 3D-печати. Что касается специального покрытия, которое будет повышать эффективность процесса испарения жидкости, то здесь, вероятно, будут применяться передовые материалы вроде графена.

Новая технология иммерсионного охлаждения Intel не только позволит охлаждать компоненты с тепловыделением 2000 и более ватт, но также, по словам производителя, будет обладать значительно более высоким показателем энергоэффективности в сравнении с любой другой существующей на сегодняшний день технологией охлаждения. Этот момент особенно важен, поскольку на охлаждение уходит до 40 % потребляемой современными ЦОД электроэнергии.

В Intel отмечают, что в настоящий момент команды разработки занимаются вопросом повышения энергоэффективности системы охлаждения. Задача состоит в том, чтобы повысить коэффициент охлаждения в 0,025 градусов Цельсия на ватт энергии, которые демонстрируют актуальные технологии охлаждения, в 2,5 или более раз.