MWC 2018
2018
Computex
IFA 2018
Мировой дефицит памяти вынуждает крупных операторов центров обработки данных идти на нестандартные меры. Старший директор по инфраструктуре цепочки поставок Google Cloud Нихил Чериан (Nikhil Cherian) сообщил, что Google начала разбирать списанные серверы и извлекать из них пригодные для повторного использования модули DDR4.
Источник изображения: cloud.google.com
Google разработала специальные аппаратные адаптеры, позволяющие подключать память предыдущего поколения, в том числе DDR4, к новым серверам для систем искусственного интеллекта. Для этого компания возвращает списанные серверы, разбирает их и извлекает пригодные для повторного использования модули памяти. По словам Чериана, ИИ-отрасль быстро перешла от ограничений, связанных с вычислительными ресурсами, к ограничениям, связанным с памятью. Высокопроизводительная память теперь составляет более 75 % стоимости комплектующих типичного ИИ-сервера.
Дефицит сопровождается стремительным ростом цен. По прогнозу TrendForce, в III квартале серверная DRAM подорожает на 13–18 %, а память для ПК — на 18–23 %. Оценки Goldman Sachs близки к этим значениям: аналитики ожидают роста соответственно примерно на 18 и 17 %. В августе спотовые цены на 8-Гбайт модули DDR4 и DDR5 достигли $142 и $133 соответственно.
Рост цен и дефицит памяти заставляют технологические компании искать способы сократить объём памяти, необходимый на единицу вычислительной мощности. Google решает проблему одновременно на аппаратном и программном уровнях, оптимизируя библиотеки, архитектуру моделей и алгоритмы сжатия KV-кеша.
На снижение зависимости от внешней памяти ориентированы и новые ИИ-ускорители Google. В частности, предназначенный для инференса TPU8i использует многоуровневую иерархию памяти: каждый ускоритель оснащён 288 Гбайт HBM3E, а серверная система использует DDR5 для задач, выполняемых на уровне хоста. Однако дефицит DRAM оказался настолько серьёзным, что в некоторых сценариях Google решила устанавливать вместо DDR5 извлечённые из списанных серверов модули DDR4.
Таким образом, дефицит памяти заставил одного из крупнейших операторов ИИ-инфраструктуры не только оптимизировать новые ускорители и программное обеспечение, но и организовать внутреннюю цепочку повторного использования компонентов старых серверов.
Источник:
