Теги → cdna
Быстрый переход

AMD представила ускоритель вычислений Instinct MI210 — архитектура CDNA 2 и 64 Гбайт HBM2E

Компания AMD представила ускоритель Instinct MI210, предназначенный для применения в высокопроизводительных вычислительных системах. Новинка оснащена одним графическим процессором, чем в первую очередь и отличается от флагманских Instinct MI250 и MI250X, представленных ранее.

В основу Instinct MI210 положен графический процессор с архитектурой CDNA 2, которая в отличие от игровой RDNA 2 в видеокартах Radeon, нацелена как раз на вычисления. Используется чип со 104 вычислительными блоками, которые обладают 6656 потоковыми процессорами. На одной подложке с чипов расположились 64 Гбайт памяти HBM2E с 4096-битным интерфейсом и поддержкой ECC. Пропускная способность памяти равна 1,6 Тбайт/с.

Ускоритель выполнен в формате карты расширения с интерфейсом PCIe 4.0. Новинка оснащена интерфейсом Infinity Fabric для объединения двух или четырёх карт в связки в рамках одной системы. Instinct MI210 для дополнительного питания имеет лишь один 8-контактный разъём, так что она способна потребить не больше 225 Вт. При этом уровень TDP составляет 300 Вт. Новинка оснащена пассивным радиатором, воздух через который должны прогонять серверные вентиляторы.

Что касается производительности, то AMD заявляет для Instinct MI210 весьма высокие показатели. В векторных операциях FP 32 и FP64 быстродействие достигает 22,6 Тфлопс, а в матричных FP32 и FP64 — 45,3 Тфлопс. В операциях FP16 и bfloat16 уровень производительности достигает 181 Тфлопс, а в INT8 — 181 Топс. Также AMD указывает, что MI210 значительно превосходит своего прямого конкурента в лице NVIDIA A100 40GB в высокопроизводительных вычислениях.

AMD заявила, что ускорители Instinct MI210 в ближайшие месяцы появятся в системах от ASUS, Colfax, Dell, Exxact, Gigabyte, HPE, KOI, Lenovo, Nor-Tech Supermicro и Penguin. Чуть больше подробностей о новинке можно найти на нашем дочернем сайте ServerNews.

AMD представила серверные ускорители вычислений серии Instinct MI200

Компания AMD провела сегодня презентацию, на которой представила первые графические ускорители общего назначения экзафлопсного уровня серии Instinct MI200. Новинки предназначаются для высокопроизводительных вычислений (HPC) и ускорения работы алгоритмов искусственного интеллекта (ИИ).

 Источник изображения: AMD

Источник изображения: AMD

В серию вошли две модели ускорителей: Instinct MI250 и Instinct MI250X. Последний компания AMD называет самым высокопроизводительным графическим ускорителем своего класса. По словам производителя, ускоритель Instinct MI250X обеспечивает в 4,9 раза более высокую производительность по сравнению с конкурирующими решениями в вычислениях двойной точности (FP64) и пиковую теоретическую производительность выше 380 Тфлопс в вычислениях половинной точности (FP16), например, в нагрузках, связанных с машинным обучением и нейросетями.

Особенностью графических процессоров Instinct MI250 и Instinct MI250X является новая 2,5D-упаковка Elevated Fanout Bridge (EFB), предполагающая использование для соединения GPU с памятью HBM «подвешенного» над субстратом моста.

В составе графических процессоров ускорителей используются сразу два кристалла GPU на архитектуре CDNA 2, объединённых между собой и другими элементами GPU шиной AMD Infinity Fabric 3-го поколения.

Графический чип Instinct MI250 оснащён 208 вычислительными блоками, дающими в общей сложности 13 312 потоковых процессоров. В составе графического процессора модели Instinct MI250X применяются 220 вычислительных блоков с 14 080 потоковыми процессорами. Обе модели оснащены 128 Гбайт видеопамяти HBM2e.

Вместе с аппаратными новинками компания представила Radeon Open eCosystem 5.0 (ROCm 5.0) — гипермасштабируемую платформу с открытым исходным кодом, предназначенную для ускорения вычислений за счёт объединения чипов разных классов (CPU, GPU, FPGA и пр.), которая не зависит от языка программирования.

Ускорители вычислений AMD Instinct MI250 и Instinct MI250X уже доступны в формате OCP Accelerator Module (OAM). Компания также планирует выпуск новинок в форме карт расширения под названием AMD Instinct MI210, которые будут предназначаться для OEM-серверов.

Ускорители Instinct MI250X уже появились в составе суперкомпьютера Cray EX от компании HPE. В первом квартале будущего года новая серия ускорителей станет доступна для основных OEM- и ODM-партнёров AMD, включая ASUS, ATOS, Dell Technologies, Gigabyte, Hewlett Packard Enterprise, Lenovo и Supermicro.

AMD пообещала представить ускорители с архитектурой CDNA 2 к концу года — в них дебютируют GPU из двух кристаллов

На квартальной отчётной конференции в конце июля руководство AMD сообщило, что первые образцы ускорителей вычислений с архитектурой CDNA 2 уже отправлены клиентам, но о сроках их формального анонса ничего не добавило. Ситуацию взялась исправить только презентация AMD для инвесторов, которая обновилась в августе. В ней чётко сказано, что ускорители поколения CDNA 2 будут представлены к концу текущего года.

 Источник изображения: AMD

Источник изображения: AMD

Напомним, что CDNA является эволюционным ответвлением от игровой архитектуры RDNA, и если последняя в обозримом будущем разменяет третье поколение, то CDNA в этой нумерации отстаёт на один шаг. Таким образом, CDNA 2 должна содержать все передовые архитектурные изменения AMD, предложенные для сегмента серверных ускорителей и суперкомпьютеров. На уровне слухов ускорителям Instinct MI200 приписываются и двухкристальная компоновка, и использование памяти типа HBM2E совокупным объёмом до 128 Гбайт.

В драйверах эти ускорители, как принято считать, фигурируют под условным обозначением Aldebaran. Два чиплета, выпускаемые по более продвинутой технологии, чем имеющаяся 7-нм, способны нести до 16384 потоковых процессоров в совокупности, как утверждают слухи. Вполне возможно, что выпускать компоненты для данных ускорителей по 6-нм технологии будет компания TSMC. С выбором подрядчика у AMD особых альтернатив нет, а вот конкретное описание техпроцесса пока в официальных документах не фигурирует.

AMD заявила, что представит архитектуру CDNA 2 для ускорителей вычислений в этом году

Выступая в ходе 49-й Ежегодной глобальной конференции JPMorgan по технологиям, медиа и коммуникациям президент и исполнительный директор компании AMD Лиза Су (Lisa Su) кратко коснулась темы будущей графической архитектуры CDNA 2, которая ляжет в основу ускорителей вычислений нового поколения. Госпожа Су подтвердила, что решения на базе этой архитектуры будут представлены в этом году.

«В прошлом году мы рассказывали о нашем первом поколении архитектуры CDNA. В этом году, как я уже отмечала, мы собираемся представить новое поколение CDNA. Фактически именно архитектура является ключевым компонентом, который позволил нам выиграть тендер на создание суперкомпьютеров El Capitan и других для Ок-Риджской национальной лаборатории и Национальной Ливерморской лаборатории им. Лоуренса. Но также немалая доля успеха связана с надёжной работой связки из наших CPU и GPU, которые позволяют на всех уровнях оптимизировать работу для высокопроизводительных вычислений, а также для приложений искусственного интеллекта и машинного обучения. На самом деле, в этом году мы собираемся выпустить новое поколение архитектуры [CDNA]. И очень ждём этого момента. Я думаю, мы достигли значительного прогресса в её разработке. Она станет следующим большим шагом в инновационных решениях, связанных с архитектурами, предназначенными для использования в центрах обработки данных», — прокомментировала Лиза Су.

На данный момент из утечек известно, что кодовым названием архитектуры AMD CDNA 2 является Aldebaran. Согласно им же, чипы на её базе будут использовать «передовой техпроцесс» производства. Также указывается, что GPU на базе CDNA 2 будут построены на двух кристаллах, объединённых одной подложкой.

Сама AMD никаких официальных деталей об архитектуре CDNA 2 пока не сообщала, однако уже известно, что в её составе будет применяться 3-е поколение шины AMD Infinity. Также слухи приписывают Aldebaran оснащение памятью HBM2e.

AMD представила мощный ускоритель вычислений Instinct MI100 на архитектуре CDNA. NVIDIA ответила обновлённым A100

Компании AMD и NVIDIA сегодня представили новые графические решения для высокопроизводительных вычислений, связанных с работой алгоритмов искусственного интеллекта. И если в случае NVIDIA речь идёт об обновлении уже существующего ускорителя A100, которому увеличили объём памяти и её пропускную способность, то AMD представила совершенно новое решение в виде ускорителя Instinct MI100 на базе новой архитектуры CDNA.

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

Новая версия графического ускорителя NVIDIA A100, как и оригинальная основана на базе архитектуры Ampere. От предыдущей версии новинку отличает увеличенный с 40 до 80 Гбайт объём памяти HBM2e, а также повысившаяся с 1,555 до 2 Тбайт/с пропускная способность. Остальные характеристики обеих версий ускорителя совпадают.

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

На данный момент новая версия A100 представлена только в форм-факторе SXM3, поэтому предназначается для использования в составе собственной вычислительной платформы NVIDIA DGX, а также в составе HGX-платформ от партнёров. Последние представят в начале будущего года специальные наборы для интеграции новой версии A100 в свои существующие решения, включая варианты, поддерживающие установку 4 и 8 ускорителей.

 Источник изображения: AMD

Источник изображения: AMD

Новинке от NVIDA придётся конкурировать против совершенно нового решения компании AMD — вычислительного графического ускорителя Instinct MI100, построенного на базе 7-нм архитектуры CDNA. В отличие от архитектуры RDNA, которая используется в игровых и профессиональных решениях, направленных, на работу с рендерингом, основной профиль CDNA — высокопроизводительные вычисления и работа с алгоритмами искусственного интеллекта.

 Источник изображения: AMD

Источник изображения: AMD

AMD Instinct MI100 предназначен для работы с интерфейсом PCIe 4.0 x16 (64 Гбайт/с). В составе GPU Instinct MI100 используются 120 исполнительных блоков (Compute Units), в которых содержатся новые блоки для матричных операций, использующиеся в задачах по ускорению вычислений, связанных с ИИ-алгоритмами. По словам AMD, новые блоки работают не в ущерб классическим вычислениям. Например, пиковая производительность в FP64-приложениях составляет 11,5 Тфлопс, а для FP32 она ровно в два раза больше — 23 Тфлопс, что выше показателей, заявленных для NVIDIA A100.

 Источник изображения: AMD

Источник изображения: AMD

Однако в тех же bfloat16-вычислениях Instinct MI100 от AMD проигрывает конкуренту — 92,3 Тфлопс против 312 Тфлопс. Справедливости ради стоит отметить, что здесь речь идёт о сравнении с SXM-версией ускорителя NVIDIA A100. PCIe-версия ускорителя от NVIDIA в силу более низкого энергопотребления в реальных задачах может быть несколько медленнее. В свою очередь Instinct MI100 на данный момент представлен только в форм-факторе полноразмерной PCIe-карты с уровнем потребления 300 Вт.

AMD Instinct MI100 оснащён 32 Гбайт памяти HBM2 с пропускной способностью 1,23 Тбайт/с. Для сравнения, оригинальная версия NVIDIA A100 имеет на борту 40 Гбайт памяти HBM2e с пропускной способностью 1,555 Тбайт/с. Благодаря наличию трёх интерфейсов Infinity Fabric (IF) с пропускной способностью по 92 Гбайт/с (суммарно 276 Гбайт/с) можно объединить в связку до четырёх ускорителей Instinct MI100, работающих по схеме «каждый-с-каждым». При этом уровень пропускной способности не зависит от того, к каким интерфейсам (PCIe 3.0 или 4.0) подключён набор из Instinct MI100. У той же PCIe-версии NVIDIA A100 имеется только один интерфейс NVLink, позволяющий объединить только две карты. Однако пропускная способность при этом выше и составляет 600 Гбайт/с.

По словам AMD, её новое решение в 1,8–2,1 раза привлекательнее по соотношению показателя «производительность на доллар», чем у NVIDIA с её A100.

 Источник изображения: AMD

Источник изображения: AMD

Первыми системами, которые получат новые вычислительные графические ускорители AMD Instinct MI100 станут Dell PowerEdge R7525, Gigabyte G482-Z54, HPE Apollo 6500 Gen10 Plus и Supermicro AS-4124GS-TNR. Отмечается, что некоторые партнёры компании уже получили новые ускорители, а также системы на их основе для оценки производительности и адаптации программного обеспечения.

Более подробно про анонсы вычислительных графических ускорителей NVIDIA A100 и AMD Instinct MI100 можно прочитать на нашем дочернем ресурсе ServerNews.

AMD представит ускорители вычислений Instinct с архитектурой CDNA уже 16 ноября

Ещё в конце июля достоянием общественности стали данные из презентации AMD, в которой она обещала обойти ускоритель вычислений NVIDIA A100 в вычислениях одинарной точности при помощи собственного решения по имени Instinct MI100 на чипе с новой архитектурой CDNA. Как стало известно сегодня, продукты с архитектурой CDNA будут представлены компанией 16 ноября.

 Источник изображения: AMD

Источник изображения: AMD

Эта информация попалась нам совершенно случайно при изучении октябрьской редакции книги фирменного стиля AMD, которую любой желающий может получить в служебном разделе сайта компании для партнёров. Книга была обновлена для отображения нового стиля логотипа Radeon, который был унифицирован со шрифтом, используемым при обозначении процессоров Ryzen, а информация об ускорителях Instinct в глаза не особо бросалась.

 Источник изображения: AMD

Источник изображения: AMD

И всё же, AMD сочла нужным предупредить случайного читателя о том, что информация об ускорителях вычислений семейства Instinct находится под действием подписки о неразглашении до 16 ноября этого года. Что характерно, по примеру NVIDIA компания исключила из официального названия ускорителей ассоциации с игровыми видеокартами — «Radeon» в этом смысле стал атавизмом.

 Источник изображения: AMD

Источник изображения: AMD

Помимо флагманского Instinct MI100, в семействе будут представлены ускорители Instinct V640 и Instinct V620. Скорее всего, все три модели смогут объединяться в вычислительные кластеры с себе подобными. Старший Instinct MI100 позволит в одной системе объединять от четырёх до восьми ускорителей. Приводится даже изображение фрагмента кожуха системы охлаждения этого изделия и его рекламный баннер.

 Источник изображения: AMD

Источник изображения: AMD

AMD разъясняет, что изделия Instinct допустимо называть как процессорами, так и GPU (графическими процессорами), а вот писать их имя одними заглавными буквами не допускается. В дальнейшем архитектура CDNA будет развиваться самостоятельно, независимо от игровой графики RDNA.

Доходы AMD от реализации GPU в серверном сегменте сократились в два раза

Представив ускоритель вычислений A100 в середине мая, компания NVIDIA уже смогла увеличить его долю в собственной структуре поставок до 25 %. Сторонние источники утверждают, что AMD подобной динамикой похвастать не может, а потому во втором квартале её выручка от реализации графических процессоров в серверном сегменте сократилась вдвое по сравнению с аналогичным периодом прошлого года.

 Источник изображения: Nikkei Asian Review

Источник изображения: Nikkei Asian Review

Соответствующие заявления сделал представитель BMO Capital Markets Амбриш Сривастава (Ambrish Srivastava), который на этой неделе выступал в роли ведущего онлайн-мероприятия Virtual Technology Summit. Со стороны NVIDIA в нём приняла участие финансовый директор Колетт Кресс (Colette Kress), а AMD своих представителей принять участие в трансляции не направляла. Это не помешало Сриваставе сделать вывод, что во втором квартале NVIDIA увеличила выручку от реализации графических процессоров в серверном сегменте на 89 % до $1,24 млрд.

AMD подобными успехами, по мнению аналитика, похвастать не может. Мало того, что во втором квартале она выручила от реализации GPU в серверном сегменте не более $30 млн, так и эта сумма уменьшилась в два раза по сравнению с аналогичным периодом прошлого года. Напомним, что компания решительно настроена покорять серверный рынок своими графическими процессорами, поскольку до конца года должны выйти носители новой архитектуры CDNA, которая является эволюционным ответвлением RDNA, учитывающим специфику серверного сегмента.

Представитель BMO Capital Markets попутно подчёркивает, что объёмы продаж игровых графических процессоров NVIDIA во втором квартале увеличились на двузначную величину в процентах, хотя традиционно этот период года нельзя назвать активным с точки зрения спроса в игровом сегменте. Как уже отмечалось, на изменение тенденций повлияла самоизоляция, которая оставила многих пользователей в мире наедине с компьютерными играми.

AMD в секретной презентации пообещала Radeon Instinct MI100, который превзойдёт NVIDIA A100. Надо только подождать

Предполагаемые показатели производительности и детали об ускорителе Radeon Instinct MI100 на базе архитектуры CDNA следующего поколения были опубликованы ресурсом AdoredTV вместе со слайдами от компании AMD. В публикации рассказывается о производительности этого ускорителя HPC в сравнении с NVIDIA Volta и Ampere.

AdoredTV утверждает, что в их распоряжение попали слайды из официальной презентации AMD Radeon Instinct MI100. Они были переделаны во избежание обвинений, но все данные, как сообщается, оставлены нетронутыми. Прежде всего, в них сообщается о времени выхода ускорителя и серверных конфигураций с ним от партнёров.

Например, серверы с Radeon Instinct MI100 формата 1U с процессорами AMD EPYC поколений Rome и Milan должен быть запущен к декабрю 2020 года. Такой сервер будет включать два процессора AMD EPYC. Каждый из них будет подключён к двум ускорителям Radeon Instinct MI100 через межкомпонентное соединение 2-го поколения Infinity Fabric. Четыре ускорителя вычислений на GPU смогут обеспечить 136 терафлопс производительности в операциях FP32 (SGEMM), то есть каждая карта Radeon Instinct MI100 способна обеспечить 34 терафлопса вычислительной мощи при потреблении в 300 Вт.

Заметим, что похоже 1U-серверы, сочетающие в себе ускорители Radeon Instinct MI100 и центральные процессоры Intel Xeon (поколение не уточняется) выйдут несколько позже — в феврале 2021 года.

Среди прочих особенностей заявлена общая пропускная способность графики через PCIe в 256 Гбайт/с, что стало возможным благодаря PCIe 4.0. Объединённая пропускная способность памяти четырёх графических процессоров составляет 4,9 Тбайт/с, что означает, что AMD использует память HBM2e DRAM (каждый ГП имеет полосу пропускания в 1,225 Тбайт/с). Общий объём составляет 128 Гбайт или 32 Гбайт на каждый ГП.

Ожидается, что второй сервер 3U будет запущен в марте 2021 года и предложит ещё более впечатляющие спецификации: 8 Radeon Instinct MI100, подключённых к двум процессорам EPYC. Четыре ускорителя Instinct будут обеспечивать 272 терафлопс вычислительной мощи FP32, предлагать пропускную способность через PCIe в 512 Гбайт/с, пропускную способность HBM в 9,8 Тбайт/с и иметь в совокупности 256 Гбайт видеопамяти. Потребление одной такой стойки составит 3 кВт.

По производительности AMD сравнила Radeon Instinct MI100 с ускорителями NVIDIA Volta V100 и Ampere A100. Интересно, что на слайдах упоминается ускоритель Ampere A100 мощностью 300 Вт, хотя такого варианта не существует: видимо, AMD говорит о гипотетической конфигурации A100. Сейчас есть только модели на 400 Вт (SXM) и на 250 Вт (PCIe).

Согласно данным от AMD, её ускоритель Radeon Instinct MI100 обеспечивает примерно на 13 % более высокую производительность FP32 по сравнению с NVIDIA A100 (Ampere) и более чем 2-кратный прирост по отношению к Tesla V100 (Volta). По показателю производительности на доллар MI100 превосходит V100 в 2,4 раза, а A100 — в 1,5 раза. Также показано, что масштабирование производительности является почти линейным даже при использовании до 32 ускорителей в Resenet, что весьма впечатляет.

На слайдах упоминается, что AMD предложит гораздо более высокую производительность в таких сегментах, как нефтегазовая отрасль, академические исследования и машинное обучение. В остальных рабочих нагрузках HPC, таких как вычисления FP64, ИИ или Data Analytics за NVIDIA A100, похоже, остаётся существенное преимущество.

Ускоритель AMD Radeon Instinct MI100 на базе архитектуры CDNA сможет потягаться с NVIDIA A100

Ускоритель вычислений Radeon Instinct MI100 должен стать первым серийным продуктом AMD с архитектурой CDNA, которая является производной формой RDNA для серверного сегмента. Новинка выйдет в этом полугодии, предложит в два раза больше вычислительных блоков по сравнению с предшественником, а также сможет связываться с семью себе подобными ускорителями.

 Источник изображения: AMD

Источник изображения: AMD

О характеристиках Radeon Instinct MI100 поведал популярный канал AdoredTV. Данное вычислительное решение в новостях часто фигурирует под кодовым обозначением Arcturus, а недавно факт подготовки его к анонсу невольно подтвердил технический директор AMD Марк Пейпермастер (Mark Papermaster).

Radeon Instinct MI100 получит довольно крупный 7-нм кристалл площадью около 750 мм2, на котором расположатся 120 вычислительных блоков — в два раза больше по сравнению с Radeon Instinct MI50, а вот функциональных блоков для ускорения графики у этого процессора не будет вообще. Память типа HBM2 совокупным объёмом 32 Гбайт расположится вокруг процессора в четырёх стеках. Пропускная способность памяти достигнет 1,2 терабайта в секунду. Быстродействие в вычислениях с плавающей запятой двойной точности достигнет 9,5 терафлопс, одинарной — 42 терафлопс, половинной — 150 терафлопс. Ожидается, что именно в вычислениях одинарной точности MI100 сможет соперничать с NVIDIA A100.

 Источник изображения: AdoredTV

Источник изображения: AdoredTV

TDP достигнет 300 Вт, но в реалиях серверного рынка сам ускоритель наверняка будет комплектоваться обширным радиатором, а его обдувом займутся корпусные вентиляторы сервера. Ускоритель будет предлагаться в двух вариантах по признаку сочленения с себе подобными: в одном можно будет объединять до четырёх MI100 на кластер, в другом — сразу восемь. Интерфейс Infinity Fabric позволит наладить быстрый обмен данными не только между ускорителями, но и с центральными процессорами, даже если в роли последних будут выступать Intel Xeon.

Поставки систем на базе ускорителей Radeon Instinct MI100 начнутся в четвёртом квартале этого года или в первом квартале следующего, в зависимости от конфигурации. Формальный анонс может состояться раньше, ещё в текущем квартале. AMD в качестве целевого рынка видит сегмент вычислений, связанный с нефтяной и газовой отраслью, а также академические учреждения. Ускоритель этой модели должен хорошо проявить себя в системах машинного обучения и искусственного интеллекта.

AMD Radeon Instinct MI100 станет первым представителем архитектуры CDNA в следующем полугодии

Неофициальные источники упоминают кодовое обозначение «Arcturus» очень давно, и только в феврале стало понятно, что под ним скрывается ускоритель вычислений Radeon Instinct MI100, сочетающий родственную с Navi архитектуру с памятью типа HBM2. Теперь планы по выходу ускорителя в следующем полугодии подтверждает технический директор AMD.

 Источник изображения: AMD

Источник изображения: AMD

Как отмечает сайт WCCFTech, Марку Пейпермастеру (Mark Papermaster) на вопрос о сроках дебюта Radeon Instinct MI100 пришлось отвечать во время трансляции с мероприятия Dell EMC. Как уже известно из презентаций AMD, ускорители вычислений на базе графических процессоров марки в своём развитии пойдут отдельным от видеокарт эволюционным путём, получив архитектуру CDNA. Первенец семейства получит 7-нм технологию изготовления, интерфейс AMD Infinity второго поколения, а также до 32 Гбайт памяти типа HBM2.

 Источник изображения: AMD

Источник изображения: AMD

Ориентировочные технические характеристики Radeon Instinct MI100 уже обсуждались ранее. Количество потоковых процессоров по сравнению с предшественниками может быть увеличено, до 8192 штук. Прирост быстродействия будет двукратным. Графический процессор с архитектурой CDNA будет работать на частотах от 1090 до 1333 МГц, частота памяти может достичь 1000 МГц. Важно, что уровень TDP будет снижен до 200 Вт, это наверняка позволит оснащать платы ускорителей Radeon Instinct MI100 пассивными радиаторами, которые в серверных шасси будут обдуваться мощными корпусными вентиляторами.

window-new
Soft
Hard
Тренды 🔥