Накопители

Обзор NVMe-накопителя Samsung 970 PRO: MLC решает

⇣ Содержание

#Методика тестирования

Тестирование проводится в операционной системе Microsoft Windows 10 Enterprise x64 Build 16299, корректно распознающей и обслуживающей современные твердотельные накопители. Это значит, что в процессе прохождения тестов, как и при обычном повседневном использовании SSD, команда TRIM поддерживается и активно задействуется. Измерение производительности выполняется с накопителями, находящимися в «использованном» состоянии, которое достигается их предварительным заполнением данными. Перед каждым тестом накопители очищаются и обслуживаются с помощью команды TRIM. Между отдельными тестами выдерживается 15-минутная пауза, отведённая для корректной отработки технологии сборки мусора. Во всех тестах используются рандомизированные несжимаемые данные.

Раздел, в пределах которого тестируется скорость операций, имеет размер 32 Гбайт, а продолжительность каждого теста составляет сорок секунд. Такие параметры, в частности, позволят получать более релевантные результаты для тех SSD, которые используют различные технологии SLC-кеширования.

Используемые приложения и тесты:

  • Iometer 1.1.0
    • Измерение скорости последовательного чтения и записи данных блоками по 128 Кбайт (наиболее типичный размер блока при последовательных операциях в десктопных задачах). Тестирование проводится при различной глубине очереди запросов, что позволяет оценивать как реалистичные, так и пиковые параметры быстродействия.
    • Измерение скорости случайного чтения и записи блоками размером 4 Кбайт (такой размер блока используется в подавляющем большинстве реальных операций). Тест проводится дважды — без очереди запросов и с очередью запросов глубиной 4 команды (типичной для десктопных приложений, активно работающих с разветвлённой файловой системой). Блоки данных выравниваются относительно страниц флеш-памяти накопителей.
    • Установление зависимости скоростей случайного чтения и записи при работе накопителя с 4-килобайтными блоками от глубины очереди запросов (в пределах от одной до 32 команд). Блоки данных выравниваются относительно страниц флеш-памяти накопителей.
    • Установление зависимости скоростей случайного чтения и записи при работе накопителя с блоками разного размера. Используются блоки объёмом от 512 байт до 256 Кбайт. Глубина очереди запросов в течение теста составляет 4 команды. Блоки данных выравниваются относительно страниц флеш-памяти накопителей.
    • Измерение производительности при смешанной многопоточной нагрузке и установление её зависимости от соотношения между операциями чтения и записи. Тест проводится дважды: для последовательных операций чтения и записи блоками объёмом 128 Кбайт, выполняемых в два независимых потока, и для случайных операций с блоками объёмом 4 Кбайт, которые выполняются в четыре независимых потока. В обоих случаях соотношение между операциями чтения и записи варьируется с шагом 20 процентов.
    • Исследование падения производительности SSD при обработке непрерывного потока операций случайной записи. Используются блоки размером 4 Кбайт и глубина очереди 32 команды. Блоки данных выравниваются относительно страниц флеш-памяти накопителей. Продолжительность теста составляет два часа, измерения моментальной скорости проводятся ежесекундно. По окончании теста дополнительно проверяется способность накопителя восстанавливать свою производительность до первоначальных величин за счёт работы технологии сборки мусора и после отработки команды TRIM.
  • CrystalDiskMark 6.0.0
    • Синтетический тест, который выдаёт типовые показатели производительности твердотельных накопителей, измеренные на 1-гигабайтной области диска «поверх» файловой системы. Из всего набора параметров, которые можно оценить с помощью этой утилиты, мы обращаем внимание на скорость последовательного чтения и записи, а также на производительность произвольных чтения и записи 4-килобайтными блоками без очереди запросов и с очередью глубиной 32 команды.
  • PCMark 8 Storage Benchmark 2.0
    • Тест, основанный на эмулировании реальной дисковой нагрузки, которая характерна для различных популярных приложений. На тестируемом накопителе создаётся единственный раздел в файловой системе NTFS на весь доступный объём, и в PCMark 8 проводится тест Secondary Storage 2.0. В качестве результатов теста учитывается как итоговая производительность, так и скорость выполнения отдельных тестовых трасс, сформированных различными приложениями.
  • Тесты реальной файловой нагрузки
    • Измерение скорости копирования директорий с файлами разного типа. Для копирования применяется стандартное средство Windows – утилита Robocopy, в качестве тестового набора используется рабочая директория, включающая офисные документы, фотографии и иллюстрации, pdf-файлы и мультимедийный контент общим объёмом 8 Гбайт.
    • Измерение скорости архивации файлов. Тест проводится с той же рабочей директорией, что и копирование, а в качестве инструмента для компрессии файлов избран архиватор 7-zip версии 9.22 beta. Для уменьшения влияния производительности процессора используется метод Deflate.
    • Исследование скорости разворачивания архива. Тест проводится с архивом, полученным при измерении скорости архивации.
    • Оценка скорости запуска игрового приложения. Измеряется производительность дисковой подсистемы при выполнении сценария, захваченного при запуске игры Far Cry 4 и загрузке в ней уровня с пользовательским сохранением. Для минимизации влияния производительности процессора и памяти все задержки, возникающие по их вине, из тестового сценария убраны.
    • Оценка скорости старта приложений, формирующих типичную рабочую пользовательскую среду. Измеряется производительность дисковой подсистемы при выполнении сценария, захваченного при запуске пакета приложений, который состоит из браузера Google Chrome, текстового редактора Microsoft Word, графического редактора Adobe Photoshop и видеоредактора Adobe Premiere Pro с рабочими файлами. Для минимизации влияния производительности процессора и памяти все задержки, возникающие по их вине, из тестового сценария убраны.

#Тестовый стенд

С выходом процессоров Coffee Lake и наборов логики трёхсотой серии мы решили обновить тестовую систему, которая используется для измерения производительности NVMe-моделей SSD. Всё-таки такие накопители в первую очередь покупают энтузиасты, переходящие на новые платформы, и поэтому логично было бы именно такую платформу использовать в тестовых испытаниях.

В итоге, в качестве тестовой платформы используется компьютер с материнской платой ASUS Maximus X Hero, процессором Core i5-8600K со встроенным графическим ядром Intel UHD Graphics 630 и 8 Гбайт DDR4-2666 SDRAM. Приводы с SATA-интерфейсом подключаются к контроллеру SATA 6 Гбит/с, встроенному в чипсет материнской платы, и работают в режиме AHCI. Используется драйвер Intel Rapid Storage Technology (RST) 15.9.0.1015. Накопители с интерфейсом M.2 устанавливаются в соответствующий слот материнской платы, запитанный от чипсета. Накопители в виде карт PCI Express устанавливаются в слот PCI Express 3.0 x4, также работающий через чипсет.

Объём и скорость передачи данных в бенчмарках указываются в бинарных единицах (1 Кбайт = 1024 байт).

Отдельное пояснение следует сделать относительно закрытия процессорных уязвимостей Meltdown (CVE-2017-5754) и Spectre (CVE-2017-5715). Дело в том, что разработанные патчи заметно снижают производительность твердотельных накопителей, но учитывая важность тестирования SSD в реальных условиях, измерения проводились с установленными обновлениями микропрограммы процессора и операционной системы и с активированными «заплатками».

#

#Список участников тестирования

Samsung 970 PRO обещает стать самым быстрым SSD на базе традиционной флеш-памяти, который сменяет на этом посту предшествующую модель, 960 PRO. Поэтому для сравнения с новинкой мы собрали самые быстрые и самые лучшие SSD, имеющиеся в наличии у других производителей. Естественно, при этом нельзя было обойти стороной и сопоставление с Intel Optane SSD: представитель этого семейства тоже принял участие в тестах.

В результате, список протестированных моделей получился следующим:

Используемые версии NVMe-драйверов:

  • Intel Client NVMe Driver 4.0.0.1007;
  • Microsoft Windows NVMe Driver 10.0.16299.15;
  • OCZ NVMe Driver 1.2.126.843;
  • Samsung NVM Express Driver 3.0.0.1802.

Пока Samsung 970 PRO ещё рано называть последним оставшимся в продаже NVMe SSD на базе флеш-памяти с двухбитовыми ячейками. Различные варианты MLC NAND используют и некоторые другие накопители, продолжающие поставляться на прилавки магазинов: Plextor M8Pe и Patriot Hellfire M.2, где применяется планарная 15-нм MLC NAND компании Toshiba, а также предшественник главного героя данного обзора, Samsung 960 PRO, в основе которого лежит самсунговская MLC 3D V-NAND, но не с 64, а с 48 слоями. Остальные же участники тестирования – NVMe-модели нового поколения, где в массиве флеш-памяти используется трёхмерная TLC-память различных видов.

#Производительность последовательного чтения и записи

Для того, чтобы не загромождать графики, кривые зависимости производительности от размера блока и глубины очереди запросов мы построили только для версии Samsung 970 PRO объёмом 512 Гбайт.

Несмотря на то, что производительность контроллера и скорость памяти в Samsung 970 PRO стала ещё выше, чем была в 960 PRO, этот накопитель всё ещё не может похвастать способностью заполнения пропускной способности PCI Express 3.0 x4 при последовательных операциях без какой-либо конвейеризации. Пиковые скорости достигаются при увеличении глубины очереди запросов как минимум до четырёх команд, так что пространство для дальнейшего развития флагманских NVMe-накопителей Samsung сохраняется.

Впрочем, всё это совершенно не мешает Samsung 970 PRO занимать место недосягаемого лидера. По скорости линейных операций этому накопителю нет равных, особенно если говорить о записи, где новинка демонстрирует впечатляющий отрыв как от предшествующей модели, так и от конкурентов. Но и даже при чтении тот же Samsung 970 EVO отстаёт от флагмана примерно на 15 процентов.

Отдельной строкой нужно подчеркнуть, что при последовательных операциях Samsung 970 PRO существенно опережает и инновационный Intel Optane SSD 900P. До сих пор накопители на базе флеш-памяти могли превзойти Optane только при линейном чтении, но выступление 970 PRO показывает, что это можно сделать и при записи.

#Производительность произвольного чтения

Естественно, лидером по скорости случайного чтения выступает Intel Optane 900P, построенный на принципиально иной памяти 3D XPoint с прямым, а не страничным доступом. Но среди накопителей, в которых используется NAND-память, Samsung 970 PRO – недосягаемый лидер. Переход на новый контроллер Phoenix позволил новинке оторваться от предшественника почти на 15 процентов, причём в условии установленных патчей против уязвимостей Spectre и Meltdown. Это значит, что на сегодняшний день с точки зрения мелкоблочных операций 970 PRO существенно мощнее всех прочих NVMe SSD, построенных на традиционной флеш-памяти.

#Производительность произвольной записи

При случайной записи непревзойдённой производительностью может похвастать лишь версия Samsung 970 PRO ёмкостью 1 Тбайт. Её массив флеш-памяти обладает более высокой степенью параллелизма, и в данном случае это играет определяющую роль. Полутерабайтная же модель уступает в скорости не только Intel Optane 900P, но и Samsung 970 EVO или Intel SSD 760p при увеличении глубины очереди запросов.

Разница в скоростных показателях двух версий 970 PRO может достигать почти двукратного масштаба. И это значит, что, если вы захотите приобрести самый быстрый накопитель в M.2-исполнении, выбирать стоит именно 970 PRO 1 Тбайт. Впрочем, прежде чем последовать этой рекомендации, нужно принять во внимание, что такой SSD превосходит по цене младшую, 280-гигабайтную версию Intel Optane SSD 900P, которая может быть интереснее по соображениям производительности.

#Производительность при смешанной нагрузке

Смешанные нагрузки – это сценарии, в которых лучше всего проявляет себя Intel Optane SSD 900P. И даже терабайтная версия Samsung 970 PRO, которая заметно быстрее варианта вдвое меньшей ёмкости, не может тягаться с ним по производительности.

При этом нельзя сказать, что 970 PRO демонстрирует какие-то особенные достижения и на фоне накопителей на базе NAND-памяти. Например, основанный на трёхмерной TLC-памяти второго поколения Micron накопитель ADATA XPG SX8200 почти не отстаёт от Samsung 970 PRO. Получается, что оптимизация микропрограммы самсунговского флагмана под нагрузки, в которых участвуют одновременно операции чтения и записи, могла бы быть и получше. Впрочем, если сравнить 970 PRO с его предшественником, 960 PRO, то отрицать происходящий на этом направлении прогресс невозможно. Просто он идёт не столь быстрыми темпами, как того хотелось бы.

#Производительность в CrystalDiskMark

Samsung 970 PRO 512GB

Samsung 970 PRO 512GB

 
Samsung 960 PRO 512GB

Samsung 960 PRO 512GB

По данным простого оценочного теста CrystalDiskMark преимущество нового флагманского накопителя Samsung перед его предшественником проявляется в первую очередь по скорости случайного чтения. Отдельные улучшения можно усмотреть и в показателях производительности при различных операциях записи, но их вряд ли можно назвать принципиальными.

#Производительность в PCMark 8 Storage Benchmark 2.0

Безусловно, смотреть на интегральные характеристики производительности, полученные в сценариях, максимально приближенных к реальным, куда интереснее, чем на результаты синтетических тестов. PCMark 8 – хороший пример бенчмарка, позволяющего получить представление о том, какое быстродействие тот или иной SSD сможет показать в реальных задачах. И Samsung 970 PRO уверенно удерживает тут лидирующие позиции среди накопителей на NAND-памяти. Его преимущество над прошлым 960 PRO составляет 9 процентов, а над следующим по быстродействию вариантом другого производителя, Plextor M8Pe, – 23 процента.

Правда, справедливости ради стоит отметить, что Intel Optane SSD 900P гораздо быстрее любых классических твердотельных накопителей. И его результат в PCMark 8 лучше, чем у Samsung 970 PRO, почти вдвое.

Интегральный результат PCMark 8 нужно дополнить и показателями производительности, выдаваемыми накопителями при прохождении отдельных тестовых трасс, которые моделируют различные варианты реальной нагрузки. Дело в том, что при разноплановой нагрузке флеш-накопители могут вести себя каким-либо особым образом.

Производительность при реальной нагрузке

Для быстрой работы с файлами важна производительность при линейных операциях. Поэтому здесь на диаграммах Optane SSD 900P совсем не выделяется. А вот Samsung 970 PRO, напротив, выглядит победителем, предлагая наилучшее быстродействие. Правда, касается это лишь версии объёмом 1 Тбайт. Более же доступный 512-гигабайтный вариант столь же блистательно уже не выглядит: сравнимую скорость выдаёт и Samsung 970 EVO, стоимость которого заметно ниже.

Для использования в роли системного загрузочного накопителя лучше всего подходит Intel Optane SSD 900P. Благодаря высокой скорости мелкоблочных операций он серьёзно опережает ближайших соперников, и Samsung 970 PRO в том числе. Если же по каким-то соображениям отбросить интеловский вариант на базе 3D XPoint, то лучшую производительность при запуске игр и приложений действительно гарантирует новый флагман Samsung.

#Деградация и восстановление производительности

Наблюдение за изменением скорости записи в зависимости от объёма записанной на диск информации — важный эксперимент, позволяющий понять работу внутренних алгоритмов накопителя. В данном тесте мы загружаем SSD непрерывным потоком запросов на случайную запись 4-килобайтных блоков с очередью максимальной глубины и попутно следим за той производительностью, которая при этом наблюдается. На приведённом ниже графике в виде точек отмечены результаты измерений моментальной производительности, которые мы снимаем ежесекундно, а чёрная линия показывает среднюю скорость, наблюдаемую в течение 30-секундного интервала.

Столь гладкие графики моментальной производительности при непрерывной записи 4 Кбайт блоков встречаются нечасто. Но у накопителей Samsung серии PRO так всегда. Высокая вычислительная мощность пятиядерного контроллера позволяет обслуживать входящий поток команд с постоянной латентностью, обеспечивая отменную стабильность производительности. И пусть это в первую очередь важно в серверных средах, пользователям обычных систем это тоже способно принести некоторые дивиденды. Ведь 970 PRO – накопитель, скорость реакции которого на внешние воздействия совершенно предсказуема и постоянна.

Кроме того, обратить внимание стоит и на то, что даже после исчерпания свободных страниц флеш-памяти скорость работы Samsung 970 PRO остаётся на весьма достойном уровне. Если сравнить потребительские NVMe-модели по устоявшейся производительности в «использованном» состоянии, то новинка Samsung как минимум вдвое опередит любых соперников за исключением Intel Optane SSD 900P, у которого падения производительности не происходит вообще в силу использования памяти с иной архитектурой.

Посмотрим теперь, как происходит восстановление скоростных характеристик до первоначальных величин за счёт работы технологии сборки мусора. Для исследования этого вопроса после завершения предыдущего теста, приводящего к снижению скорости записи, мы выжидаем 15 минут, в течение которых SSD может попытаться самостоятельно восстановиться за счёт сборки мусора, но без помощи со стороны операционной системы и команды TRIM, и замеряем быстродействие. Затем на накопитель принудительно подаётся команда TRIM — и скорость измеряется ещё раз, что позволяет убедиться в способности SSD с помощью TRIM полностью восстанавливать свою паспортную производительность.

С обработкой TRIM у Samsung 970 PRO проблем нет. Но вот автономная сборка мусора у MLC-накопителей южнокорейского производителя традиционно не работает. Нет её и в 970 PRO: очевидно, что у инженеров Samsung на этот счёт какие-то принципиальные соображения. Поэтому для того, чтобы 970 PRO смог подготовить свободные страницы флеш-памяти для будущих операций, операционная система должна обязательно отослать на него пакет команд TRIM. Впрочем, представить себе окружение с поддержкой NVMe, но без TRIM, очень тяжело, так что отсутствие самостоятельной сборки мусора недостатком Samsung 970 PRO можно считать лишь условно.

Выполнение команды TRIM современным накопителям даётся не столь просто, как можно было бы подумать. Когда операционная система передаёт накопителю информацию о том, что какие-то сектора выводятся файловой системой из обращения, контроллер SSD должен консолидировать эти сектора и очистить освобождающиеся страницы флеш-памяти для выполнения будущих операций. Такая перегруппировка требует перезаписи и очистки областей памяти, и это не только занимает заметное время, но и серьёзно нагружает контроллер работой. В результате после удаления с диска больших объёмов данных владельцы SSD могут столкнуться с эффектом временного замедления или даже с «фризами» накопителя. На практике это может вызвать серьёзный дискомфорт, ведь никто не ожидает, что SSD, основным достоинством которого является моментальная реакция на внешние воздействия, будет замирать на несколько секунд.

Поэтому мы добавили в методику дополнительное исследование, которое позволяет отслеживать, насколько незаметно для пользователя тот или иной SSD обслуживает команды TRIM. Способ проверки очень прост: сразу после удаления крупного файла — объёмом 32 Гбайт — мы проверяем, как накопитель справляется с операциями произвольного чтения данных, контролируя как скорость чтения, так и время ожидания, которое проходит с момента каждого запроса данных до ответа накопителя.

Весьма примечательно, что несмотря на очень мощный контроллер Phoenix, Samsung 970 PRO совсем не отличается незаметной для пользователя обработкой команды TRIM. После удаления с накопителя больших объёмов информации происходит как снижение производительности, так и увеличение времени реакции. Причём, продолжительность промежутка, который требуется 970 PRO для приведения в порядок массива флеш-памяти в соответствии с TRIM, заметно больше, чем у других накопителей. Например, на зачистку 32 Гбайт у контроллера этого SSD уходит 12-15 секунд. Некоторой компенсацией такой продолжительности обработки TRIM может послужить разве только то, что в это время накопитель остаётся вполне функционален. Да, его производительность снижается, но полного отказа от обслуживания входящего потока команд, которое часто наблюдается у других SSD, в случае 970 PRO нет.

#Проверка температурного режима

Когда мы тестировали Samsung 970 EVO, который основывается на том же контроллере Phoenix, мы отмечали его достаточно мягкий температурный режим. Столкнуться с перегревом было очень непросто. К сожалению, с 970 PRO ситуация оказалась заметно более жёсткой: имея этот SSD, о дополнительном охлаждении задуматься скорее всего придётся.

Для иллюстрации того, как греется Samsung 970 PRO на практике, мы последили за температурным режимом при его нагрузке последовательными операциями с глубиной очереди запросов в 32 команды. Измерения проводились на открытом стенде, какой-либо дополнительный обдув SSD воздушным потоком не производился.

В первую очередь стоит заметить, что предельная температура, при которой у Samsung 970 PRO включается троттлинг, установлена в 79 градусов. При чтении добраться до этой границы практически невозможно. Максимальная температура, которую нам удалось получить в течение пяти минут чтения, составила 64 градуса.

Однако при этом 970 PRO поразил серьёзным нагревом в состоянии бездействия. Даже если к накопителю не выполняется никаких обращений, он сохраняет температуру на уровне 48-50 градусов.

При активной записи имеющийся до включения троттлинга запас в 30 градусов исчерпывается примерно за минуту. После этого включается защитная технология Dynamic Thermal Guard (DTG), снижающая производительность накопителя примерно вдвое. Благодаря ей выше 79 градусов накопитель не разогревается.

Справедливости ради нужно отметить, что до включения троттлинга на 970 PRO (обеих доступных ёмкостей) удаётся записать порядка 140 Гбайт данных. Пользовательские сценарии, требующие непрерывной записи столь существенных объёмов, достаточно редки. Тем не менее, для накопителей флагманского класса, к которому несомненно относится 970 PRO, они не исключены, например, при работе с видеоконтентом. Именно поэтому потенциальным владельцам данного SSD мы и рекомендуем подумать об организации дополнительного теплоотвода. Фирменная фольгированная этикетка на оборотной стороне платы SSD, очевидно, проигрывает в схватке с контроллером Phoenix, приправленным MLC 3D V-NAND.

#Выводы

Было бы неправдой сказать, что рассмотренный в этом материале твердотельный накопитель смог нас хотя бы в чём-нибудь удивить. Samsung 970 PRO дал ровно то, что от него и ожидалось. Перейдя на более мощный контроллер Phoenix и новую MLC 3D V-NAND с 64 слоями, он улучшил скоростные характеристики предшественника, получил более щедрый ресурс записи, и немного подешевел. Средневзвешенное преимущество в производительности над 960 PRO при этом составило порядка 12 процентов, а самый выдающийся прогресс произошёл при смешанной последовательной нагрузке, что сделало 970 PRO существенно более проворным вариантом при выполнении файловых операций. Учитывая же, что за время жизни 960 PRO так и не был превзойдён ни одним из флеш-накопителей, в роли лидера теперь автоматически закрепляется 970 PRO, причём по сравнению с прошлым флагманом он кажется ещё более недосягаемым для конкурентов.

Впрочем, утверждая, что «Samsung 970 PRO – лучший NVMe SSD», мы обязательно должны добавить оговорку «на базе NAND» или в «M.2-формате», поскольку в прошлом году на рынок пришли накопители Intel Optane SSD, которые в ряде сценариев обеспечивают принципиально более высокую производительность. Но даже с учётом этого быстродействие Samsung 970 PRO не может быть объектом критики, и нет никаких сомнений, что накопители этого семейства благодаря сочетанию потребительских качеств окажутся востребованы в среде энтузиастов.

Собственно, главный козырь новинки кроется в том, что Samsung, несмотря на провозглашённый лозунг «TLC – наша новая MLC», решила продолжать предлагать потребителям накопители, основанные на MLC-памяти. Сейчас это стало особенно актуальным, поскольку все остальные производители планомерно сворачивают поставки таких моделей. Cудя по всему, уже в недалёком будущем 970 PRO останется единственным потребительским NVMe SSD, в котором используется память с двухбитовыми ячейками. Именно эта особенность и делает рассмотренную новинку уникальной: 970 PRO способен выдавать стабильно высокую производительность в том числе и при серьёзных продолжительных нагрузках, а кроме того он обладает фантастической выносливостью и снабжается весьма щедрой гарантией. Да, примерно то же самое можно получить и от новаторского Intel Optane SSD 900P/905P, но вариант Samsung в разы дешевле при том, что преимущество решения на базе 3D XPoint в реальных сценариях подавляющим назвать тяжело.

В заключение хочется добавить, что если говорить о сочетании цены и производительности, то Samsung 970 PRO нам кажется даже интереснее более доступной модели 970 EVO. Да, старшая модель дороже на достаточно ощутимые 20 процентов. Но разница в быстродействии на самом деле больше. Усреднённое преимущество 970 PRO составляет 25-30-процентнов, что сразу переносит его в иную весовую категорию. И в то время как для 970 EVO без особого труда можно подобрать и более дешёвые, и более производительные альтернативы, 970 PRO – действительно единственный в своём роде продукт, стоимость которого полностью оправдывается его устройством и потребительскими качествами.

 
← Предыдущая страница
Выбор редактора
⇣ Содержание
Если Вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
⇣ Комментарии
Прежде чем оставить комментарий, пожалуйста, ознакомьтесь с правилами комментирования. Оставляя комментарий, вы подтверждаете ваше согласие с данными правилами и осознаете возможную ответственность за их нарушение.
Все комментарии премодерируются.
Комментарии загружаются...
window-new
Soft
Hard
Тренды 🔥