Поставщик услуг облачного хранения данных Backblaze опубликовал доклад по статистике отказов жёстких дисков в IV квартале, а также за весь 2024 год. Среднегодовая частота отказов (AFR) по всем накопителям в распоряжении компании составила в минувшем квартале 1,35 %.

Источник изображений: backblaze.com

В эксплуатации у Backblaze по состоянию на конец 2024 года было 301 120 жёстких дисков. Худшими за IV квартал с AFR более 4,5 % оказались одна модель HGST ёмкостью 12 Тбайт (HUH7212ALN604) и три модели Seagate на 10, 12 и 14 Тбайт (ST10000NM0086, ST12000NM0007 и ST14000NM0138 соответственно).

Пять моделей жёстких дисков в минувшем квартале не показали вообще ни одного сбоя: HGST на 4 Тбайт (HMS5C4040ALE640), а также Seagate ST8000NM000A, ST14000NM000J, ST16000NM002J и ST24000NM002H соответственно на 8, 14, 16 и 24 Тбайт.

Диск Seagate ST12000NM0007 на 12 Тбайт отметился наихудшим показателем AFR как за IV квартал, так и за весь 2024 год. По итогам года высокую частоту отказов продемонстрировали Seagate на 10 (ST10000NM0086) и 14 Тбайт (ST14000NM0138), а также HGST на 12 Тбайт (HUH7212ALN604). Нулевого показателя отказов за весь 2024 год не достигла ни одна модель, но ближе всех к этой отметке подошла модель Seagate ёмкостью 16 Тбайт (ST16000NM002J) — лишь один её экземпляр вышел из строя в III квартале, что дало AFR в 0,22 % за весь 2024 год.

Средний AFR за 2024 год составил 1,57 %, что лучше, чем в 2023 году (1,7 %). Ожидается, что этот показатель улучшится и в 2025 году.

В 2024 году Backblaze установила 53 337 жёстких дисков — в среднем 26 накопителей в час на одного техника. В разрезе ёмкости самый высокий AFR оказался у дисков на 10 Тбайт; далее идут модели на 12 и 8 Тбайт. В компании отметили, что в двух последних случаях возраст накопителей составляет от пяти до восьми лет, поэтому их общие показатели отказов со временем должны увеличиваться.

57 % от общего числа дисков в эксплуатации составляют модели ёмкостью 14 и 16 Тбайт. В среднем их возраст составляет от двух до четырёх лет — эти накопители находятся в «расцвете сил», поэтому у них стабильно низкие показатели отказов.

Среди всех производителей в парке Backblaze худший AFR оказался у HGST, на втором месте — Seagate, затем Toshiba, а самыми надёжными накопителями вновь стали модели Western Digital. Высокий показатель отказов у HGST обусловлен одной моделью на 12 Тбайт. Если исключить её из статистики, то AFR у HGST составит 0,55 % — ниже, чем у Western Digital.

Backblaze, которая оказывает услуги облачного хранения и резервного копирования данных, опубликовала очередной отчёт по статистике отказов жёстких дисков различных моделей. Следуя мировому тренду, компания решила выяснить, способен ли искусственный интеллект помочь снизить число сбоев.

Источник изображения: MH Rhee / pixabay.com

На конец второго календарного квартала 2024 года в работе у Backblaze числились 284 876 жёстких дисков. Компания исключила из выборки модели, которые эксплуатируются в количестве до 100 единиц, и те, что за квартал не накопили в сумме 10 000 суток работы. В отчёт попали 284 386 единиц, составленные 29 моделями. Учитывая, какой популярностью в разных отраслях сегодня пользуются технологии ИИ, у Backblaze возник вопрос, можно ли использовать их для прогнозирования отказов жёстких дисков. Для этого потребуется обучить большую языковую модель на статистике компании и проверить гипотезу, способен ли ИИ просчитать вероятность отказа определённого накопителя с течением времени — и пока нет ясности, сможет статистика по одной модели применяться к другой, ведь их профили отказа могут различаться радикально.

Здесь и далее источник изображений: backblaze.com

В последнем отчёте выяснилось, что среднегодовая частота отказов (AFR) за II квартал составила 1,71 %, что ниже 2,28 %, зарегистрированных за аналогичный период прошлого года, но выше 1,41 % в I квартале 2024 года. Наибольшее беспокойство вызвала модель HGST ёмкостью 12 Тбайт (HUH721212ALN604), чей AFR за отчётный период подскочил до 7,17 %, из-за чего данный показатель за весь срок службы увеличился с 0,99 % до 1,57 %. Примечательно также, что две модели — Seagate на 14 Тбайт ST14000NM000J и на 16 Тбайт ST16000NM002J — за квартал не показали ни одного отказа. Но в эксплуатации Backblaze значится относительно небольшое число этих дисков.

Самая старая модель в работе — Seagate ёмкостью 4 Тбайт (ST4000DM000), и данные с этих накопителей компания в ближайший квартал или два намеревается перенести на более новые и более вместительные диски. А наиболее долго эксплуатируемым экземпляром оказался диск HGST ёмкостью 4 Тбайт (HMS5C4040ALE640), который на конец второго квартала проработал 9 лет 11 месяцев и 23 дня — сейчас хранилище, в котором установлен этот диск, находится в процессе миграции.

Цель сбора и обработки этих статистических данных — сформировать профиль отказов каждого диска с течением времени, пояснили в Backblaze, что поможет в разработке стратегий замены и миграции. Проиллюстрировать это призваны три предложенные компанией диаграммы, составленные на основе статистики сбоев по моделям, экземпляры которых суммарно наработали в компании от 1 млн суток. На первой диаграмме представлены показатели AFR для 14 моделей, средний возраст которых составляет 60 месяцев и менее, на второй — для моделей со средним возрастом более 60 месяцев. Такое разделение выбрано, поскольку 60 месяцев — типичный гарантийный срок для жёстких дисков корпоративного класса.

Диски, попавшие в I квадрант на первой диаграмме, характеризуются как работающие хорошо с AFR менее 1,5 %; во II квадранте — работающие приемлемо с AFR выше 1,5 %; модели в IV квадранте относительно новые, и их профиль отказов лишь начинает формироваться. В III квадранте накопителей не оказалось. На второй диаграмме I квадрант, как и прежде, представляет качественные модели; квадранты II и III — «диски, о которых нам следует беспокоиться»; а в IV квадранте оказалась лишь одна модель, которая поводов для беспокойства не даёт.

Чтобы показать динамику отказов, была составлена третья диаграмма. Она показывает частоту отказов за весь срок службы по девяти моделям старше 60 месяцев — для наглядности отсчёт ведётся с 24 месяцев. Распределение идёт преимущественно в I и II квадранты, причём пять из девяти моделей по состоянию на II квартал 2024 года оказались в I квадранте. Модели, чьи линии почти вертикальны (красная, коричневая и фиолетовая), демонстрируют стабильную частоту отказов в стечением времени. Модели синей и серой линий по мере старения увеличивают частоту отказов — синяя, в частности (Seagate ST800DM002) пролегает в пределах нормы, поскольку за первые 60 месяцев её AFR держался около 1 %. Три модели, достигшие III квадранта, имеют схожие профили — их кривые по мере роста частота отказов всё сильнее изгибаются вправо. Наконец, чёрная линия — диск Seagate ёмкостью 4 Тбайт, который «активно мигрирует» и заменяется другими.

Backblaze, предлагающая услуги облачного хранения данных, опубликовала статистику по отказам твердотельных накопителей за I и II кварталы 2023 года. В компании предупредили, что пока выборка недостаточно репрезентативна, чтобы действительно отражать какие-либо статистические тенденции.

Интенсивность отказов. Источник изображений: backblaze.com

Свой арсенал накопителей Backblaze начала пополнять SSD лишь в IV квартале 2018 года. К концу 2021 года их было 2200, годом позже — 2558, а по состоянию на 30 июня 2023 года на серверах были установлены 3144 SSD. «В этой среде диски делают намного больше, чем просто загружают серверы хранилищ. Они также хранят файлы журналов и временные файлы сервера хранилища. В зависимости от активности сервера загрузочный диск каждый день читает, записывает и удаляет файлы», — пояснили в Backblaze.

Достоверность статистических данных растёт с каждым днём, поскольку сокращается влияние выпадающих значений. И это важно учитывать, поскольку среднегодовая частота отказов (AFR) в 829,55 % для модели Seagate SSDSCKKB240GZR на 240 Гбайт может показаться чрезвычайно устрашающей — в реальности же у Backblaze на начало года было всего два экземпляра этого накопителя, один из которых вышел из строя вскоре после установки. Другие модели продолжают работать в полном составе, а значит, их AFR имеет значение 0 %, что тоже ни о чём не говорит. Репрезентативной была бы статистика, основанная на выборке из минимум 100 SSD за 10 тыс. дней работы, говорят в компании. Однако можно заметить, что годовой процент отказов SSD находится на уровне около 1 %, тогда как для HDD данный показатель составляет более 2 %.

Тем не менее, Backblaze опубликовала свой отчёт, и, пожалуй, наиболее полезным здесь является график интенсивности отказов, который, пусть и отдалённо, но напоминает традиционную форму «кривой ванны» — модели, демонстрирующий вероятность отказов технологий и продуктов. Данная кривая показывает, сколько единиц продукта может выйти из строя в течение определенного срока службы. Совпадение, по оценке автора доклада, составляет 70 %, что удивительно при столь скудных исходных данных. Получается, что SSD стремятся по отказам к теоретическим показателям.

Бизнес хранения данных постепенно переходит с HDD на SSD, однако во многих случаях HDD пока по-прежнему остаются оптимальным решением. Поэтому трудно переоценить статистику отказов HDD от компании Backblaze, отслеживающей 245 757 жёстких дисков и твердотельных накопителей в своих ЦОД по всему миру. Из этого числа 4 460 являются загрузочными дисками, среди которых 3144 SSD и 1316 HDD.

Источник изображения: unsplash.com

В конце 2 квартала 2023 года компания Backblaze наблюдала за 241 297 HDD, используемыми для хранения данных в её ЦОД. Из этого количества были исключены 357 накопителей, так как часть из них использовалась для тестирования, а некоторые модели были представлены в единичных экземплярах. В таблице приведена годовая частота отказов (AFR — annualized failure rate) для оставшихся 240 940 дисков, объединённых в 31 группу по моделям, за второй квартал 2023 года.

Источник изображения: Backblaze

Шесть моделей накопителей во втором квартале 2023 года отработали без сбоев, но три из них представлены в недостаточных количествах для статистической достоверности.

Самым старым рабочим накопителем данных в парке Backblaze стал Seagate ST4000DM000 ёмкостью 4 Тбайт, отработавший без сбоев 105,2 месяца (8,8 года), но победителем в номинации «Самый старый действующий диск» стал загрузочный диск WDC WD5000BPKT ёмкостью 500 Гбайт со сроком службы 122 месяца (10,2 года).

AFR во 2 квартале 2023 года вырос до 2,28 % по сравнению с 1,54 % в 1 квартале. Конечно, квартальные показатели AFR могут колебаться, но также они могут отражать тенденции, требующих дальнейшего изучения. Рост AFR был ожидаем, так как возраст накопителей продолжает увеличиваться. Специалисты Backblaze проанализировали частоту отказов в зависимости от срока службы и размера накопителя.

Backblaze предоставили статистику для дисков старше 5 лет, которые они относят к категории «старый». 5-летний возраст предопределил отсутствие на графике дисков ёмкостью 12, 14 и 16 Тбайт, оставив данные по ежеквартальному AFR за последние три года для каждой группы старых дисков, моделей ёмкостью 4, 6, 8 и 10 Тбайт. Эксперты отметили, что самые старые диски ёмкостью 4 и 6 Тбайт показали себя хорошо, а вот диски ёмкостью 8 и 10 Тбайт требуют особого внимания.

Backblaze также опубликовала сводные показатели AFR за весь жизненный цикл накопителей. В таблицу попал период с 20 апреля 2013 года по 30 июня 2023 года, то есть более 10 лет. Годовая частота отказов на конец этого периода составила 1,45 %, что на 0,05 процентных пункта больше, чем тот же показатель кварталом ранее.

В «группу риска», которая больше всего увеличивает показатель AFR, попали диски ёмкостью 8 и 10 Тбайт, что отображает диаграмма ниже.

Недавно компания Secure Data Recovery, занимающаяся восстановлением данных, сообщила, что чаще всего жёсткие диски выходят из строя накануне своего трёхлетия. Тогда объём выборки составил 2007 накопителей. Теперь же подоспела статистика компании Backblaze, предлагающей услуги облачного хранения данных, с выборкой в 17 155 неисправных HDD — их средний срок службы до отказа оказался всего 2 года и 6 месяцев.

Источник изображения: Michael Schwarzenberger / pixabay.com

Backblaze получила такой показатель, изучив все вышедшие из строя жёсткие диски и часы работы для каждого экземпляра: в статистику вошли дата отказа каждого диска, его модель, серийный номер, тип сбоя, а также значение по S.M.A.R.T. В выборку вошли 17 155 экземпляров 72 моделей — из неё исключили вышедшие из строя загрузочные диски, диски без атрибутов S.M.A.R.T. и диски с записью данных за пределами допустимого объёма. Исключить также пришлось накопители, которые больше не используются в ЦОД компании: 25 моделей и 3379 вышедших из строя экземпляров — для них, кстати, средний срок наработки перед отказом оказался 2 года и 7 месяцев, то есть немного выше. В Backblaze заявили, что полученные результаты в целом согласуются с информацией Secure Data Recovery.

Средний возраст жёстких дисков до выхода из строя

Антирекордсменом в таблице оказалась модель Seagate ST12000NM0007 на 12 Тбайт, показавшая 2032 отказа при среднем возрасте 1 год и 6 месяцев — она частично уступила модели Seagate ST400DM000 на 4 Тбайт с 5249 отказами, но со средним сроком службы в 3 года и 3 месяца. Глядя на таблицу с сортировкой по объёму накопителя может показаться, что чем он меньше, тем модель надёжнее, но это «статистическая ловушка»: компания вывела из обращения модели ёмкостью 1, 1,5, 2, 3 и 5 Тбайт, а более ёмкие модели продолжают работать — то есть их средний срок службы со временем будет расти.

Показатели отказов жёстких дисков за I квартал 2023 года

Backblaze также представила традиционный квартальный отчёт. Компания предложила статистику по 236 893 накопителям 30 моделей почти за 10 лет, исключив накопители, которые только проходят тестирование, а также модели, представленные менее чем 60 экземплярами в её серверах. Среднегодовая частота отказов (AFR) продолжила рост и достигла 1,4 %. Самый низкий AFR в 0,28 % показала 16-Тбайт модель Western Digital WUH721816ALE6L4 с выборкой в 14 098 единиц. Самый высокий AFR в 2,57 % и, вместе с тем, 2,2 млн дней наработки показал 4-Тбайт Seagate ST4000DM000. В ходе предыдущего отчёта в феврале Backblaze пояснила, что при более высокой частоте отказов диски Seagate предлагаются по более скромным ценникам, что обеспечивает их рентабельность.