Сегодня 07 февраля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Программисты «Яндекса» чуть не лишили всех точного времени

Из-за ошибки, допущенной при разработке обновления прошивки для умных колонок «Яндекс Станция», образовалась аномально высокая загрузка на NTP-серверы (Network Time Protocol) в российском сегменте интернета — эти ресурсы используются для синхронизации времени. Компания обнаружила ошибку далеко не сразу, но перечислила меры, которые не допустят её повторения.

 Источник изображения: yandex.ru

Источник изображений: «Яндекс»

В середине октября один из добровольцев, который организовал NTP-сервер на своём домашнем маршрутизаторе, обнаружил, что канал устройства забит запросами. Обновление прошивки и перезагрузка проблемы не решили, но она исчезла после отключения NTP. Далее выяснилось, что с середины октября прекратили работу 120 из 140 российских NTP-серверов. Доброволец призвал сообщество «Хабра» в качестве временной меры запустить у отечественных провайдеров NTP-серверы на виртуальных машинах за минимальную плату — помимо рядовых пользователей, откликнулся крупный облачный оператор, который выделил сразу 30 виртуальных машин.

Виновником оказалась компания «Яндекс», которая в середине октября начала развёртывать новую прошивку для умных колонок серии «Станция». Прошивка этих устройств содержит стандартный клиент синхронизации времени. В штатном режиме она производится каждые пять часов, но в случае неудачной попытки повторная предпринимается через пять секунд. Из-за ошибки в одном из связанных с клиентом модулей все устройства с обновлённой прошивкой начали вне зависимости от результата предыдущей попытки синхронизировать время каждые пять секунд — напомним, только за первые девять месяцев 2024 года было продано, по оценкам, около 3 млн «Яндекс Станций».

На начальном этапе «Яндекс» развернул прошивку на 10 % устройств — это стандартная мера для того, чтобы выявлять ошибки на ранних стадиях. Но в стандартной схеме обнаружения ошибок на тот момент отсутствовала метрика NTP-запросов, и к 24 октября прошивка распространилась на 100 % устройств. Первые жалобы на избыточное число NTP-запросов начали поступать 10 ноября — обычно этот симптом объясняется проблемами на стороне пользователя, и из-за небольшого объёма жалоб приоритет у проблемы был невысоким. Ошибку удалось обнаружить лишь 20 ноября — к этому моменту её исправили и начали готовить новый выход прошивки.

Но тянуть время уже было нельзя, потому что к выходным 23 и 24 ноября в Сети оставалось всего четыре сервера. Поэтому в качестве временной меры «Яндекс» выпустил хотфикс — экстренное обновление, которое увеличивало период обращения с 5 до 600 секунд. Нагрузка на NTP-серверы, таким образом, снижалась в 120 раз, но если какая-то из «Яндекс Станций» после включения не могла синхронизировать время с первой попытки, то в последующие 10 минут её связанные со временем функции оказывались недоступными. Это помогло стабилизировать ситуацию — к тому моменту начали запускать NTP-серверы члены сообщества «Хабра».

Чтобы не допустить повторения инцидента в дальнейшем, в «Яндексе» решили принять несколько мер:

  • выделить несколько ресурсов компании в общий пул NTP-серверов;
  • организовать для своих устройств отдельную зону NTP-серверов;
  • осуществлять мониторинг связанных с NTP метрик при выпуске новых и обновлении старых продуктов;
  • усовершенствовать механизмы обратной связи с пользователями, чтобы эффективнее выявлять подобные проблемы.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
В «Google Фото» появятся водяные знаки SynthID для изображений, в которые «вмешался» ИИ 2 мин.
Первая игра создателя Syberia спустя 26 лет снова отправит в затерянную страну — дата выхода и демоверсия ремейка Amerzone: The Explorer’s Legacy 6 ч.
Windows 11 теперь обеспечит «наилучший опыт для музыкантов» — ОС получила полную поддержку MIDI 2.0 6 ч.
Организаторы E3 устроят в Лас-Вегасе закрытую игровую конференцию iicon для раскрытия «безграничного потенциала интерактивных развлечений» 8 ч.
Создатели Jagged Alliance 3 и Surviving Mars лишатся независимости — Paradox Interactive покупает студию Haemimont Games 9 ч.
Доходы хакеров от программ-вымогателей упали на треть в прошлом году, хотя атак стало больше 10 ч.
Death Stranding 2: On The Beach получила новый возрастной рейтинг, а Кодзима намекает на следующий трейлер 11 ч.
Российские специалисты из Smart Engines расшифровали рукописи Пушкина при помощи ИИ 12 ч.
«Яндекс» добавил генератор картинок DeepSeek в «Шедеврум» 12 ч.
Утечка: в PS Store засветилась дата выхода и новый трейлер Metal Gear Solid Delta: Snake Eater 12 ч.
ASRock перенесёт часть своего производства из Китая из-за новых импортных тарифов, введённых Трампом 4 мин.
Исследователи создали аналог ИИ-модели OpenAI за 26 минут, используя метод дистилляции 7 мин.
Процессоры Qualcomm заняли 10 % рынка в США в сегменте ПК с Windows дороже $800 26 мин.
В Asus пообещали исправить механизм,  который зажевывал видеокарты в слотах PCIe, и выплатить компенсации 5 ч.
Thermal Grizzly представила термопрокладки Minus Pad Basic, Pad Advance и Pad Pro 5 ч.
Intel нашла куда пристроить свои квантовые процессоры — они появятся в компьютерах «Made in Japan» 5 ч.
Новая статья: Обзор ASUS ROG Phone 9 Pro: главный смартфон для игр 6 ч.
Немецкие учёные создали лучшие в мире солнечные ячейки из перовскита и плёнок CIGS 7 ч.
Квантовую телепортацию впервые применили для распределённых квантовых вычислений 10 ч.
Xiaomi и Huawei сильнее всех нарастили продажи планшетов в 2024 году, но до Apple им ещё далеко 10 ч.