Сегодня 18 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Программисты «Яндекса» чуть не лишили всех точного времени

Из-за ошибки, допущенной при разработке обновления прошивки для умных колонок «Яндекс Станция», образовалась аномально высокая загрузка на NTP-серверы (Network Time Protocol) в российском сегменте интернета — эти ресурсы используются для синхронизации времени. Компания обнаружила ошибку далеко не сразу, но перечислила меры, которые не допустят её повторения.

 Источник изображения: yandex.ru

Источник изображений: «Яндекс»

В середине октября один из добровольцев, который организовал NTP-сервер на своём домашнем маршрутизаторе, обнаружил, что канал устройства забит запросами. Обновление прошивки и перезагрузка проблемы не решили, но она исчезла после отключения NTP. Далее выяснилось, что с середины октября прекратили работу 120 из 140 российских NTP-серверов. Доброволец призвал сообщество «Хабра» в качестве временной меры запустить у отечественных провайдеров NTP-серверы на виртуальных машинах за минимальную плату — помимо рядовых пользователей, откликнулся крупный облачный оператор, который выделил сразу 30 виртуальных машин.

Виновником оказалась компания «Яндекс», которая в середине октября начала развёртывать новую прошивку для умных колонок серии «Станция». Прошивка этих устройств содержит стандартный клиент синхронизации времени. В штатном режиме она производится каждые пять часов, но в случае неудачной попытки повторная предпринимается через пять секунд. Из-за ошибки в одном из связанных с клиентом модулей все устройства с обновлённой прошивкой начали вне зависимости от результата предыдущей попытки синхронизировать время каждые пять секунд — напомним, только за первые девять месяцев 2024 года было продано, по оценкам, около 3 млн «Яндекс Станций».

На начальном этапе «Яндекс» развернул прошивку на 10 % устройств — это стандартная мера для того, чтобы выявлять ошибки на ранних стадиях. Но в стандартной схеме обнаружения ошибок на тот момент отсутствовала метрика NTP-запросов, и к 24 октября прошивка распространилась на 100 % устройств. Первые жалобы на избыточное число NTP-запросов начали поступать 10 ноября — обычно этот симптом объясняется проблемами на стороне пользователя, и из-за небольшого объёма жалоб приоритет у проблемы был невысоким. Ошибку удалось обнаружить лишь 20 ноября — к этому моменту её исправили и начали готовить новый выход прошивки.

Но тянуть время уже было нельзя, потому что к выходным 23 и 24 ноября в Сети оставалось всего четыре сервера. Поэтому в качестве временной меры «Яндекс» выпустил хотфикс — экстренное обновление, которое увеличивало период обращения с 5 до 600 секунд. Нагрузка на NTP-серверы, таким образом, снижалась в 120 раз, но если какая-то из «Яндекс Станций» после включения не могла синхронизировать время с первой попытки, то в последующие 10 минут её связанные со временем функции оказывались недоступными. Это помогло стабилизировать ситуацию — к тому моменту начали запускать NTP-серверы члены сообщества «Хабра».

Чтобы не допустить повторения инцидента в дальнейшем, в «Яндексе» решили принять несколько мер:

  • выделить несколько ресурсов компании в общий пул NTP-серверов;
  • организовать для своих устройств отдельную зону NTP-серверов;
  • осуществлять мониторинг связанных с NTP метрик при выпуске новых и обновлении старых продуктов;
  • усовершенствовать механизмы обратной связи с пользователями, чтобы эффективнее выявлять подобные проблемы.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Reddit готовит новый контракт с Google по интеграции с ИИ-сервисами 10 мин.
Студия ветерана Blizzard анонсировала динамичный изометрический боевик Arkheron — смесь Diablo и королевской битвы 8 ч.
Даже авторы сценария The Wolf Among Us 2 не знают, что происходит с игрой 9 ч.
Nothing анонсировала OS 4.0 — интерфейс стал проще, а камера умнее 11 ч.
Paradox добавила возмутившие фанатов платные кланы в стандартное издание Vampire: The Masquerade — Bloodlines 2 и анонсировала два сюжетных DLC 12 ч.
Жертвы утечки данных Facebook через Cambridge Analytica начали получать выплаты от Цукерберга 12 ч.
В мессенджере Max начинаются «открытые» тесты каналов — создавать их разрешат блогерам из реестра РКН 12 ч.
В России выплатили первую зарплату в цифровых рублях 14 ч.
На официальном сайте Like a Dragon засветилась Yakuza Kiwami 3 — Ryu Ga Gotoku Studio готовит анонс ремейка Yakuza 3 14 ч.
Rutube объяснил: пиратский контент на хостинг закачивают пользователи, но Netflix пока не жалуется 14 ч.
Alibaba удалось разработать ИИ-чип T-Head PPU, сопоставимый по характеристикам с Nvidia H20 3 ч.
Новая статья: Обзор «золотого» блока питания GamerStorm PQ1000G (PQA00G-FD) с разъемом 12V-2x6 8 ч.
Глава NVIDIA разочарован запретом Китая на покупку RTX Pro 6000D, но все вопросы будут решаться на высшем уровне 8 ч.
Журналисты протестировали Apple Watch Series 11, Ultra 3 и SE 3 — всем нравится младшая модель 8 ч.
CoreWeave инвестирует ещё £1,5 млрд в британские ИИ ЦОД 9 ч.
Российский специалист по ремонту ПК-оборудования VIK-on выпустил DDR5-тестер для ноутбуков 9 ч.
Garmin выпустила смарт-часы Venu 4 — улучшенные функции, светодиодный фонарик и цена от $550 9 ч.
iPhone 17 Pro обласкали в первых обзорах: «значительное обновление, вызывающее восторг» 9 ч.
СМИ и блогеры протестировали iPhone Air: «ультратонкий смартфон не без компромиссов» 9 ч.
Вышли первые обзоры iPhone 17: «лучший вариант базовой модели за последние годы» 9 ч.