Microsoft раскрыла подробности масштабного сбоя Outlook, из-за которого сотрудники компаний, государственные учреждения и обычные пользователи почти на сутки лишились доступа к электронной почте. Проблема затронула более 80 % серверов Exchange Online и распространилась на несколько стран из-за работы механизмов аварийного переключения.
Источник изображения: Simon Ray/Unsplash
Как сообщает The Verge, сбой начался 12 ноября около 9:00 утра. Первыми перестали отвечать серверы Exchange Online в Швейцарии, затем проблемы возникли в Мексике и других странах. Системы аварийного переключения перенаправляли почтовый трафик на другие серверы, но вместо локализации неисправности способствовали её распространению. В течение нескольких часов более 80 % серверов Exchange перестали отвечать на запросы. Microsoft присвоила инциденту высший уровень критичности Sev0 и привлекла к расследованию сотни инженеров.
Поначалу специалисты изучали журналы трассировки, аварийные отчёты и дампы ядра. Некоторые серверы переходили в режим обслуживания и переставали отвечать из-за чрезмерной нагрузки на процессор. Попытки перезапустить их не давали результата: после восстановления работы оборудование сразу получало поток накопившихся запросов и снова выходило из строя. В отдельных случаях возникал цикл перезагрузок. Дополнительные сложности создавало то, что стандартные процедуры отката изменений не позволяли вернуть серверы в работоспособное состояние.
В итоге Microsoft обнаружила скрытую ошибку в сетевой инфраструктуре Microsoft 365. Она присутствовала на серверах сетевых шлюзов с июля, но до ноябрьского инцидента никак себя не проявляла. Согласно предварительному отчёту компании, проблема была связана с конфликтом блокировок внутри одного из внутренних процессов Windows. При определённых условиях нагрузки это приводило к тому, что серверы переставали отвечать.
Обычные версии Windows не затронуты: ошибка возникла из-за исправления, подготовленного специально для сетевых шлюзов Microsoft 365. Как пояснил Чарльз Ламанна (Charles Lamanna), руководитель подразделения Copilot, Agents and Platform в Microsoft, проблема сильнее проявлялась на машинах с большим количеством ядер и новым оборудованием. При этом в испытательных лабораториях компании нагрузочные тесты преимущественно проводились на менее мощных системах с небольшим числом ядер, поэтому дефект не удалось выявить заранее.
Сбой стал результатом совпадения сразу нескольких факторов. За 15 часов до начала проблем с Outlook Microsoft Teams переключился с альтернативного сетевого шлюза на основной, обслуживающий Exchange Online. Это увеличило нагрузку на инфраструктуру и изменило характер сетевого трафика. Одновременно около 14 % мощности основного шлюза оставались недоступными из-за другой неисправности, возникшей накануне. В сочетании со скрытой ошибкой это привело к массовому отказу серверов.
Microsoft также проверила версию кибератаки, однако журналы и аварийные отчёты позволили исключить её. Для координации восстановительных работ инженеры проводили непрерывные совещания: в одном из таких звонков одновременно участвовали до 1000 человек.
На стабилизацию серверов Exchange Online ушло почти 24 часа. Microsoft признала, что штатные механизмы восстановления оказались не рассчитаны на столь масштабный отказ, а стандартные процедуры отката не помогли быстро устранить дефект, присутствовавший в инфраструктуре несколько месяцев. Компания готовит окончательный отчёт о произошедшем и обещает опубликовать его позднее.