Стр.1 - Центр управления и мониторинга "МегаФон"
У любой сотовой сети есть центр управления и мониторинга (ЦУМ), в котором круглосуточно работают специалисты высокого класса, обеспечивающие бесперебойную работу мобильной связи. В этом репортаже мы расскажем о техническом функционале, группах контроля и других интересных подробностях на примере ЦУМ столичной сети "МегаФон" - это один из самых крупных и самый современный проект такого рода у операторов "большой тройки" (он вступил в строй летом этого года).
Центр управления и мониторинга "МегаФон" был основан только в 2006 году, на базе дежурной смены, а уже летом 2009 года, пережив несколько модернизаций, переехал в новое здание общей площадью 300 кв. м. Общий штат подразделения - 63 человека, в том числе 39 инженеров по оперативному управлению. Шесть смен специалистов в режиме реального времени обеспечивают работоспособность сети и мобильных сервисов, а 24 сотрудника организуют поддержку и автоматизацию сквозных бизнес-процессов. Как показывает практика, на рабочие места инженеров по оперативному управлению ЦУМ ежедневно поступает более 500 тыс. информационных сообщений, характеризующих качество сервисов и работоспособность мобильной сети на всех уровнях.
Левое крыло ЦУМа компании "МегаФон"
Основной операционный зал ЦУМ сети "МегаФон" разделен на три зоны. В левом крыле находится контроль аварийных сообщений о сбоях в работе сетевых элементов и передатчиков, базовых станций, сбоях по электропитанию, в работе ВОЛС и т.д. Большая часть проблем решается удаленно, поскольку дистанционное управление позволяет прямо из ЦУМ осуществлять прямой доступ ко всем телекоммуникационным устройствам и системам охраны контейнеров с "железом", а также практически ко всем "смежникам". Кстати, в случае незаконного проникновения в контейнеры, вневедомственная охрана вызывается тоже из этого помещения.
В настоящий момент порядка 80% всех технических проблем решается удаленно, на так называемой первой линии реагирования ЦУМ, без привлечения дополнительных технических подразделений компании. А остальные 20% наиболее "тяжелых" случаев уже передаются в профильные отделы компании, которые и занимаются устранением таких аварий.
Графики загрузки голосового трафика
Эта динамичная картинка показывает загрузку голосового трафика по контроллерам. Мы были в ЦУМ в середине дня в четверг, поэтому свободная емкость сети (желтый цвет) составляла порядка 25-30 и даже 40%. Конечно, во время пиковой загрузки эти показатели несколько меньше.
Центр управления и мониторинга столичной сети "МегаФон" - место, откуда
осуществляется контроль всех ИТ- и телеком-систем данного оператора
Типовые проблемы, которые можно решить удаленно, это
перезапуск базовых станций, изменение параметров соты, передача трафика через резервные маршруты, оперативное управление качеством сети и т.д. К примеру, при выходе из строя транзитной БС можно на какое-то время "пожертвовать" покрытием в районе и отключить радиочасть, что снизит нагрузку на аккумуляторы и позволит запитать трансмисионное оборудование . А выезжать на место приходится, в основном, при выходе из строя "железа" или чтобы подать питание от резервных генераторов.
Все сбои телекоммуникационного оборудования фиксируются в специальной системе. Каждый сбой автоматически оценивается, в зависимости от "тяжести" последствий, и происходит оперативное оповещение (по электронной почте и SMS) ответственных сотрудников оператора. Для решения каждой проблемы существуют свои временные нормативы. Конкретные показатели зависят от трафика, который собирает та или иная БС, от ее положения в структуре сети, емкости и т.д.
Передвижной электрогенератор
Отсюда же, из левого крыла ЦУМ, осуществляется управление аварийными бригадами, которых в столичном регионе у "МегаФона" двадцать. Их личный состав привлекается для оптимизации сети, установки оборудования на новых БС, проверки сетевых элементов, а также в кризисных ситуациях. Столица и область разделены на пять основных секторов, которые закреплены за подразделениями по ликвидации аварийных ситуаций. Кроме того, существует еще пять аварийных бригад, которые в случае выключения питания могут оперативно доставить дизельные генераторы на базе грузовых автомобилей или прицепов. Тем не менее, каждая БС, в зависимости от ее мощности, оснащается резервными аккумуляторами, которых хватает минимум на шесть часов постоянной работы. Аварийные бригады также могут оперативно перезапустить, починить или заменить оборудование при серьезной поломке (существует специальный резервный фонд всех деталей и блоков). Кстати, кроме передвижных генераторов, у "МегаФона" есть и стационарные, которые находятся в ключевых точках радиорелейной транспортной сети и на наиболее важных узловых базовых станциях. Они запускаются автоматически при сбое питания и обеспечивают гораздо больший срок автономной работы - до нескольких суток.
Все плановые работы обычно проводятся во время наименьшей загрузки сети и контролируются непосредственно из ЦУМ. В октябре было зафиксировано 1,1 тыс. таких мероприятий. По завершении каждого мероприятия - обязательный тест всех систем, которые оно затронуло.
Степень загрузки сигнальной сети
Верхний график - скорость передачи данных в сети 3G на сетевом оборудовании Cisco.
Нижний - окно контроля ЦОДа компании "МегаФон" в "Центральном телеграфе".
Загрузка "стыка" транспортной сети "МегаФон"
с магистральными операторами - ТТК и "Ростелекомом".
Днем в левом крыле ЦУМ работает 6-7 специалистов, ночью же число инженеров по оперативному управлению уменьшается до трех человек. В частности, по одному специалисту всегда "сидит" на радиочасти, мониторинге трансмиссии, энергетике.
Проверка функционирования базовой станции с помощью комплекса Web Map и чтение лога ее загрузки.
Правое крыло ЦУМ компании "МегаФон".
В правом крыле ЦУМ находятся средства управления и мониторинга энергетических ресурсов. Причем отслеживаются не только базовые станции, но и внутренние подразделения "МегаФона", в том числе и три ЦОД компании - на ул. Вятской, где стоят коммутаторы, контроллеры, сервисные платформы, биллинг и т.д., на Кавказском бульваре, а также Дмитровском шоссе (это помещение сейчас строится). Не осталась без внимания и точка присутствия на "Центральном телеграфе".
Кроме того, часть операторов занимается сбором статистики и решением конкретных проблем по обращениям абонентов в call-центр компании, связанными с теми или иными техническими сложностями. Обычно эти сложности классифицируются по типам и распространенности, а также местам возникновения. Кстати, концентрированные проблемы, выявленные более чем у 3-5 абонентов одновременно, да еще в разных районах города (к примеру, неработоспособность сервиса), сразу берутся "на карандаш", поскольку определяются как массовые. Днем здесь работает 3-4 специалиста, ночью - один.
Обычно все технические проблемы, фиксируемые в ЦУМ, интерпретируются с точки зрения влияния на абонента. Затем в call-центр передается контрольное время устранения неисправности, чтобы абоненты, обратившиеся по определенному вопросу, могли получить эти данные в режиме online. К примеру, срок починки вышедшей из строя БС или восстановления дополнительного контент-сервиса выглядит не как "до конца дня", а очень четко - "контрольное время решения проблемы - 16:55".
Центральная часть ЦУМа "МегаФона"
Справа - терминал контроля качества связи "Конфиденциальной сотовой сети"
Центральная часть ЦУМ состоит из шести рабочих мест. Основное направление работы специалистов, которые находятся здесь, - общий контроль сети. Учитывается все - от попыток успешного соединения через сеть, загрузки коммутаторов, общей статистики вызовов до функционирования сервисных платформ, услуг и т.д. На все есть свои нормативы, и автоматизированные системы контроля "присматривают" за этим в круглосуточном режиме. Кроме этого, здесь находится пост контроля всех VAS-услуг оператора связи и сторонних контент-провайдеров. Вдобавок, здесь собирают информацию о работоспособности коммутаторов и биллинговой системы. Здесь же сконцентрированы основные системы управления бизнес-процессами оператора связи - система управления взаимодействием с клиентами, система регистрации, обратной связи, обработки и хранения сообщений пользователей службы технической поддержки, система для борьбы с мошенничеством в сети связи, а также процесс-ориентированная система принятия управленческих решений.
Часто для определения проблемы в сети необходимо отследить конкретный вызов с сотового телефона. Это можно организовать с помощью фирменного ПО поставщика оборудования (в данном случае, компании Nokia). Как видно из ролика, указаны все параметры вызова и его трассировка.
Центр VAS-услуг компании "МегаФон". Видеокамеры на рабочем месте необходимы для тестирования услуги "Мультифон".
Рабочее место на пять мониторов. Компания от мониторинга оборудования перешла к контролю сервисов - оценка всех событий в сети происходит с точки зрения влияния на абонента
Рабочие места операторов условно разделены по контролируемым системам. Основное - система коммутации и ядро сети, а также биллинговая часть без дополнительных приложений. За этим следит один оператор. Он же "присматривает" за весьма важной для "МегаФона" услугой "Конфиденциальная сотовая связь", которая работает по выделенному каналу передачи данных.
Если посмотреть внимательнее на этот рабочий пост, то видно, что на пяти мониторах открыты дополняющие друг друга задачи. Это и электронная почта, и базы данных, системы мониторинга NetCool и OSS, система контроля сети от производителя (к примеру, Nokia), консоль, через которую можно организовать исполнение команд тем или иным сетевым оборудованием. Здесь же - основные параметры статистики по оборудованию (в режиме online) и биллингу (с задержкой в пять минут, поскольку большие объемы информации необходимо агрегировать).
Второе рабочее место сразу за этим, тоже с большим количество мониторов - тот самый центр мониторинга VAS-услуг. Именно эти рабочие места наиболее значимы в центральной части ЦУМ, постоянно загружены и работают в круглосуточном режиме без перерывов.
Интересная функциональность информационных систем ЦУМ - сбор всевозможной статистики. К примеру, звонки абонентов столичной сети "МегаФон" зарубежным операторам связи
Информация на большие экраны выводится в зависимости от текущих событий или плановых работ - у каждого "крыла" ЦУМ есть своя "стенка" из больших мониторов, которая для операторов и руководства рабочих групп служит внешним ориентиром - так можно охватить все сразу одним взглядом.
Наиболее массовые проблемы, которые бывают время от времени, - задержки с поступлением платежей, но обычно это случается у всех операторов. Впрочем, это скорее проблема передачи данных в биллинг от платежных систем, а не от оператора связи. Но именно они вызывают наибольший шквал эмоций из-за отсутствия связи при оплаченной, вроде бы, услуге.
Типичное время, которое выделяется техническим службам на восстановление работы того или иного сервиса, - от нескольких минут до 48 часов, а если сервис основополагающий (например, те же платежные системы), то до 3-4 часов максимум.
Кстати,
мобильные лаборатории контроля качества сети - это удаленные подразделения ЦУМ, они работают как в "фоновом режиме", объезжая все улицы города, так и принимают новые БС и реагируют на конкретные жалобы абонентов, которые поступают в call-центр компании мобильной связи.
Стр.2 - Цифры и факты
Цифры и факты
Один из наиболее явных показателей "живучести" мобильной сети - загрузка контроллеров голосовым трафиком. Типичный "зазор" свободной емкости составляет до 30% днем, и до 80% - ночью. Впрочем, внутри Садового кольца эти различия не так заметны - Москва никогда не спит, и явного спада трафика здесь не бывает. Вообще, существуют определенные "трафикогенерящие" позиции - обычно это БС рядом с вокзалами, рынками, деловыми и торговыми центрами, отрезками дорог, где бывают пробки, и т.д. Есть и точки с временными или сезонными "всплесками" активности абонентов - по ним обычно можно прогнозировать временную нагрузку на сеть. Наиболее часто такие "всплески" наблюдаются во время массовых зрелищных мероприятий - салютов, концертов, демонстраций. Есть и праздничные "всплески", например, в Новый год. Подобная информация обрабатывается в ЦУМ с учетом всех статистических параметров и выдается соответствующим подразделениям компании в виде предложений по увеличению емкости БС в тех или иных местах города и области. Вдобавок создаются планы по балансировке загрузки сети для для увеличения пропускной способности - например, переключение тех или иных БС на смежные контроллеры сети и т.д. Обычно дежурная смена при прогнозировании подобных событий вызывает хранящийся в базе данных тот или иной сценарий и действует на его основе, поскольку виды реагирования давно описаны.
Фактически, в ЦУМ организовано дистанционное управление сетью. Физическое увеличение емкости передатчиков проходит сейчас крайне редко, основная оптимизация сети за прошлые годы уже проведена. ЦУМ оператора связи это не статичный наблюдатель, а динамичная структура управления сетью в упреждающем режиме, когда многие проблемы лучше предусмотреть и решить заранее, чем ждать, когда с ними будут сталкиваться абоненты.
Надо отметить, что подготовка к любому массовому мероприятию - непростая задача для оператора связи, поскольку на небольшой площади концентрируются десятки тысяч абонентов. И, вполне естественно, все хотят позвонить "здесь и сейчас". Кроме того, во время того же футбольного матча собеседника часто не слышно, поэтому активно используется SMS и MMS, также люди пишут в блоги и отправляют фотографии в социальные сети. Типичный пример - обычно у стадиона "Лужники" с одноименным рынком регистрируется примерно 6 тыс. абонентов в день, но во время футбольного матча их число возрастает в несколько раз. При этом только в сети "МегаФон" отмечается в среднем 40 тыс. абонентов (всего посадочных мест в "Лужниках" - 70 тыс.). Обычно увеличение нагрузки начинается с 5-6 часов вечера, когда гости постепенно собираются и проходят на свои места, а пик - с 7-8 до 10 часов вечера, когда и проходят концерты или спортивные состязания. За этот промежуток времени одна 3G БС "МегаФона" прокачивает столько же голосового, пакетного и SMS-трафика, как три обычные станции со средней нагрузкой в течение целого дня. Аналогичные показатели наблюдаются и у базовых станций возле спорткомплекса "Олимпийский", особенно во время эстрадных концертов.
Как ни странно, но меньше всего проблем с подземным сегментом сети в метро. Электропитание там присутствует в нужном объеме и практически никогда не отключается (стратегический объект), места для размещения оборудования присутствуют (благо современные БС стали куда более компактными, чем раньше). Кстати, структура потребления трафика в метро постепенно меняется - SMS уже не доминирует, разговоры короткие, но их значительное количество. Кроме того, растет объем пакетного трафика передачи данных.
В специальной папке хранятся сотни SIM-карт - от компаний-партнеров по роумингу.
Кроме того, в специальной папке - SIM-карты всех дочерних компаний "МегаФона".
Для работы с роумерами в ЦУМ есть набор тестовых SIM-карт всех филиалов компании (в том числе и за рубежом), всех конкурентов и роуминг-партнеров (сотни стран, с которыми у "МегаФона" есть соглашения о роуминге). Дело в том, что запрос о технической проблеме в сети может поступить не только от абонента, но и от сотрудника службы поддержки зарубежного оператора связи. Для отработки таких запросов специалист ЦУМ вставляет в тестовый сотовый телефон SIM-карту оператора связи, а затем с помощью специально установленных в ЦУМ базовых станций, антенны которых выведены под потолок, эмулирует действия абонента-роумера с электронным протоколированием всех реакций сети. Обычно ошибка быстро находится. Причем можно эмулировать любое действие - например, звонок из любого контроллера столичной сети, выход в сеть Интернет, отправку MMS и т.д.
Две базовые станции Nokia Siemens Networks для тестирования услуг связи
Директор департамента информации столичной сети "МегаФон" Роман Проколов показывает, что находиться рядом с базовыми станциями сотовой связи, установленными в ЦУМе, совсем не страшно.
Вспоминается анекдот - в одной деревне поставили антенну базовой станции. И все жители, конечно, сразу стали чувствовать себя плохо. А инженер сказал - "Это ещё что! Через неделю мы её подключим!"
Более того, у компании есть возможность эмулировать весь комплекс услуг для своих абонентов и из "чужой" сети в режиме online - например, своего роуминг-партнера в США или Европе. И все это можно делать в Москве, просто установив SIM-карту того или иного филиала в специальный аппаратно-программный комплекс компании Keynote System. Аналогичные точки присутствия развернуты у крупных операторов связи в более чем 80 странах мира. Они эмулируют "живую" сеть того или иного оператора (с учетом ее модификаций, обновлений и т.д.). Кстати, проверка работоспособности регистрации в сети, вызова абонентской службы, пополнения счета по USSD, пропуска голосового трафика, SMS, пакетного трафика и т.д. происходит не только по запросу абонентов, но и в "фоновом режиме", чтобы своевременно выявить возможные проблемы.
"Секретная карта" БС. Станции, помеченные красным, к 1 января будут работать в 3G на улице
Кроме всеобщего мониторинга сети столичного филиала компании "МегаФон", в ЦУМ "присматривают" и за "железом", размещенным в других филиалах компании. Обычно это аппаратно-программные решения для дополнительных услуг связи, установленные в регионах, но управляемые из Москвы (удаленное управление, разбор жалоб абонентов, контакт с техническими специалистами поставщиков услуг). Надо отметить, что более 75% федеральных сервисов в "МегаФоне" работают на базе столичного оборудования или контролируются из столичного ЦУМ.
Рабочее место, куда приходят наиболее сложные вопросы из call-центра
Кроме всего прочего, специалисты ЦУМ разбираются с жалобами абонентов, которые агрегируются в call-центре. Далее, если проблема не может быть решена сразу, она передается группе специалистов. И затем, если стандартными методами решение найти не удалось - на специальное рабочее место в ЦУМ, где идет поиск корневой причины (обычно это ошибки в ПО поставщиков сервисов и аппаратно-программных комплексов). Причем нормативы на решение таких проблем достаточно жесткие - не более нескольких дней.
История вопроса
Центры контроля сети операторы мобильной связи начали строить в середине 90-х годов. Один из самых первых центр управления сетью появился у оператора "Скай Линк" - он был открыт еще в 1993 году и, по мере необходимости, его модернизация проходит до сих пор. Дежурство здесь тоже круглосуточное, а в смене присутствуют три оператора и пять "дневных" инженеров. Площадь центра немного скромнее - порядка 100 кв. м.
Современное рабочее место сотрудника центра контроля сети компании "Скай Линк". Рядом несколько телефонов для проверки работы сети
Сеть под контролем
Типичные рабочие задачи операторов - мониторинг состояния сети, прием и разбор жалоб и обращений абонентов, находящихся в зоне ответственности технической службы, оперативно-техническое управление сетью, координация действий аварийно-восстановительных бригад и т.д.
В месяц обрабатывается порядка тысячи системных сообщений, плюс обращения абонентов по линиям единого контакт-центра.
Центр контроля сети компании "ВымпелКом" образца 2003 года
Дежурная смена операторов
О современном состоянии ЦУМ МТС судить сложно, поскольку в компании на наш запрос, отправленный в пресс-службу, не отреагировали вовремя. А вот "ВымпелКом" все-таки прислал данные.
Центр управления сетью "ВымпелКом" был открыт в 1998 году и пережил множество локальных модернизаций и одну глобальную, когда переехал в новый офис компании рядом с Садовым кольцом. Сейчас в нем работает пять смен - это 51 сотрудник (в том числе 25 инженеров по оперативному управлению). Площадь центра - 500 кв. метров. В месяц сотрудники получают порядка 130-180 тыс. информационных сообщений. Средняя скорость реакции на сигналы об ухудшении работы того или иного мобильного сервиса - примерно 15 минут.
Отдельное внимание уделяется местам постоянной (или сезонной) локальной концентрации абонентов. Обслуживание абонентов в данном случае осуществляется "трафиковыми" позициями, работающими в режиме микросоты и обладающими большой пропускной способностью. Антенны на этих позициях расположены значительно ниже высоты окружающей застройки или находятся внутри зданий (в местах концентрации абонентов). Их задача - создать локальную зону обслуживания в местах скопления пользователей, не создавая помех на соседних позициях БС. Помимо постоянно действующих "трафиковых позиций", используется мобильная базовая станция (МБС), позволяющая в короткие сроки обеспечить локальную зону обслуживания с большой пропускной способностью на периодически проводимых в московском регионе массовых мероприятиях (фестивали, концерты, спортивные соревнования, народные гулянья и т.п.). Кстати, интересно посмотреть, как все начиналось. Шесть лет назад автор был в центре контроля сети компании "ВымпелКом" - тогда это был наилучший ЦКС из всех, находящихся в столице. Помещение занимало целый этаж и контролировало качество сигнала в любой из 2 тыс. базовых станций. Там можно было проверить скорость прохождения сигнала по 150 тыс. км оптических линий связи и 7 тыс. км радиорелейных линий.
Визуально, это огромный зал с большими мониторами и сосредоточенными людьми, которые неотрывно смотрят на экраны. В дежурной группе днем не более 12 человек, ночью - еще меньше. Центр работал круглосуточно, без перерывов на обед и перекуров. Вечером в пятницу и в праздничные дни, когда загрузка сети бывает пиковой, персонал смены даже чуть увеличивали, чтобы оперативно решить все технические проблемы.
Отдельная стойка для pre-paid-платформы. Помните "Би+"? Это как раз он
Центр был разделен на несколько основных частей, среди которых находился и сектор мониторинга, где операторы постоянно следили за состоянием сети и самостоятельно решали небольшие технические проблемы. Сложные ситуации передавались руководству смены, и затем подключался отдел эксплуатации сети, которому были подчинены все ремонтные бригады. Был и свой HelpDesk, где операторы решали сложные проблемы абонентов, то есть те, с которыми не смогли справиться операторы абонентской службы. Обычно это происходило по запросу call-центра.
За смену на отдел мониторинга приходилось до 20 тыс. различных сообщений о состоянии сети
Шесть лет назад отдел мониторинга за месяц обрабатывал 20 тыс. разнообразных сообщений о состоянии сети. Время реакции даже на самое сложное событие не превышало 10-12 минут, время на устранение поломки - не более 4 часов. И это даже в том случае, если "упала" базовая станция в Подмосковье, до которой еще надо доехать.
Заключение
Современные центры мониторинга и контроля есть у всех крупных операторов связи. Их сети настолько велики, что управление и контроль возможны только с помощью специальных централизованных аппаратно-программных комплексов. Наблюдая за подобными решениями с начала 2000-х годов, можно отметить основные тенденции, которые были видны в строительстве таких объектов. Во-первых, постепенное уменьшение персонала без ущерба для эффективности ЦУМ, переход на современные системы управления - как от производителей операторского "железа", так и дублированные. Кроме того, под управление ЦУМ все чаще отдают сервисные платформы по всей стране, а также зарубежные компании связи, большая часть "железа" которых управляется удаленно из России.
Значительную часть информации ЦУМ получают не только от датчиков телеметрии и мониторинговых систем, но и от самых обычных пользователей. Все это интегрируется в call-центре компании и в систематизированном виде отправляется в ЦУМ для обработки и решения проблем.
Перспектива подобных подразделений операторов связи вполне очевидна - с развитием "под одной крышей" и мобильных, и фиксированных сервисов связи у одного поставщика, они будут вбирать в себя все больше функций и осваивать новые интегрированные системы контроля. Разумеется, основное направление совершенствования - полноценное дистанционное управление всеми сетевыми элементами и радиочастью весьма разветвленных сетей связи.
