Центр обработки данных. Экскурсия в картинках

Web-странички, чаты, службы знакомств и файловые архивы, новостные сайты, не говоря уж о банковских сервисах и видеохостингах - все они находятся в каких-либо центрах обработки данных (ЦОД), подключенных к опорным магистралям провайдеров фиксированной и беспроводной связи по скоростным каналам связи. Именно в этих залах, которые закрывает 2-3 рубежа охраны и множество камер видеонаблюдения, при небольшой влажности и постоянной температуре в 11-12 градусов тепла хранятся дисковые массивы с миллиардами байт полезной информации. Заглянем в "телекоммуникационную крепость" "Акадо Телеком" - оператор как раз завершил строительство своего третьего ЦОД.

Центральное хранилище данных

Основа любого ЦОД - это главный зал, закрытый до полной герметичности: там постоянно работают кондиционеры и вентиляторы, поэтому внутри стоит равномерный гул работающей техники. Здесь в стойках можно встретить самые различные конфигурации: кто-то заполняет своей техникой все пространство, кто-то покупает только отдельные слоты. В одном таком помещении может "жить" несколько тысяч различных сайтов и информационных систем в самых разных доменных зонах. Причем, небольшие и средние хостинг-провайдеры вполне спокойно размещают так своих клиентов, если собственных мощностей им не хватает или они просто отсутствуют как класс. Интересно, что все ЦОД разделяют по классам в соответствии со специальнвм стандартом TIA-942, который опубликован в 2005 году - это больше 150 страниц текста мелким шрифтом, где досконально, четко и лаконично описываются все требования к подобным сооружениям. Естественно, чем выше класс - тем больше надежность ЦОДа. Аналогия здесь прямая со "звездочками", которые присваиваются отелям - правда, пока только от 1 до 4 (у отелей есть 5 и даже 5 deluxe). Более подробно эту информацию можно увидеть в Таблице №1: при случае уточните у своего провайдера, где же именно "висит" ваш сервер или сайт. Как показывает практика, большинство российских ЦОД можно отнести ко второму классу систем. И только крупные компании могут позволить себе создать ЦОД уровня 3 или 3+. Решения 4-го класса еще называют катастрофоустойчивыми, поскольку в них предусмотрено практически все, за исключением, быть может, прямого попадания авиабомбы.

ЦОД компании "Комкор".

Полноценный ЦОД - за этой стенкой.

Двери металлические, с камерами наблюдения - но перед входом надо обуть пластиковые бахилы: руководство "Комкора" делает все то же самое, что и журналисты: правила едины для всех.

В ЦОД "Комкора" 140 серверных шкафов для установки оборудования мощностью 15 кВт каждый, глубиной 1,2 м. Подключение к сети Интернет организовано на скорости 10 Гб/с.

Главный зал не разделен на отдельные гермозоны, все стойки выстроены прямоугольником в несколько рядов.

В ожидании подключения.

В каждом ряду стоек есть свой "распределительный щит" для передачи информации.

Тыльная сторона стойки - оборудование уже под нагрузкой.

Пустая стойка для юнитов - подведена СКС и электропитание.

Порты для подключения сетевого кабеля и розетки для электропитания - все это внутри каждый стойки.

К потолку прикреплены специальные держатели для сетевого кабеля и отдельный защищенный короб желтого цвета для кабелей электропитания.

Структурированная кабельная сеть в ЦОД разделена на три основных области: кабельную, горизонтальную и зонную разводки. СКС построена с использованием оборудования и комплектующих фирмы Panduit. Для медной разводки использованы кабели 6 категории. Для организации оптической СКС использованы одномодовый и многомодовый оптические кабели. Кажется - небольшое помещение, несколько сотен квадратных метров, но только оптического кабеля здесь проложено 40 км. Еще 175 км - медного кабеля. Смонтировано 4 тыс. оптических портов и 2,2 тыс. медных портов. Кроме того, центр обработки данных подключен к собственной волоконно-оптической сети "Комкор" - крупнейшей мультисервисной сети московского региона.

Кстати, потолка для проводки кабеля обычно не хватает - добавляют еще под фальшполом. Вот пример из ЦОД оператора "Элнет".

Практически полностью заполненная оборудованием стойка.

Обычно владельцы оборудования подписывают свои юниты - чтобы было понятно, где что "висит".

Коммуникационное оборудование NetGear.

Для сравнения, можно посмотреть на ЦОД рядом с Женевой - именно там размещена GRID-система Европейского центра ядерных исследований, где серверы, дисковые массивы и ПК объединены в единое телекоммуникационное пространство. Коммутаторы, поставляемые компанией HP, позволяют всем используемым в CERN процессорам обмениваться данными со скоростью 1 Гбит/с, а с основной магистралью сети GRID они связаны 10-Гбит/с каналами. На основной магистрали установлено 16 10-гигабитных маршрутизаторов производства Force10 Networks, которые связывают сеть CERN с другими участниками проекта.

ЦОД в CERN состоит из двух этажей - это несколько тысяч квадратных метров. На первом плане - двухпроцессорные рабочие станции на интеловском Xeon, чуть дальше - более продвинутые серверы Sun.

СКС в полевых условиях - ни о какой четкой проводке речи не идет.

Все порты под нагрузкой - перед входом нас неоднократно попросили - "только ничего, пожалуйста, не трогайте - все в рабочем состоянии".

Местный суперкомпьютер - для непосредственного управления в оперативном режиме предусмотрена сенсорная панель. Логин, который горел на экране, - ясное дело, admin. А вот какой пароль - мы гадали. То ли "Бог", то ли admin.

Второй этаж ЦОД - в новые 19-дюйм стойки инсталлируют современное оборудование, но делают это секторами - убирают старое, прокладывают новые кабельные СКС, потом монтируют стойки и дальше уже - установка техники.

Экскурсии в ЦОД многочисленные, поэтому везде развешены таблички "руками не трогать, идет настройка нового оборудования". Во время экскурсии с нами ходил главный программист CERN, и, в отличие от руководителя ИТ-департамента, он был крайне недоволен - никому не нравится, когда трогают или пытаются трогать его игрушки.

На каждый проводок - свой номерок. А то вдруг забудешь?

Это не просто столбики, а датчики температуры с модулями беспроводного доступа - при достижении пороговых значений они выдают сигнал тревоги.

Индикация включения автоматической газовой системы пожаротушения.

В ЦОД обеспечено полное резервирование всех инженерных и телекоммуникационных систем: электропитания, кондиционирования, СКС, активного сетевого оборудования. ЦОД - по схеме N+1, лаборатории и телекоммуникационного центра - по схеме 1+1. Управление и контроль за работой систем осуществляются автоматически. Комплекс оборудован системой аварийной остановки и противопожарной безопасности, включающей автоматическую газовую систему пожаротушения: использование именно такой системы исключает повреждение оборудования при ликвидации пожара.