Сегодня 24 января 2018
18+
CES 2018
Аналитика

Центр обработки данных. Экскурсия в картинках

Web-странички, чаты, службы знакомств и файловые архивы, новостные сайты, не говоря уж о банковских сервисах и видеохостингах - все они находятся в каких-либо центрах обработки данных (ЦОД), подключенных к опорным магистралям провайдеров фиксированной и беспроводной связи по скоростным каналам связи. Именно в этих залах, которые закрывает 2-3 рубежа охраны и множество камер видеонаблюдения, при небольшой влажности и постоянной температуре в 11-12 градусов тепла хранятся дисковые массивы с миллиардами байт полезной информации. Заглянем в "телекоммуникационную крепость" "Акадо Телеком" - оператор как раз завершил строительство своего третьего ЦОД.

Центральное хранилище данных

Основа любого ЦОД - это главный зал, закрытый до полной герметичности: там постоянно работают кондиционеры и вентиляторы, поэтому внутри стоит равномерный гул работающей техники. Здесь в стойках можно встретить самые различные конфигурации: кто-то заполняет своей техникой все пространство, кто-то покупает только отдельные слоты. В одном таком помещении может "жить" несколько тысяч различных сайтов и информационных систем в самых разных доменных зонах. Причем, небольшие и средние хостинг-провайдеры вполне спокойно размещают так своих клиентов, если собственных мощностей им не хватает или они просто отсутствуют как класс. Интересно, что все ЦОД разделяют по классам в соответствии со специальнвм стандартом TIA-942, который опубликован в 2005 году - это больше 150 страниц текста мелким шрифтом, где досконально, четко и лаконично описываются все требования к подобным сооружениям. Естественно, чем выше класс - тем больше надежность ЦОДа. Аналогия здесь прямая со "звездочками", которые присваиваются отелям - правда, пока только от 1 до 4 (у отелей есть 5 и даже 5 deluxe). Более подробно эту информацию можно увидеть в Таблице №1: при случае уточните у своего провайдера, где же именно "висит" ваш сервер или сайт.
Таблица №1. Уровни надежности ЦОД по стандарту TIA-942
Параметр/Класс ЦОД (уровень) 1 2 3 4
Тип здания C соседями Отдельно стоящее
Количество энерговводов 1 1 Один активный, второй резервный Два активных
Схема резервирования компонентов N N+1 N+1 2 (N+1)
или S+S
Первоначальная мощность из расчета Вт на м² 215-323 430-537 430-645 537-860
Максимальная мощность Вт на м² 215-323 430-537 1075-1615 1615+
Бесперебойное кондиционирование Нет Нет Возможно Есть
Нормативная нагрузка на фальшпол, кг на м² 415 488 732 732+
Общая длительность отказов за год 28,8 ч 22 ч 1,6 ч 0,4 ч
Доступность ЦОД 99,67% 99,75% 99,98% 100,00%
Обслуживание ЦОД должен полностью останавливаться для регламентных работ Допускаются перерывы в работе на техническое обслуживание и ремонт Круглосуточная смена по будням, в выходные по вызову Круглосуточная дежурная смена
Как показывает практика, большинство российских ЦОД можно отнести ко второму классу систем. И только крупные компании могут позволить себе создать ЦОД уровня 3 или 3+. Решения 4-го класса еще называют катастрофоустойчивыми, поскольку в них предусмотрено практически все, за исключением, быть может, прямого попадания авиабомбы.
ЦОД компании "Комкор".
ЦОД - за этой стенкой
Полноценный ЦОД - за этой стенкой.
ЦОД02.jpg
Двери металлические, с камерами наблюдения - но перед входом надо обуть пластиковые бахилы: руководство "Комкора" делает все то же самое, что и журналисты: правила едины для всех.
В ЦОД "Комкора" 140 серверных шкафов для установки оборудования мощностью 15 кВт каждый, глубиной 1,2 м. Подключение к сети Интернет организовано на скорости 10 Гб/с.
Шкафы 'за горизонт'
Главный зал не разделен на отдельные гермозоны, все стойки выстроены прямоугольником в несколько рядов.
В ожидании подключения
В ожидании подключения.
'Распределительный щит'
В каждом ряду стоек есть свой "распределительный щит" для передачи информации.
Оборудование уже под нагрузкой
Тыльная сторона стойки - оборудование уже под нагрузкой.
Пустая стойка для юнитов
Пустая стойка для юнитов - подведена СКС и электропитание.
Порты и розетки
Порты для подключения сетевого кабеля и розетки для электропитания - все это внутри каждый стойки.
Держатели для кабеля
К потолку прикреплены специальные держатели для сетевого кабеля и отдельный защищенный короб желтого цвета для кабелей электропитания.
Структурированная кабельная сеть в ЦОД разделена на три основных области: кабельную, горизонтальную и зонную разводки. СКС построена с использованием оборудования и комплектующих фирмы Panduit. Для медной разводки использованы кабели 6 категории. Для организации оптической СКС использованы одномодовый и многомодовый оптические кабели. Кажется - небольшое помещение, несколько сотен квадратных метров, но только оптического кабеля здесь проложено 40 км. Еще 175 км - медного кабеля. Смонтировано 4 тыс. оптических портов и 2,2 тыс. медных портов. Кроме того, центр обработки данных подключен к собственной волоконно-оптической сети "Комкор" - крупнейшей мультисервисной сети московского региона.
Кабельные трассы
Кстати, потолка для проводки кабеля обычно не хватает - добавляют еще под фальшполом. Вот пример из ЦОД оператора "Элнет".
Стойка с оборудованием
Практически полностью заполненная оборудованием стойка.
Метки владельцев 'железа'
Обычно владельцы оборудования подписывают свои юниты - чтобы было понятно, где что "висит".
'Железо' NetGear
Коммуникационное оборудование NetGear.
Для сравнения, можно посмотреть на ЦОД рядом с Женевой - именно там размещена GRID-система Европейского центра ядерных исследований, где серверы, дисковые массивы и ПК объединены в единое телекоммуникационное пространство. Коммутаторы, поставляемые компанией HP, позволяют всем используемым в CERN процессорам обмениваться данными со скоростью 1 Гбит/с, а с основной магистралью сети GRID они связаны 10-Гбит/с каналами. На основной магистрали установлено 16 10-гигабитных маршрутизаторов производства Force10 Networks, которые связывают сеть CERN с другими участниками проекта.
Внешний вид ЦОД
ЦОД в CERN состоит из двух этажей - это несколько тысяч квадратных метров. На первом плане - двухпроцессорные рабочие станции на интеловском Xeon, чуть дальше - более продвинутые серверы Sun.
Прикладная колористика
СКС в полевых условиях - ни о какой четкой проводке речи не идет.
Порты под нагрузкой
Все порты под нагрузкой - перед входом нас неоднократно попросили - "только ничего, пожалуйста, не трогайте - все в рабочем состоянии".
Местный суперкомпьютер
Местный суперкомпьютер - для непосредственного управления в оперативном режиме предусмотрена сенсорная панель. Логин, который горел на экране, - ясное дело, admin. А вот какой пароль - мы гадали. То ли "Бог", то ли admin.
Монтаж нового оборудования
Второй этаж ЦОД - в новые 19-дюйм стойки инсталлируют современное оборудование, но делают это секторами - убирают старое, прокладывают новые кабельные СКС, потом монтируют стойки и дальше уже - установка техники.
'Руками не трогать'
Экскурсии в ЦОД многочисленные, поэтому везде развешены таблички "руками не трогать, идет настройка нового оборудования". Во время экскурсии с нами ходил главный программист CERN, и, в отличие от руководителя ИТ-департамента, он был крайне недоволен - никому не нравится, когда трогают или пытаются трогать его игрушки.
Тотальная маркировка
На каждый проводок - свой номерок. А то вдруг забудешь?
Контроль температуры
Это не просто столбики, а датчики температуры с модулями беспроводного доступа - при достижении пороговых значений они выдают сигнал тревоги.
Индикатор работы системы пожаротушения
Индикация включения автоматической газовой системы пожаротушения.
В ЦОД обеспечено полное резервирование всех инженерных и телекоммуникационных систем: электропитания, кондиционирования, СКС, активного сетевого оборудования. ЦОД - по схеме N+1, лаборатории и телекоммуникационного центра - по схеме 1+1. Управление и контроль за работой систем осуществляются автоматически. Комплекс оборудован системой аварийной остановки и противопожарной безопасности, включающей автоматическую газовую систему пожаротушения: использование именно такой системы исключает повреждение оборудования при ликвидации пожара.

Следующая страница →
 
Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
⇣ Комментарии