?

Log in

No account? Create an account

Прошлый пост | Следующий пост

дата-центр Safedata - Москва II - фоторепортаж

Побывал недалеко от атомного реактора, в дата-центре, где находятся серверы нескольких очень известных компаний, прямо в сердце Курчатовского института. Меня заранее предупредили, что на подходе к объекту не то что фотографировать, а даже камеру доставать не стоит – это может вызвать закономерную, предсказуемую и логичную реакцию известных структур, охраняющих институт. Но внутри, уже на территории, после прохождения контроля, в самом дата-центре, фотографировать можно. Под катом небольшой фоторепортаж.

За многие годы, которые я занимаюсь информационными технологиями, довелось побывать в самых разных ДЦ, от полуподвальных прокуренных комнатушек до мест, похожих на Матрицу. Да и не только бывать - к сожалению, приходилось и размещать сервера в "простых" ДЦ, таких где админы уходят на выходные, где работают до шести, путаясь в своих же серверах, куда невозможно попасть в случае проблем с твоим сервером в праздничные дни. Я сталкивался с дата-центрами, в которых не хватало электричества на подключение ещё одного сервера, работал с ДЦ где это электричество пропадало по несколько раз на дню, и ни у кого из сотрудников это не вызывало удивления.

Почему те шарашки назывались "дата-центрами" я сегодня уже и понимать не хочу, и никому не советую таких экспериментов, выжигающих начисто нервы. Мне когда-то через многое прошлось пройти эмпирически, и поверьте, когда стабильный сервер нестабильно работает из-за косяков ДЦ это тот ещё кошмар.

Итак, что же такое, современный дата-центр, место, где длинными рядами в стойках должны стоять сервера и работать, работать и вырабатывать? Фактически, это целое высокотехнологичное предприятие, приоритетом которой является обеспечение надёжной работы всех подсистем, с многократным дублированием, резервированием электропитания и даже автономными, независимыми от города, энергогенераторами, с современной газовой системой пожаротушения, с ограничением доступа на нескольких физических уровнях. Воспользовавшись приглашением компании Safedata провёл осмотр дата-центра "Москва II".

Для доступа внутрь потребуется пройти три периметра охраны. На первом КПП "вертушка" позволяет протиснуться одному человеку за раз, доступ по смарт-картам.

1.
дата-центр Safedata - Москва II - фоторепортаж

Весь периметр объекта, как снаружи, так и внутри, просматривается многочисленными камерами слежения, в том числе и купольными. Особо снимать камеры не стал, обычно на режимных объектах это не приветствуется.

2.
дата-центр Safedata - Москва II - фоторепортаж

Собранная камерами информация передаётся на пульт охраны, где идёт круглосуточное дежурство. Также, здесь расположены места специалистов, занятых техническим мониторингом.

3.
дата-центр Safedata - Москва II - фоторепортаж

4.
дата-центр Safedata - Москва II - фоторепортаж

Современному дата-центру требуется уйма электроэнгергии, и питание должно быть не только бесперебойным, но и дублироваться резервными системами. Энергия поступает вход по двум 5-мегаваттным независимым энерговводам. В случае отказа любого из них, если в столице откажет энергосеть, в дело вступит комплекс автономных дизель-генераторов. Все вместе они могут, всего за 24 часа, употребить свыше 30 тонн солярки, поэтому система оснащается огромным центральным резервуаром и автономными баками, по тонне каждый, для дизельного топлива.

При необходимости, резервуар может быть пополнен, и для разгрузки дизелевозов предназначена специальная площадка, с набором приёмных труб с разными "байонетами". Какой бы системы дизелевоз не прибыл, топливо из него можно будет принять:

5.
дата-центр Safedata - Москва II - фоторепортаж

Приёмник, конечно, закрыт на замок, но ради фоторепортажа его открыли и продемонстрировали...

6.
дата-центр Safedata - Москва II - фоторепортаж

...приёмники для труб дизелевозов разных систем. Я и не знал, кстати, что эти системы бывают разными. Темнота внутри полнейшая, для камеры (но не для глаз), и тени пришлось сильно тянуть.

7.
дата-центр Safedata - Москва II - фоторепортаж

Обычный ИБП, для компьютера, позволяющий ему поработать ещё с полчаса, если пропало электричество, выглядит как небольшая коробка с аккумуляторами внутри, к которой кабелем подключается системный блок. Для питания дата-центра никаких аккумуляторов не хватит, поэтому здесь системе резервного питания отдан целый корпус. Внутри находится восемь дизель-роторных динамических источников бесперебойного питания (ДРИБП).
8.
дата-центр Safedata - Москва II - фоторепортаж

Каждый выглядит как система из огромного дизельного двигателя, кинетического модуля и синхронного генератора. Вкратце, суть такова – электричество поступает на синхронный генератор, работающий как двигатель для кинетического модуля, который в процессе работы накапливает кинетическую энергию (проще говоря, если мотор выключится, он продолжит вращаться). При пропадании энергии синхронный генератор из двигателя превращается в генератор электричества, а вращение кинетического модуля происходит от дизельного мотора. В обычном режиме работы синхронный генератор выполняет функцию стабилизатора и фильтра напряжения: устраняет гармонические искажения и короткие перебои, импульсы помех, нивелирует скачки и провалы напряжения городской электросети. Благодаря ему частота и амплитуда выходного напряжения, подаваемого на нагрузку, неизменно стабильны. Подробнее об этом рекомендую почитать в детальной статье о ДРИБП.

9.
дата-центр Safedata - Москва II - фоторепортаж

В дата-центре "Москва II" установлены ИБП HiTec Power Protection, состоящие из дизельного двигателя Mitsubishi с электронной педалью газа, генератора Stamford и индукционного накопителя. Только после того как накопитель раскрутится до 1500 оборотов в минуту специальная муфта обеспечит сцепление с двигателем.

10.
дата-центр Safedata - Москва II - фоторепортаж

Внутри помещения с дизельными моторами шум физически непереносимый, даже если работает всего одна машина. Без затычек в ушах находиться там даже пару минут очень сложно, а выйдя на улицу ещё долго восстанавливаешь слух.

11.
дата-центр Safedata - Москва II - фоторепортаж

У стены закреплены автономные баки с топливом для каждого дизельного двигателя, в каждый такой бак помещается по тонне горючего. Как я уже написал выше, помимо этих баков есть центральный резервуар, из которого топливо, при помощи специальных насосов, перекачивается в эти баки.
12.
дата-центр Safedata - Москва II - фоторепортаж

13.
дата-центр Safedata - Москва II - фоторепортаж

А вот и сам дизельный мотор. В принципе, классическая конструкция. Как я понял, с впуском Common Rail решили не ставить, исходя из соображений максимума надёжности и ремонтопригодности. Дополнительная подстраховка никому не мешает.

14.
дата-центр Safedata - Москва II - фоторепортаж

15.
дата-центр Safedata - Москва II - фоторепортаж

В синем кожухе индукционные накопители:

16.
дата-центр Safedata - Москва II - фоторепортаж

В одном здании с дизельными машинами располагается "главный распределительный щит" - отдельное помещение, со стойками компании Shneider Electric.

17.
дата-центр Safedata - Москва II - фоторепортаж

18.
дата-центр Safedata - Москва II - фоторепортаж

19.
дата-центр Safedata - Москва II - фоторепортаж

Плакаты "Не влезать, убьёт!" я видел много раз. Версию "влезать здесь" раньше видеть не доводилось ;-)

20.
дата-центр Safedata - Москва II - фоторепортаж

21.
дата-центр Safedata - Москва II - фоторепортаж

При необходимости персонал может взять соответствующие таблички из "банка":

22.
дата-центр Safedata - Москва II - фоторепортаж

Большая красная кнопка выключения большого шкафа была закрыта специальным кожухом, чтобы случайно никто не мог нажать, но я попросил открыть. Ещё обратил внимание, что повсюду видны датчики задымления и трубы подачи газа системы пожаротушения. О них расскажу чуть ниже, когда пойдут фотографии из "серверной" части дата-центра.

23.
дата-центр Safedata - Москва II - фоторепортаж

Серверная часть построена по принципу "дома внутри дома", в том числе, для обеспечения лучшей безопасности как физической, так и пожарной. То есть, слева каменная стена здания, а справа стена модуля, внутри которого стоечные шкафы с серверами и другим оборудованием:


24.
дата-центр Safedata - Москва II - фоторепортаж

Перед входом в "машинный зал" в обязательном порядке нужно принять душ...

25.
дата-центр Safedata - Москва II - фоторепортаж

26.
дата-центр Safedata - Москва II - фоторепортаж

...и одеть бахилы. Ладно-ладно, про душ я пошутил. Это "удобства" для сотрудников дата-центра, а не обязаловка для посетителей.

27.
дата-центр Safedata - Москва II - фоторепортаж

Прочитав надпись на листочке я уже ожидал увидеть диспенсер с шариками, внутри которых будут старые-добрые синие бахилы, как в больницах, но реальность оказалась более высокотехнологичной.

28.
дата-центр Safedata - Москва II - фоторепортаж

Окрестил это устройство "бахилятором" - ставишь на плёнку ногу, а она запаивает плёнку горячим воздухом. К счастью, в этот день я не догадался надеть шлёпанцы. Интересно, с какой температурой дует из устройства? Бахилы получаются, кстати, моментально и они надёжно держатся на обуви. Вот такие штуки и нужно ставить в медицинских заведениях, пусть даже с прорезью для монеток.

29.
дата-центр Safedata - Москва II - фоторепортаж

Наконец, я внутри "серверной" и вижу знакомые стоечные шкафы, которые можно набивать юнитами по самый потолок. Всего в дата-центре "Москва II" предусмотрено четыре зала для установки оборудования, которые смогут вместить до тысячи серверных шкафов. В каждый шкаф, в свою очередь, помещается до 47 юнитов.

30.
дата-центр Safedata - Москва II - фоторепортаж

Сразу бросилась в глаза табличка Rambler. Интересно, какая часть сервиса находится именно здесь?

31.
дата-центр Safedata - Москва II - фоторепортаж

Некоторые клиенты заказывают "дополнительную защиту" - это когда вокруг шкафов с оборудованием, которые сами по себе оснащены замками, предотвращающими несанкционированный доступ, строится забор. На мою шутку о колючей проволоке экскурсоводы даже не улыбнулись и пояснили, что клиент не самый суровый - у некоторых забор идёт до самого потолка, чтобы даже со стремянки залезть нельзя было.

32.
дата-центр Safedata - Москва II - фоторепортаж

Температура и влажность в помещении контролируется педантично, причём кондиционирование построено по принципу избыточности - прецизионные кондиционеры HiRef установлены с запасом, и на несколько рабочих модулей приходится один запасной.

33.
дата-центр Safedata - Москва II - фоторепортаж

Во всех серьёзных центрах обработки данных используется классическая система "горячего и холодного коридора". Стоечные шкафы устанавливаются "лицом к лицу", образуя коридор, в который из-под фальшпола, через решётку, подается холодный воздух. По стандарту, перед каждым шкафом должна располагаться одна перфорированная плитка для подачи холодного воздуха на лицевую часть шкафа. Как мне пояснили, перфорация плитки тоже бывает разной, и при необходимости, могут использоваться плитки с бОльшим или меньшим размером отверстий, для регулировки температурного режима.

34.
дата-центр Safedata - Москва II - фоторепортаж

Вот так и выглядит коридор. Воздух, нагретый установленной в шкафах техникой, поднимаетс наверх и попадает в систему кондиционирования, где вновь охлаждается и поступает под фальшпол.

35.
дата-центр Safedata - Москва II - фоторепортаж

Просто фотография "через шкаф" - показалось красивым, как в боке рисуются светодиоды сервера с ячеистой структурой.

36.
дата-центр Safedata - Москва II - фоторепортаж

Возвращаясь к защите, отмечу, что не только каждый шкаф оснащён собственным ключом для защиты от несанкционированного доступа...

37.
дата-центр Safedata - Москва II - фоторепортаж

...но и вся "клетка" оборудована специальным замком, также с уникальным ключом. Ох, сколько я видел дата-центров, в которых к серверу может подойти любой желающий. Поставь рядом с конкурентом свой сервер и заходи, твори что хочешь.

38.
дата-центр Safedata - Москва II - фоторепортаж

Магистраль подачи газа системы пожаротушения. Конечно же, технику не тушат водой, для этого используется специальный состав. Ниже будут фотографии из отсека системы пожаротушения.

39.
дата-центр Safedata - Москва II - фоторепортаж

Электромагистраль, типовая розетка для подачи энергии модулям:

40.
дата-центр Safedata - Москва II - фоторепортаж

Шахта, в которую идёт вывод кабелей данных от стоек в модуле. Ещё в них, обычно, хранят запасы необходимых типов кабелей и некоторый инструмент. Мне пояснили, что "Москва II" соединяется с площадками ММТС-9 и ММТС-10 собственными оптоволоконными каналами.

41.

дата-центр Safedata - Москва II - фоторепортаж

Продолжил экскурсию по дата-центру...

42.
дата-центр Safedata - Москва II - фоторепортаж

На подходе к комнате с пассивным оборудованием обратил внимание на кабель-каналы под потолком:

43.
дата-центр Safedata - Москва II - фоторепортаж

Внутри зала с пассивным оборудованием:

44.
дата-центр Safedata - Москва II - фоторепортаж

45.
дата-центр Safedata - Москва II - фоторепортаж

46.
дата-центр Safedata - Москва II - фоторепортаж

47.
дата-центр Safedata - Москва II - фоторепортаж

Специаьные направляющие для кабелей. Здесь и оптоволокно, и витая пара:

48.
дата-центр Safedata - Москва II - фоторепортаж

Одним из последних пунктов на маршруте был отсек системы пожаротушения, в котором установлены баллоны со специальным газом:

49.
дата-центр Safedata - Москва II - фоторепортаж

50.
дата-центр Safedata - Москва II - фоторепортаж

Запомнил, что в случае пожара газ подаётся из баллонов в строгой очерёдности, чтобы не разорвало магистрали, а переаттестация газобалонного оборудования производится систематически. Что интересно, в отличие от другой техники, система пожаротушения отечественная. ДЦ не пройдёт сертификацию, если установит импортные аналоги.

51.
дата-центр Safedata - Москва II - фоторепортаж

Шланги подачи от баллонов в магистраль:

52.
дата-центр Safedata - Москва II - фоторепортаж

Неподалёку расположились "кабинеты" для специалистов крупнейших клиентов. Если кому-то понадобится поработать с серверами, то можно использовать терминальное оборудование, находящееся в этих залах. Внутрь попасть не удалось.

53.
дата-центр Safedata - Москва II - фоторепортаж

Перед уходом заглянули на крышу, чтобы посмотреть на финальный элемент системы кондиционирования - конденсаторные блоки, занявшие почти всю крышу.

54.
дата-центр Safedata - Москва II - фоторепортаж

И ещё мне показали лифт, на котором можно поднять пять тонн груза. К осени в "Москве II" введут в строй вторую очередь машинных залов, и дата-центр сможет выйти на полную мощность.

55.
дата-центр Safedata - Москва II - фоторепортаж

Закончить фоторепортаж хочу граффити, замеченное неподалёку от Курчатовского:

56.
дата-центр Safedata - Москва II - фоторепортаж

На этом благодарю компанию Safedata, а также лично начальника отдела маркетинга Дмитрия Егорова и начальника службы эксплуатации Евгения Громова за возможность посетить дата-центр и проведённую подробнейшую экскурсию. Оглох, замёрз и вообще получил массу удовольствия ;-)

P.S. Ремарка для постоянных читателей блога, интересующихся фотографией. Весь репортаж, в порядке эксперимента, отснял на Fujifilm X-M1, по которой сейчас готовлю видео-обзор. Снимал на "китовый" 16-50 со стабилизатором и светлый 35mm f/1.4, заменяющий "полтиник". На экскурсию в ДЦ мне советовали взять с собой штатив, сказав что света внутри немного. На некоторых снимках ISO довольно высокий, скажем, на фотографии с лифтом зашкалило до 3200 единиц, что при 1/15 секунды кромешная темнота, есть пара кадров на ISO 2000 и 1250. Проверку боем, в условиях острого недостатка света, камера прошла достойно ;-)

Другие мои фоторепортажи:

Comments

( 14 комментариев — Оставить комментарий )
totsamiyshigaev
21 июл, 2014 07:37 (UTC)
вапще блин
inoi567
21 июл, 2014 08:08 (UTC)
а Фуджи хорош...
дата центр - так себе...
q3d
21 июл, 2014 11:59 (UTC)
Что не впечатлило в ДЦ? )
inoi567
21 июл, 2014 12:01 (UTC)
ну...я бывал в Гугле... и в их ДЦ ... там...в штатах..причем давно...лет 5 назад
q3d
21 июл, 2014 12:11 (UTC)
Интересно, что с тех пор изменилось. Да и в Яндексе любопытно, как дела обстоят
ixtiandra
23 июл, 2014 14:13 (UTC)
Не впечатлил ваш отказ лицензировать изображения.
(Удалённый комментарий)
vovney
21 июл, 2014 09:49 (UTC)
Вопрос по теме:

почему в отечественных дата-центрах такая огромная цена на storage??
han4solo
21 июл, 2014 11:44 (UTC)
Ну если сравнивать с расценками какого-нибудь Google Disk для бизнеса, когда никто не несет особой материальной ответственности за сохранность данных, а читает ваши данные целая бригада из ЦРУ ;), то да - разница велика.

А если сравнивать с конкретными ЦОД в Европе, то не так уже и велика. До 2-х раз...

Только ведь так поначалу было со всем - например с мобильной связью, с доступом в интернет и т.д.

Edited at 2014-07-21 11:46 (UTC)
vlkamov
22 июл, 2014 04:21 (UTC)
Интересно отметить, что простой бэкап - дублирование, тоже удваивает стоимость.
(Удалённый комментарий)
easynik
22 июл, 2014 04:56 (UTC)
Тема охлаждения дизелей не раскрыта)
zavodfoto
24 июл, 2014 18:18 (UTC)
Классная тема! Утащил к себе!
vzanuda
4 июн, 2015 18:19 (UTC)
Про отдельные зоны внутри общей зоны не встречал такого.
На М9 все проще:)
( 14 комментариев — Оставить комментарий )

Подписаться на этот блог




Новые обзоры в блоге</a>

Обзор AfterShohz Bluez 2 с костной проводимостью

Обзор Plantronics Voyager Legend

Обзор Canon 7D Mark II

Обзор PowerGorilla

Обзор PowerGorilla

Календарь записей

Декабрь 2016
Вс Пн Вт Ср Чт Пт Сб
    123
45678910
11121314151617
18192021222324
25262728293031

Теги

Разработано LiveJournal.com
Designed by Tiffany Chow