Экскурсия в дата-центр MSM.ru

Дата-центр на ВДНХ – это экспериментальный проект, спроектированныйи сделанный целиком в стенах компании МСМ. Он небольшой, всего 40 стоек,имеет уровень TIER 2+. В Центре Обработки Данных (ЦОД) уровня Tier 2 (с избыточными компонентами) предусматривается резервированиекомпонентов инженерных систем, но только один путь распределения электропитания и охлаждения. Такой ЦОД подвержен нарушениямфункционирования от разного рода действий и событий меньше, чем Tier 1, но техническое обслуживание и ремонт системы распределенияэлектропитания и охлаждения потребует остановки всего установленного в нем оборудования.

Дата-центр МСМ имеет полностью резервированное  питание и охлаждение, но, поскольку, стоит не в отдельно построенном подДЦ здании не может считаться TIER 3.

Эксперимент с датацентром на ВДНХ проводится для того, чтобы научиться, как правильно строить дата-центры. И сейчас МСМстроит новый, самый большой в России, дата-центр на 2000 стоек. Это больше, чем на М9 и у стак-нета. Новый дата центр будетиметь уровень TIER 4.

В ЦОД уровня TIER 4 (отказоустойчивый) для распределения электропитания и охлаждения предусмотрено несколько маршрутов,из них не менее двух всегда активны. Для этого инженерные системы должны обладать двойным уровнем избыточности по принципу«система+система». Уровень TIER 4 позволяет осуществлять любую плановую деятельность без нарушения нормального функционированиякритически важной нагрузки. Отказоустойчивость инфраструктуры ЦОД достаточна для того, чтобы выдержать, по крайней мере,один внеплановый отказ (или событие) наихудшего свойства без последствий для критически важной нагрузки.

По расчетам Uptime Institute, доступность ЦОД уровня Tier 4 составляет 99,995%, что соответствует 26 мин простоя в год.Продолжительность доступности и простоя ЦОД уровня Tier 2 и 3 составляет 99,75% и 99,98%, что соответствует 21,9 и 1,75 чпростоя в год.

http://img-fotki.yandex.ru/get/3511/p-bykov.5/0_30f07_9542d42f_L

В датацентре MSM всего 2 ряда стоек. Внизу из щелей идет холодный воздух с хорошим напором, чтобы доходить до серверовна самом верху стоек. Он отражается от потолка, в результате чего внутри коридора очень холодно и создается избыточное давление,чтобы избежать попадания пыли в холодный коридор, а холодный воздух равномерно достигал всех серверов в стойках. Горячийвоздух забираемый из так называемых горячих коридоров которые расположены по краям проходит через фильтры, чтобы она не попадалав сервера.

http://img-fotki.yandex.ru/get/3614/p-bykov.5/0_30f08_19e9bf4d_L

Коммутатор, который раздаёт интернет на все стойки. Подобных коммутаторов в Дата-центре МСМ два они расположены в 2-хпоследних стойках + запас всех необходимых плат на случай выхода каких-либо из них из строя.

http://img-fotki.yandex.ru/get/3610/p-bykov.5/0_30f09_34ada912_L

Это рейд-массив (рейд 5) в 12 терабайт, где хранятся все логи и дампы из дата-центра. Еще у МСМ  более100 стоек на M9.Если у вас сервера у мсм в разных дата-центрах, то трафик между ними не считается.

http://img-fotki.yandex.ru/get/3614/p-bykov.5/0_30f0a_f83d1f80_L

Огромный черный шкаф – это мега-упс, который может держать весь дата-центр в течении 15-20 минут. Так же в подвале стоитдизель-генератор на всякий случай, который включается автоматически если один из 2-х энергетических вводов упадет.

Красные баллоны – это газ (углекислый, вроде) под давлением. Если что-то загорается в дата-центре, то газ выпускаетсяи замещает собой весь кислород. Соответственно огонь тушится, но всё оборудование при этом остаётся невредимым.

http://img-fotki.yandex.ru/get/3614/p-bykov.5/0_30f10_db98ee4b_L

Вот так выглядит этот мега-упс внутри.

http://img-fotki.yandex.ru/get/3614/p-bykov.5/0_30f0b_e1f06dff_L

Еще баллоны, уже подключенные в систему.

http://img-fotki.yandex.ru/get/3511/p-bykov.5/0_30f0d_15680935_L

Датчики дыма и огня стоят над каждой стойкой и под фальш полом перед каждой стойкой… Но, на всякий случай, еще и 24/7/365сидит специальный человек, ответственный за противопожарную охрану.

http://img-fotki.yandex.ru/get/3512/p-bykov.5/0_30f0e_9b9e9fe1_L

Это щиток, который контролирует электричество. В этот дата-центр входит 2 электрических независимых канала. Каждый изкоторых может полностью обеспечить электро-снабжением весь дата-центр. Ну и в качестве резерва упс и дизель-генератор.

http://img-fotki.yandex.ru/get/3514/p-bykov.5/0_30f0f_e4c4cf69_L

Щиток, который раздаёт электричество на каждую стойку. В прямом эфире показывает, сколько ампер каждая стойка жрет.

http://img-fotki.yandex.ru/get/3512/p-bykov.5/0_30f11_f4fadc5_L

Система охлаждения. Воздух очень неплохо очищается фильтрами и охлаждается. Таких установок всего 3 – в начале, по серединеи в конце дата-центра. Любые две могут обеспечивать полное охлаждение всех 40 стоек. Соответственно всё сделано с избытком.

http://img-fotki.yandex.ru/get/3612/p-bykov.5/0_30f12_d1bbcc23_L

Современные технологии даже в офисе – двери открываются от отпечатков пальцев.

Еще в этот дата-центр проложено два 10ти гигабитных канала в интернет (один основной и один резервный) и два по 1 гигабиту( для офисного применения ). При этом у канала свободна полоса в 6 гигабит.

У МСМ очень много известных клиентов. Так, несколько стоек в дата-центре на ВДНХ, полностью заклеены наклейками одногоочень известного южнокорейского гиганта. Там размещенывсе их сервера.

Все сервера, сдаваемые в аренду компанией МСМсейчас – это сервера IBM. Раньше у них были еще и HP, но от них пришлось отказаться, т.к. были проблемы с драйверами на линухах,отличных от Red Hat’а. Самосборных серверов МСМ не сдаёт в аренду. И еще – на сайте есть стандартные конфигурации серверов,но это совершенно не значит, что нет других. С менеджерами всегда можно договориться и заказать именно тут конфигурацию,что нужно.

Так же компания МСМ может помочь сделать систему любой сложности в их дата-центрах, как например системы балансировкинагрузки на сервера, отдельные сервера под БД и т.д. и т.п. Еще они могут помочь бороться с ДДОС и вообще сделать всё, чтозахочется клиенту за его деньги. Кроме одного – они принципиально не занимаются “администрированием” серверов на уровне софта(настройка апача/мускуля и т.д.).

Было очень интересно и я понял, что не зря арендовал сервер именно у них. Он, кстати, работает там уже полтора года какчасы. Единственное, пришлось его перезагружать несколько раз из-за того, что обновлял ядро.

1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (Пока оценок нет)
Загрузка...

Дата публикации:
Автор публикации: