Строительство ЦОД для финансовой группы компаний

1. Централизация всех ЦОД и серверных комнат для компаний группы на базе двух современных и высокодоступных ЦОД.

2. Унификация инфраструктурных компонентов ИТ-ландшафта.

3. Консолидация оборудования группы компаний.

5. Обеспечение готовности ИТ-инфраструктуры к росту бизнеса.

6. Оптимизация затрат объединенной банковской группы.

На этапе проектирования и реализации инженерных систем активно использовались такие программные продукты, как Autodesk Revit и Autodesk Navisworks для снижения риска коллизий в части взаимного пересечения инженерных систем. Для проверки гидравлического расчета сети трубопроводов системы холодоснабжения использовалась программа Danfoss C.O. Оценка тепловоздушного баланса машинных залов производилась в программном комплексе Six Sigma.

Для каждой инженерной подсистемы был выбран оптимальный вендор: для ИБП — Vertiv, для дизель-генераторов — SDMO, для чиллерных установок и кондиционеров — Stulz. Компания Schneider Electric для этого проекта разработала независимую систему «парящих» изолированных холодных коридоров: решение Free-Flying позволяет устанавливать серверные стойки различных габаритов в смонтированном коридоре без нарушения целостности системы, по мере необходимости.

Была предложена классическая схема системы кондиционирования на жидкостном носителе: холодильные машины (чиллеры) Stulz СyberCool 2 наружной установки с фрикулингом и водяные прецизионные кондиционеры Stulz CyberAir 3 PRO с вентиляторной группой, вынесенной под фальшпол. В результате заказчик смог минимизировать годовое энергопотребление системы холодоснабжения и затраты на электроэнергию, снизить подводимую к объекту электрическую мощность, сократив тем самым капзатраты, а также уменьшить стоимость смежных систем ЦОД.

Чтобы холодильные машины можно было обслуживать с любой стороны и безопасно работать с их верхней частью, исполнитель разработал, спроектировал и реализовал специальную раму для установки чиллеров на площадке заказчика.

Одно из достоинств выбранного чиллера — встроенный внутренний ИБП, от которого питается контроллер, что обеспечивает непрерывность его работы и быстрый выход на рабочий режим при переключении с одного ввода электропитания на другой. Короткое время выхода холодильной машины на рабочий режим (менее двух минут) дало возможность уменьшить общий объем баков — накопителей жидкости.

В новом ЦОД создали два хладоцентра. В первом установлены теплообменники «жидкость – жидкость» между внешним и внутренним контурами. Во втором, находящемся вблизи машзалов, охлажденная в первом хладоцентре вода разводится по кондиционерам шкафного типа. Поскольку кондиционеры расположены в отдельном помещении, специалисты по ИТ не имеют доступа к кондиционерам, а персонал, обслуживающий кондиционеры, не заходит в основной зал. В самих машзалах организована изоляция холодного коридора.

APC, Panduit, Corning, Mitsubishi Electric, Daikin, Systemair, Danfoss, Dehn, Wavin, K-Flex, Grundfos, Reflex, Alfa Laval.

• Одновременное выполнение общестроительных работ и работ по инженерным системам в здании, на площади 4 000 кв. м, и на территории около 1 Га.

• Проведение полного цикла изыскательских работ (геологические, экологические, инструментальные и т.п.)

• Оперативная смена концептуальных технических решений в процессе СМР (фундамент всех уличных конструкций, крепление инженерных коммуникаций к перекрытиям и т.п.)

• Управление строительной площадкой, организация мероприятий ТБ и ПБ, охраны (ЧОП).

• Получение разрешающих документов на земляные работы, предъявление работ государственным инстанциям (Мосгоргеотрест и т.п.)

• Строительство трансформаторных подстанций, сдача электроустановки в Ростехнадзор.

• Проведение полномасштабных испытаний инженерной инфраструктуры ЦОД под проектной нагрузкой в течении 72 часов, включая имитацию аварийных событий для проверки корректной работы автоматики.

До создания основного ЦОД семь крупных организаций, входящих в финансовую группу компании, эксплуатировали более 500 стоек на 18 собственных и 17 арендованных серверных площадка. Такую распределенную структуру было трудно поддерживать и развивать. Кроме того, серверные были реализованы на недостаточно высоком технологическом уровне и не могли обеспечить требуемую надежность. Инженерное и ИТ-оборудование было разнородным, и каждую площадку обслуживала своя команда эксплуатации. Усложняло работу большое количество арендодателей и поставщиков услуг.

Была произведена оценка ТСО при различных подходах и сделан вывод, что оптимальный вариант — построение централизованной архитектуры финансовой группы компаний на базе собственного основного дата-центра и аренды площадей в коммерческом в качестве резерва.

Выполненные работы:

1. Разработка проектной документации на инженерные системы ЦОД.

2. Поставка оборудования и материалов комплекса инженерных систем.

3. Строительно-монтажные работы инженерных систем ЦОД и работы по капитальному ремонту части здания.

4. Сдача электроустановки в Ростехнадзор, включая трансформаторную подстанцию.

5. Проведение индивидуальных и комплексных испытаний инженерных систем.

6. Проведение тестовой эксплуатации инженерной инфраструктуры ЦОД при проектной нагрузке в течение 72 часов.

7. Выполнение благоустройства территории.

Описание проекта:

• Общая мощность 4000 кВт.

• Площадь ЦОД 4000 м².

• Площадь застройки территории 1 Га.

Предложенное решение позволяет выполнять постепенное увеличение мощности ЦОД и вводить в эксплуатацию новые машинные залы для размещения стоек с серверным оборудованием в зависимости от растущих потребностей заказчика в новых сервисах и приложениях.

Максимальная вместимость ЦОД 366 стоек.

Серверные стойки размещаются в трех независимых машинных залах (общая площадь 1000 м²), двух помещения ввода внешних линий связи, кроссовых и обслуживающих помещениях.

Схема резервирования системы электроснабжения 3/2N.

Схема резервирования системы холодоснабжения N+1.

Схема резервирования каналов связи 2N.

Решения для основных инженерных систем, обеспечивает круглогодичное функционирование ЦОД.

Полезная ИТ-мощность 2200 кВт.

Рабочий диапазон температур от -40℃ до +40℃.

Время автономной работы 6 часов.

240 ОВ плотность портов СКС на стойку.

Общая емкость главного кросса СКС 78720 ОВ.

Высота фальшпола 1,3 м.

Результаты проекта:

1. Выполнена централизация всех ЦОД и серверных комнат группы.

2. Обеспечена возможность роста ИТ-систем.

3. Снижено время простоя ИТ-систем.

4. Обеспечена возможность проведения работ на инженерных системах без влияния на бизнес-процессы.

5. Организована единая централизованная служба мониторинга ЦОД.

6. Обеспечен контроль доступа к серверному оборудованию.

7. Оптимизированы затраты на аренду и обслуживание ЦОД, инженерных систем и серверных комнат.

8. Создана единая служба эксплуатации ЦОД группы.