Неинвазивный мониторинг ЦОД телеком-оператора
«ЦОД телеком-операторов имеют специфику - оборудование с питанием по постоянному току. Решение для мониторинга таких ЦОД мы нашли в WirenBoard.» Константин Струлёв, директор ЦОДУМ
О компании
ЦОДУМ — молодая компания, созданная в Санкт-Петербурге в 2022 году. Она разрабатывает и внедряет системы мониторинга и эксплуатации центров обработки данных любого масштаба, от небольших серверных до промышленных ЦОД с тысячами стоек, сложной инженерной инфраструктурой. Программное обеспечение ЦОДУМ используется в географических разнесенных проектах от Дальнего Востока до Санкт-Петербурга.
C Wiren Board директор ЦОДУМ Константин Струлёв познакомился в 2018 году, когда работал еще в другой компании. Константина заинтересовал тестовый чемодан на выставке, позднее он начал использовать оборудование Wiren Board в одном из проектов.
Задачи и проблемы
У телеком-компаний, живущих на рынке два-три десятка лет, набирается хорошая коллекция разного оборудования в автозалах, трансмиссионных узлах и базовых станциях. Все они оснащены, как правило, встроенными средствами мониторинга, но возникает проблема увязывания большого числа разных систем и интерфейсов.
Конечно, в идеальном случае нужно строить единую систему мониторинга, мы как раз рассказали о таком решении в кейсе «ЦОДУМ: платформа мониторинга центров обработки данных». К сожалению, в реальности все бывает иначе. В автозалах используются стойки с разным оборудованием и питанием (постоянный или переменный ток), своими интерфейсами мониторинга, со сложным регламентом согласования работ. Стойку чаще всего нельзя даже выключить на несколько минут, не говоря уже о том, чтобы вмешаться в ее конструкцию.
Как быть в таких ситуациях? Как обеспечить надежную работу оборудования, не «влезая» внутрь стойки? Как попытаться при этом еще и сэкономить, оптимизируя энергопотребление и PUE (Power Usage Efficiency)? Мы расскажем о подобном неинвазивном решении на основе автозала телекоммуникационной компании в Санкт-Петербурге, которое сделал интегратор ЦОДУМ.
Решение
Все начинается с датчиков, информацию от которых использует система мониторинга. Можно выделить три основных типа датчиков:
- температуры воздуха в холодных и горячих коридорах;
- наличия и качества электроэнергии на вводах, на групповых линиях питания стоек, климатического оборудования;
- датчики потребляемого тока.
В автозале для охлаждения установлены кондиционеры, между стойками чередуются горячие и холодные коридоры. Сделан фальш-пол, через который идет приток воздуха от кондиционеров в холодные коридоры. В горячих коридорах воздух забирается сверху.
В горячих и холодных коридорах установлены три датчика температуры WB-MS v.2 на коридор на мостиках выше стоек. На каждую стойку сверху установлен датчик 1-WIRE DS18B20.
В главном щите мониторинга установлены контроллер Wiren Board, счетчики электричества WB-MAP3E и WB-MAP12E, модули аналогового ввода WB-MAI6 для контроля потребления нагрузок постоянного тока. В выносных щитах вблизи оборудования автозала установлены счетчики электричества и модули WB-M1W2 для датчиков 1-WIRE. Подключение оборудования к контроллеру осуществляется по протоколу Modbus.
Для учета постоянного тока в автозале используют датчики на основе эффекта Холла, которые устанавливаются на питающие кабели. Они преобразуют измеряемый ток в пропорционально изменяемое напряжение, которое измеряется с помощью WB-MAI6.
На вводные кабели автозала, кабели питания стоек и климатического оборудования переменным током подключены трансформаторы тока, информация с которых обрабатывается счетчиками электричества WB-MAP3E и WB-MAP12E.
Интегратор выбрал разъемные трансформаторы тока и датчики Холла, которые позволили подключиться к вводам без выключения оборудования дата-центра.
Дашборд мониторинга
Выше мы рассмотрели аппаратную составляющую системы мониторинга. Теперь перейдем к программной части системы мониторинга Smart DCIM. Система гибкая, полностью настраивается под требования заказчика. Например, цвета тепловой карты устанавливают в соответствии с пожеланием заказчика: если 30 градусов критично, эти области будут показаны красным.
Улучшение PUE
Начнем с того, что система мониторинга — это инструмент в руках аналитика, позволяющий оценивать с точки зрения надежности и энергоэффективности, к чему приведут те или иные действия. В идеальном случае коэффициент PUE = 1, однако он, как и все идеальное, недостижим. Система мониторинга позволяет оценивать каждое действие в контексте изменения PUE. Здесь даже десятые процентов имеют значения, поскольку счета за электроэнергию в ЦОД очень большие.
Например, в рамках пилота были проведены следующие исследования.
- Оптимизация кондиционеров. Что будет, если на улице станет жарко или в автозал будет добавлено новое оборудование? Как это скажется на PUE? Как скажется на потреблении оборудования? Есть ли запас прочности?
- Оптимизация воздухораспределения. Как более грамотно направить потоки воздуха и расположить вентиляционные решетки, чтобы эффективнее охлаждать и поднять PUE?
- Планирование мощностей и затрат. Корректная оценка стоимости подключения нового оборудования, которая показывает, например, что электричества для него нужно почти в полтора раза больше, чем его фактическое потребление (КПД преобразователей, мощность на охлаждение…). Да и просто оценить тренд загруженности. Не подошли ли мы к максимально возможному уровню потребления? Что будет примерно через год?
К сожалению, мы не можем рассказать все подробности, но применение данных системы мониторинга позволило персоналу автозала улучшить PUE на несколько десятых.
Преимущества
В статье мы рассмотрели решение мониторинга, которое можно установить в любой дата-центр неинвазивным способом. Здесь не требуется интеграция «зоопарка» контроллеров в систему по SNMP или Modbus, которая по ряду причин не всегда возможна. Поскольку система мониторинга отделена от всего остального оборудования, то ее взлом не позволит злоумышленникам внести какие-либо изменения в функционирование автозала.
Установка максимально упрощена: по дата-центру распределяют датчики температуры, на вводы автозала, стоек и оборудования устанавливают токоснимающие трансформаторы (переменный ток) или датчики Холла (постоянный ток). Контроллер Wiren Board отвечает за сбор информации с датчиков и передает ее на сервер мониторинга.
За остальную часть отвечает система мониторинга Smart DCIM, которая обрабатывает данные и предоставляет различные отчеты. Она же обеспечивает рабочие места дежурного смены, энергетика, специалистов по климату и безопасности. Конечно, ответственным лицам приходят оповещения в случае инцидентов.
В качестве бонуса системы мониторинга — улучшение коэффициента энергоэффективности PUE. Аналитик получает в руки инструмент, позволяющий оценивать те или иные действия с точки зрения эффективности. Даже десятые доли здесь имеют значение, поскольку счета за электричество автозала весьма велики.
Наконец, благодаря типовому решению на контроллере Wiren Board и датчиках его можно легко масштабировать под конкретный автозал. В ассортименте компании Wiren Board есть устройства для решения простых и сложных задач автоматизации и диспетчеризации: программируемые логические контроллеры, датчики климата, счетчики электроэнергии, сетевые карты для холодильников, мощные релейные модули и т.д. Все это позволяет подстроиться под любые требования заказчика и использовать оборудование Wiren Board в его экосистеме. При этом обеспечивается возможность расширения экосистемы в будущем.
Компания Wiren Board дает на все оборудование двухлетнюю гарантию с заменой оборудования без предварительной отправки в сервисный центр, а инженеры технической поддержки готовы помочь в решении как типовых, так и нестандартных задач.
Дополнительные материалы
- Неинвазивный мониторинг ЦОД: повышаем надежность и снижаем затраты
- Огонь, вода и всякие трубы: от чего защищает ЦОД система мониторинга
- ЦОДУМ: платформа мониторинга центров обработки данных
Прочее