Требования к системе электроснабжения дата центра

Надежность дата центра, естественно, определяется объёмом вложенных финансовых ресурсов, но перед проектировщиком стоит задача их оптимального использования. Как выстроить систему электроснабжения обеспечив надёжность и не потратив лишних денег?

Итак, начнём.

Система электроснабжения служит для организации электропитания нагрузок ЦОД и включает в себя две системы - СБЭ и СГЭ.

Система бесперебойного электроснабжения (СБЭ) должна обеспечивать критичные системы и оборудование ЦОД (оборудование для которого перерывы в электроснабжении недопустимы) электроэнергией с заданными параметрами при отклонениях от требований ГОСТ 32144-2013 "Электрическая энергия. Совместимость технических средств электромагнитная. Нормы качества электрической энергии в системах электроснабжения общего назначения" (принят Приказом Федерального агентства по техническому регулированию и метрологии от 22 июля 2013 г. N 400-ст межгосударственный стандарт ГОСТ 32144-2013 введен в действие в качестве национального стандарта Российской Федерации с 1 июля 2014 г.), а также при полном пропадании напряжения в питающей сети без перерыва в электроснабжении (особая группа первой категории надежности электроснабжения).

Система гарантированного электроснабжения (СГЭ) должна обеспечивать системы и оборудование ЦОД электроэнергией с заданными параметрами при отклонениях от требований ГОСТ 32144-2013 "Электрическая энергия. Совместимость технических средств электромагнитная. Нормы качества электрической энергии в системах электроснабжения общего назначения" (принят Приказом Федерального агентства по техническому регулированию и метрологии от 22 июля 2013 г. N 400-ст межгосударственный стандарт ГОСТ 32144-2013 введен в действие в качестве национального стандарта Российской Федерации с 1 июля 2014 г.), а также при полном пропадании напряжения в питающей сети с кратким (не более 60 секунд, без учета выдержек времени релейной защиты и автоматики) перерывом в электроснабжении (первая категории надежности электроснабжения).

Система электроснабжения должна строиться на основе сертифицированного электротехнического оборудования и иметь в своём составе резервный источник электроснабжения, обеспечивающий длительное электроснабжение ЦОД при авариях внешнего электроснабжения, а также при выполнении регламентных работ на электроустановках ЦОД.

Электроснабжение объектов IT-инфраструктуры должно соответствовать 1-й категории электроснабжения, в соответствии с классификацией ПУЭ: Электроснабжение ЦОД должно осуществляться не менее, чем от двух вводов сети электроснабжения. При этом вводы должны быть подключены к независимым трансформаторным подстанциям (ТП). То-есть В здании должно быть не менее двух независимых энерговводов, подключенных к разным питающим центрам, расположенных на достаточном расстоянии друг от друга.

Система электроснабжения, должна быть спроектирована на основании действующих нормативных и директивных документов:

Система электроснабжения должна состоять из следующих систем:

- Система общего электроснабжения (СОЭ).

- Система гарантированного электроснабжения (СГЭ) с применением дизель-генераторной установки (ДГУ) или иного энергетического агрегата (например, дизельного динамического ИБП (ДДИБП)).

- Система бесперебойного электроснабжения (СБЭ) с применением источников бесперебойного питания (ИБП).

При проектировании трансформаторных подстанций желательно использовать сухие трансформаторы с естественным охлаждением (диапазон температур от -60 до +40 ºС, температурный класс изоляции обмоток не хуже F).

Конструкция, компоновка элементов и структура системы электроснабжения должна позволять выполнять оперативный ремонт с отключением участков кабельных систем и щитового оборудования без отключения модулей ЦОД.

Система мониторинга электроснабжения должна обеспечивать точное измерение его параметров в каждой выделенной зоне.

Электроснабжение помещений необходимо выполнять в соответствии с требованиями ПУЭ седьмого издания 2005г., СП 31-110-2003, а также ГОСТ 32144-2013, ГОСТ Р 51318.24-99, ГОСТ Р 50839-2000 и соответствующих отраслевых нормативных документов.

1. Общие требования к системе электроснабжения

Электроснабжение технологического оборудования и технологических помещений необходимо выполнить по особой группе 1 категории электроснабжения.

Электроснабжение систем аварийного и эвакуационного освещения, автономных системы вентиляции и кондиционирования выполнить также по 1-й категории электроснабжения.

В комплексе помещений должна быть обеспечена возможность заземления оборудования в соответствии с требованиями ГОСТ 12.1.030-81 «Электробезопасность. Защитное заземление, зануление».

Сеть электропитания должна быть выполненной по 5-проводной или 3-проводной схеме с типом системы заземления TN-S (ГОСТ Р 50571-4-44-2011) с использованием розеток с заземляющим контактом.

Электроснабжение должно осуществляться как от общей системы электроснабжения здания, так и от системы бесперебойного электроснабжения. Система бесперебойного питания (СБП) по ограничению помехоэмиссии, обеспечению устойчивости к воздействию внешних электромагнитных помех (далее в тексте - помехи), ослаблению сетевых импульсных помех, проходящих на выход СБП должна удовлетворять требованиям технических регламентов Таможенного Союза, а именно: ТР ТС 004/2011 и ТР ТС 020/2011.

Устройство кабельных линий и коммутационного оборудования должно обеспечивать возможность отключения любого коммутационного устройства (участка кабельной линии) для выполнения работ по ремонту и техническому обслуживанию без отключения IT-оборудования и критически важных инженерных систем.

Присоединяемые к силовым распределительным пунктам, щитам и щиткам электроприёмники рекомендуется объединять в группы с учётом их технологического назначения, разделяя розеточные сети питания офисного оборудования и оборудования общего назначения. Питание разных технологических групп необходимо выполнить от разных фидерных автоматов и щитов.

2. Система бесперебойного и гарантированного электроснабжения (СБГЭ)

Система СБГЭ должна обеспечивать системы и оборудование ЦОД электроэнергией с заданными параметрами при отклонениях от требований ГОСТ 32144-2013 "Электрическая энергия. Совместимость технических средств электромагнитная. Нормы качества электрической энергии в системах электроснабжения общего назначения" (принят Приказом Федерального агентства по техническому регулированию и метрологии от 22 июля 2013 г. N 400-ст межгосударственный стандарт ГОСТ 32144-2013 введен в действие в качестве национального стандарта Российской Федерации с 1 июля 2014 г.), а также при полном пропадании напряжения в питающей сети с кратким (не более 60 секунд, без учета выдержек времени релейной защиты и автоматики) перерывом в электроснабжении (первая категории надежности электроснабжения).Для обеспечения гарантированного электроснабжения технологического оборудования организовывается подключение к централизованной системе бесперебойного электропитания здания. Для этого предусмотреть щиты бесперебойного электроснабжения.

 Устройство систем гарантированного и бесперебойного электроснабжения должно обеспечивать возможность отключения любого устройства (участка) для выполнения работ по ремонту и техническому обслуживанию без отключения IT-оборудования и критически важных систем. Гарантированное и бесперебойное электропитание для проектируемых и вновь вводимых объектов

Для электроснабжения основного технологического оборудования (IT), размещаемого в машинном зале ЦОД, а также для основных механических систем, обеспечивающих бесперебойную работу ЦОД (установки охлаждения машинного зала, контроллеры, насосы и т.д.), также должна быть организована система бесперебойного электроснабжения (СБЭ).

ДГУ (или ДДИБП), лежащая в основе СГЭ, должна соответствовать ГОСТ 13822-82 и обеспечивать необходимую степень автоматизации.

Система гарантированного электроснабжения должна:

- обеспечивать работу систем в аварийном режиме;

- обеспечить автоматический запуск резервного источника при пропадании электропитания на вводах;

- обеспечить регулировку времени начала запуска резервного источника после пропадания электропитания на вводах здания;

- обеспечить автоматический обратный переход с резервного источника на штатную систему электроснабжения при появлении качественного стабильного электропитания на вводах;

- СГЭ должна обеспечивать автономную работу при аварии не менее 8 часов на полную нагрузку;

- Необходимо предусмотреть в резервном источнике электроснабжения интерфейсы для подключения к автоматизированной системе мониторинга и управления.

Система должна обеспечить контроль отключения резервного источника при восстановлении электропитания по рабочим вводам.

Автоматы ввода резерва должен обеспечивать автоматическое переключение нагрузки между вводами и подключение резервного источника электроснабжения. Состояние АВР, его срабатывание и параметры качества электроэнергии должны передаваться устройством в систему отображения информации диспетчерской ЦОД.

При проектировании необходимо обеспечить наличие стандартных интерфейсов связи, не требующих дополнительного преобразования (опций MODBUS или SNMP). Преобразование RS-485 в Ehternet организовать с помощью преобразователей интерфейса.

При использовании системы со статическими ИБП необходимо использовать в каждом канале бесперебойного питания независимые ИБП с уровнем внутреннего резервирования не менее N+1 (возможность ремонта или обслуживания одного из модулей (блоков) без выведения установки из функционирования). Желательно, чтобы ИБП имели не менее четырёх уровней опорного напряжения при формировании напряжения инвертора.

Желательно чтобы ИБП имел режим нагрузочного тестирования (симуляция нагрузки на ИБП, без подключения реальной нагрузки к его выходу).

ИБП должен поддерживать работу с Li-ION батареями, включая корректный расчет времени автономной работы исходя из уровня нагрузки и состояния батарей.

 Общее резервирование систем ИБП в составе СБЭ IT оборудования и механических систем – желательно не хуже 2N (N+1).

Сертификация ИБП: EAC, CE, CB, TUV, TLC YD/T2165-2010.

Система беспроводного мониторинга батарей должна быть способна определять в режиме реального времени основные параметры батарей, включая напряжение, силу тока, температуру и внутреннее сопротивление, состояние работоспособности и обеспечивать автоматическое отключение группы батарей в случае чрезвычайной ситуации.

Для каждого IT-шкафа (стойки) необходимо предусмотреть две независимые линии подачи питания.

3. Электроснабжение систем освещения

Оборудование и материалы системы основного и аварийного электрического освещения должны соответствовать требованиям технических регламентов Таможенного союза "О безопасности низковольтного оборудования" (ТР ТС 004/2011) и "Электромагнитная совместимость технических средств" (ТР ТС 020/2011).

В качестве источников света должны использоваться светодиодные или люминисцентные светильники.

Освещенность серверного помещения должна отвечать требованиям СП 52.13330.2016 "Естественное и искусственное освещение. Актуализированная редакция СНиП 23-05-95*" и быть не менее 500 лк на высоте 0,8 м от уровня фальшпола при показателе дискомфорта не более 40 и коэффициенте пульсации не более 10%. Коэффициент запаса для светильников принять равным 1,4.

Электропитание основного (общего) освещения серверного помещения должно быть предусмотрено от щитов системы гарантированного электроснабжения.

Система аварийного освещения, согласно Постановление Правительства Российской федерации от 25 апреля 2012 года N 390 "О противопожарном режиме" с изменениями на 7 марта 2019 года, должна включать в себя систему дежурного и в случае необходимости эвакуационного освещений.

Система аварийного освещения предназначена для освещения серверного помещения при отказе основной системы электропитания.

Электропитание системы аварийного освещения должно осуществляться от распределительных щитов в составе системы бесперебойного электропитания или от системы СГЭ.

Система эвакуационного освещения должна быть построена на базе светильников с автономными источниками питания (аккумуляторами) с временем автономной работы не менее 60 минут или запитана от системы гарантированного электроснабжения (далее - СГЭ).

Электропитание системы эвакуационного освещения должно осуществляться от щитов системы бесперебойного электропитания (далее - СБЭ).

Должно быть предусмотрено наружное освещение комплекса зданий ЦОД.

Система рабочего и аварийного освещения помещений должна соответствовать требованиям санитарных норм, обеспечивать непрерывное освещение рабочих мест с возможностью оперативного раздельного регулирования яркости, как на рабочих местах, так и в остальных зонах помещения.

Необходимо предусмотреть устройство светильников аварийного освещения (эвакуационные и безопасности) в помещениях диспетчерского пункта. Аварийные светильники безопасности необходимо подключить к линии аварийного освещения.

Для обеспечения оперативного регулирования яркости освещения в помещениях необходимо разделить осветительные приборы на группы, использовать приборы индивидуального освещения.

4. Система заземления

Помещения ЦОД должны быть оборудованы системой заземления, необходимой по требованиям электробезопасности, а также требованиям электромагнитной совместимости.

Заземление средств вычислительной техники, телекоммуникационных средств и технологического оборудования должно обеспечивать:

- защиту персонала от поражения электрическим током при повреждении изоляции и замыкании одного из проводов питающей линии на корпус оборудования или от появления опасного для человека потенциала по каким-либо другим причинам;

- защиту оборудования и линий обмена информацией от помех питающих и блуждающих токов в цепях заземления.

Заземление осуществляется путем применения защитных заземляющих устройств, выполняемых в соответствии с ПУЭ, ГОСТ Р 50571.21-2000, ГОСТ Р 50571.22-2000 и с помощью прокладки специальных заземляющих защитных проводников, соединенных в единую соединительную сеть заземления.

В целях уравнивания потенциалов предусмотреть по периметру помещений Серверной контур из стальной полосы сечением не менее 40х4 мм и обеспечить соединение с металлическими корпусами оборудования и коммуникациями помещений.

Сопротивление заземляющего устройства (ЗУ) должно быть не более 0,5 Ом в самые неблагоприятные периоды года (наибольшее сопротивление грунта).

В ЦОД в серверных помещениях должны быть установлены локальные шины заземления (отдельный контур заземления. Согласно п. 7.2.60. ПУЭ изд. 7.), выполненные из меди в соответствии с ГОСТ Р 50571.5.54-2013/МЭК 60364-5-54:2011 "Электроустановки низковольтные. Часть 5-54. Заземляющие устройства, защитные проводники и защитные проводники уравнивания потенциалов" (утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 6 сентября 2013 г. N 976-ст).

Необходимо обеспечить эквипотенциальное соединение корпусов оборудования, металлических конструкций, PE- и PEN- проводников, экранов кабелей, других проводящих частей и заземление в ЦДУ которое служит следующим целям:

- обеспечение электробезопасности путем уменьшения потенциалов между корпусами оборудования, открытыми проводящими частями (ОПЧ) электроустановки и сторонними проводящими частями (СПЧ), использование PE- проводника для подключения УЗО;

- использование низкоомной цепи для систем, использующей сигнализацию с возвратом через землю;

- защита от перенапряжений;

- обеспечение электромагнитной совместимости (ЭМС).

В технологических помещениях должна находиться шина заземления. Шина заземления должна быть соединена с системой заземления здания при помощи проводника, проводимость которого должна быть не менее половины проводимости наибольшего PEN- проводника линий, питающего оборудование.

5. Распределительные щиты

Щитовое оборудование залов (серверных) должно обеспечивать возможность оперативного отключения устройства, отключение нагрузки, переключение нагрузки с одного ИБП на другой и подключение нагрузок минуя ИБП (режим «механический бай-пас»). Состояние коммутационных устройств должно контролироваться диспетчером посредством отображения в программе мониторинга инженерных систем. При переходе на «байпас» вследствие полного разряда батарей коммутационная система должна переводить нагрузку на дублирующую линию электроснабжения без разрыва питания.

Кабельные линии от источника к потребляющим устройствам должны быть дублированы. В помещениях предусмотреть для каждой линии распределительный щит. Каждый потребляющий шкаф (стойка) с серверным оборудованием должен быть подключен к обоим распределительным щитам помещения (дублирование питающих линий). Для повышения отказоустойчивости системы предусмотреть возможность подключения двух разных линий на основной ввод ИБП и ввод линии байпаса.

Устанавливаемые распределительные щиты должны соответствовать ГОСТ Р 51778-2001.

На стадии проектирования необходимо определить:

- вид исполнения, относящемуся к виду установки (навесное, встраиваемое в нишу);

- наличие отключающего аппарата на вводе (с аппаратом, без аппарата);

- количество защитных аппаратов групповых цепей;

- вид защитных аппаратов групповых цепей (автоматические выключатели, предохранители);

наличие устройств защитного отключения - УЗО (с УЗО, без УЗО);

- способы защиты человека от поражения электрическим током (классы I и II по ГОСТ Р МЭК 536).

Распределительные щиты для электроснабжения технологического оборудования необходимо расположить в соответствующих технологических помещениях.

И распределительные щиты, и щиты АВР должны обеспечивать удалённый мониторинг (контроль диспетчером) технического состояния элементов, проводимых персоналом санкционированных и несанкционированных переключений, параметров качества электроэнергии. Щит должен передавать информацию в систему мониторинга и обеспечивать контроль состояний модульных автоматических выключателей и устройств дифференциальной защиты с отображением этих состояний в существующей системе мониторинга (на базе среды SCADA). Мониторингу подлежит информация о наличии входного напряжения по каждому из вводов; о положении автомата выключения нагрузки: вкл/выкл; вид коммутации - вручную/срабатывание автоматики защиты. Коммуникационными устройствами должны поддерживаться протоколы и стандарты: Ethernet 100BASE-T, Modbus TCP, интерфейс EIA/TIA-485 (RS-485), Modbus RTU, протокол HTTP и веб-интерфейс, интерфейсы для подключения указателей положения силовых контактов модульного электрооборудования (дополнительных контактов).

И распределительные щиты, и щиты АВР должны быть оборудованы датчиками присутствия внешнего электропитания, которые не зависят от ВОЛС (беспроводная связь, не требующая лицензирования (регистрации РЭС)).

Щиты должны обеспечивать возможность оперативного отключения устройства, отключение нагрузки, переключение нагрузки с одной линии на другую и подключение нагрузок, минуя ИБП (в состав щита должны входить два автоматических выключателя обходного режима, обеспечивающие замену коммутационных устройств без отключения нагрузки и в аварийной ситуации обеспечивающие переключение потребителей на любой из фидеров питания).

Для электроснабжения бытовой сети использовать отдельные распределительные щиты.

6. Распределительные сети

Кабельные линии от источника (ИБП) к потребляющим устройствам должны быть дублированы. В серверном помещении предусмотреть для каждой линии распределительный щит. Каждая потребляющий шкаф (стойка) с серверным оборудованием должен быть подключен к обоим распределительным щитам серверного помещения (дублирование питающих линий).

Для подключения стоек предусмотреть блоки распределения питания внутри стоек (PDU) силовые разъемы. Каждая стойка должна быть обеспечена вводами гарантированного электропитания с резервированием 2 N.

Система электропитания шкафов с оборудованием должна быть выделенной и помехозащищенной, а также отделена от общей системы электропитания здания, должна быть выполнена по 5-ти проводной схеме (TN-S) в магистральной части и по 3-проводной схеме в групповой с использованием розеток с заземляющим контактом. В здании ЦОД должно быть предусмотрено наличие защитного и технологического заземления. Контур технологического заземления выполняется отдельно от защитного заземления.

При расчёте количества опусков следует предусмотреть технологический резерв как по количеству, так и по сечению кабельных каналов.

Слаботочные и питающие (силовые) кабельные трассы должны быть разделены в соответствии с требованиями ПУЭ. Для межкомнатных кабельных трасс рекомендуется выдерживать расстояние между силовыми и слаботочными кабелями не менее 100 мм. Допускается применение металлических лотков (не сеточных), разделённых перегородкой.

Все стыки металлических кабельных конструкций должны быть обработаны с целью удаления острых кромок и заусенцев.

Необходимо предусмотреть резервную технологическую сеть - обеспечить электроснабжение критически важного серверного оборудования в периоды технического обслуживания (проведения ремонтных работ) системы бесперебойного электроснабжения. Применяемые кабели должны быть негорючими и обеспечить гибкость, необходимую для неоднократной прокладки к оборудованию помещений. Все линии должны быть снабжены соответствующими разъемами.

Гофрированные трубы должны быть цельными, без соединений. В местах перехода пол/стены/потолок радиус изгиба гофрированной трубы должен быть не менее 100 мм.

К кабельным конструкциям должен быть обеспечен доступ (например, технологические лючки) для прокладки и технического обслуживания в них кабелей. Рекомендуется обеспечивать доступ к кабельным конструкциям в местах поворотов и переходов кабельных трасс.

ГОСТ Р 58811—2020.pdf 

2020

С.А. Филин

 Для самостоятельного освоения материала предлагается ХРЕСТОМАТИЯ