Требования к электрооборудованию центров обработки данных (ЦОД)

Основной показатель работы ЦОД — отказоустойчивость.

Стандарт TIA-942 предполагает четыре уровня надёжности дата-центров:

• Tier 1 (N) — отказы оборудования или проведение ремонтных работ приводят к остановке работы всего дата-центра; в дата-центре отсутствуют фальшполы, резервные источники электроснабжения и источники бесперебойного питания; инженерная инфраструктура не зарезервирована;
• Tier 2 (N+1) — имеется небольшой уровень резервирования; в дата-центре имеются фальшполы и резервные источники электроснабжения, однако проведение ремонтных работ также вызывает остановку работы дата-центра;
• Tier 3 (N+1) — имеется возможность проведения ремонтных работ (включая замену компонентов системы, добавление и удаление вышедшего из строя оборудования) без остановки работы дата-центра; инженерные системы однократно зарезервированы, имеется несколько каналов распределения электропитания и охлаждения, однако постоянно активен только один из них;
• Tier 4 (2(N+1)) — имеется возможность проведения любых работ без остановки работы дата-центра; инженерные системы двукратно зарезервированы, то есть продублированы как основная, так и дополнительная системы (например, бесперебойное питание представлено двумя ИБП, работающими по схеме N+1).

Рассмотрим требования к электрооборудованию центров обработки данных:

G.5.1 Общие требования к электрооборудованию.

G.5.1.1 Ввод от энергосистемы общего пользования в электроустановку здания.

Промышленные потребители, совместно использующие внешние источники электропитания, не являются предпочтительными из-за переходных и гармонических помех, которые они часто наводят на питающие кабели. Подземные питающие линии предпочтительнее надземных (воздушных), это сводит к минимуму подверженность воздействию молний, деревьев, дорожно-транспортных происшествий и вандализма. Основное распределительное устройство должно быть спроектировано с возможностями наращивания, обслуживания и резервирования. Должно быть обеспечено наличие двух вводов - соединенных (main-tie-main) или изолированных параллельных. Шина распредустройства должна быть завышенного размера, поскольку после начала операций эта система будет наименее способной к расширению. Где это возможно, должна быть обеспечена взаимозаменяемость выключателей. Проект должен допускать выполнение техобслуживания и ремонта распредустройства, шины и/или выключателей. Система должна допускать гибкость переключений для обеспечения полной ремонтопригодности. На каждом уровне электрораспределительной системы должны быть установлены устройства подавления переходных помех (TVSS – Transient Voltage Surge Suppression) надлежащего номинала для подавления энергии вероятных переходных процессов.

G.5.1.2 Резервные генераторы.

Резервная система выработки электроэнергии является самым жизненно важным одиночным фактором устойчивости системы к внешним воздействиям и должна быть способна предоставить электроснабжение умеренного качества и устойчивости непосредственно вычислительному и телекоммуникационному оборудованию в случае отказа общедоступной сети.

Генераторы должны быть рассчитаны на подачу синусоидального тока, нужного системе ИБП или нагрузкам в машинном зале. Следует проанализировать требования к пуску электродвигателя, чтобы убедиться, что генератор способен подавать требуемые для пуска электродвигателя пусковые токи с максимальным падением напряжения 15% у электродвигателя. Если требования к генератору не установлены должным образом, то воздействие друг на друга ИБП и генератора может создавать проблемы; точные требования должны быть согласованы между поставщиками генератора и ИБП. Для выполнения этих требований имеется много разных решений, в том числе фильтры гармоник, компенсаторы реактивной мощности, генераторы со специальной обмоткой,  пуск электродвигателя с задержкой времени, ступенчатое переключение и изменение мощности генератора. Если проектом предусмотрена установка генератора, то следует предусмотреть резервную мощность для всего кондиционерного оборудования, во избежание тепловых перегрузок и отключений. Генераторы, которые не обеспечивают поддержку механических систем, мало чем способствуют общей непрерывности выполнения операций.  Генераторы, включённые на параллельную работу, должны быть пригодны для ручной синхронизации в случае отказа устройств автоматической синхронизации. Следует рассмотреть вопрос ручного обхода (байпаса) каждого генератора, с целью прямого питания индивидуальных нагрузок в случае отказа или ремонта распредустройства, переключающего генераторы на параллельную работу. На выходе каждого электрогенератора должно быть установлено устройство подавления переходных помех (TVSS),

Генераторы должны работать на дизельном топливе, а не на природном газе, это нужно для более быстрого запуска. В этом случае исключается зависимость от общедоступной системы газоснабжения и от запаса пропана на объекте. Следует рассмотреть вопрос о количестве хранимого на объекте дизельного топлива, запас которого может варьировать от 4-часового до 60-дневного. Для всех систем хранения топлива должна быть предусмотрена система дистанционного текущего контроля за топливом и аварийной сигнализации. Наиболее распространённым видом нарушения свойств дизельного топлива является размножение микробов, поэтому следует рассмотреть вопрос оперевозимых или постоянно установленных системах очистки топлива. В местах с «холодным» климатом следует уделить внимание обогреву или прокачиванию топливной системы, чтобы избежать загустевания дизельного топлива. При проектировании запаса топлива следует принять во внимание время реагирования поставщиков топлива во время экстренных ситуаций.

Необходимо соблюдать законы и правила, защищающие окружающую среду от шумового и прочего загрязнения. Вокруг генераторов должны быть предусмотрены светильники, питаемые от ИБП, инвертора аварийного освещения или индивидуальных аккумуляторов, это обеспечит освещение в случае отказа параллельно работающего генератора или сетевого электроснабжения. Кроме того, вблизи генератора должны быть предусмотрены электророзетки с питанием от ИБП.

Для любой системы генераторов 1 настоятельно рекомендуется иметь собственный нагрузочный реостат или возможность для подключения передвижных реостатов. В дополнение к индивидуальному тестированию компонентов, резервная генераторная система, системы ИБП и автоматические переключатели (с одного генератора на другой) следует тестировать вместе, как одну систему. Как минимум, эти тесты должны имитировать отказ общей электросети и восстановление нормального электроснабжения. Следует провести испытания с отказом отдельных компонентов резервных (дублирующих) систем, предназначенных для продолжения функционирования во время отказа какого-либо компонента. Эти системы следует тестировать под нагрузкой, с использованием нагрузочных реостатов. Дополнительно, после того как дата-центр начнёт работу, эти системы нужно периодически тестировать, чтобы убедиться, что они будут функционировать надлежащим образом.

Резервную генераторную систему можно использовать для аварийного освещения и других жизнесберегающих нагрузок в дополнение к нагрузкам дата-центра, если это разрешено местными властями. Национальный электрический код (NEC) требует, что- бы для обслуживания жизнесберегающих нагрузок были предусмотрены отдельная панель переключения нагрузки (АВР) и отдельная распределительная система. Система аварийного освещения с аккумуляторным питанием может оказаться дешевле, чем выделенный АВР и отдельная распределительная система.

Для облегчения технического обслуживания и ремонта NEC требует отключения/байпаса панели переключения нагрузки жизнесберегающих систем. Аналогично, автоматические переключатели нагрузки (АВР) с байпасным отключением должны быть предусмотрены для оборудования дата-центра. Автоматические переключатели можно также использовать для переключения нагрузок с питания от общей сети на генератор. Однако следует предусмотреть байпасное отключение этих переключателей в случае отказа переключателя во время работы.

См. стандарты IEEE 1100 и 446 в части рекомендаций по резервным генераторам.

G.5.1.3 Источники бесперебойного питания (ИБП).

Системы ИБП бывают статического, роторного (rotary) или гибридного типа и могут работать в режиме online, offline или line-interactive, с временем резервирования, достаточным для запуска резервного генератора без перерыва в подаче питания.

Статические системы ИБП в последние несколько лет использовались почти исключительно в США, и только эти системы описаны в тексте данного Приложения подробно; однако описанные концепции резервирования в общем применимы также и к роторным, и к гибридным системам. Системы ИБП могут состоять из отдельных модулей ИБП или из группы нескольких параллельно включённых модулей. Каждый модуль следует снабдить средствами индивидуального отключения без влияния на работоспособность системы или на резервирование. Система должна иметь возможность переходить автоматически и вручную на внутренний байпас и должна иметь внешние средства обхода (байпаса) системы и исключения перерыва питания в случае отказа или ремонта системы. Для каждого модуля могут быть предусмотрены индивидуальные системы аккумуляторов; с целью обеспечения дополнительной ёмкости или резервирования, для каждого модуля можно предусмотреть несколько «линеек» аккумуляторов. Возможно также обслуживание нескольких модулей ИБП от одной системы аккумуляторов, хотя это обычно не рекомендуется в связи с весьма низкой надёжностью такой системы.

При наличии генераторной системы главная функция системы ИБП состоит в том, что-бы «продержаться» во время отключения питания до тех пор, пока генераторы запустятся и примут нагрузку, или пока не возобновится питание от сети. Теоретически это означает требуемый запас ёмкости аккумуляторной батареи всего на несколько секунд. Однако на практике ёмкость батарей должна быть рассчитана минимум на период от 5  до 30 минут при полной нагрузке ИБП в связи 1 с непредсказуемостью выходных характеристик аккумуляторов, а также для того, чтобы иметь резервные «линейки» батарей или чтобы дать возможность в нормальном режиме выполнить полное отключение нагрузки в случае отказа генератора. Если генератор отсутствует, то должно быть предусмотрено достаточное число аккумуляторных батарей, как минимум, для такого временного периода, который требуется для надлежащего выключения оборудования машинного зала, а это обычно занимает от 30 минут до 8 часов. Для специальных инсталляций зачастую предписывается более значительная ёмкость батарей. Например, телефонные компании традиционно требуют запаса времени 4 часа в случае, если резервный генератор установлен, и 8 часов – если генераторы отсутствуют; телекоммуникационные компании и смежные объекты часто придерживаются таких же требований, как и телефонные компании.

Следует рассмотреть вопрос о системе мониторинга аккумуляторов, способной регистрировать и анализировать динамику напряжения отдельных элементов аккумуляторной батареи, импеданс или сопротивление. Многие модули ИБП обеспечивают базовый  уровень текущего контроля за системой батарей в целом, и этого достаточно, если установлены резервированные модули с индивидуальными резервированными «линейками» аккумуляторных батарей. Однако системы текущего контроля аккумуляторных батарей, имеющиеся в ИБП, не в состоянии выявить отказ корпуса отдельной батареи, который может существенно повлиять на время автономной работы и надёжность системы. Автономная система текущего контроля батареи, способная следить за импедансом каждой отдельной батареи, а также предсказать и сигнализировать о приближающемся отказе батареи, гораздо подробнее извещает о фактическом её состоянии. Такие системы текущего контроля за батареей настоятельно рекомендуются для случаев, когда проектом предусмотрена одна нерезервированная система аккумуляторных батарей. Эти системы текущего контроля требуются также в случаях, когда желателен возможно более высокий уровень надёжности системы (уровень 4).

В некоторых случаях следует предусматривать отопление, вентиляцию и кондиционирование воздуха, текущий контроль за выделением водорода, устранение расплёскивания (электролита), фонтанчики для промывания глаз и защитные душевые установки. Существуют два основных вида аккумуляторных батарей, которые можно рассматривать: свинцово-кислотные аккумуляторы с клапанным регулированием (VRLA – valve33 regulated lead-acid), которые называют также герметичными или непроливаемыми, а также батарея с наливными элементами (flooded-cell battery. Батареи VRLA имеют меньшую опорную поверхность, чем наливные, так что их можно монтировать в шкафы или стойки, являются практически необслуживаемыми и обычно требуют меньшей вентиляции, чем наливные, поскольку они менее склонны к выделению водорода. Наливные батареи обычно требуют меньше затрат за весь жизненный цикл и имеют горазд0  больший ожидаемый срок службы, чем батареи VRLA, но требуют периодического обслуживания, занимают больше места, т.к. их нельзя поместить в шкафы, и обычно предъявляют дополнительные требования к содержанию кислоты и к вентиляции.

Типичные критерии проекта могут предписывать удельную мощность где-то в пределах

43 от 0,38 до 2,7 кВт на кв. метр (от 35 до 250 Вт на кв. фут). Выбор системы ИБП должен базироваться на номинальной мощности системы ИБП в кВт, которая соответствует критериям проекта, а они обычно превышаются из-за того, что мощность ИБП обычно номинируется в кВА. Это объясняется относительно низкими номинальными значениями коэффициента мощности модулей ИБП в сравнении с требованиями компьютерного оборудования: модули ИБП обычно имеют коэффициент мощности 80% или 90%, а со временное компьютерное оборудование обычно имеет коэффициент мощности 98% или выше. В дополнение к этому, должен быть предусмотрен запас не менее 20% для ИБП свыше требуемой удельной мощности для будущего развития и для того, чтобы быть уверенными в том, что номинал ИБП не будет превышен в периоды пиковой потребности. Для комнат с ИБП и аккумуляторных 1 следует предусмотреть установки прецизионного кондиционирования воздуха (PAC – PrecisionAirConditioning). Срок службы батарей в большой степени зависит от температуры; отклонение температуры от нормы с повышением на  градусов может сократить срок службы батареи на год и больше. Пониженные температуры могут вызвать снижение параметров батареи ниже её возможностей.

Резервированные системы ИБП могут иметь разные конфигурации. Назовём три основных: изолированное резервирование, параллельное резервирование и распределённое изолированное резервирование. Надёжность этих конфигураций тоже меняется, из них наиболее надёжной является распределённая изолированная конфигурация. Автономные системы ИБП не следует использовать в электрических линиях, уже поддерживаемых централизованным ИБП, если только автономные системы ИБП не связаны с централизованным ИБП и не конфигурированы для согласованной работы с ним. Автономные системы ИБП в электрических линиях, обслуживаемых централизованной системой ИБП, могут снизить, а не повысить безотказность, если они функционируют полностью независимо от этой централизованной системы ИБП.

Все системы ИБП, находящиеся в машинном зале, должны быть связаны с системой аварийного отключения нагрузки (EPO) машинного зала таким образом, чтобы эти системы ИБП не продолжали подавать питание, если система ЕРО активирована.  Дополнительные сведения по проектированию систем ИБП представлены в стандарте 21 IEEE 1100.

G.5.1.4 Энергоснабжение серверного оборудования.

В любом дата-центре следует рассмотреть установку распределительных щитов питания (PDU) для распределения питания к критически важному электронному оборудованию, поскольку они объединяют функциональность нескольких устройств в одном корпусе, который часто меньше по размерам и более экономичен, чем установка нескольких отдельных панелей и трансформаторов. Если машинный зал разделён на несколько комнат (или пространств), каждая из которых поддерживается своей собственной системой аварийного отключения нагрузки (ЕРО), то каждая из них должна иметь свою собственную зону горизонтального распределения.

Щит PDU должен быть укомплектован изолирующим трансформатором, устройством TVSS, панелями выводов и системой мониторинга электроснабжения (power monitoring). Такие комплекты предлагают несколько преимуществ по сравнению с традиционными раздельными установками трансформаторов и панелей.

Типичный щит PDU должен содержать следующие компоненты:

- разъединитель трансформатора. Должны быть предусмотрены два входных автоматических выключателя, что позволит подключить временный питающий кабель на время ремонта или перемещения источника без отключения критически важных нагрузок;

- трансформатор. Он должен находиться как можно ближе к нагрузке, чтобы минимизировать синфазный шум между «землёй» и нейтралью и минимизировать разницу между «землёй» источника напряжения и « сигнальной землёй» (signal ground).

Ближайшее возможное местоположение достигается, когда трансформатор помещён внутрь корпуса PDU. Изолирующий трансформатор обычно имеет конфигурацию понижающего трансформатора 480:208В/120 вольт, чтобы уменьшить размер питающего кабеля от ИБП до PDU. Чтобы противостоять тепловому действию гармонических токов, следует использовать трансформаторы типа К (K-rated transformers). Для снижения гармонических токов и напряжений можно использовать трансформатор, погашающий зигзагообразные гармоники (zigzag harmonic canceling transformer) или трансформатор с активным фильтром гармоник. Минимизация гармоник в трансформаторе повышает 1 к.п.д. трансформатора и снижает тепловую нагрузку, создаваемую трансформатором;

- устройство TVSS. Аналогично, эффективность устройств TVSS значительно возрастает, когда длина проводов минимальна, предпочтительно менее 200 мм (8 дюймов). Это легче сделать, если поместить устройство TVSS внутрь того же самого корпуса, что и распределительные панели управления питанием;

- распределительные панели управления питанием. Эти панели можно смонтировать в том же шкафу, что и трансформатор, или, в случае, когда требуется больше панелей управления, можно использовать отдельный щит;

- измерение, текущий контроль, тревожная сигнализация и средства дистанционной связи. Эти компоненты обычно подразумевают значительные требования к пространству, когда поставляются с традиционной панелью (щитом);

- устройства экстренного отключения нагрузки (EPO);

- одноточечная _____заземляющая шина;

- щиток для подключения кабельных каналов. В большинстве дата-центров каждая аппаратная стойка получает питание по крайней мере от одной выделенной линии,  и каждая линия имеет отдельный, специально выделенный кабельный канал. В большинстве случаев в корпусе щита нет места для подключения 42 отдельных кабельных каналов. Устройства PDU снабжены щитками подключения кабельных каналов, которые рассчитаны на подключение до 42 каналов на одну выводную панель, что значительно облегчает первоначальный монтаж, а также позднейшие изменения. Конструктивные особенности устройств PDU могут включать в себя также сдвоенные втоматические входные выключатели, статические переключатели нагрузки, входные фильтры и резервированные трансформаторы. Также можно указать в спецификации, чтобы устройства были укомплектованы соединительными (ответвительными) коробками для облегчения соединений под фальшполами.

Должны быть предусмотрены устройства/системы ЕРО, требуемые статьёй 645 Национального электрического кода (NEC). Посты (пульты) ЕРО должны быть установлены у каждого выхода из каждого помещения дата-центра и должны быть снабжены защитными крышками во избежание случайного срабатывания. Рядом с каждым пультом ЕРО должен находиться телефонный аппарат и список контактных телефонных номеров, куда следует звонить в экстренных случаях. Нужно рассмотреть возможность установки системы обхода (байпаса – bypass) ЕРО с целью минимизации риска случайных отключений питания в период ремонта или расширения системы ЕРО. Следует предусмотреть абортирующий переключатель (abort switch) для защиты от случайной активации.

Питание пульта управления системой ЕРО должно контролироваться панелью управления системы пожарной сигнализации по док. NFPA 75. Питание всех видов электронного оборудования должно автоматически отключаться при активации такой системы пожаротушения, которая полностью заполняет дата-центр газообразным агентом. При активации спринклеров автоматическое отключение питания рекомендуется, но не является обязательным требованием. Распределение питания под полом чаще всего выполняется с использованием гибких кабелей фабричной сборки с поливинилхлоридной изоляцией, хотя в некоторых юрисдикциях это может быть запрещено и вместо этого может требоваться жесткий кабелепровод. С целью учёта будущих потребностей следует обсудить вопрос об установке трёхфазной кабельной разводки с пропускной способностью по току до 50 или 60 ампер, даже если в настоящее время такая потребность отсутствует.

Каждая линия, ведущая в 1 машинный зал, комнату ввода, комнату провайдера доступа и комнату поставщика услуг, должна иметь маркировку у гнезда с указанием идентификатора устройства PDU или панели (щита) и номера автоматического выключателя. Дополнительные сведения по проектированию распределения питания вычислительного оборудования в дата-центрах представлены в стандарте OEEE 1100.

G.5.1.5 Системы заземления здания и молниезащиты.

Должен быть предусмотрен заземляющий контур, состоящий из неизолированного медного провода калибром не менее 4/0 AWG, уложенного в землю на глубину 1 м (3 фута) на расстоянии 1 м (3 фута) от стены здания, с заземляющими стержнями размером 3 м х 19 мм (10 футов х ¾ дюйма), изготовленными из омеднённой стали и размещёнными через каждые 6-12 м (20-40 футов) друг от друга по всей длине заземляющего контура. На всех четырёх углах заземляющего контура должны быть предусмотрены испытательные колодцы. С этой системой должны быть постоянно соединены (короткими перемычками) стальные конструкции здания у каждой второй колонны. Эта система заземления здания должна быть напрямую постоянно соединена с крупным оборудованием распределения питания, куда относятся все распредустройства, генераторы, системы ИБП, трансформаторы и т.д., а также с телекоммуникационными системами и системой молниезащиты. Шины заземления должны быть доступны для подключения и визуального осмотра. Никакая часть заземляющих систем не должна иметь сопротивление свыше 5 ом относительно самой земли (использовать четырёхточечный метод измерения падением напряжения).

Следует рассмотреть вариант применения системы молниезащиты, одобренной (Mas24

ter-Labeled) организацией UL. Весьма полезно для определения пригодности какой-либо системы молниезащиты применять «Руководство по анализу рисков» по док.

NFPA 780, которое наряду с другими факторами учитывает географическое положение и конструкцию здания. Если система молниезащиты установлена, она должна быть постоянно связана с системой заземления здания в соответствии с требованиями закона (свода правил) и с требованиями максимальной защиты оборудования.

Дополнительные сведения по проектированию систем заземления здания и молниезащиты представлены в стандарте OEEE 1100.

G.5.1.6 Заземляющая инфраструктура дата-центра.

Стандарт IEEE 1100 содержит рекомендации по электрическому проектированию постоянных соединений и заземления. Следует рассмотреть вариант установки общей соединительной электрической сети (CBN), например, «сигнальной опорной структуры» (signal reference structure) по стандарту IEEE 1100 для постоянного соединения телекоммуникационного и вычислительного оборудования. Заземляющая инфраструктура машинного зала создаёт эквипотенциальный базис для машинного зала и уменьшает высокочастотные паразитные сигналы. Заземляющая инфраструктура дата-центра представляет собой сетку из медного проводника с ячейками размером от 0,6 до 3 м (2 до 10 футов), которая охватывает всю площадь машинного зала. Проводник должен быть калибром не менее #6 AWG или эквивалентного размера. Для такой сетки можно использовать как неизолированные, так и изолированные медные провода. Предпочтительно использовать изолированный провод, на котором снимают изоляцию в тех местах, где должны быть сделаны соединения. Изоляция предотвращает промежуточные или непредусмотренные точки контакта. По промышленному стандарту провод должен иметь изоляцию зелёного цвета или с ясно различимой зелёной маркировкой по док. ANSI-J-STD-607-A.

К другим приемлемым решением относятся: заранее изготовленная сетка из медных полос, соединённых сваркой в сетку с ячейками 200 мм (8 дюймов), которую раскатывают на полу секциями; или мелкая проволочная сетка, 1 устанавливаемая аналогичным образом; или же электрически непрерывный фальшпол, предназначенный служить заземляющей инфраструктурой дата-центра и постоянно соединённый с заземляющей системой здания.

Заземляющая инфраструктура здания должна иметь следующие соединения:

- проводник калибра 1 AWG или крупнее, постоянно соединённый с телекоммуникационной шиной заземления (TGB – TelecommunicationsGroundingBusbar), в машинном зале. Для проектирования инфраструктуры заземления и постоянного соединения телекоммуникаций обратитесь к док. ANSI-J-STD-607-A;

- проводник постоянного соединения с заземляющей шиной для каждого обслуживающего помещение распредустройства или щита, размер проводника определяется по док. NEC 250.122 и по рекомендациям изготовителей;

- проводник калибра 6 AWG или крупнее, постоянно соединённый с HVAC- оборудованием;

- проводник калибра 4 AWG или крупнее, постоянно соединённый с каждой колонной в машинном зале;

- проводник калибра 6 AWG или крупнее, постоянно соединённый с каждым лестничным лотком верхнего расположения, кабельным лотком и жёлобом для прокладки кабеля, входящим в зал;

- проводник калибра 6 AWG или крупнее, постоянно соединённый с каждым кабелепроводом, водопроводной трубой и воздуховодом, входящим в зал;

- проводник калибра 6 AWG или крупнее, постоянно соединённый с каждой шестой опорой фальшпола в каждом направлении;

- проводник калибра 6 AWG или крупнее, постоянно соединённый с каждым компьютерным или телекоммуникационным шкафом, стойкой или рамой. Не соединяйте стойки, шкафы и рамы последовательно.

Стандарт IEEE 1100 содержит рекомендации по электрическому проектированию постоянных соединительных перемычек и заземления. Следует рассмотреть вариант установки общей соединительной электрической сети (CBN), например, «сигнальной опорной структуры» (signal reference structure) по стандарту IEEE 1100 для постоянного соединения телекоммуникационного и вычислительного оборудования.

G.5.1.7 Заземление телекоммуникационной стойки или рамы.

G.5.1.7.1 Заземляющий проводник каркаса стойки.

Каждый аппаратный шкаф и каждая аппаратная стойка требует своего собственного заземляющего соединения с заземляющей инфраструктурой дата-центра. Для этой цели следует использовать медный проводник калибром не менее # 6 AWG. Рекомендуются проводники следующих типов:

- неизолированный медный провод

- изолированный зелёный провод, огнестойкость UL VW1

- приемлемым является гибкий кабель или кабель, соответствующий нормам и правилам (CodeorFlexCable).

G.5.1.7.2 Точка подключения заземления к стойке.

Каждый шкаф и каждая стойка должны иметь подходящую точку подключения, к которой можно постоянно подсоединить проводник заземления каркаса стойки. Вариантами для такой точки подключения являются:

- Заземляющая шина стойки: Прикрепите 1 к стойке специальную медную заземляющую пластину или медную полосу. Между этим прутком или полосой и стойкой должно существовать постоянное соединение. Винты крепления должны быть резьбоформирующими (thread-forming), а не самонарезающими (self-tapping) или винтами для листового металла. Резьбоформирующие винты являются трехзаходными и формируют резьбу путём вытеснения металла без образования стружки или металлических крошек, которые могли бы повредить расположенное рядом оборудование.

 Прямое подключение к стойке: Если специальные медные заземляющие пластины или полосы и соответствующие резьбоформирующие винты не используются, то для надлежащего постоянного соединения в точке подключения нужно удалить со стойки краску и отчистить поверхность до сияющего блеска с помощью официально одобренного противоокислителя.

G.5.1.7.3 Постоянное соединение со стойкой.

Выполняя постоянное соединение заземляющего проводника каркаса с точкой подключения на стойке или на шкафу, желательно использовать наконечники с двумя отверстиями (two-hole lugs). Использование таких наконечников позволяет обеспечить уверенность в том, что заземляющее соединение не ослабеет из-за чрезмерной вибрации или прикрепления кабеля. Подключение к стойке должно иметь следующие характеристики:

 - чистый контакт металл-металл

 - рекомендуемый противоокислитель.

 G.5.1.7.4 Постоянное соединение с заземляющей инфраструктурой дата-центра.

Прикрепите противоположный конец заземляющего проводника каркаса стойки к заземляющей инфраструктуре дата-центра. При этом подключении следует использовать обжимной медный отвод (наконечник?) (compression type copper tap), внесённый в список UL / CSA.

G.5.1.7.5 Непрерывность стойки.

Каждый элемент конструкции шкафа или стойки должен быть заземлён. Это достигается тем, что шкаф или стойку собирают таким образом, чтобы обеспечивалась электрическая непрерывность всех элементов конструкции, как указано ниже:

- Для сварных стоек: сварная конструкция служит в качестве метода постоянного соединения конструктивных элементов стойки.

Стойки с болтовым креплением элементов: сборке стоек с болтовыми соединениями следует уделить особое внимание. Непрерывности заземления невозможно достигнуть с помощью обычных болтов, используемых для сборки и стабилизации аппаратных стоек и шкафов. Болты, гайки и винты, используемые для сборки стоек,  не предназначены конкретно для целей заземления. Кроме того, в большинстве случаев стойки и шкафы окрашены. Поскольку краска не проводит электрический ток, она может стать изолятором и обесценить любую попытку выполнить желаемое заземление. В большинстве случаев питание подводится через верхнюю или нижнюю часть стойки. Без наличия надёжного постоянного соединения всех четырёх боковых сторон стойки существует угроза безопасности от контакта с питающими проводами, находящимися под напряжением. Приемлемым методом обеспечения постоянного соединения является удаление краски в точке контакта со сборочными крепёжными изделиями. Этот метод трудоёмок, но эффективен. Другой способ за ключается в использовании «агрессивных» стопорных шайб типа «В» с внутренними и наружными зубцами (см. рис. 18). При затягивании болтов динамометрическим ключом можно достигнуть приемлемого постоянного соединения. Для этого необходимо иметь две шайбы: одну помещают под головку болта для контакта и прорезания краски, другую – под гайку.

G.5.2 Уровни системы электрооборудования.

G.5.2.1 Уровень 1 (электрооборудование).

Система уровня 1 обеспечивает минимальный уровень распределения питания для удовлетворения потребностей электрических нагрузок, с небольшим резервированием или вовсе без него. Электрические системы не имеют резервирования, в них отказ или ремонт/обслуживание какой-либо панели или питающего кабеля вызывает частичное или полное прерывание операций. В месте ввода питания от общедоступной электросети не требуется никакого резервирования.

Генераторы могут быть установлены поодиночке или в параллель с целью повышения мощности, но требование резервирования не предъявляется. Обычно используются один или несколько автоматических переключателей, которые реагируют на потерю нормального электроснабжения, инициируют пуск генератора и переключают нагрузки на систему генераторов. Для этой цели используются (но не являются обязательными) автоматические переключатели (ATS – automatic transfer switches) или автоматические разъединители цепи (automatictransfercircuitbreakers). Отсутствует требование применения постоянно установленных нагрузочных реостатов для тестирования генератора и ИБП. Требуется предусмотреть возможность для подключения переносимых реостатов.

 Система бесперебойного электропитания может быть установлена как одиночный блок или в параллель для повышения мощности. Могут быть использованы статические, вращающиеся или гибридные ИБП, как двойного преобразования, так и интерактивные. Требуется совместимость системы ИБП с системой генераторов. Система ИБП должна иметь возможность 1 байпаса (обхода), которая позволит сохранить непрерывность работы в период техобслуживания/ремонта системы ИБП.

В дата-центрах уровня 1 для распределения питания к критически важным электронным нагрузкам приемлемыми являются отдельные трансформаторы и щиты. Трансформаторы должны быть рассчитаны на работу с нелинейной нагрузкой, для питания которой они предназначены. Вместо трансформаторов К-типа можно также использо вать трансформаторы, погашающие гармоники. Для распределения питания к критически важным электронным нагрузкам можно использовать распределительные щиты питания (PDU) или _____отдельные трансформаторы и панели управления. Допускается использовать любой соответствующий правилам и нормам способ проводки. Для системы распределения не требуется резервирования. Система заземления должна отвечать минимальным нормативным требованиям. Инфраструктура заземления дата-центра не является обязательной, но она может быть желательной как экономичный способ удовлетворить требования изготовителя оборудования к заземлению. Решение об установке молниезащиты следует принимать исходя из анализа риска удара молнии по док. NFPA 780 и требований страховой компании. Если дата-центр классифицируется как «аппаратное помещение для ИТ-оборудования» (InformationTechnologyEquipmentRoom) по док. NEC 645, то должна быть предусмотрена система аварийного отключения питания (ЕРО).

Текущий контроль электрической и механической системы является факультативным.

G.5.2.2 Уровень 2 (электрооборудование).

Системы уровня 2 должны соответствовать всем требованиям уровня 1. Кроме того, системы уровня 2 должны удовлетворять дополнительным требованиям, сформулированным в настоящем Приложении.

Система уровня 2 предусматривает наличие модулей ИБП с резервированием (N+1).

Требуется наличие генераторной системы, мощность которой должна быть выбрана так, чтобы система справлялась со всеми нагрузками дата-центра, хотя резервный комплект генераторов не является обязательным. Не выдвигается требование резервирования ввода питания от общей электросети или системы распределения питания. Требуется предусмотреть возможность подключения передвижных реостатов нагрузок для тестирования генератора и ИБП. Для распределения питания к критически важным электронным нагрузкам следует использовать распределительные щиты питания (PDU). Допускается запитывать от PDU дополнительные панели или «боковые секции» («sidecars») к PDU в тех случаях, когда требуются дополнительные ответвлённые электрические линии. Для обслуживания каждой стойки с компьютерным оборудованием должны быть предусмотрены два резервированных PDU, каждый предпочтительно с питанием от отдельной системы ИБП; компьютерное оборудование с одним и с тремя шнурами питания должно быть снабжено смонтированным на стойке быстродействующим или статическим переключателем нагрузки с питанием от каждого PDU. Вместо этого для компьютерного оборудования с одним и с тремя шнурами питания можно предусмотреть устройства PDU со статическим переключателем, имеющим дублированное питанием от разных систем ИБП, хотя такая схема предлагает несколько пониженное резервирование и меньшую гибкость. Следует обдумать применение цветового кодирования табличек с наименованиям и питающих кабелей, чтобы можно было различить распределение А и В, например, вся сторона А – белого цвета, а сторона В – синего. Одна линия должна обслуживать не более одной стойки, во избежание отказа линии вследствие вредного воздействия нескольких стоек. Для обеспечения резервирования каждая стойка и каждый шкаф должны иметь две специально выделенных электрических линии (20 ампер, 120 вольт), питаемых от двух разных PDU или электрических щитков. Для 1 большинства установок электрические розетки должны быть типа NEMA

2 L5-20R. Для плотно заполненных стоек может потребоваться увеличенная пропускная способность по току, а некоторые новые серверы могут, возможно, потребовать одну или несколько однофазных или трёхфазных 208-вольтовых розеток с номиналом 50 А и более. Каждая розетка должна быть маркирована номером PDU и линии, которая её обслуживает. Рекомендуется, но не требуется в обязательном порядке, иметь резервированный питающий кабель к распределительному щиту для механической системы.

Система заземления здания должна быть спроектирована так, чтобы при её испытаниях импеданс относительно земли был менее 5 ом. Должна быть предусмотрена общая соединительная сеть. Должна быть предусмотрена система аварийного отключения нагрузки (ЕРО).

G.5.2.3 Уровень 3 (электрооборудование).

Системы уровня 3 должны соответствовать всем требованиям уровня 2. Кроме того, системы уровня 3 должны удовлетворять дополнительным требованиям, сформулированным в настоящем Приложении.

Все системы дата-центра уровня 3 должны иметь резервирование не менее (N+1) на уровне модуля, канала и системы, включая системы генераторов, ИБП, систему распределения и все распределительные питающие кабели. При проектировании электрической системы следует учитывать конфигурацию механических систем, чтобы гарантировать, что объединённой электромеханической системе обеспечено резервирование (N+1). Такой уровень резервирования можно получить, либо подключением двух источников питания к каждому кондиционеру, либо разделением оборудования для кондиционирования воздуха между несколькими источниками питания. Питающие кабели и распределительные щиты резервированы, благодаря чему отказ или ремонт какого-либо кабеля или панели не вызывает прекращения операций. Должно быть обеспечено достаточное резервирование для того, чтобы была возможность изолировать любую единицу механического или электрического оборудования, которая потребовала бы существенного ремонта, без отрицательных последствий для служб, обеспечиваемых охлаждением. Благодаря использованию распределённой резервированной конфигурации практически исключены одиночные точки отказа, начиная от места ввода питания от энергосистемы общего пользования вплоть до механического оборудования и вплоть до PDU или компьютерного оборудования. Для обслуживания дата-центра должны быть подведены по крайней мере две питающих линии от энергосистемы общего пользования, среднего или высокого напряжения (свыше 600 В). Конфигурация питающей линии от общей сети должна быть первично-избирательной (селективной), с использованием автоматических разъединителей-переключателей или автоматических изолирующих/байпасных переключателей (с одной линии на другую). Вместо этого можно использовать конфигурацию с автоматическим переключением между двумя вводами (automaticmain-tie-mainconfiguration). Могут быть использованы поставленные на бетонную подушку подстанция или сухой трансформатор. Трансформаторы должны быть конфигурированы с резервированием 42 (N+1) или 2N, их типоразмеры выбираются исходя из номинальных параметров при работе под открытым небом. Для обеспечения питанием системы ИБП и механического оборудования используется резервная система генераторов. Ёмкость топливного хранилища на объекте должна выбираться из условия обеспечения 24-часовой работы генератора в проектном (расчётном) режиме нагружения. Должны быть предусмотрены изолирующие/байпасные автоматические переключатели или автоматические переключатели-разъединители, которые реагируют на потерю нормальной мощности, инициируют пуск генератора и передают нагрузки системе генераторов. Дуплексные насосные системы должны быть снабжены устройствами автоматического и ручного управления, причём каждый насос должен получать электропитание от своего отдельного источника. Должны быть предусмотрены изолированные резервированные топливные ёмкости 1 и системы топливопроводов. Это позволит добиться того, чтобы загрязнение топливной системы или её механический отказ не оказал влияния на систему генераторов в целом. Для каждого двигателя, приводящего в движение генератор, должны быть предусмотрены сдвоенные резервированные стартеры и аккумуляторные батареи. В тех случаях, когда используются запараллеленные системы, они должны быть снабжены резервированными системами управления.

Чтобы повысить доступность питания для критически важной нагрузки, система распределения конфигурируется по распределённой изолированной резервированной (двухпутной) топологии. Эта топология требует использования автоматических статических переключателей с одной линии на другую (ASTS) либо со стороны первичной, либо со стороны вторичной обмотки трансформатора PDU. Эти переключатели применяются только для нагрузок с одним шнуром питания. Если конструкция нагрузки предусматривает два (или более) шнуров питания, что позволяет непрерывно работать с подачей питания только по одному шнуру, то переключатели ASTS не используются, при условии, что шнуры питаются от разных ИБП. Переключатели будут иметь обходную (байпасную) электрическую линию и один выходной выключатель.

Должны быть предусмотрены заземляющая инфраструктура дата-центра и система

молниезащиты. На всех уровнях электрораспределительной системы, которая обслуживает критически важные электронные нагрузки, должны быть установлены устройства подавления переходных бросков напряжения (TVSS).

Должна быть предусмотрена центральная система текущего контроля и управления

питанием и наблюдения за окружающей средой (PEMCS – power and environmental

monitoring and control system), которая осуществляет текущий контроль за всеми видами

крупного электрооборудования, куда относятся главные распредустройства, генераторные системы, автоматические переключатели (с одного трансформатора на другой), пункты управления электродвигателями, системы TVSS и механические системы. Для управления механической системой, оптимизации её к.п.д., циклического использования оборудования и индикации аварийного состояния должна быть предусмотрена отдельная программируемая система логического управления (logic control system). Для обеспечения непрерывности текущего контроля и управления в случае отказа сер вера предусматривается резервный сервер.

Системы уровня 4 должны соответствовать всем требованиям уровня 3. Кроме того, системы уровня 3 должны удовлетворять дополнительным требованиям, сформулированным в настоящем Приложении.

Системы дата-центра уровня 4 должны иметь конфигурацию с резервированием не менее 2(N+1) во всех модулях, системах и каналах. Для всех питающих кабелей и оборудования должна быть предусмотрена возможность ручного обхода (байпаса – manual  bypass) для ремонта/техобслуживания или на случай отказа. При любом отказе подача питания к критически важной нагрузке автоматически переключается с отказавшей системы на альтернативную без перерыва питания критически важных нагрузок.

Для обеспечения адекватной работы аккумуляторной батареи должна быть предусмотрена система текущего контроля за аккумуляторной батареей, способная индивидуально контролировать импеданс или сопротивление каждого элемента, температуру корпуса каждого аккумулятора и сигнализировать о приближающемся отказе батареи.

Вводы от сети электроснабжения общего пользования должны быть выделены исключительно для данного конкретного дата-центра и изолированы от всех не критически важных устройств.

Здание должно иметь по крайней мере 1 два питающих кабеля от сети общего пользования, которые должны быть проложены от двух разных подстанций с целью резервирования.

 Ссылки:

TIR-942 (электроснабжение).docx

TIR-942 (электроснабжение).pdf

 //cons-systems.ru/