СТРУКТУРА ЭНЕРГОСНАБЖЕНИЯ ЦЕНТРА ОБРАБОТКИ ДАННЫХ
Закон Мура, описывающий темпы эволюции электронного мира, пока еще применим в отношении настольных систем, ноутбуков, карманных устройств, но перестает быть справедливым в мире крупномасштабных высокопроизводительных центров обработки данных (ЦОД). Лозунги типа «лучше, дешевле, быстрее, меньше», актуальные в потребительской электронике и вычислительной технике на протяжении нескольких десятков лет, к сегодняшнему ландшафту крупных ИТ-подразделений не применимы. По оценкам аналитиков Uptime Institute, в ближайшие пять лет стоимость эксплуатации этих объектов возрастет от 5 до 15 раз.
Из-за огромных объемов энергопотребления центры обработки данных становятся фокусом нападок со стороны ратующих за бережное отношение к энергоресурсам общественных движений, а решение проблем диверсификации путей энергоснабжения переходит на общегосударственный и международный уровень. Муниципалитеты крупных городов просто ограничивают максимальную мощность для новых объектов, а в некоторых городах Европы (Амстердам) вообще запрещено создание новых объектов — потребителей электроэнергии, в том числе центров обработки данных. В прошлом году в московской энергосистеме был зафиксирован рекордный уровень нагрузки 16,2 тыс. МВт, и власти города даже были вынуждены ввести режим жесткой экономии электроэнергии. Вместе с тем строительство ЦОД, являющихся крупными потребителями электроэнергии наряду с промышленными предприятиями, приобретает все более широкий размах. Причем наиболее активно этот процесс идет именно там, где развивается бизнес. Один из эффективных путей решения проблемы энергоснабжения ЦОД состоит в поиске конструктивных решений и технологий, позволяющих существенно снизить энергопотребление этих объектов и одновременно с этим обеспечить высокие требования к уровню их надежности.
По данным аналитического департамента АРС, структура потребления электроэнергии современного ЦОД выглядит следующим образом: системы охлаждения (чиллеры, прецизионные кондиционеры, системы вентиляции) потребляют 50 %, компьютерная нагрузка — 36 %, источники бесперебойного питания (ИБП) — 11 %, освещение, пожарная сигнализация — 3 %.
Исследования, проведенные экспертами Uptime Institute, показывают, что энергопотребление ЦОД может быть снижено на 50 %, если в компании надлежащим образом решаются вопросы выбора и размещения оборудования и устанавливаемых приложений, соотношения производительности и эксплуатационных затрат. По данным аналитического департамента АРС, резервы экономии электроэнергии кроются в следующих направлениях: до 40 % — при использовании методов виртуализации серверных мощностей, до 15 % — при выборе эффективной архитектуры кондиционирования помещения, до 12 % — при правильной планировке фальшпола, до 10 % — при выборе эффективного оборудования электропитания. Эти цифры справедливы для ЦОД с высоким уровнем резервирования (2N), которые обычно функционируют при нагрузке 30 %. Для ЦОД с низким уровнем резервирования показатели экономии могут составлять половину от приведенных выше.
Эволюция классов
За последние 40 лет в эволюции дизайна инфраструктуры вычислительных центров можно выделить четыре этапа, которые нашли отражение в классификации этих объектов. Исторически вычислительные центры первого поколения стали строиться в начале 1960-х годов, второго — в 1970-х, третьего — в конце 1980-х — начале 1990-х. Появление центров обработки данных четвертого поколения датируется 1994 г.
Проектирование и планирование ЦОД регламентируется американским стандартом ANSI TIA/EIA-942 (TIA-942) «Telecommunications Infrastructure Standard for Data Center». Специалисты руководствуются также европейским стандартом CENELEC/EN 50173-5.200Х. Стандарт TIA-942 описывает общую структуру, основные элементы и топологию ЦОД и охватывает все разнообразие подсистем ЦОД, включая систему электроснабжения.
Одна из важнейших характеристик центров обработки данных — это уровень энергопотребления на единицу площади. Начальный уровень энергетической нагрузки на единицу площади для ЦОД класса I составляет 20-30 Вт/кв. фут(215-322 Вт/кв. м),в ЦОД II и III класса этот показатель равен соответственно 40-50 Вт/кв. фуг (430-537 Вт/кв. м) и 40-60 Вт/кв. фут (430-645 Вт/кв. м), в ЦОД IV класса — 50-80 Вт/кв. фут (537-860 Вт/кв. м). Максимальное удельное энергопотребление в центрах III класса достигает 100-150 Вт/кв. фут, а в центрах IV класса превышает 150 Вт/кв. фуг.
Проблема планирования плотности энергопотребления при строительстве ЦОД сегодня усугубляется тем, что для инфраструктуры современного ЦОД характерно большое количество циклов обновления, но при этом трудно прогнозировать реальную удельную потребляемую мощность в обозримом будущем. При строительстве ЦОД большой запас по мощности может привести к чрезмерным капитальным затратам и низкой операционной эффективности. Эксперты АРС уже сталкивались на практике со спецификацией плотности энергопотребления 600-1000 Вт/ кв. фут (6450-10750 Вт/кв. м) в ЦОД нового поколения.
По информации GE, в среднем электропотребление 1 стойки за последние 5 лет выросло с 3-5 кВт до 30 кВт. Решения АРС способны отвести сегодня от стойки до 60 кВт тепла. При проектировании ЦОД более правильной в настоящее время признается модель, в которой учитывается не только цена единицы занимаемой площади, но и стоимость потребляемой электроэнергии оборудования, размещенного на ней.
К сожалению, до сих пор не существует единого российского ГОСТа, где были бы определены требования к ЦОД. На практике при расчете системы энергоснабжения подобных объектов проектировщики руководствуются действующим на территории РФ регламентирующим актом «Правила устройства электроустановок (ПУЭ)». Этот документ выделяет категории надежности электроснабжения (объекты I, II категории и объекты особой группы первой категории) и дает общие рекомендации по обеспечению каждого из уровней.
Стандарт TIA-942 определяет четыре уровня бесперебойной работы ЦОД. Первый уровень составляет 99,67 %, что соответствует запланированному времени простоя не более 28,8 часов в год. Уровень надежности ЦОД IV класса составляет 99,995 %, что означает суммарный перерыв в работе не более 15 минут в год. В отличие от первого уровня четвертый предполагает полное резервирование. На практике даже при значительном улучшении дизайна компьютерного оборудования ЦОД, построенные за последние пять лет и заявляющие функциональность IV уровня, в действительности часто соответствуют I, II и III уровню. Центры первого и второго класса могут занимать часть какого-либо помещения, а объекты III и IV класса размещаются в отдельных зданиях.
Требования к энергетической системе ЦОД IV уровня надежности также предусматривают полное резервирование. Такой центр должен быть оснащен как минимум двумя полностью независимыми электрическими системами, начиная от фидеров электропитания и входных магистралей от провайдеров услуг связи и заканчивая дублированием блоков питания серверных лезвий. Более детально положения стандарта TIA 942 в части, касающейся энергоснабжения ЦОД, будут изложены в одном из ближайших номеров ВС.
Параллельные конфигурации
При проектировании ЦОД приходится балансировать между взаимоисключающими требованиями, касающимися сдерживания растущих мощностей энергопотребления и обеспечения необходимого уровня бесперебойной работы. Вычислительные мощности центров обработки данных защищаются на нескольких энергетических рубежах: помимо входных фидеров бесперебойное и качественное питание обеспечивают дизель-генераторы и ИБП переменного тока. Для достижения требуемого уровня доступности ЦОД используют различные схемы дублирования компонентов защиты энергетической системы и путей подключения нагрузки. При полном резервировании вся энергетическая система состоит из двух частей, зеркально повторяющих друг друга (см. рисунок). Каждое «плечо» такой системы резервируется посредством параллельной схемы подключения ИБП, выбираемой в зависимости от класса доступности ЦОД: для III класса используется схема N+1 с одним активным и одним пассивным фидером, а для IV класса 2N с двумя активными фидерами.
Современная нагрузка, как правило, представляет собой вычислительные комплексы, у которых предусмотрены сдвоенные двухканальные блоки питания. Принцип работы таких систем — два блока работают параллельно, подключаясь к двум независимым линиям питания. При этом обеспечивается баланс нагрузки, так что суммарная потребляемая мощность делится пополам. Возможна и другая схема, когда один блок питания работает на полную мощность, а второй находится в горячем резерве.
Параллельная схема резервирования нагрузки подразумевает, что два или более ИБП с объединенными выходами, питающими единую нагрузку, включают в параллель, и после объединения выходов все ИБП разделят нагрузку поровну. Если к параллельной системе подключить нагрузку, мощность которой не превышает сумму номинальных мощностей всех ИБП без одного (схема N+1), то неисправность и отключение одного ИБП не приведут к проблемам с питанием нагрузки — один ИБП можно отключить от нагрузки, а остальные плавно возьмут на себя его часть. Для того чтобы заставить два или более ИБП работать в параллель, необходимо очень точно синхронизовать фазы выходного напряжения всех ИБП.
Традиционно параллельные системы с резервированием создавались путем установки блока управления работой всех ИБП. Этот компонент является узким местом параллельной схемы, в подавляющем числе систем он оказывается нерезервированным, а его отказ чреват переходом на байпас всех источников. Многие производители реализуют более надежные алгоритмы управления параллельной архитектурой с распределенной логикой управления, позволяющей, например, закрепить роль ведущего (master) за тем источником, который включается первым. Если с таким устройством что-либо происходит, то ближайший из оставшихся источников (slave) берет на себя функции ведущего. В случае неадекватного поведения одного из них право на его отключение имеют все оставшиеся устройства, при этом работоспособность системы сохраняется, если их мощность достаточна для поддержки питаемой нагрузки. Как и любая параллельная система, данная архитектура позволяет отключить на профилактику один из ИБП, не прекращая подачу «чистого» электропитания нагрузке. Недостаток архитектуры системы параллельного управления master-slave в том, что будучи единым блоком или распределенной по всем ИБП системой управления, он представляет собой выделенную нерезервированную систему управления, и ее выход из строя может привести к проблемам с нагрузкой.
Один из перспективных методов синхронизации и распределения нагрузки реализован в технологии Hot Sync, разработанной и запатентованной в Invensys Power Systems, унаследованной компанией Eaton (см. врезку «HotSync исключает точку отказа»). В отличие от параллельных систем других производителей, в этой технологии между источниками отсутствуют коммуникативные связи, и устройства не обмениваются друг с другом информацией, связанной с синхронизацией, управлением и поддержанием равномерности распределения нагрузки. В основе метода лежит алгоритм проверки любых отклонений выходной мощности ИБП, при этом каждое устройство работает независимо и в режиме полной синхронизации с остальными. В результате устройства автоматически делят нагрузку, и каждое из них, в случае отказа инвертора или какого-либо иного критического события, способно самостоятельно отключить себя от выходной шины, питающей нагрузку.
Монолиты против модулей
Параллельная конфигурация взята за основу производителями модульных ИБП. Их удобство состоит в том, что модульная архитектура позволяет нести затраты только на необходимое на данном этапе оборудование и оставляет гибкие возможности постепенно наращивать мощности в будущем. Сторонники модульной архитектуры подчеркивают, что данный подход более приемлем для ЦОД, поскольку отказ одного из компонентов (модулей) не приведет к отказу всей системы. Такие решения представлены в продуктовых линейках компании АРС (Symmetra LX, PX, MW в составе InfraStruXure), Emerson (Liebert-Hiross Nfinity), Newave (Concept Power), Rittal (ИБП в составе RimatriX5), Socomec-Sicon (Modulys). Противники модульной архитектуры отмечают, что с функциональной точки зрения модульные системы предназначены, прежде всего, для повышения надежности, но сама идеология их построения — увеличение количества элементов с последующим их объединением на шине переменного тока — частично противоречит поставленной задаче. Узким местом может стать и точка управления, избежать которую позволяет установка двух контроллеров.
Подключение всех модулей к общему батарейному блоку по единой шине создает дополнительную уязвимость. Кроме того, серьезная авария (например, короткое замыкание) в одном из модулей такого массива никогда не происходит изолированно — кроме одного сгоревшего блока необходимо проверить (а возможно и заменить) и соседние, расположенные снизу и сверху.
Специалисты также указывают на необходимость выполнения чрезвычайно качественного разъема, посредством которого силовой модуль устанавливается в корзину. В монолитных системах, особенно там, где протекают высокие токи, для обеспечения хорошего контакта силовые кабели обычно привинчиваются к силовым шинам и затягиваются болтами с определенным усилием. В соответствии с отечественными нормами эксплуатации электротехнических систем, необходимо периодически проводить регламентные работы, связанные с проверкой контактов. Соблюдение этих требований тем критичнее, чем более высокие токи протекают в системе. Очевидно, в каждом конкретном случае надо рассматривать возможные варианты построения системы, учитывая не только надежность, но и системотехнические, технологические и экономические аспекты.
Эксперты Eaton Power Quality Oy приводят следующие расчеты: при использовании одиночного ИБП вероятность отказа системы «сеть-ИБП» составляет в среднем 2,4 %, включенного последовательно резервного ИБП — 1,2 %, модульной системы — 1,1 %, параллельной системы традиционной архитектуры 0,9 %, параллельной системы с поддержкой технологии Hot Sync — 0,1 %.
Резервы экономии
Коэффициент полезного действия ИБП (КПД) — чрезвычайно важный параметр, его указывают все производители в спецификации к своему оборудованию. Для ИБП мощностью 100 кВА КПД=93 % означает, что 7 % мощности рассеивается в тепло и ИБП помимо выполнения непосредственной функции по защите питания представляет собой еще и печку мощностью около 7 кВт. При этом мало кто из производителей сообщает своим заказчикам, что приведенные данные справедливы при 100 % нагрузке. Для бестрансформаторных ИБП хороший показатель КПД равен примерно 94-95 %, для трансформаторных — 92 % при полной нагрузке. Казалось бы, разница невелика. Однако ИБП, работающие в ЦОД, на 100 % никогда не нагружены из-за высокого уровня резервирования. Для определения реального уровня КПД у производителей необходимо запрашивать графики зависимости КПД конкретной модели ИБП от уровня нагрузки.
Юрий Копылов, технический директор московского филиала Eaton Power Quality Oy, поясняет, почему это важно: «Если разница КПД двух моделей ИБП составляет всего 1 %, это может дать заметную экономию электроэнергии, которая год от года дорожает». Он приводит пример: стоимость 1 кВт/ч электроэнергии для промышленных предприятий в Европе (Бельгия) составляет 15,1 евроцентов, в нашей стране — 1,45 руб. За 100 кВт/ч придется заплатить в Бельгии 15,1 евро, в России — 145 рублей (около 4,5 евро). Выигрыш в 1 % КПД при нагрузке 100 кВт позволяет сэкономить в год 1 % х 100 кВт х 24 ч х 365 дней = 8760 кВт. В денежном выражении для Бельгии это составит 0,151 х 8760 = 1323 евро в год, а в России — 0,045 х 8760 = 394 евро. С учетом охлаждения эти цифры составят 1650 и 492 евро в год соответственно.
В непосредственной зависимости от КПД находится и такой показатель как время автономной работы ИБП.
При работе ИБП часть энергии теряется на выпрямителе, часть на инверторе. Вклад этих потерь по отношению к нагрузке значительно выше у ИБП с худшим показателем КПД, и разница во времени автономной работы для двух ИБП с разными КПД может оказаться очень заметной.
Специфична и работа ДГУ при переходе на автономное питание ЦОД. Высокий уровень резервирования нагрузки в центрах обработки данных в сочетании с ошибками в проектировании может привести к неочевидному, но отрицательному эффекту. Если в ЦОД используется резервный дизель-генератор, и оба ДГУ нагружены не более чем на 50 %, а в параллельной системе ИБП нагружены менее чем на 100 %, то в конечном итоге мощность ДГУ может значительно превысить реальную мощность нагрузки.
Производители ИБП, указывая характеристики КНИ потоку на входе, сообщают их значения при 100 % нагрузке. Однако если выпрямитель нагрузить менее чем на 100 %, то КНИ по току будет значительно выше заявленного. В этой ситуации специалисты сталкивались с таким явлением. Система регулирования ДГУ начинает компенсировать нелинейность, но, как правило, без специальных ухищрений сделать этого не может. В результате у генератора начинается «заброс» по напряжению — система регулирования начинает увеличивать ток в обмотке возбуждения, что приводит к увеличению напряжения. Генератор пытается снизить его путем уменьшения тока в обмотке возбуждения. Это может привести к тому, что с выхода генератора будет поступать меньше мощности на нагрузку и напряжение совсем пропадет. Поскольку система не оптимизирована на протекание высоких токов, она испытывает дополнительные потери мощности и перегрев. При сильно недогруженном ИБП генератор может просто отключиться, выдав ошибочное сообщение о завышении частоты «Over Frequency». Во избежание этой ситуации необходимо правильно рассчитывать схемы резервирования, либо применять адекватные системы фильтрации, ИБП с IGBT-выпрямителями, или бустерные системы, обеспечивающие низкий уровень КНИ по току.
В установившемся режиме чрезмерное завышение мощности ДГУ над мощностью ИБП может иметь и другие неприятные последствия. В режиме холостого хода дизель-генератора наблюдаются следующие процессы. Переход ДГУ в режим малого хода сопровождается резким уменьшением подачи топлива. Для работы на более низкой частоте система автоматически меняет пропорции газовой смеси — резко снижает количество подаваемой в камеру газовой смеси и нагнетает соответствующее количество воздуха. Понижение частоты вращения двигателя приводит к уменьшению давления впрыскивания, в результате чего распределение смеси происходит неравномерно.
При нагревании легкие фракции испаряются и сгорают, а более тяжелые осаждаются на металлических поверхностях в виде стойких отложений. Несгоревшие фракции топлива осаждаются на стенках цилиндров, попадают в подпоршне-вую полость, налипают в выхлопном тракте. При очередном увеличении нагрузки из-за повышения температуры выпускных газов может произойти воспламенение отложений в подпоршневых областях, продувочном и выпускном ресивере, что угрожает серьезными авариями двигателя. Поэтому следует избегать длительной работы ДГУ в режиме малых нагрузок (!). Для поддержки ресурсов агрегата необходимо периодически проводить «прожиг» — подключать машину к определенной нагрузке и эксплуатировать в течение установленного времени.
Дизель-генераторная установка и источник бесперебойного питания рассчитаны на работу в различных эксплуатационных режимах, поэтому их категорически недопустимо устанавливать рядом в одном помещении ЦОД. Впрочем, бывает и так, что ДГУ и ИБП находятся слишком далеко друг от друга, что также ведет к ряду сложностей — при прокладке кабелей требуются непростые кабельные разводки, которые не должны мешать прочей инфраструктуре, особенно в центре города.
Слабое звено
Неотъемлемым звеном ИБП переменного тока и электропитающей установки постоянного тока являются аккумуляторные батареи (АБ). Стандарт TIA-942 рекомендует применение в центрах обработки данных герметичных необслуживаемых аккумуляторов, изготовленных по технологии VLRA (свинцово-кислотных герметизированных батарей с регулирующими клапанами). Важный параметр аккумуляторной батареи — срок ее службы. Этот параметр обычно декларируется производителем АКБ при соблюдении нескольких важных условий — температуры эксплуатации, числа циклов разряд/заряд, глубины разряда, вольт-амперной характеристики при заряде и т. д. Одним из наиболее критичных параметров, влияющих на срок службы АКБ, является температура. Существует оптимальный температурный диапазон, при котором обеспечиваются наилучшие параметры АБ как по сроку службы, так и по емкости.
Многие производители ИБП используют технологии оптимизации режима подзаряда аккумуляторов, позволяющие продлить срок службы АБ и усовершенствовать диагностику состояния аккумуляторов. Основным является использование температурной компенсации параметров заряда с использованием термодатчиков, измеряющих температуру в батарейном шкафу. Благодаря применению технологии периодического подзаряда, обеспечивающей периоды отдыха аккумулятора, достигается меньшая внутренняя коррозия пластин батарей.
Система заземления
Электронное оборудование весьма чувствительно к повышенному или изменяющемуся напряжению между системами рабочего и защитного заземления. Практика обследования систем электропитания офисных зданий показывает, что кроме проверки сопротивления изоляции, сопротивления петли «фаза-ноль», работоспособности автоматических выключателей, особой тщательности требует проверка качества выполнения системы заземления здания, системы молниезащиты и системы защиты от грозовых и коммутационных перенапряжений. Если к системе заземления здания нет доверия, или ее характеристики невозможно измерить (ситуация часто встречается в районах с плотной застройкой), она выполняется заново.
