ОРГАНИЗАЦИЯ ЭЛЕКТРОСНАБЖЕНИЯ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ

Дата-центр (от англ. data center), или центр (хранения и обработки данных - ЦОД) — это специализированный объект для размещения (хостинга) серверного и коммуникационного оборудования и подключения абонентов к каналам сети Интернет.

Дата-центр исполняет функции обработки, хранения и распространения информации, как правило, в интересах корпоративных клиентов — он ориентирован на решение бизнес-задач путём предоставления информационных услуг. Консолидация вычислительных ресурсов и средств хранения данных в ЦОД позволяет сократить совокупную стоимость владения IT-инфраструктурой за счёт возможности эффективного использования технических средств, например, перераспределения нагрузок, а также за счёт сокращения расходов на администрирование.

Дата-центры обычно расположены в пределах или в непосредственной близости от узла связи или точки присутствия какого-либо одного или нескольких операторов связи. Качество и пропускная способность каналов влияют на уровень предоставляемых услуг, поскольку основным критерием оценки качества работы любого дата-центра является время доступности сервера (аптайм).

История развития дата-центров начинается с огромных компьютерных комнат времен зарождения компьютерной индустрии. Тогда компьютерные системы были сложнее в управлении и требовали обеспечения особых условий для работы. Так как они занимали много места и требовали множества проводов для подключения различных компонентов, в компьютерных комнатах стали применять стандартные серверные стойки, фальшполы и кабельные каналы (проложенные по потолку или под фальшполом). Кроме того, такие системы потребляли много энергии и нуждались в постоянном охлаждении, чтобы оборудование не перегревалось. Не менее важна была безопасность — оборудование весьма дорогостоящее и часто использовалось для военных нужд. Поэтому были разработаны основные конструкционные принципы по контролю доступа в серверные.

В период бурного развития компьютерной индустрии и особенно в 1980-е компьютеры начинают использовать повсеместно, не особенно заботясь об эксплуатационных требованиях. Но с развитием ИТ-отрасли, компании начинают уделять все больше внимания контролю ИТ-ресурсов. С изобретением архитектуры клиент-сервер в 1990-е, микрокомпьютеры, сейчас называемые серверами, стали занимать места в старых серверных. Доступность недорогого сетевого оборудования вместе с новыми стандартами сетевых кабелей сделали возможным использование иерархического проектирования, так серверы переехали в отдельные комнаты. Термин «дата-центр», в те времена применимый к специально спроектированным серверным, начал набирать популярность и становился все более узнаваем.

Бум дата-центров приходится на период 1995—2000 годов. Компаниям было необходимо устойчивое и высокоскоростное соединение с Интернетом и бесперебойная работа оборудования, чтобы разворачивать системы и устанавливать своё присутствие в сети. Разместить оборудование, способное справиться с решением этих задач, было делом непосильным для большинства небольших компаний. Тогда и началось строительство отдельных больших помещений, способных обеспечить бизнес всем необходимым набором решений для размещения компьютерных систем и их эксплуатации. Стали развиваться новые технологии для решения вопросов масштаба и операционных требований столь крупных систем.

Дата-центры требуют больших затрат как на этапе строительства, так и в процессе обслуживания, для поддержания работы на должном уровне. К примеру, дата-центр Amazon.com в Орегоне, площадь которого равна 10, 800 кв.м, оценивается в 100 млн $.[1]

Типичный дата-центр состоит из:

• информационной инфраструктуры, включающей в себя серверное оборудование и обеспечивающей основные функции дата-центра — обработку и хранение информации;

• телекоммуникационной инфраструктуры, обеспечивающей взаимосвязь элементов дата-центра, а также передачу данных между дата-центром и пользователями;

• инженерной инфраструктуры, обеспечивающей нормальное функционирование основных систем дата-центра.

Инженерная инфраструктура включает в себя: кондиционирование для поддержания температуры и уровня влажности в заданных параметрах; бесперебойное электроснабжение для автономной работы дата-центра в случаях отключения центральных источников электроэнергии; охранно-пожарную сигнализацию и система газового пожаротушения; системы удаленного IP контроля, управления питанием и контроля доступа.

Некоторые дата-центры предлагают клиентам дополнительные услуги по использованию оборудования по автоматическому уходу от различных видов атак. Команды квалифицированных специалистов круглосуточно производят мониторинг всех серверов. Необходимо отметить, что услуги дата-центров сильно отличаются в цене и количестве услуг. Для обеспечения сохранности данных используются резервные системы копирования. Для предотвращения кражи данных, в дата-центрах используются различные системы ограничения физического доступа, системы видеонаблюдения. В корпоративных (ведомственных) дата-центрах обычно сосредоточено большинство серверов соответствующей организации. Оборудование крепится в специализированных стойках и шкафах. Как правило, в дата-центр принимают для размещения лишь оборудование в стоечном исполнении, то есть в корпусах стандартных размеров, приспособленных для крепления в стойку. Компьютеры в корпусах настольного исполнения неудобны для дата-центров и размещаются в них редко.

Классификация

По соответствию требованиям стандартов

В ряде стран имеются стандарты на оборудование помещений дата-центров, позволяющие объективно оценить способность дата-центра обеспечить тот или иной уровень сервиса. Например, в США принят американский (ANSI) стандарт TIA-942, несущий в себе рекомендации по созданию дата-центров, и делящий дата-центры на типы по степени надёжности. Хотя в России пока нет такого стандарта, дата-центры оснащаются согласно требованиям для сооружений связи, а также ориентируются на требования TIA-942 и используют дополнительную документацию Uptime Institute и ГОСТы серии 34.

Фактически, TIA-942 воспринимается во всем мире как единый стандарт для дата-центров, однако следует отметить что он достаточно давно не обновлялся и его достаточно сложно применить в условиях России. В то же время сейчас активно развивается стандарт BICSI 002 2010 Data Center Design and Implementation Best Practices, появившийся в 2010 и обновленный в 2011. По словам создателей стандарта "cтандарт BICSI 002 2010, в создании которого участвовали более 150 экспертов, дополняет существующие стандарты TIA, CENELEC и ISO/IEC для центров обработки данных". Каждый из стандартов, как правило имеет свою внутреннюю классификацию дата-центров по совокупности их параметров.

По размеру

• Крупные дата-центры имеют своё здание, специально сконструированное для обеспечения наилучших условий размещения. Обычно они имеют свои каналы связи, к которым подключают серверы.

• Средние дата-центры обычно арендуют площадку определённого размера и каналы определённой пропускной способности (обычно измеряется в Мбит/с).

• Малые дата-центры размещаются в малоприспособленных помещениях. Часто ими используется оборудование плохого качества, а также предоставляется самый минимум услуг.

• Контейнерные дата-центры. Стойки с оборудованием размещаются в стандартных ISO контейнерах размером 20 и 40 футов. Имеют преимущества т.к. могут перевозиться автомобильным и железнодорожным транспортом.

По надёжности

Основной показатель работы ЦОД — отказоустойчивость; также важна стоимость эксплуатации, показатели энергопотребления и регулирования температурного режима.

Например, стандарт TIA-942 предполагает четыре уровня надёжности дата-центров:

• Tier 1 (N) — отказы оборудования или проведение ремонтных работ приводят к остановке работы всего дата-центра; в дата-центре отсутствуют фальшполы, резервные источники электроснабжения и источники бесперебойного питания; инженерная инфраструктура не зарезервирована;

• Tier 2 (N+1) — имеется небольшой уровень резервирования; в дата-центре имеются фальшполы и резервные источники электроснабжения, однако проведение ремонтных работ также вызывает остановку работы дата-центра;

• Tier 3 (N+1) — имеется возможность проведения ремонтных работ (включая замену компонентов системы, добавление и удаление вышедшего из строя оборудования) без остановки работы дата-центра; инженерные системы однократно зарезервированы, имеется несколько каналов распределения электропитания и охлаждения, однако постоянно активен только один из них;

• Tier 4 (2(N+1)) — имеется возможность проведения любых работ без остановки работы дата-центра; инженерные системы двукратно зарезервированы, то есть продублированы как основная, так и дополнительная системы (например, бесперебойное питание представлено двумя ИБП, работающими по схеме N+1).

По предназначению

Дата-центры по виду использования подразделяют на корпоративные, предназначенные для обслуживания конкретной компании, и коммерческие (аутсорсинговые), предоставляющие услуги всем желающим. Также разделяют провайдерозависимые и провайдеронезависимые дата-центры. Первые служат для обеспечения деятельности телекоммуникационных операторов, вторые могут использоваться разными компаниями в соответствии с их нуждами.

Энергоснабжение ЦОД, стандарты ЦОД

До сих пор не существует единого российского ГОСТа, где были бы определены требования к ЦОД. В России действующих ЦОД еще слишком мало, чтобы делать обобщения, поэтому приходится использовать зарубежные опыт и модели расчетов.

Стандартизация рассматривается как один из принципов системного подхода к построению инфраструктуры, обеспечивающий масштабируемость решений и сокращение капитальных расходов. Она помогает унифицировать реализацию взаимосвязанных инфраструктурных систем ЦОД. Сейчас проектировщики руководствуются стандартом EIA/TIA-492 (США), но близок к завершению и европейский стандарт EN 50173-5, на основе которого будет сформирован соответствующий российский ГОСТ.

Проектирование и планирование ЦОД регламентируется вышеназванным американским стандартом ANSI TIA/EIA-942 (TIA-942) «Telecommunications Infrastructure Standard for Data Center», утвержденным в апреле 2005г.

На сегодня, это единственный комплексный стандарт, где освещается широкий круг вопросов, связанных с организацией ЦОД. Он предлагает последовательный подход к решению задач по созданию ЦОД. Комплексных европейских и международных аналогов не существует, однако, как предполагается, ISO возьмет его за основу при разработке соответствующего международного стандарта. Для ряда американских стандартов, входящих в ANSI/EIA/TIA-942, имеются международные аналоги. Так, например, аналогами ANSI/TIA/EIA-568 (Commercial Building Telecommunications Cabling Standard, Implementationof Telecommunications Enclosures, Additional Cabling Guidelines for DTE Power) являются ISO 11801и европейские EN 50173, EN 50174 (Comite Europeen de Normalisation Electrotehnique, CENELEC). Стандарт обобщает многолетний опыт создания ЦОД. Следование его рекомендациям позволяет максимально приблизиться к уровню надежности с заветными пятью девятками — 99,999%. Ряд требований следует принять в качестве постулата

Стандарт TIA-942 описывает общую структуру, основные элементы и топологию ЦОД и охватывает все разнообразие подсистем ЦОД, включая систему электроснабжения:

Энергоснабжение Центров Обработки Данных (ЦОД)

При расчете системы энергоснабжения Дата-Центров (ЦОД) проектировщики руководствуются действующим на территории РФ регламентирующим актом «Правила устройства электроустановок (ПУЭ)». Этот документ выделяет категории надежности электроснабжения (объекты I, II категории и объекты особой группы первой категории) и дает общие рекомендации по обеспечению каждого из уровней.

Стандарт TIA-942 определяет четыре уровня бесперебойной работы ЦОД. Первый уровень составляет 99,67 %, что соответствует запланированному времени простоя не более 28,8 часов в год. Уровень надежности ЦОД IV класса составляет 99,995 %, что означает суммарный перерыв в работе не более 15 минут в год. В отличие от первого уровня четвертый предполагает полное резервирование. На практике даже при значительном улучшении дизайна компьютерного оборудования ЦОД, построенные за последние пять лет и заявляющие функциональность IV уровня, в действительности часто соответствуют I, II и III уровню. Центры первого и второго класса могут занимать часть какого-либо помещения, а объекты III и IV класса размещаются в отдельных зданиях.

Требования к энергетической системе ЦОД IV уровня надежности также предусматривают полное резервирование. Такой центр должен быть оснащен как минимум двумя полностью независимыми электрическими системами, начиная от фидеров электропитания и входных магистралей от провайдеров услуг связи и заканчивая дублированием блоков питания серверных лезвий.

Основные положения стандарта TIA 942 в части, касающейся энергоснабжения ЦОД:

· помещение для ввода кабелей в базовой топологии оно одно, но может быть и несколько

· главный распределительный пункт (Main Distribution Area), где расположен центральный кросс кабельной системы ЦОД, маршрутизаторы, коммутаторы локальной сети и сети хранения данных. Там же могут размещаться и кроссы, предназначенные для коммутации горизонтальных кабелей. Для целей резервирования в ЦОД может быть организовано два и более MDA

· пункт распределения горизонтальной подсистемы общей кабельной системы ЦОД (Horizontal Distribution Area )

· распределительный пункт зоны (Zone Distribution Area), наличие которого расширяет возможности по реконфигурации системы

· область размещения компьютерного оборудования (Equipment Distribution Area).

Стандарты топологии ЦОД:

Электроснабжение центров обработки данных (ЦОД) имеет отличия и особенности, которые обусловлены задачами, решаемыми техническими средствами ЦОД. К электроснабжению предъявляются такие основополагающие требования, как непрерывность, надежность и качество. Способы их обеспечения в явном виде прописаны в телекоммуникационном стандарте TIA/EIA-942.

Стандарт основывается на требованиях к электроснабжению применительно к системам электроснабжения США, т. е. с номинальным напряжением 120 В. На практике эти требования могут быть перенесены и на другие системы с иными значениями номинального напряжения, с учетом того, что токи электроустановочных изделий, защитно-коммутационной аппаратуры, источников бесперебойного питания (ИБП) изменятся пропорционально.

Требования к электроснабжению изложены в разделах TIA-942 5.3 «Требования к компьютерной комнате», 5.4 «Требования к комнате внешних коммуникаций» и в приложении G5 «Требования к электрическим системам».

В разделах 5.3 и 5.4 оговариваются минимальные требования по электроснабжению данных объектов:

- минимальная нагрузочная способность розеточной группы – 2,5 кВт, минимальное количество розеток на единицу площади – один двойной блок на 4 м;

- наличие аварийного резервного питания, в том числе с использованием ИБП и автономного генератора;

- одинаковые нормы надежности электроснабжения компьютерной комнаты и комнаты внешних коммуникаций.

Приложение G5 содержит более развернутую информацию по требованиям к электроснабжению ЦОД.

Во-первых, в нем рассматривается сам источник питания – ввод от городских электросетей. Предполагается, что имеются два независимых ввода и устройство автоматического включения резерва (АВР). Также рекомендуется наличие разрядника для подавления высоковольтных импульсов.

Во-вторых, несмотря на питание ЦОД по требованиям 1-й категории надежности в соответствии с классификацией Правил устройства электроустановок (ПУЭ), рекомендуется оснащение резервной дизель-генераторной установкой (ДГУ).

Обращается внимание на соблюдение требований по сопряжению ИБП и ДГУ в части эмиссии токов высших гармоник и повышающих коэффициентов при выборе мощности ДГУ.

Указывается время автономной работы ДГУ – от 4 часов до 60 суток, приводятся состав подключаемой нагрузки и ряд других полезных рекомендаций.

В-третьих, рассматриваются требования к наиболее важному компоненту электроснабжения ЦОД – источнику бесперебойного питания. Допускается применение единичных ИБП или группы (модулей) ИБП, работающих в параллель. В явном виде рекомендаций по предпочтению той или иной идеологии не дается, хотя обозначены требования по обеспечению отказоустойчивости:

- наличие байпаса;

- применение нескольких батарейных цепочек;

- рекомендации не применять схему с общей батареей на несколько модулей;

- избыточность ИБП, т. е. применение схем с резервированием по количеству ИБП (модулей ИБП).

Согласно заключению Государственного центра метрологического обеспечения в области электромагнитной совместимости (ГЦМО ЭМС), требования ГОСТ 13109-87 к показателям качества электрической энергии (ПКЭ) энергоснабжающими и энергораспределяющими организациями, как правило, не выполняются. Кроме того, требования по качеству электроэнергии, установленные в ГОСТ, зачастую недостаточно высоки в отношении современного телекоммуникационного оборудования. Очевидно, что подключение к реально существующим электрическим сетям высокотехнологического оборудования, чувствительного к ухудшению качества электрической энергии (компьютеров, активного оборудования вычислительных сетей, телекоммуникационной аппаратуры, банковского и офисного оборудования), связано не только с повышенным риском нарушения функционирования, но и выхода данного оборудования из строя.

В этих условиях установка статических источников бесперебойного питания (ИБП), работающих в режиме "on-line" (двойного преобразования), как средства получения электроэнергии требуемого качества, является необходимой предпосылкой обеспечения устойчивой работы компьютерного и телекоммуникационного оборудования. Кроме того, для современного оборудования характерно применение импульсных блоков питания с нелинейным характером потребления. Использование мощных трехфазных ИБП с двойным преобразованием для питания такого рода оборудования является оптимальным, поскольку позволяет избежать перегрузок нейтральных кабелей входных электросетей и оборудования трансформаторных подстанций.

Мощные ИБП структуры "on-line" являются основой построения систем гарантированного энергоснабжения (СГЭ) и обеспечивают качественную работу подключенной к ним нагрузки как в штатном режиме (при наличии электропитания на входе), так и в автономном режиме (при отключении входной сети электропитания) за счет энергии, накопленной в аккумуляторных батареях. Как правило, такие системы проектируются для работы в автономном режиме в течение промежутка времени от нескольких минут до нескольких часов. При необходимости обеспечения работы подключенной нагрузки в течение более длительного времени в качестве резервного источника энергии в комплекс включаются автономные электрогенераторные установки, построенные на базе двигателей внутреннего сгорания (как правило, дизельных).

Необходимым результатом, достигаемым при реализации СГЭ, можно считать обеспечение возможности функционирования ответственного оборудования Заказчика при отказе стационарного ввода (вводов) электропитания в течение времени, достаточного для переключения на резервный источник электропитания или нормального завершения основных рабочих процессов в компьютерных сетях.

Построение систем гарантированного энергоснабжения для комплекса потребителей, территориально расположенных более чем на одном этаже, и, тем более, в нескольких зданиях, может производиться по различным схемам.

В настоящее время наибольшее распространение получили две основные структуры СГЭ - централизованная и распределенная (локализованная). Централизованная система содержит один ИБП, к которому подключены все ответственные потребители. В распределенной системе каждый потребитель (или группа локальных потребителей) запитывается от отдельно-го (локального) ИБП.

Распределенная структура СГЭ.

Обобщенная схема системы гарантированного энергоснабжения, построенной по централизованной схеме, изображена на Рис. 0-1.

Основным преимуществом такой системы является возможность ее реализации без переделки сетевой разводки, особенно при использовании "розеточных" ИБП, простота наращивания или изменения конфигурации.

При отказе одного из ИБП происходит отключение только части системы, и, при наличии одного аппарата в "холодном" резерве, последствия отказа могут быть устранены в течение нескольких минут. Другим важным преимуществом этой системы может быть также то, что при соответствующем выборе типов ИБП для их размещения не потребуется выделения специальных помещений.

Недостатком распределенной системы является неэффективное использование ресурсов аккумуляторных батарей из-за невозможности обеспечения одинаковой нагрузки для всех ИБП. Время автономной работы всей системы определяется наиболее нагруженным аппаратом с наиболее разряженными при предыдущих отключениях питания батареями, при этом время автономной работы не может быть увеличено отключением нагрузки от других ИБП. Другим существенным недостатком этой системы является ее низкая устойчивость при перегрузках, вызванных ошибочным подключением дополнительной нагрузки или коротким замыканием. Повышенная чувствительность к перегрузкам обусловлена тем, что запас мощности локальных ИБП может быть сравним с пусковой мощностью не только кондиционера или пылесоса (5..10 кВт), но и лазерного принтера или ксерокопировального аппарата (2..5 кВт) и даже цветного монитора с экраном размером 19-21 дюйм с петлей размагничивания (1..2 кВт).

Общие требования к системам бесперебойного и гарантированного электроснабжения

Электропотребители Заказчика, требующие подключения к защищенной электросети, как правило, разделяются на следующие основные группы:

оборудование локальной вычислительной сети (ПЭВМ, активное сетевое оборудование);

системы связи (АТС), комплексы спец.связи;

технические средства спутниковой сети передачи данных;

система аварийного освещения;

системы кондиционирования и вентиляции технологических помещений;

системы пожарной и охранной сигнализации;

медицинское оборудование.

Параметры электрической сети на выходе систем электропитания, устанавливаемых в рамках СГЭ, должны соответствовать техническим требованиям по эксплуатации вычислительной техники и другого электронного оборудования Заказчика.

Система должна обеспечивать функцию оповещения персонала о возникающих аварийных ситуациях в системах электропитания. Автоматическое закрытие информационной системы Заказчика с гарантированным сохранением целостности данных производится при невозможности длительного обеспечения автономной работы потребителей.

При длительных перерывах в электроснабжении и необходимости продолжения работы оборудования свыше минимального срока энергоснабжение должно производиться от автономной дизель-генераторной установки (установок) с сохранением высоких качественных параметров электросети на выходе СГЭ. Включение и выключение генераторной установки должно производиться в автоматическом режиме с возможностью аварийного перехода на ручное управление.

Рис. 0-1 Обобщенная схема распределенной СГЭ.

Другой существенный недостаток распределенной СГЭ имеет место при использовании большого количества однофазных ИБП. Как уже отмечалось выше, значительная часть современного компьютерного и телекоммуникационного оборудования имеет блоки питания, характеризующиеся нелинейным характером потребления (cos =0.7 .. 0.8). При подключении нескольких подобных потребителей к однофазной сети (с рабочим напряжением 220 В), являющейся составной частью трехфазной сети энергоснабжения (рабочее напряжение 380 В), в нейтральном проводнике возникают токи, пиковые значения которых могут превосходить значения токов в фазных проводниках. С учетом того факта, что электрические сети в нашей стране выполняются с нейтральным проводником меньшего (по сравнению с фазным) сечения, неизбежны перегрузки и возникновение помех в нейтрали, которые приводят к снижению надежности сети электропитания.

Повышение надежности электропитания возможно при прокладке кабельных сетей с большим (в 1.5 .. 1.7 раза) сечением нейтрального проводника по сравнению с фазными проводниками. К сожалению, такие работы в части городских сетей энергоснабжения, как правило, чрезвычайно затруднены.

Централизованная структура СГЭ.

Преимущества этой системы (Рис. 0-2) определяются концентрацией запаса мощности и емкости батарей. Такая система менее чувствительна к локальным перегрузкам и даже выдерживает короткие замыкания, переходное сопротивление которых превышает некоторую величину, определяемую запасом выходной мощности ИБП. Увеличение времени автономности достигается простым отключением менее ответственных потребителей.

Рис. 0-2 Обобщенная схема централизованной СГЭ.

Другим преимуществом централизованной СГЭ, построенной на базе мощного трехфазного ИБП, является исключение перегрузок нейтрального проводника на входе ИБП, что повышает надежность всей сети электропитания, и, что существенно, не требует проведения работ по перекладке кабельных линий, по которым осуществляется энергоснабжение здания.

Недостатком централизованной системы является более высокая по сравнению с распределенной системой вероятность локального отказа, выражающегося в обесточивании потребителей из-за неисправности разветвленной выходной сети электропитания или выхода из строя (связанного с возникновением короткого замыкания в цепи питания) одного из потребителей.

Стоимость аппаратных средств централизованной системы при равной мощности и одинаковых схемотехнических решениях ИБП, естественно, ниже по сравнению с распределенной системой, однако при выборе данной структуры СГЭ необходимо учитывать стоимость возможной переделки сети электропитания в случае реконструкции действующей системы, а также необходимость выделения специального помещения и квалифицированного персонала.

В чистом виде каждая из рассмотренных систем применяется достаточно редко. Использование централизованной системы целесообразно при концентрации оборудования, выполняющего единую задачу и состоящего из компонентов одного класса надежности и одинаковых по характеристикам энергопотребления. Такие системы применяются, как правило, в издательских комплексах, крупных центрах спутниковой связи и т. п. Типичными для распределенной системы являются такие административные учреждения (мэрия, министерство), в которых большое число персональных ЭВМ работают в режиме независимых рабочих станций, зачастую без объединения их в локальную вычислительную сеть.

Для устранения недостатков каждой из систем на практике применяют двухуровневую систему, которая представляет собой комбинацию централизованной и распределенной системы (см. Рис. 0-3). Задача оптимизации такой системы с точки зрения мощности и стоимости оборудования состоит в определении наиболее ответственных потребителей и минимизации числа групп потребителей путем соответствующего конфигурирования локальной вычислительной сети.

Рис. 0-3 Обобщенная схема двухуровневой СГЭ.

При выборе двухуровневой структуры, кроме установки одного ИБП большой мощности (или комплекса параллельно функционирующих ИБП, расположенных в одном месте - как правило, вблизи электрического ввода в здание), отдельные наиболее ответственные потребители защищаются с помощью локальных ИБП меньшей мощности. Целью такого резервирования является защита такого оборудования, как, например, файловые серверы и наиболее ответственные рабочие станции управления ЛВС, коммуникационное оборудование, системы связи от обесточивания вследствие аварий кабельной сети внутри здания, вызванных локальными повреждениями, короткими замыканиями или перегрузками (в том числе сети чистого электропитания, подключенной к основному ИБП).

При выборе любого из вариантов построения системы гарантированного энергоснабжения на базе ИБП при необходимости обеспечения длительной работы в автономном режиме (т.е. при отключении входной электросети) такой комплекс дополняется одной или несколькими дизельными генераторными установками (ДГУ) для обеспечения длительной автономной работы (в течение десятков часов и более). Такие генераторы комплектуются системой автоматического запуска и глушения с коммутацией нагрузки и могут быть дополнительно снабжены пультами удаленного управления и контроля. Диаграмма функционирования комплекса в случае аварийного отключения и последующего восстановления основного электропитания пока-зана на Рис. 0-4.

Рис. 0-4 Временная диаграмма работы комплекса ИБП - ДГУ.

При определении мощности и количества генераторных установок необходимо принимать во внимание мощность подключаемой нагрузки, а также возможность установки достаточно крупногабаритного оборудования в здании или в непосредственной близости от него (на охраняемой территории). Генераторная установка может быть выполнена в шумозащитном кожухе или всепогодном контейнере.

При подключении нескольких генераторов на общую нагрузку устанавливается специальный блок управления и синхронизации для параллельного комплекса ДГУ.

Типовая функциональная схема СГЭ здания Заказчика

Функциональная схема типовой СГЭ для здания Заказчика показана на Рис. 0-5. На схеме изображены основные линии энергоснабжения, выделены технологические и бытовые потребители (общее освещение, сеть электрических розеток для подключения бытовых электроприборов), технические средства и линии энергоснабжения, входящие в состав СГЭ.

Энергопотребители СГЭ целесообразно разделить на две группы:

К первой группе относят оборудование, требующее электропитания со стабильно высокими показателями качества электроэнергии, а также не допускающие (по условиям технологического цикла) перерывов в электропитании. В эту группу потребителей входит все компьютерное оборудование, системы связи, активное сетевое оборудование, аппаратура видеонаблюдения, сигнализации, медицинское оборудование. На схемах эта группа обозначена "Потребители СГЭ - "А"". Потребители этой группы подключаются к выходу ИБП.

Вторая группа содержит оборудование, подключаемое непосредственно к выходу ДГУ, не требующее стабильно высоких качественных показателей качества электроэнергии и допускающее кратковременный перерыв (30-120 сек.) в электропитании. Эта группа потребителей включает в себя системы аварийного освещения, а также оборудование кондиционирования помещения для размещения комплекса ИБП. На схемах эта группа обозначена "Потребители СГЭ - "В"". Также в эту группу включаются такие системы, как например, комплекс средств охраны, сигнализации и другое оборудование, защищенное локальными ИБП.

Рис. 0-5 Функциональная схема СГЭ здания.

Выделение в рамках СГЭ двух групп потребителей, подключаемых к источникам электропитания различного типа (ИБП и ДГУ) позволяет достичь следующих результатов:

Исключение из группы "А" таких потребителей, как системы кондиционирования и аварийное освещение позволяет снизить нагрузку на ИБП, что, в свою очередь, увеличивает время автономной работы ИБП в аварийном режиме и дает возможность использовать ИБП меньшей мощности.

При такой схеме подключения ИБП осуществляет гальваническую развязку между сетями электропитания компьютерного и коммуникационного оборудования и сетью электропитания технологического оборудования (в частности, системы кондиционирования). Это позволяет значительно снизить уровень помех в сети защищенного электропитания при включении и выключении оборудования, характеризующегося нелинейным характером и большими пусковыми значениями тока потребления.

Обеспечение надежности работы СГЭ. Специальные требования к оборудованию СГЭ.

В рассматриваемом проекте СГЭ повышение надежности достигается за счет использования каскадной структуры СГЭ и параллельного комплекса ИБП на базовом уровне защиты. Сущность и преимущества каскадной схемы были рассмотрены выше.

Решения по построению параллельного комплекса ИБП, предлагаемые фирмой Powerware, являются уникальными в секторе мощных ИБП в мире и заключаются в следующем:

возможно объединение до 8 аппаратов в параллель модели, таким образом, общая выходная мощность комплекса может достигать 5 мВА (8 блоков по 625 кВА каждый);

Конструктивно параллельная система состоит из 2-4 системных блоков и шкафа параллельной работы, объединяющий выходы ИБП. Система работает по уникальному алгоритму равноправного управления "HotSync" запатентованному "POWERWARE", а не в режиме "Master-Slave", как у остальных производителей ИБП.

Уникальность этой технологии заключается в отсутствии сигнальных или интерфейсных связей между ИБП при параллельном включении источников. Это значительно повышает надежность системы, удешевляет и упрощает ее инсталляцию.

Рис. 0-6 Модульная и централизованная схемы построения СГЭ.

Объединение нескольких блоков ИБП в параллельный комплекс, как правило, имеет целью решение следующих задач:

После установки одного блока СГЭ определенной мощности увеличивается количество технических систем, требующих защищенного питания. Как следствие, необходимо увеличить мощность СГЭ, что достигается подключением еще одного блока ИБП такой же мощности. Все ИБП в таком комплексе работают параллельно на общую нагрузку, увеличивая выходную мощность.

По техническим условиям эксплуатации оборудования необходимо гарантировать его энергоснабжение даже в случае отказа одного из блоков ИБП. В таком случае необходимо построить параллельный комплекс по схеме с горячим аппаратным резервированием (избыточностью). Такая схема позволяет также производить техническое обслуживание и ремонт любого блока ИБП не только без отключения нагрузки, но и с сохранением стабильно высоких показателей качества электроэнергии на выходе комплекса (см. функциональные схемы на Рис. 0-7).

Рис. 0-7 Диаграммы функционирования параллельных комплексов ИБП.

Сравнение статистических характеристик надежности параллельных комплексов, построенных по централизованному и модульному принципу, показывает следующее:

наличие резервного ввода (с такой же надежностью, что и основной ввод) существенно повышает надежность комплекса в целом. Однако, необходимо иметь в виду, что при подключении нагрузки к резервному вводу ее питание производится от нестабилизированной сети;

модульная система при прочих равных условиях обладает меньшим уровнем надежности. Положительным свойством такой системы является, как отмечалось выше, ее меньшая стоимость и гибкость наращивания.

ИБП двойного преобразования. Общая информация

Функциональная схема ИБП, построенного по технологии двойного преобразования, изображена на Рис. 0-8. Основные компоненты ИБП имеют следующее назначение:

1. Входной и выходной ВЧ фильтры предназначены для фильтрации высокочастотных и импульсных помех.

Рис. 0-8 Функциональная схема ИБП двойного преобразования.

2. Входной конвертер преобразует переменный ток в постоянный и обеспечивает синусоидальный характер потребления (cosf=1).

3. Выходной конвертер преобразует энергию постоянного тока, источником которой является входной конвертер или аккумуляторная батарея (при работе в автономном режиме) в переменное напряжение со стабильно высокими ПКЭ.

4. Блок аккумуляторных батарей осуществляет накопление электрической энергии в аккумуляторах.

5. Ключ резервной линии by-pass обеспечивает автоматическое либо ручное переключение нагрузки между выходом конвертера и резервной линией. Переключение осуществляется с синхронизацией выходного напряжения, длительность переключения составляет доли миллисекунд.

6. Блок микропроцессорного управления осуществляет контроль параметров функционирования всех компонентов ИБП и управление ими, а также информационный обмен с внешними устройствами.

Основная информация о состоянии ИБП выводится на жидкокристаллический дисплей на передней панели ИБП.

Разъем на задней панели может использоваться как для передачи сигнальной информации (сообщения об аварии входной сети, переходе на резервную линию, разряде батарей), так и для мониторинга и управления ИБП по протоколу RS232.

При установке специализированного программного обеспечения фирмы Powerware пользователь может контролировать следующие параметры:

Режим работы ИБП (от входной сети, от батарей, подключение нагрузки по резервной линии).

Текущее значение входного напряжения (в В).

Текущее значение потребляемой мощности нагрузки (в ВА).

Прогнозируемое время автономной работы ИБП (в минутах).

Температура и напряжение аккумуляторных батарей.

Значения выходного напряжения и частоты.

При необходимости могут быть запрограммированы такие действия, как автоматический тест ИБП, тест аккумуляторных батарей, калибровочный тест аккумуляторов (для определения реальной емкости по истечении определенного времени работы), а также отключение и включение ИБП в заданное время. Более подробная информация о программном обеспечении и интерфейсах с информационными системами приводится в разделе Д

Расчетные данные

Выбор конкретных моделей ИБП и ДГУ для проектируемой СГЭ производится на осно-ве данных о текущем и прогнозируемом состоянии оборудования Заказчика, требующего подключения к сети гарантированного электропитания.

При расчете необходимой мощности ИБП учитывается, что при длительной эксплуатации мощных ИБП в условиях распределенной сети потребителей, подключенной к его выходу, нельзя исключать возможность локальных перегрузок и включения несанкционированной нагрузки. Для обеспечения устойчивой безаварийной работы оборудования его мощность выбирается с запасом, составляющим 15-20% от расчетной мощности нагрузки. С другой стороны, для обеспечения резервирования параллельного комплекса ИБП в здании Заказчика необходимо выполнение условия, чтобы расчетная мощность нагрузки не превышала суммарной выходной мощности ИБП без учёта резервирования.

При расчете мощности ДГУ необходимо принимать во внимание как суммарную потребляемую мощность нагрузки, так и рекомендации по минимально допустимому значению нагрузки, составляющему 30%. При длительной эксплуатации ДГУ с меньшим значением нагрузки значительно уменьшается ресурс работы двигателя и требуются специальные мероприятия по техническому обслуживанию.

Поскольку суммарная потребляемая мощность параллельного комплекса ИБП (т.е., мощность на входе ИБП) в дальнейшем может увеличиваться при наращивании количества рабочих мест, то при расчете мощности ДГУ учитывается суммарная потребляемая мощность для всех ИБП, подключенных к выходу ДГУ и работающих в режиме полной нагрузки и заряда аккумуляторных батарей, а также дополнительного оборудования (нагрузка группы "В").

Описание функционирования СГЭ в различных режимах

В нормальных условиях, т.е., при сохранении основного энергопитания здания по городским линиям, оборудование СГЭ функционирует в следующем режиме:

Контактор в блоке управления и коммутации нагрузки ДГУ находится в положении основная сеть. Энергоснабжение потребителей группы "В" осуществляется через этот контактор напрямую от основной сети. ИБП (или параллельный комплекс ИБП) запитан также от основной сети через контактор БУ КН ДГУ (см. Рис. 0-9). Работая в режиме двойного преобразования энергии, ИБП обеспечивает стабильно высокие показатели качества электроэнергии на выходе. Аккумуляторные батареи находятся в режиме поддерживающего заряда, тем самым обеспечивается их максимальный ресурс при отключении внешнего питания ИБП.

Рис. 0-9 Схема энергоснабжения нагрузки в нормальном режиме работы СГЭ.

При возникновении аварийной ситуации (отключение энергоснабжения по городским сетям) пропадает питание на входе основных ИБП, которые переходят в режим работы от аккумуляторных батарей. Перерыва в энергоснабжении потребителей группы "А" не происходит, поскольку схема двойного преобразования ("on-line") гарантирует бесперебойность работы инвертора (см. Рис. 0-10).

Рис. 0-10 Схема энергоснабжения нагрузки в аварийном режиме работы СГЭ.

По команде от датчика наличия входной сети, встроенного в БУ КН ДГУ, начинается отсчет времени (длительность интервала программируется), после окончания которого блок управления дает команду на запуск ДГУ. Если первая попытка запуска была неудачной, блок автоматики повторяет команду на запуск. После выхода ДГУ на рабочий режим (частота и на-пряжение в пределах допуска), блок управления обеспечивает переключение контактором нагрузки на выход генератора (см. Рис. 0-11). Блок микропроцессорного управления ИБП фирмы Powerware алгоритм "мягкого старта", с помощью которого увеличение потребления по входу при возобновлении питания ИБП происходит не скачкообразно, а постепенно (длительность этого интервала увеличения нагрузки до максимального значения составляет не менее 10 секунд). Эта функция ИБП позволяет не перегружать генератор при подключении нагрузки большой мощности и сохранять ПКЭ на его выходе в пределах номинальных значений.

Рис. 0-11 Схема энергоснабжения нагрузки в аварийном режиме работы СГЭ.

В автономном режиме СГЭ может функционировать в течение длительного промежутка времени, определяемого количеством топлива в топливном баке ДГУ и удельным расходом топлива (величина этого параметра зависит от нагрузки). Если энергоснабжение по городским сетям не восстанавливается по окончании ресурса топлива в штатном топливном баке, то блок автоматики ДГУ останавливает генератор, не вырабатывая минимальный резерв топлива, необходимый для гарантированного запуска ДГУ в дальнейшем. В этом случае дежурный персонал Заказчика должен принять решение о прекращении работы оборудования и отключении ИБП, либо о продолжении работы до исчерпания ресурса аккумуляторных батарей и автоматического отключения ИБП. Время автономной работы ИБП является функцией от величины текущей потребляемой мощности, поэтому уменьшение энергопотребления путем отключения менее ответственной нагрузки (рабочих станций) позволяет существенно продлить время автономной работы.

Каскадная структура построения СГЭ обеспечивает дополнительный ресурс автономной работы для наиболее ответственного оборудования (серверные комплексы, активное сетевое оборудования, а также системы связи). Поэтому даже при отключении центрального ИБП (или параллельного комплекса ИБП) файловые структуры на серверах не нарушаются, поскольку специальное программное обеспечения связи с ИБП инициирует процесс закрытия серверов в автоматическом режиме при отключении центрального ИБП.

При устранении аварии энергоснабжения здания до исчерпания ресурса топлива ДГУ блок управления ДГУ по команде от датчика состояния входной сети переключает контакто-ром нагрузку на основной вход (см. Рис. 0-12). После этого (через 120 секунд после отключения нагрузки от генератора) происходит автоматическое глушение двигателя. Этот промежуток времени, в течение которого ДГУ работает без нагрузки, позволяет быстро охладить генератор и двигатель, что гарантирует более надежный запуск ДГУ при следующих авариях.

Рис. 0-12 Схема энергоснабжения нагрузки при устранении аварии.

Поскольку энергоснабжение ответственных потребителей (группы "А") осуществляется через ИБП, искажения и помехи, вызываемые переключениями контактора ДГУ, не оказывают влияния на сеть защищенного электропитания.

Программное обеспечение и информационные интерфейсы СГЭ

Функциональная завершенность СГЭ обеспечивается включением в ее состав комплекса средств мониторинга и контроля СГЭ, реализующего следующие основные функции:

Организация информационной связи между всеми ИБП (основными и дополнительными) и файловыми серверами NetWare, серверами Windows NT, управляющими вычислительными комплексами UNIX и аналогичным оборудованием.

Использование стандартного (входящего в состав соответствующих операционных систем) и специализированного программного обеспечения, устанавливаемого на серверы, для работы с подключенными к ним ИБП.

Организация процесса закрытия файловых систем серверов в автоматическом режиме при завершении ресурса аккумуляторных батарей с последующим отключением нагрузки и выключением ИБП для предотвращения разряда аккумуляторов.

Оповещение пользователей о возникающих неисправностях в электрической сети, о предстоящем закрытии файловых систем серверов и отключении систем бесперебойного электропитания.

Организация взаимодействия со специальным программным обеспечением, устанавливаемым на выделенной рабочей станции - рабочем месте администратора локальной сети, для выполнения операций контроля и диагностики ИБП.

Обеспечение приема дополнительной информации от датчиков, подключаемых к специальным входам ИБП, и передачи ее по локальной сети. В качестве таких устройств могут использоваться датчики задымления, повышения температуры, системы контроля доступа в помещение, где располагается ИБП и аналогичные контактные устройства. Существует также возможность подключения исполнительных устройств (например, дополнительной вентиляции), управление которыми в автоматическом или ручном режиме производится с помощью программ мониторинга ИБП.

Для защиты одиночных ПЭВМ, а также технических средств, не относящихся к компьютерному оборудованию применяются ИБП, подключаемые стандартным силовым кабелем к блоку питания защищаемого устройства. Если с помощью ИБП защищается одиночный компьютер либо рабочая станция, подключенная к ЛВС, но для других пользователей не требуется информация о состоянии данного ИБП, то информационная связь ИБП-ПЭВМ не реализуется. Иначе производится дополнительное соединение (как правило, с помощью кабеля для передачи данных по последовательному протоколу RS232 - см. схему на Рис. 0-13) и на рассматриваемой рабочей станции устанавливается локальное программное обеспечение (без поддержки SNMP).

При групповом подключении нескольких стоек к одному ИБП, а также для иерархических сетей с логическими связями "клиент-сервер", информация о состоянии ИБП должна поступать прежде всего на серверы (файловые, баз данных, приложений), а также на рабочие станции, логически зависящие от этих серверов. В таких случаях информационная связь может быть осуществлена двумя способами: с применением аппаратных средств (WEB/SNMP-адаптера) в комплексе с программными средствами, а также чисто программным способом.

Применение WEB/SNMP-адаптера наиболее целесообразно для мощных ИБП, располагаемых на значительном удалении от серверного комплекса. Кроме того, установка мощного (несколько десятков кВА) оборудования бесперебойного питания производится, как правило, в отдельном помещении с ограничением доступа - в том числе и для персонала, занимающегося обслуживанием ЛВС. Таким образом, возникает необходимость применения вспомогательного устройства, выполняющего роль интерфейса между ИБП и ЛВС. В качестве такого устройства применяются адаптеры WEB/SNMP.

В составе такого адаптера имеется программируемый микроконтроллер, переводящий информационные посылки от ИБП, поступающие в виде определенной последовательности символов по каналу последовательного обмена (как правило, RS232), в формат сообщений в стандарте SNMP. Эти сообщения обрабатываются программным обеспечением, устанавливае-мом на серверах и рабочих станциях. Функциональная схема фрагмента СГЭ с использованием WEB/SNMP-адаптера показана на Рис. 0-14.

WEB/SNMP-адаптер с его внутренним программным обеспечением обозначают "агент", а программное обеспечение на рабочих станциях и серверах - "клиент".

Рис. 0-13 Информационная связь ИБП-ЛВС с использованием WEB/SNMP-адаптера.

При подключении ИБП интерфейсным кабелем (по стандарту последовательного протокола обмена RS232) непосредственно к файловому серверу NetWare или UNIX установка WEB/SNMP-адаптера не требуется, поскольку функции SNMP-агента выполняет специальное программное обеспечение, установленное на сервере (Рис. 0-13). Это программное обеспечение (состоящее из нескольких программных модулей, работающих совместно) одновременно обеспечивает трансляцию сообщений от ИБП в формат SNMP, а также выполнение необходимых операций по закрытию файловой системы, оповещению пользователей и др.

Наиболее часто такое подключение применяют для установке ИБП мощностью до 15-20 кВА при организации бесперебойного питания серверных комплексов и наиболее ответственных рабочих станций (например, консоли управления администратора ЛВС). Фрагмент СГЭ такого рода изображен на Рис. 0-14.

Рис. 0-14 Информационная связь ИБП-ЛВС без применения WEB/SNMP-адаптера.

Программное обеспечение и информационные интерфейсы СГЭ.

Функциональная завершенность СГЭ обеспечивается включением в ее состав различных аппаратных и программных средств мониторинга и контроля СГЭ, реализующих следующие основные функции:

Использование стандартного (входящего в состав соответствующих операционных систем) и специализированного программного обеспечения, устанавливаемого на серверы, для приема, отображения и обработки информации о состоянии ИБП, от которых осуществляется электропитание этих серверов.

Организация процесса закрытия файловых систем серверов в автоматическом режиме при завершении ресурса аккумуляторных батарей.

Оповещение пользователей о возникающих неисправностях в электрической сети, о предстоящем закрытии серверов, а также об отключении систем бесперебойного электропитания.

Организация взаимодействия со специальным программным обеспечением, устанавливаемым на выделенных рабочих станциях - рабочих местах администратора локальной сети (например, Novell ManageWise для Windows, HP OpenView для UNIX, SUN NetManager и др.), для выполнения операций контроля и диагностики ИБП.

Обеспечение (при использовании дополнительного оборудования) приема информации от датчиков, подключаемых к специальным входам ИБП, и ее отображение на системах визуа-лизации оперативной информации дежурного персонала.

Все перечисленные функции реализуются с помощью установки специальных программных и аппаратных средств интеграции ИБП в локальную вычислительную сеть. К их числу относятся: программное обеспечение Lansafe для Novell NetWare, UNIX и Windows а также WEB/SNMP-адаптеры.

Условия функционирования оборудования

Режим функционирования основного оборудования СГЭ определяется организационными и технологическими особенностями работы информационных и иных служб Заказчика, а также техническими условиями и рекомендациями фирм-производителей соответствующего оборудования.

Источники бесперебойного питания могут эксплуатироваться в защищенных от атмосферных воздействий помещениях в температурном диапазоне от 0°С до +40°С при относительной влажности воздуха не более 90% (при 20°С). Значение температуры, усредненное по суточному периоду не должно превышать +35°С. Максимальная продолжительность периода времени, в течение которого ИБП функционируют при температуре +40°С, не должна превышать 8 часов.

Необходимо различать понятия допустимой рабочей и оптимальной температуры. Для ИБП, важнейшим компонентом которого являются аккумуляторные батареи, значение оптимальной температуры определяется рекомендациями по условиям их эксплуатации. Оптимальной температурой, при которой фирмы-изготовители свинцово-кислотных аккумуляторных элементов гарантируют максимальное число циклов заряда-разряда и электрические характеристики, является +15 .. +25°С. При повышении температуры в первую очередь сокращается срок службы аккумуляторов. Эмпирическая зависимость выражается следующим образом: на каждые 10ОС повышения температуры срок службы сокращается в два раза.

Таким образом, одним из необходимых условий длительной безаварийной работы ИБП является поддержание температуры воздуха на уровне 20°С.

Дизельные генераторные установки предназначены для длительной эксплуатации в условиях защищенного от внешних атмосферных воздействий помещения. Автоматический запуск ДГУ без участия персонала (т. е., без необходимости выполнения дополнительных операций по технической подготовке ДГУ) гарантируется при условии обеспечения температуры окружающего воздуха не ниже +5°С.

Из-за огромных объемов энергопотребления центры обработки данных становятся фокусом нападок со стороны ратующих за бережное отношение к энергоресурсам общественных движений, а решение проблем диверсификации путей энергоснабжения переходит на общегосударственный и международный уровень. Муниципалитеты крупных городов просто ограничивают максимальную мощность для новых объектов, а в некоторых городах Европы (Амстердам) вообще запрещено создание новых объектов — потребителей электроэнергии, в том числе центров обработки данных. В прошлом году в московской энергосистеме был зафиксирован рекордный уровень нагрузки 16,2 тыс. МВт, и власти города даже были вынуждены ввести режим жесткой экономии электроэнергии. По оценкам самих энергетиков, дефицит энергомощностей в условиях динамично развивающейся экономики будет продолжать расти еще более быстрыми темпами и станет на предстоящее пятилетие одним из наиболее серьезных препятствий для развития бизнеса в нашей стране — дальше никто загадывать не берется.

Вместе с тем строительство ЦОД, являющихся крупными потребителями электроэнергии наряду с промышленными предприятиями, приобретает все более широкий размах. Причем наиболее активно этот процесс идет именно там, где развивается бизнес. Один из эффективных путей решения проблемы энергоснабжения ЦОД состоит в поиске конструктивных решений и технологий, позволяющих существенно снизить энергопотребление этих объектов и одновременно с этим обеспечить высокие требования к уровню их надежности.

По данным аналитического департамента АРС, структура потребления электроэнергии современного ЦОД выглядит следующим образом: системы охлаждения (чиллеры, прецизионные кондиционеры, системы вентиляции) потребляют 50 %, компьютерная нагрузка — 36 %, источники бесперебойного питания (ИБП) — 11 %, освещение, пожарная сигнализация — 3 %.

Эволюция классов

За последние 40 лет в эволюции дизайна инфраструктуры вычислительных центров можно выделить четыре этапа, которые нашли отражение в классификации этих объектов. Исторически вычислительные центры первого поколения стали строиться в начале 1960-х годов, второго — в 1970-х, третьего — в конце 1980-х — начале 1990-х. Появление центров обработки данных четвертого поколения датируется 1994 г.

Одна из важнейших характеристик центров обработки данных — это уровень энергопотребления на единицу площади. Начальный уровень энергетической нагрузки на единицу площади для ЦОД класса I составляет 20-30 Вт/кв. фут(215-322 Вт/кв. м),в ЦОД II и III класса этот показатель равен соответственно 40-50 Вт/кв. фуг (430-537 Вт/кв. м) и 40-60 Вт/кв. фут (430-645 Вт/кв. м), в ЦОД IV класса — 50-80 Вт/кв. фут (537-860 Вт/кв. м). Максимальное удельное энергопотребление в центрах III класса достигает 100-150 Вт/кв. фут, а в центрах IV класса превышает 150 Вт/кв. фуг.

Проблема планирования плотности энергопотребления при строительстве ЦОД сегодня усугубляется тем, что для инфраструктуры современного ЦОД характерно большое количество циклов обновления, но при этом трудно прогнозировать реальную удельную потребляемую мощность в обозримом будущем. При строительстве ЦОД большой запас по мощности может привести к чрезмерным капитальным затратам и низкой операционной эффективности. Эксперты АРС уже сталкивались на практике со спецификацией плотности энергопотребления 600-1000 Вт/ кв. фут (6450-10750 Вт/кв. м) в ЦОД нового поколения.

По информации GE, в среднем электропотребление 1 стойки за последние 5 лет выросло с 3-5 кВт до 30 кВт. Решения АРС способны отвести сегодня от стойки до 60 кВт тепла. При проектировании ЦОД более правильной в настоящее время признается модель, в которой учитывается не только цена единицы занимаемой площади, но и стоимость потребляемой электроэнергии оборудования, размещенного на ней.

К сожалению, до сих пор не существует единого российского ГОСТа, где были бы определены требования к ЦОД. На практике при расчете системы энергоснабжения подобных объектов проектировщики руководствуются действующим на территории РФ регламентирующим актом «Правила устройства электроустановок (ПУЭ)». Этот документ выделяет категории надежности электроснабжения (объекты I, II категории и объекты особой группы первой категории) и дает общие рекомендации по обеспечению каждого из уровней.

Параллельные конфигурации

При проектировании ЦОД приходится балансировать между взаимоисключающими требованиями, касающимися сдерживания растущих мощностей энергопотребления и обеспечения необходимого уровня бесперебойной работы. Вычислительные мощности центров обработки данных защищаются на нескольких энергетических рубежах: помимо входных фидеров бесперебойное и качественное питание обеспечивают дизель-генераторы и ИБП переменного тока. Для достижения требуемого уровня доступности ЦОД используют различные схемы дублирования компонентов защиты энергетической системы и путей подключения нагрузки. При полном резервировании вся энергетическая система состоит из двух частей, зеркально повторяющих друг друга (см. рисунок). Каждое «плечо» такой системы резервируется посредством параллельной схемы подключения ИБП, выбираемой в зависимости от класса доступности ЦОД: для III класса используется схема N+1 с одним активным и одним пассивным фидером, а для IV класса 2N с двумя активными фидерами.

Современная нагрузка, как правило, представляет собой вычислительные комплексы, у которых предусмотрены сдвоенные двухканальные блоки питания. Принцип работы таких систем — два блока работают параллельно, подключаясь к двум независимым линиям питания. При этом обеспечивается баланс нагрузки, так что суммарная потребляемая мощность делится пополам. Возможна и другая схема, когда один блок питания работает на полную мощность, а второй находится в горячем резерве.

Параллельная схема резервирования нагрузки подразумевает, что два или более ИБП с объединенными выходами, питающими единую нагрузку, включают в параллель, и после объединения выходов все ИБП разделят нагрузку поровну. Если к параллельной системе подключить нагрузку, мощность которой не превышает сумму номинальных мощностей всех ИБП без одного (схема N+1), то неисправность и отключение одного ИБП не приведут к проблемам с питанием нагрузки — один ИБП можно отключить от нагрузки, а остальные плавно возьмут на себя его часть. Для того чтобы заставить два или более ИБП работать в параллель, необходимо очень точно синхронизовать фазы выходного напряжения всех ИБП.

Традиционно параллельные системы с резервированием создавались путем установки блока управления работой всех ИБП. Этот компонент является узким местом параллельной схемы, в подавляющем числе систем он оказывается нерезервированным, а его отказ чреват переходом на байпас всех источников. Многие производители реализуют более надежные алгоритмы управления параллельной архитектурой с распределенной логикой управления, позволяющей, например, закрепить роль ведущего (master) за тем источником, который включается первым. Если с таким устройством что-либо происходит, то ближайший из оставшихся источников (slave) берет на себя функции ведущего. В случае неадекватного поведения одного из них право на его отключение имеют все оставшиеся устройства, при этом работоспособность системы сохраняется, если их мощность достаточна для поддержки питаемой нагрузки. Как и любая параллельная система, данная архитектура позволяет отключить на профилактику один из ИБП, не прекращая подачу «чистого» электропитания нагрузке. Недостаток архитектуры системы параллельного управления master-slave в том, что будучи единым блоком или распределенной по всем ИБП системой управления, он представляет собой выделенную нерезервированную систему управления, и ее выход из строя может привести к проблемам с нагрузкой.

Один из перспективных методов синхронизации и распределения нагрузки реализован в технологии Hot Sync, разработанной и запатентованной в Invensys Power Systems, унаследованной компанией Eaton (см. врезку «HotSync исключает точку отказа»). В отличие от параллельных систем других производителей, в этой технологии между источниками отсутствуют коммуникативные связи, и устройства не обмениваются друг с другом информацией, связанной с синхронизацией, управлением и поддержанием равномерности распределения нагрузки. В основе метода лежит алгоритм проверки любых отклонений выходной мощности ИБП, при этом каждое устройство работает независимо и в режиме полной синхронизации с остальными. В результате устройства автоматически делят нагрузку, и каждое из них, в случае отказа инвертора или какого-либо иного критического события, способно самостоятельно отключить себя от выходной шины, питающей нагрузку.

Параллельная конфигурация взята за основу производителями модульных ИБП. Их удобство состоит в том, что модульная архитектура позволяет нести затраты только на необходимое на данном этапе оборудование и оставляет гибкие возможности постепенно наращивать мощности в будущем. Сторонники модульной архитектуры подчеркивают, что данный подход более приемлем для ЦОД, поскольку отказ одного из компонентов (модулей) не приведет к отказу всей системы. Такие решения представлены в продуктовых линейках компании АРС (Symmetra LX, PX, MW в составе InfraStruXure), Emerson (Liebert-Hiross Nfinity), Newave (Concept Power), Rittal (ИБП в составе RimatriX5), Socomec-Sicon (Modulys). Противники модульной архитектуры отмечают, что с функциональной точки зрения модульные системы предназначены, прежде всего, для повышения надежности, но сама идеология их построения — увеличение количества элементов с последующим их объединением на шине переменного тока — частично противоречит поставленной задаче. Узким местом может стать и точка управления, избежать которую позволяет установка двух контроллеров.

Подключение всех модулей к общему батарейному блоку по единой шине создает дополнительную уязвимость. Кроме того, серьезная авария (например, короткое замыкание) в одном из модулей такого массива никогда не происходит изолированно — кроме одного сгоревшего блока необходимо проверить (а возможно и заменить) и соседние, расположенные снизу и сверху.

Специалисты также указывают на необходимость выполнения чрезвычайно качественного разъема, посредством которого силовой модуль устанавливается в корзину. В монолитных системах, особенно там, где протекают высокие токи, для обеспечения хорошего контакта силовые кабели обычно привинчиваются к силовым шинам и затягиваются болтами с определенным усилием. В соответствии с отечественными нормами эксплуатации электротехнических систем, необходимо периодически проводить регламентные работы, связанные с проверкой контактов. Соблюдение этих требований тем критичнее, чем более высокие токи протекают в системе. Очевидно, в каждом конкретном случае надо рассматривать возможные варианты построения системы, учитывая не только надежность, но и системотехнические, технологические и экономические аспекты.

Приводятся следующие расчеты: при использовании одиночного ИБП вероятность отказа системы «сеть-ИБП» составляет в среднем 2,4 %, включенного последовательно резервного ИБП — 1,2 %, модульной системы — 1,1 %, параллельной системы традиционной архитектуры 0,9 %, параллельной системы с поддержкой технологии Hot Sync — 0,1 %.

Резервы экономии

Коэффициент полезного действия ИБП (КПД) — чрезвычайно важный параметр, его указывают все производители в спецификации к своему оборудованию. Для ИБП мощностью 100 кВА КПД=93 % означает, что 7 % мощности рассеивается в тепло и ИБП помимо выполнения непосредственной функции по защите питания представляет собой еще и печку мощностью около 7 кВт. При этом мало кто из производителей сообщает своим заказчикам, что приведенные данные справедливы при 100 % нагрузке. Для бестрансформаторных ИБП хороший показатель КПД равен примерно 94-95 %, для трансформаторных — 92 % при полной нагрузке. Казалось бы, разница невелика. Однако ИБП, работающие в ЦОД, на 100 % никогда не нагружены из-за высокого уровня резервирования. Для определения реального уровня КПД у производителей необходимо запрашивать графики зависимости КПД конкретной модели ИБП от уровня нагрузки.

В непосредственной зависимости от КПД находится и такой показатель как время автономной работы ИБП.

При работе ИБП часть энергии теряется на выпрямителе, часть на инверторе. Вклад этих потерь по отношению к нагрузке значительно выше у ИБП с худшим показателем КПД, и разница во времени автономной работы для двух ИБП с разными КПД может оказаться очень заметной.

Высокий уровень резервирования нагрузки в центрах обработки данных в сочетании с ошибками в проектировании может привести к неочевидному, но отрицательному эффекту. Если в ЦОД используется резервный дизель-генератор, и оба ДГУ нагружены не более чем на 50 %, а в параллельной системе ИБП нагружены менее чем на 100 %, то в конечном итоге мощность ДГУ может значительно превысить реальную мощность нагрузки.

Производители ИБП, указывая характеристики КНИ потоку на входе, сообщают их значения при 100 % нагрузке. Однако если выпрямитель нагрузить менее чем на 100 %, то КНИ по току будет значительно выше заявленного. В этой ситуации специалисты сталкивались с таким явлением. Система регулирования ДГУ начинает компенсировать нелинейность, но, как правило, без специальных ухищрений сделать этого не может. В результате у генератора начинается «заброс» по напряжению — система регулирования начинает увеличивать ток в обмотке возбуждения, что приводит к увеличению напряжения. Генератор пытается снизить его путем уменьшения тока в обмотке возбуждения. Это может привести к тому, что с выхода генератора будет поступать меньше мощности на нагрузку и напряжение совсем пропадет. Поскольку система не оптимизирована на протекание высоких токов, она испытывает дополнительные потери мощности и перегрев. При сильно недогруженном ИБП генератор может просто отключиться, выдав ошибочное сообщение о завышении частоты «Over Frequency». Во избежание этой ситуации необходимо правильно рассчитывать схемы резервирования, либо применять адекватные системы фильтрации, ИБП с IGBT-выпрямителями, или бустерные системы, обеспечивающие низкий уровень КНИ по току.

В установившемся режиме чрезмерное завышение мощности ДГУ над мощностью ИБП может иметь и другие неприятные последствия. В режиме холостого хода дизель-генератора наблюдаются следующие процессы. Переход ДГУ в режим малого хода сопровождается резким уменьшением подачи топлива. Для работы на более низкой частоте система автоматически меняет пропорции газовой смеси — резко снижает количество подаваемой в камеру газовой смеси и нагнетает соответствующее количество воздуха. Понижение частоты вращения двигателя приводит к уменьшению давления впрыскивания, в результате чего распределение смеси происходит неравномерно.

При нагревании легкие фракции испаряются и сгорают, а более тяжелые осаждаются на металлических поверхностях в виде стойких отложений. Несгоревшие фракции топлива осаждаются на стенках цилиндров, попадают в подпоршне-вую полость, налипают в выхлопном тракте. При очередном увеличении нагрузки из-за повышения температуры выпускных газов может произойти воспламенение отложений в подпоршневых областях, продувочном и выпускном ресивере, что угрожает серьезными авариями двигателя. Поэтому следует избегать длительной работы ДГУ в режиме малых нагрузок (!). Для поддержки ресурсов агрегата необходимо периодически проводить «прожиг» — подключать машину к определенной нагрузке и эксплуатировать в течение установленного времени.

Дизель-генераторная установка и источник бесперебойного питания рассчитаны на работу в различных эксплуатационных режимах, поэтому их категорически недопустимо устанавливать рядом в одном помещении ЦОД. Впрочем, бывает и так, что ДГУ и ИБП находятся слишком далеко друг от друга, что также ведет к ряду сложностей — при прокладке кабелей требуются непростые кабельные разводки, которые не должны мешать прочей инфраструктуре, особенно в центре города.

Слабое звено

Неотъемлемым звеном ИБП переменного тока и электропитающей установки постоянного тока являются аккумуляторные батареи (АБ). Стандарт TIA-942 рекомендует применение в центрах обработки данных герметичных необслуживаемых аккумуляторов, изготовленных по технологии VLRA (свинцово-кислотных герметизированных батарей с регулирующими клапанами). Важный параметр аккумуляторной батареи — срок ее службы. Этот параметр обычно декларируется производителем АКБ при соблюдении нескольких важных условий — температуры эксплуатации, числа циклов разряд/заряд, глубины разряда, вольт-амперной характеристики при заряде и т. д. Одним из наиболее критичных параметров, влияющих на срок службы АКБ, является температура. Существует оптимальный температурный диапазон, при котором обеспечиваются наилучшие параметры АБ как по сроку службы, так и по емкости.

Многие производители ИБП используют технологии оптимизации режима подзаряда аккумуляторов, позволяющие продлить срок службы АБ и усовершенствовать диагностику состояния аккумуляторов. Основным является использование температурной компенсации параметров заряда с использованием термодатчиков, измеряющих температуру в батарейном шкафу. Благодаря применению технологии периодического подзаряда, обеспечивающей периоды отдыха аккумулятора, достигается меньшая внутренняя коррозия пластин батарей.

Соблюдение регламента технического обслуживания АБ — один из важнейших факторов обеспечения заявленного срока их службы. Одним из следствий нарушения условий эксплуатации может стать реакция со срывом в режим «терморазгона», способным привести к разрушению батареи. Классические аккумуляторы с гелевым электролитом достаточно устойчивы к данному явлению, хуже ведут себя в этом отношении батареи AGM. Зона, в которой размещаются батареи и ИБП в ЦОД, часто отделена от серверного зала. Для этого тяжелого оборудования укрепляется основа пола — заливается бетонная «подушка», либо устанавливается металлическая разгрузочная рама. Другая причина, по которой ИБП выносится за пределы серверного зала, — высокая стоимость единицы площади помещения и внутреннего пространства стоек, нуждающихся в усиленном кондиционировании.

Система заземления

Электронное оборудование весьма чувствительно к повышенному или изменяющемуся напряжению между системами рабочего и защитного заземления. Практика обследования систем электропитания офисных зданий показывает, что кроме проверки сопротивления изоляции, сопротивления петли «фаза-ноль», работоспособности автоматических выключателей, особой тщательности требует проверка качества выполнения системы заземления здания, системы молниезащиты и системы защиты от грозовых и коммутационных перенапряжений. Если к системе заземления здания нет доверия, или ее характеристики невозможно измерить (ситуация часто встречается в районах с плотной застройкой), она выполняется заново.

ИТАК:

· Схема электроснабжения ЦОД должна учитывать потенциальные сценарии сбоев и обеспечивать двухкратное резервирование (2N). Внутренние системы здания– N+1.

· Система мониторинга электроснабжения должна обеспечивать точное измерение его параметров в каждой выделенной зоне.

· Электроснабжение ЦОД должно предусматривать I категорию надежности. Каждый из активных вводов должен быть рассчитан на полную нагрузку ЦОД и обеспечен системой бесперебойного электроснабжения. Система не должна иметь одиночные точки отказа.

· При выполнении расчётов коэффициент одновременности нагрузки и коэффициент использования оборудования желательно принимать равным 1 (ks=1, ku=1).

· Конструкция, компоновка элементов и структура системы электроснабжения должна позволять выполнять оперативный ремонт с отключением участков кабельных систем и щитового оборудования без отключения модулей ЦОД.

· Для обеспечения возможности монтажа электроагрегатов и крупноблочного электрооборудования в помещениях должны быть предусмотрены ворота или монтажные проемы, размеры которых должны превышать габариты оборудования не менее чем на 400 мм.

· Встроенные дизельные генераторы должны отделяться от смежных помещений несгораемыми стенами 2 типа и перекрытиями 3 типа.

· Помещения с расходными баками топлива должны иметь непосредственный выход наружу, а при наличии второго выхода через другие помещения - отделяться от них тамбуром.

· Основные входы в машинные залы должны иметь размеры, обеспечивающие пронос крупногабаритных деталей и механизмов при производстве ремонтов оборудования. Расстояние от их наиболее удаленных точек до эвакуационных выходов (дверей) должно быть не более 25 м.

· Время автономной работы резервных дизельных генераторов при 75%-ной нагрузке должно быть максимальным.

· Инженерные системы (СОТ, СКУД, СОС, АУГПТ), автоматизированные рабочие места должны быть подключены через выделенные распределительные электрощиты.

ЛИТЕРАТУРА:

«Концепция построения систем бесперебойного и гарантированного электроснабжения» разработана Воробьевым А.А. для Центрального Банка РФ

Филин С.А., 2014 г.

ООО «Системс»

Ссылки:

ОРГАНИЗАЦИЯ ЭЛЕКТРОСНАБЖЕНИЯ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ.docx

ОРГАНИЗАЦИЯ ЭЛЕКТРОСНАБЖЕНИЯ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ.pdf

Концепция построения систем бесперебойного и гарантированного электроснабжения.docx

Концепция построения систем бесперебойного и гарантированного электроснабжения.pdf

Повышение селективности низковольтных автоматических выключателей.docx