Инженерные системы ЦОД
Дата-центр (от англ. data center), или центр (хранения) и обработки данных (ЦОД/ЦХОД) — это специализированное здание для размещения (хостинга) серверного и сетевого оборудования и подключения абонентов к каналам сети Интернет.
Дата-центр исполняет функции обработки, хранения и распространения информации, как правило, в интересах корпоративных клиентов — он ориентирован на решение бизнес-задач путём предоставления информационных услуг. Консолидация вычислительных ресурсов и средств хранения данных в ЦОД позволяет сократить совокупную стоимость владения IT-инфраструктурой за счёт возможности эффективного использования технических средств, например, перераспределения нагрузок, а также за счёт сокращения расходов на администрирование.
Дата-центры обычно расположены в пределах или в непосредственной близости от узла связи или точки присутствия какого-либо одного или нескольких операторов связи. Качество и пропускная способность каналов влияют на уровень предоставляемых услуг, поскольку основным критерием оценки качества работы любого дата-центра является время доступности сервера (аптайм).
История
История развития дата-центров начинается с огромных компьютерных комнат времен зарождения компьютерной индустрии. Тогда компьютерные системы были сложнее в управлении и требовали обеспечения особых условий для работы. Так как они занимали много места и требовали множества проводов для подключения различных компонентов, в компьютерных комнатах стали применять стандартные серверные стойки, фальшполы и кабельные каналы (проложенные по потолку или под фальшполом). Кроме того, такие системы потребляли много энергии и нуждались в постоянном охлаждении, чтобы оборудование не перегревалось. Не менее важна была безопасность — оборудование весьма дорогостоящее и часто использовалось для военных нужд. Поэтому были разработаны основные конструкционные принципы по контролю доступа в серверные.
В период бурного развития компьютерной индустрии и особенно в 1980-е компьютеры начинают использовать повсеместно, не особенно заботясь об эксплуатационных требованиях. Но с развитием ИТ-отрасли, компании начинают уделять все больше внимания контролю ИТ-ресурсов. С изобретением архитектуры клиент-сервер в 1990-е, микрокомпьютеры, сейчас называемые серверами, стали занимать места в старых серверных. Доступность недорогого сетевого оборудования вместе с новыми стандартами сетевых кабелей сделали возможным использование иерархического проектирования, так серверы переехали в отдельные комнаты. Термин «дата-центр», в те времена применимый к специально спроектированным серверным, начал набирать популярность и становился все более узнаваем.
Бум дата-центров приходится на период 1995—2000 годов. Компаниям было необходимо устойчивое и высокоскоростное соединение с Интернетом и бесперебойная работа оборудования, чтобы разворачивать системы и устанавливать своё присутствие в сети. Разместить оборудование, способное справиться с решением этих задач, было делом непосильным для большинства небольших компаний. Тогда и началось строительство отдельных больших помещений, способных обеспечить бизнес всем необходимым набором решений для размещения компьютерных систем и их эксплуатации. Стали развиваться новые технологии для решения вопросов масштаба и операционных требований столь крупных систем.
В наши дни проектирование и строительство дата-центров — хорошо изученная область. Сформированы стандарты, устанавливающие требования для проектирования дата-центров. К примеру специалисты Telecommunications Industry Association внесли большой вклад в формирование стандартов для дата-центров. Но все же осталось ещё много нерешенных задач в методах работы, а также строительстве дата-центров, не наносящих вреда окружающей среде и т. д.
Дата-центры требуют больших затрат как на этапе строительства, так и в процессе обслуживания, для поддержания работы на должном уровне. К примеру, дата-центр Amazon.com в Орегоне, площадь которого равна 10, 800 кв.м, оценивается в 100 млн.$.
Структура
По соответствию требованиям стандартов
В ряде стран имеются стандарты на оборудование помещений дата-центров, позволяющие объективно оценить способность дата-центра обеспечить тот или иной уровень сервиса. Например, в США принят американский (ANSI) стандарт TIA-942, несущий в себе рекомендации по созданию дата-центров, и делящий дата-центры на типы по степени надёжности. Хотя в России пока нет такого стандарта, дата-центры оснащаются согласно требованиям для сооружений связи, а также ориентируются на требования TIA-942 и используют дополнительную документацию Uptime Institute и ГОСТы серии 34.
Фактически, TIA-942 воспринимается во всем мире как единый стандарт для дата-центров, однако следует отметить что он достаточно давно не обновлялся и его достаточно сложно применить в условиях России. В то же время сейчас активно развивается стандарт BICSI 002 2010 Data Center Design and Implementation Best Practices, появившийся в 2010 и обновленный в 2011. По словам создателей стандарта "cтандарт BICSI 002 2010, в создании которого участвовали более 150 экспертов, дополняет существующие стандарты TIA, CENELEC и ISO/IEC для центров обработки данных". Каждый из стандартов, как правило имеет свою внутреннюю классификацию дата-центров по совокупности их параметров.
По размеру
• Крупные дата-центры имеют своё здание, специально сконструированное для обеспечения наилучших условий размещения. Обычно они имеют свои каналы связи, к которым подключают серверы.
• Средние дата-центры обычно арендуют площадку определённого размера и каналы определённой пропускной способности (обычно измеряется в Мбит/с).
• Малые дата-центры размещаются в малоприспособленных помещениях. Часто ими используется оборудование плохого качества, а также предоставляется самый минимум услуг.
• Контейнерные дата-центры. Стойки с оборудованием размещаются в стандартных ISO контейнерах размером 20 и 40 футов. Имеют преимущества т.к. могут перевозиться автомобильным и железнодорожным транспортом.
По надёжности
Основной показатель работы ЦОД — отказоустойчивость; также важна стоимость эксплуатации, показатели энергопотребления и регулирования температурного режима.
Например, стандарт TIA-942 предполагает четыре уровня надёжности дата-центров:
• Tier 1 (N) — отказы оборудования или проведение ремонтных работ приводят к остановке работы всего дата-центра; в дата-центре отсутствуют фальшполы, резервные источники электроснабжения и источники бесперебойного питания; инженерная инфраструктура не зарезервирована;
• Tier 2 (N+1) — имеется небольшой уровень резервирования; в дата-центре имеются фальшполы и резервные источники электроснабжения, однако проведение ремонтных работ также вызывает остановку работы дата-центра;
• Tier 3 (N+1) — имеется возможность проведения ремонтных работ (включая замену компонентов системы, добавление и удаление вышедшего из строя оборудования) без остановки работы дата-центра; инженерные системы однократно зарезервированы, имеется несколько каналов распределения электропитания и охлаждения, однако постоянно активен только один из них;
• Tier 4 (2(N+1)) — имеется возможность проведения любых работ без остановки работы дата-центра; инженерные системы двукратно зарезервированы, то есть продублированы как основная, так и дополнительная системы (например, бесперебойное питание представлено двумя ИБП, работающими по схеме N+1).
По предназначению
Дата-центры по виду использования подразделяют на корпоративные, предназначенные для обслуживания конкретной компании, и коммерческие (аутсорсинговые), предоставляющие услуги всем желающим. Также разделяют провайдерозависимые и провайдеронезависимые дата-центры. Первые служат для обеспечения деятельности телекоммуникационных операторов, вторые могут использоваться разными компаниями в соответствии с их нуждами.
Услуги дата-центров
• Виртуальный хостинг. Крупные дата-центры обычно не предоставляют подобную массовую услугу из-за необходимости обеспечения техническо-консультационной поддержки.
• Виртуальный сервер. Предоставление гарантированной и лимитированной части сервера (части всех ресурсов). Важная особенность данного вида хостинга — разделение сервера на несколько виртуальных независимых серверов, реализуемых программным способом.
• Выделенный сервер. Дата-центр предоставляет клиенту в аренду сервер в различной конфигурации. Крупные дата-центры в основном специализируются именно на подобных типах услуг.
• Colocation. Размещение сервера клиента на площадке дата-центра за определённую плату. Стоимость зависит от энергопотребления и тепловыделения размещаемого оборудования, пропускной способности подключаемого к оборудованию канала передачи данных, а также размера и веса стойки.
• Аренда телекоммуникационных стоек. Передача клиенту стоек для монтажа собственного или клиентского оборудования. Формально это частный случай colocation, но с основным отличием в том, что арендаторы в основном юридические лица.
• Выделенная зона (Dedicatedarea). В некоторых случаях владельцы дата-центра выделяют часть технологических площадей для специальных клиентов, как правило, финансовых компаний, имеющих строгие внутренние нормы безопасности. В этом случае дата-центр предоставляет некую выделенную зону, обеспеченную каналами связи, электроснабжением, холодоснабжением и системами безопасности, а клиент сам создает свой дата-центр внутри этого пространства.
Инженерные системы
Инженерная инфраструктура центров обработки данных представляет собой комплекс технических средств обеспечения доступа к вычислительным ресурсам. Это такие системы, как система бесперебойного электропитания, вентиляции и пожаротушения и т.д.
Инженерные системы дата-центра являются комплексной системой жизнеобеспечения и обеспечивают физическую безопасность вычислительных подразделений от стихийных бедствий, несанкционированного доступа, пожаров и наводнений.
Инженерная инфраструктура вычислительного комплекса еще на уровне проектирования ЦОД создается с учетом его будущего масштабирования и включает ряд резервных подсистем, в том числе обеспечивающих стабильную работу серверов и СХД, установленных в дата-центре. Она составляет большую часть себестоимости ЦОД, нередко доходя до 70%. При этом распределение затрат на подсистемы дата-центров неравномерно. Наибольшая доля, около трети всех потраченных финансовых ресурсов, приходится на стоимость системы гарантированного электропитания (34%). Также значительные траты предусматривают организация кондиционирования (21%) и архитектура самого здания (23%). На коммуникационные сети приходится 7% плюс еще около 9% на оборудование газового пожаротушения, систем управления доступом и видеонаблюдения и шкафную инфраструктуру. Наименьшую долю в крупных затратах составляет организация системы мониторинга (1%). Очевидно, что на три первых системы ложится подавляющая часть расходов (78%). Следовательно, можно добиться значительной экономии за счет их оптимизации.
При этом эксперты советуют не экономить на создании систем кондиционирования и рекуперации тепла, а уж тем более на системах безопасности и мониторинга. Основные направления оптимизации расходов должны быть направлены на создание эффективного обеспечения бесперебойного и гарантированного электропитания, а также на организацию компактной расстановки оборудования. Естественно, что эти работы должны проводиться только специалистами высокого уровня.
Расчет снижения себестоимости создания и эксплуатации ЦОД должен производиться еще на этапе его проектирования, хотя лучше озаботиться этим уже при формировании концепции.
Тщательная проработка на начальных этапах способов обеспечения отказоустойчивости и повышения времени автономной работы центра обработки данных обеспечивает успешное прохождение им необходимых процедур сертификации.
Требования к инженерной инфраструктуре ЦОД
Технологии не стоят на месте, и с течением времени создаются все более сложные информационные комплексы. Соответственно, ужесточаются нормативы, предъявляемые к инфраструктуре.
В современных ЦОД в одном помещении могут работать тысячи серверов с совокупным энергопотреблением до миллиона Вольт-Ампер. Критичность обрабатываемых ими процессов бывает такова, что любая остановка даст колоссальные финансовые потери. Например, всего 20 минут простоя процессинг-центра крупной телекоммуникационной компании приводит к убытку в 1 000 000 долларов США.
Поэтому инженерная инфраструктура ЦОД должна отвечать целому списку жестких требований, счет которых в техзаданиях идет на десятки. Вкратце можно свести их к следующим четырем направлениям:
Надежность
Достигается благодаря учету многих факторов. Это использование только современного оборудования ведущих мировых производителей, привлечение высококвалифицированных специалистов и резервирование основных узлов инженерной инфраструктуры. В общем, в эту группу входит все, что может гарантировать бесперебойное функционирование всех элементов ЦОД.
Управляемость
Управление системами инженерного обеспечения должно позволять своевременно прогнозировать все возможные сбои и поломки оборудования для заблаговременного предотвращения аварий.
Безопасность
Необходима тщательная проработка всех потенциальных угроз, включающих в себя не только технические сбои, но и любые несанкционированные действия (как сотрудников, так и недобросовестных конкурентов, хакеров и так далее). Такая проработка формируется еще на этапе планирования инженерной инфраструктуры дата-центров, позволяя гарантировать должный уровень безопасности.
Масштабируемость
Все системы инженерного обеспечения вычислительных центров должны гибко адаптироваться к растущим потребностям, в первую очередь, путем создания стандартизированных и модульных решений. Естественно, это необходимо планировать на самых ранних этапах создания центра.
Этапы построения инфраструктуры
Построение нового ЦОД – это непростой проект, реализация которого невозможна без практического опыта и видения долгосрочной стратегии развития. При проектировании и строительстве вычислительного центра необходимо учитывать множество факторов, часть из которых может быть неочевидной до начала эксплуатации.
Конкретная реализация может варьироваться, но, как правило, процесс построения ЦОД состоит из четырех этапов:
Формирование концепции (анализ задач и поиск оптимальных решений);
Проектирование ЦОД (разработка проекта и сметной документации, их экспертиза и все необходимые согласования);
Строительство ЦОД (строительно-монтажные работы, установка оборудования, испытания);
Ввод объекта в эксплуатацию (окончательное конфигурирование всех систем и процессов).
Стоимость построения инфраструктуры, а также скорость реализации решений и их эффективность в немалой степени зависят от помещения. При выборе места приходится учитывать воздействия многих внутренних и внешних факторов: техногенных, природных и человеческого. Даже если подходить только с точки зрения построения инженерной инфраструктуры, придется обращать внимание на множество деталей. Например, необходимо учитывать особенности архитектуры, нагрузку на перекрытия, огнестойкость дверей и стен, применяемые для потолочных перекрытий и стен отделочные материалы, а также наличие погрузочно-разгрузочной зоны и грузового лифта. Не меньшее значение имеют системы электроснабжения, кондиционирования, автоматического пожаротушения, охранной сигнализации и видеонаблюдения.
Изучение всех факторов, влияющих на выбор помещения, требует больших трудозатрат. Но в дальнейшем будет намного проще выбрать действительно хорошую площадку и при этом не сталкиваться с непредвиденными расходами на этапе построения ЦОД.
Наконец, рассмотрим характеристики самих систем, из которых состоит дата-центр.
Электроснабжение
В первую очередь, требуется обеспечить высокое качество электроэнергии и недопущение перерывов в электроснабжении. В идеале должен быть разработан надежный комплекс, состоящий из систем бесперебойного и гарантированного питания, резервных дизель-генераторов, стабилизаторов напряжения для обеспечения чистого электропитания компьютерной техники, систем освещения и внутреннего электроснабжения.
Система кондиционирования технологических помещений
Здесь уже стало классическим подходом применение следующей схемы охлаждения: совмещение использования промышленных кондиционеров (отличающиеся высокой надежностью, большим ресурсом работы и высокой точностью поддержания параметров микроклимата в помещении) с более «мобильными» сплит-системами полупромышленного класса.
Системы безопасности (СКУД, видеонаблюдение, оповещение, пожарная сигнализация и пожаротушение).
К этой категории относят системы, необходимые для контроля доступа в здания и помещения, отслеживания текущей ситуации, предупреждения об опасности и принятия эффективных мер при авариях. Здесь ключевую роль играют инструменты раннего обнаружения дыма. Они особенно актуальны для площадей с сильным воздухопотоком (серверных и машинных залов), где сложно уловить дым стандартными датчиками. Быстро обнаружив малейшее тление кабелей или оборудования, можно предотвратить аварию и остановку критичных приложений. Физическая безопасность, здесь используются современные технологии, например, 3D-распознавание лица посетителя в пропускной системе. Для крупных объектов формируется несколько рубежей видеонаблюдения и охранной сигнализации. Использование современного оборудования позволяет вести постоянный мониторинг всей ситуации на дата-центре в режиме онлайн.
Системы передачи данных
Вся телекоммуникационная сеть, составляющая единое информационное пространство. Как правило, это структурированная кабельная система, состоящая из отдельных модулей, что позволяет быстро устранять неполадки, восстанавливая связь за счет перехода на резервные линии. C повышением требований к сетевой инфраструктуре и увеличением количества «тяжелых» приложений, повышаются требования к пропускной способности, надежности и защите сети, ее управляемости и снижению стоимости эксплуатации.
Диспетчеризация
В работе ЦОД важен постоянный мониторинг информационных систем. Для этого используются специальные комплексы, позволяющие одновременно контролировать большое количество важных параметров. Причем для каждого дата-центра необходимо создавать собственные решения, с учетом эргономики и биомеханики. Активно применяются графические стены, состоящие из отдельных модулей (видеокубов). Благодаря высокому разрешению проекционных модулей система имеет высокую информационную емкость, что необходимо для эргономики восприятия большого объема данных.
Системы часофикации
Системы часофикации предполагают установку часов — стрелочных и цифровых — и их синхронизацию с единым мировым временем. Также система часофикации позволяет синхронизировать локальные вычислительные сети и другие системы и оборудование, для работы которых важна синхронизация по времени, например, инженерные системы и системы безопасности.
В физической инфраструктуре ЦОД старших уровней инженерные подсистемы рассматривают как единое комплексное решение, интегрированное со службами эксплуатации здания и сетевой инфраструктурой компании-владельца, сюда включаются системы кондиционирования и вентиляции дата-центра, системы бесперебойного электропитания и технической безопасности.
С учетом важности задач, к инженерной инфраструктуре предъявляют ряд обязательных требований:
• надежность эксплуатации
• долгий срок службы
• высокая управляемость
• полная безопасность
• легкий доступ к отдельным компонентам подсистем для ремонта и диагностики
• бесперебойная подача электроэнергии
• низкая совокупная стоимость владения
Общие принципы построения инженерных систем:
• соблюдение отраслевых международных стандартов
• высокая надежность
• эффективность
• физическая безопасность
• модульность с возможностью замены неисправных модулей в режиме «горячей замены»
• технологичность
• управляемость. Высокая управляемость достигается путем подключения активных подсистем к центральной диспетчерской службе через стандартные сетевые интерфейсы.
• централизованное управление инженерным комплексом и удаленная диагностика исключает возможные сбои в сети и позволяет быстро устранять аварийные ситуации.
• информационная и физическая безопасность.
• высокая масштабируемость.
Система технического обслуживания и ремонта инженерной инфраструктуры ЦОД включает в себя следующие виды работ:
· техническое обслуживание;
· плановый текущий ремонт;
· плановый капитальный ремонт;
· внеплановый ремонт;
· наблюдение за работой оборудования;
· периодический осмотр и контроль за техническим состоянием оборудования;
· устранение обнаруженных дефектов;
· регулировка;
· настройка.
Подробнее все эти вопросы Вы можете изучить ознакомившись с предлагаемой этой рубрикой подборкой статей.
С.А. Филин, 2016 г.
