Технопарк Мордовии
Первое удостоверение в России объекта уровня IV по Uptime Institute (проектирование)
Следующий шаг: Подготовка к сертификации всего комплекса оборудования.
Алексей Карпов
Республика Мордовия.
Технопарк Мордовии является одним из крупнейших проектов в регионе (см Рисунок 1). Объект представляет собой мини-город, который включает в себя научно-исследовательские организации, промышленные объекты, бизнес-центры, выставочные центры, школы, жилой поселок, а также сервисные центры. Одним из ключевых частей проекта является центр обработки данных (ЦОД), который предназначен для предоставления информационных, вычислительных и телекоммуникационных услуг и ресурсов для резидентов Технопарка-Мордовия, органов государственной власти, предприятий региона, так и страны в целом. Комплекс е центра обработки данных разместятся организации, занимающиеся преимущественно в разработке программного обеспечения, а также компании, деятельность которых связана с информационной средой, созданием информационных ресурсов и баз данных с использованием современных технологий.
Рис. 1. Карта Мордовии
Центр обработки данных предлагает и услуги хостинга, обслуживание оборудования, инфраструктуры как сервиса (IaaS) через терминал доступа и через открытые и защищенные каналы, а также доступ к программному обеспечению Groupware на основе модели SaaS. В результате Центр обработки данных Технопарка позволит свести к минимуму расходы резидентов для проведения исследований, управления общими строительных и дизайнерских проектов, а также позволит взаимодействовать с заказчиками на ранних этапах а за счет использования информационных и телекоммуникационных функций и коллективного пользования, дорогостоящего программного обеспечения и аппаратных программных комплексов.
Администрация Мордовии участвовала в создании и финансировании проекта, чтобы помочь предприятиям в развитии и продвижении инновационных продуктов и технологий. Около 30 ведущих научно-технических центров готовы сотрудничать с Технопарк-Мордовия. Эти организации, смогут благодаря поддержке Центра данных Технопарка, проводят исследования, и внедряют в производство новые и инновационные технологии, продукты и материалы, (рисунок 2).
Рис.2 (а-б). Центр обработки данных
Почему выбрана сертификация проектирования?
Центр обработки данных «Технопарк» является самым крупным и самым мощным вычислительный центром в Мордовии. Ее разработчики рассчитывали, что объект будет в конечном итоге использоваться многими правительственными программами. Кроме того, центр обработки данных также будет использоваться для тестирования и запуска программ электронного правительства, которые в настоящее время находятся в стадии разработки.
"Наш план состоит, чтобы привлечь несколько групп разработчиков, которые должны стать резидентами. Они будут использовать вычислительный центр в качестве испытательного полигона для разработки программ, таких как Безопасный город, медицинские услуги для граждан и т.д. Поэтому мы обязаны предоставлять врачам круглосуточно онлайновый доступ к истории болезни, а также обеспечить трафик полиции с тем же уровнем доступа к программам управления транспортной сети в регионе " – заявляет Алексей Романов, директор Gosinform (а) - государственного оператора Технопарка-Мордовия.
Для удовлетворения этих требований заказчика, Техносерв, следуя положениям требований Uptime Institute для инженерной инфраструктуры центра обработки данных (Site Infrastructure Tier Standard: топологии) провел сертификацию проекта. В результате детального изучения проектной документации получено заключение, что все инженерные системы ЦОД полностью удовлетворяют требованиям Uptime Institute Tier IV. Сертификация проектной документации гарантирует соответствие дублирования, физического разделения и возможностей технического обслуживания оборудования и распределительных сетей (см. рис. 3 и 4).
Рис. 3.
Рис. 4.
Выполнение ЦОД(ом) требований Uptime Institute Tier IV позволит Мордовии достичь значительной экономии, поскольку этот Центр обработки данных делает возможным создание центрального ЦОД региона, который будет опираться региональные центры более низкого уровня. Эти региональные центры хотя не сертифицированы по Tier Uptime Institute, но уже построены, и удовлетворяют требованиям к резервным компонентам, что, в свою очередь снижает общие капитальные затраты. В то же время, центральный ЦОД обеспечивает резервное копирование данных в случае выхода из строя (простоя) одного или нескольких из региональных центров обработки данных.
Центр обработки данных Технопарк является ядром всех ИТ-услуг в Мордовии. Региональные центры обработки данных, в этой среде, используются как "терминалы доступа" поэтому в правительстве приняли решение , что не надо было строить их с высокими требованиями к надежности.
Параметры Центра обработки данных
Центр обработки данных Технопарк представляет собой 1 900 кВт объект, который может вместить около 110 стоек, при среднем расходе 8-9 кВт на стойку. Питание осуществляется от четырех независимых источников: два независимых каналов от системы электроснабжения города и дизель-генераторных установок с 2-N резервированием.
Основные характеристики:
(Таблица 1)
Центр обработки данных здание представляет собой многоэтажное здание. Серверы занимают первый этаж: вычислительные ресурсы (также различные виды ИТ-оборудования - основные вычислительных, телекоммуникационных и систем хранения) размещаются в трех помещениях.. Административный блок и колл-центр находятся на втором этаже.
Чиллеры, насосные станции, резервуары для хранения охлажденной воды, и батареи ИБП, и т.д. находятся в подвале и технических этажей. Трансформаторы и дизельные генераторы расположены в отдельной зоне, прилегающей к центру обработки данных. Топливные баки расположены в двух углубленных хранилищах на противоположных сторонах здания.
Конструкция центра обработки данных включает в себя несколько энергосберегающих технологий, что позволяет средство быть очень низким энергопотреблением по российским стандартам (PUE <1,45). Например, система охлаждения включает в себя режим свободного охлаждения, а все мощности и охлаждающее оборудование работает в режимах, предназначенных для обеспечения максимальной эффективности.
Другие особенности обеспечения энергоэффективности:
• Вычислительный оборудование установлено в конфигурации холодного и горячего коридоров. В двухрядное охлаждение дополнительно повышает эффективность использования энергии.
• Система охлаждения использует эффективные чиллеры с винтовыми компрессорами и водяным охлаждением конденсатора. Сухие градирни установлены на охладителе крыше конденсаторов холодильных машин и используются в летнее время. Зимой эти градирни помогают обеспечить свободное охлаждение. Расчеты для проектирования системы охлаждения и кондиционирования воздуха были выполнены в соответствии со стандартами ASHRAE.
• Все элементы сконструированных систем, а также самих систем, интегрированы в единый BMS. Система BMS управляет всеми необходимыми функциями оборудования и взаимосвязанных подсистем, она быстро локализует неисправности и ограничивает последствия чрезвычайных ситуаций. Техносерв использует распределенную архитектуру, в которой каждый компонент имеет специальный контроллер, который обменивается информацией с BMS. Если серверы BMS терпят выходят из строя, отдельные контроллеры поддерживают автономное управление оборудованием. Также BMS собирает и обрабатывает исчерпывающие объемы информации об оборудовании, сообщений о проблемах и данных архивов. Отображение информации предоставляется в диспетчерской для операторов, где они могут контролировать работу всех элементов инженерной инфраструктуры.
Есть планы, сертифицировать по Tier ЦОД как построенный объект.
С точки зрения безопасности, центр обработки данных состоит из трех уровней доступа:
• Зеленые зоны обеспечивают открытый допуск для пользователей и в выставочном зале.
• Синие зоны ограничены резидентами Технопарка Data Center, выполняющих свои собственные ИТ-проекты.
• Красные участки открыты только для сотрудников центра обработки данных.
Три независимых волоконно-оптических линий, каждая из которых имеет емкость 10 Гбит в секунду, обеспечивает бесперебойную работу и высокую пропускную способность систем передачи данных для пользователей всей сетевой инфраструктуры Дата Центра. В качестве телекоммуникационных партнеров ЦОД Технопарка были выбраны ключевые магистральные операторы России (Ростелеком, Транстелеком, и Мегафон).
Центр обработки данных также включает в себя систему мониторинга и диспетчеризации. Система основана на трех программных продуктов: EMC Ionix (мониторинг доступности всех компонентов ИТ-инфраструктуры), EMC APG (накопление статистики и анализа производительности), VMware VCENTER Operations Enterprise (мониторинг интеллектуальные производительности и емкости объектов виртуальных сред VMware), а также модули интеграции, специально разработанные компанией Техносерв.
Рисунок 5. Внутри зала данных.
Как уже отмечалось ранее, центр обработки данных был разработан для достижения самых высоких уровней надежности. Есть несколько центров обработки данных в России, которые выполняют важнейшие национальные задачи, но ни один из этих объектов не сертифицирован по высочайшим уровням надежности. Это требование сделало задачу более сложной для всех. Техносерв должен был сделать то, что никогда не было сделано в России и сделать это в течение ограниченного времени. Компании Техносерв удалось совершить этот подвиг менее чем за два года.
В процессе сертификации проекта в Uptime Institute, Техносерв находился в тесном контакте с экспертами в предметной области Uptime Institute. В результате Техносерв удалось разработать решения для всех возникших проблемы. Компания гордится квалификацией специалистов Техносерв, которые имеют большой опыт в проектировании и строительстве центров обработки данных и работа которых послужила основой для успешного завершения этого проекта.
Техническая проблемы были значительными. Выполнение требований проектной документации по Tier IV потребовали большого числа избыточных элементов, тесную взаимосвязь механических и электрических систем, а также проведение тестирования, для практической демонстрирации, того что чрезвычайные ситуации могут быть решены без вмешательства человека или повреждения ИТ-оборудования.
Необходимо было учесть все возможные события, а затем правильно развивать BMS оборудование, которое отвечало бы за эти потенциальные проблемы. Кроме того, система автоматизации должна работать и без потери функциональных возможностей в случае неисправности системы BMS. Разработка и внедрение алгоритмов для BMS потребовали участия всех подразделений автоматизации Техносерв и почти 6-ти месяцев напряженной работы.
Важно было ограничить шум от инженерного оборудования, так как центр обработки данных расположен в жилом районе. Меры шумоизоляции прошли необходимые экспертизы нормативно-правовых документов. Знание местных нормативно-правовых актов является ключом!
Компания Техносерв также вновьубедилась, что нет мелких деталей и вопросов при создании центра обработки данных как объекта высоких технологий. Например, верхнее покрытие при наносении на пол во время строительства вызвало активное окисление полов. Только после многочисленных измерений и испытаний, в Техносерве обнаружили, что добавки в композиции для покрытия вошли в электрохимическую реакцию с металлом, с образованием серную кислоту что создало электрический потенциал между стойками и фальшполом.
Центр обработки данных в настоящее время действует. Техносерв планирует завершить сертификацию Tier IV для объекта.
Алексей Карпов является руководителем департамента строительства центра обработки данных компании Техносерв. Имея более чем 10-летний опыт работы в области проектирования и строительства центров обработки данных, г-н Карпов является аккредитованным Tier Designer, Certified Data Centre Design Professional и Certified Data. под его руководством завершены такие два крупномасштабных проекта как Банк ВТБ (признан самым крупным инфраструктурным проектом в России в 2010 году), а также центр обработки данных для Башнефти.
Техносерв, крупнейший российский системный интегратор, был основан в 1992.Компания занимается установкой, разработкой и аутсорсингом обслуживания ИТ-инфраструктуры и систем связи и систем информационной безопасности, а также энергетических систем и платформ приложений. По мнению РА Эксперта, ведущий российского аналитического агентства, Техносерв является лидером в области предоставления ИТ-услуг в России. Объем бизнеса подтверждают лидерство компании на российском рынке информационных технологий; общий оборот группы компаний Техносерв превысил 43 млрд рублей в 2012 финансовом году.
Перевод и адаптация – С.А.Филин
Источник - https://journal.uptimeinstitute.com/russias-first-tier-iv-certification-design-documents/
Оригинал:
Russia’s First Tier IV Certification of Design Documents
Next Step: Preparing for Facility Certification
By Alexey Karpov
Mordovia Republic-Technopark Mordovia Data Center (Technopark Data Center) is one of the most significant projects in Mordovia (see Figure 1). The facility is a mini-city that includes research organizations, industry facilities, business centers, exhibition centers, schools, a residential village, and service facilities. One of the key parts of the project is a data center intended to provide information, computing, and telecommunication services and resources to residents of Technopark-Mordovia, public authorities, business enterprises of the region, and the country as a whole. The data processing complex will accommodate institutions primarily engaged in software development, as well as companies whose activities are connected with the information environment and the creation of information resources and databases using modern technologies.
Figure 1. Map of Mordovia
The data center offers colocation and hosting services, hardware maintenance, infrastructure as a service (IaaS) through a terminal access via open and secure channels, and access to Groupware software based on a SaaS model. As a result, Technopark Data Center will minimize the residents’ costs to conduct research, manage general construction and design projects, and interact with consumers in the early stages of production through outsourcing of information and telecommunication functions and collective use of expensive software and hardware complexes. Mordovia created and helped fund the project to help enterprises develop and promote innovative products and technologies. About 30 leading science and technology centers cooperate with Technopark-Mordovia, conduct research, and introduce into production new and innovative technologies, products, and materials because of the support of the Technopark Data Center (see Figure 2).
Figures 2 (a-b) Above. Renderings of the Technopark Data Center show both elevated and street-level views.
Why Design Certification?
Technopark Data Center is the largest and most powerful computing center in Mordovia. Its designers understood that the facility would eventually serve many of the government’s most significant social programs. In addition, the data center would also be used to test and run Electronic Government programs, which are currently in development. According to Alexey Romanov, Director of Gosinform, the state operator of Technopark-Mordovia, “Our plan is to attract several groups of developers to become residents. They will use the computing center as a testing ground for developing programs such as Safe City, medical services for citizens, etc. Therefore, we are obliged to provide the doctors with round the clock online access to clinical records, as well as provide the traffic police with the same access level to the management programs of the transport network in the region.”
To meet these requirements, Technoserv followed the provisions of Uptime Institute requirements for engineering infrastructure (Data Center Site Infrastructure Tier Standard: Topology). As a result, all engineering systems are designed to fully meet requirements for Uptime Institute Tier IV Certification of Design Documents for redundancy, physical separation, and maintenance of equipment and distribution lines (see Figures 3 and 4).
Figure 3. One-line diagram shows Technopark Data Center’s redundant power paths.
Figure 4. Technopark Data Center’s processing area.
Meeting these requirements enables Mordovia to achieve significant savings, as the Technopark Data Center makes possible an overall data center plan that makes use of lower reliability regional centers. Though not Tier Certified by the Uptime Institute, these regional data centers are built to follow redundant components requirements, which reduces capital costs. Meanwhile, the central data center provides backup in case one of the regional data centers experiences downtime.
The Technopark Data Center is the core of all IT services in Mordovia. The regional data centers are like “access terminals” in this environment, so the government reasoned that it was not necessary to build them to meet high reliability requirements.
The Data Center Specification
The Technopark Data Center is a 1,900-kW facility that can house about 110 racks, with average consumption of 8-9 kW per rack. Power is supplied from four independent sources: two independent feeds from the city’s electricity system and diesel generator sets with 2N redundancy.Main characteristics: (See Table 1)
The data center building is a multi-story structure. Servers occupy the first floor: computing resources are placed in three areas, and various types of IT equipment (basic computing, telecommunications, and storage systems) are placed in different rooms. The administrative block and call-center are on the second floor.
Chillers, pumping stations, chilled water storage tanks, and UPS batteries, etc. are located in the basement and technical floors. Transformers and diesel generators are located in a separate area adjoining the data center. Diesel fuel tanks are located in two deepened areas at opposite sides of the building.
The data center design includes several energy-saving technologies, which enables the facility to be very energy efficient by Russian standards (PUE <1.45). For example, the cooling system includes a free-cooling mode, and all power and cooling equipment operate in modes intended to provide maximum efficiency. Other energy efficiency details include:
· Computing equipment is installed in a Cold Aisle/Hot Aisle configuration, with containment of the Hot Aisles. In-row cooling further improves energy efficiency.
· The cooling system utilizes efficient chillers with screw compressors and water-cooled condensers. The dry cooling towers installed on the roof refrigerate the condensers of the chillers in the summer. In the winter, these cooling towers help provide free cooling. Calculations for the design of the cooling system and air conditioning were performed according to ASHRAE standards.
· All elements of the engineered systems, as well as the systems themselves, are integrated into a single BMS. This BMS controls all the necessary functions of the equipment and interconnected subsystems and quickly localizes faults and limits the consequences of emergencies. Technoserv utilizes a distributed architecture in which each component has a dedicated controller that feeds information back to a single BMS. If the BMS servers fail, the individual controllers maintain autonomous control of the facility.The BMS also collects and processes exhaustive amounts of information about equipment, issues reports, and archives data. A control room is provided at the facility for operators, where they can monitor the operation of all elements of the engineering infrastructure.
Table 1. The Technopark Data Center is designed to be Fault Tolerant. Plans are being made to begin the Tier Certification for Constructed Facility.
From a security standpoint, the data center is organized into three access levels:
· Green areas provide open admission for users and to the showroom.
· Blue areas are restricted to Technopark Data Center residents performing their own IT projects.
· Red areas are open only to data center staff.
Three independent fiberoptic lines, each having a capacity of 10 Gbits per second, ensure uninterrupted and high capacity data transmission to users of Technopark Data Center’s network infrastructure. Russia’s key backbone operators (Rostelecom, Transtelekom, and Megaphone) were selected as Technopark Data Center’s telecom partners because of their well-connected and powerful infrastructure in Russia.
The data center also includes a monitoring and dispatching system. The system is based on three software products: EMC Ionix (monitoring the availability of all components of the IT infrastructure), EMC APG (accumulation of statistics and performance analysis), VMware vCenter Operations Enterprise (intelligent performance monitoring and capacity of objects the virtual environments VMware), and integration modules specially designed by Technoserv.
Challenges
Figure 5. Inside a data hall.
As noted previously, the data center was designed to achieve the highest levels of reliability. There are some data centers in Russia that perform critical national tasks, but none of those facilities require the highest levels of reliability. This reality made the task seem more daunting to everyone who worked on it. Technoserv had to do something that had never been done in Russia and do so in a limited time. Technoserv managed to accomplish this feat in less than two years.
During the Uptime Institute’s Design Certification process, Technoserv stayed in close contact with Uptime Institute subject matter experts. As a result, Technoserv was able to develop solutions as problems emerged. The company is also proud of the qualifications of Technoserv specialists, who have extensive experience in designing and building data centers and who provided the basis for the successful completion of this project.
The technical challenge was also significant. Meeting Tier IV Design Documents requirements can require a large number of redundant elements, the close relationship of mechanical and electrical systems, and testing to demonstrate that emergencies can be addressed without human intervention or damage to IT equipment.
It was necessary to account for all developments in the space and then properly develop BMS hardware that would meet these potential challenges. In addition, the automation system should also work with no loss of functionality in the event of a fault of the BMS system. Design and implementation of algorithms for the BMS demanded involvement of the automation division of Technoserv and almost 6 months of hard work.
It was important to limit the noise from the engineering equipment, as the data center is located in a residential area. Noise insulation measures required examination of the normative and regulatory documents. Knowledge of local codes was key!
Lessons Learned
Technoserv also learned again that there no minor details in a high-tech data center. For example, a topcoat applied to the floor during construction caused the floor to oxidize actively. Only after numerous measurements and testing did Technoserv find that the additive in the coating composition had entered into an electrochemical reaction with the metal supports that formed sulfuric acid and caused an electric potential on the racks of the raised floor.
The data center is currently operational. Technoserv plans to complete the Tier IV Certification of Constructed Facility process.
Alexey Karpov is head of the Data Center Construction Department at Technoserv. Having more than 10 years experience in designing and building data centers, Mr. Karpov is an Accredited Tier Designer, Certified Data Centre Design Professional, and Certified Data Centre Management Professional. VTB Bank, recognized as the largest infrastructure project in Russia in 2010, and the data center for Bashneft are two large-scale projects completed under his guidance. Technoserv, Russia’s largest system integrator, was founded in 1992.Technoserve installs, develops, and outsources IT infrastructure and develops communications, engineering, and information security systems as well as power systems and application platforms. According to RA Expert, a leading Russian analytical agency, Technoserv is a leader in providing IT services in Russia. Business volumes confirm the company’s leadership in the Russian IT market; total revenues for the entire Technoserv group of companies exceeded 43 billion rubles in fiscal year 2012.
https://journal.uptimeinstitute.com/russias-first-tier-iv-certification-design-documents/
