ЦОД. Строить или арендовать?
Стоит ли инвестировать в настолько сложный и дорогостоящий проект, когда существуют услуги colocation (размещения оборудования на стороне провайдера) и облачные сервисы? По мере роста бизнеса возникает потребность в расширении потребляемых информационных ресурсах, которые можно либо приобретать как услугу у ИТ-провайдера в коммерческом ЦОД, либо развивать их как собственный актив. Также, существует опция совмещения обоих подходов в рамках корпоративной стратегии – часть данных и приложений размещается в собственном дата-центре, часть отдается на сторону.
Услуги дата-центров помимо бизнес-сегмента сегодня все чаще востребованы госпредприятиями. Им, а также финансовым и телекоммуникационным компаниям может требоваться надежное хранилище больших массивов данных и другие ИТ-услуги, которые нельзя доверить стороннему провайдеру.
Главное преимущество владения собственным дата-центром — тотальный контроль над данными и сервисами, а также рабочей средой. Поэтому для бизнеса, критически чувствительного к простоям, репутационные и прочие издержки могут перевесить дорогостоящие вложения в собственный ЦОД.
Кроме того, владение собственным ЦОД снижает риск потери аренды и позволяет максимально задействовать физическое пространство дата-центра. Для тех, кто делает выбор в пользу строительства, задача состоит в том, чтобы потратить выделенные средства по возможности разумно.
Вариант: строить свой ЦОД.
Ряд компаний в силу самой своей деятельности выбирают путь строительства собственных дата-центров. Само собой, к ним относятся телекоммуникационные операторы: они строят коммерческие ЦОД и сами продают услуги по аренде их ресурсов. Также, взвесив все требования, приступают к созданию дата-центров многие государственные организации, предприятия топливно-энергетического комплекса, авиакомпании, крупные банки и другие организации с особыми требованиями к хранению и безопасности данных либо преследующие цель увеличить свою капитализацию.
Возведение и оснащение ЦОД — дорогостоящий проект. Мировая индустрия строительства дата-центров оценивается в несколько десятков миллиардов долларов. Цифры колеблются от $17,15 млрд по данным Orbis Research до $43,7 млрд по данным Research and Markets по итогам 2017 года. В России в сфере строительства дата-центров также вращаются миллиардные бюджеты. Например «Ростелеком» и «Росатом» строят федеральную сеть ЦОД стоимостью 22 млрд рублей в рамках госпрограммы «Цифровая экономика». Строительство дата-центра для крупного предприятия может обойтись в несколько сотен миллионов рублей.
Цена дата-центра.
Строительство ЦОД сопровождается не только высокими затратами, но и организационными и техническими трудностями. Существуют определенные требования к помещениям: высокие потолки для монтажа системы вентиляции, большая несущая способность пола для размещения тяжелого оборудования. В здание необходимо подвести значительные энергетические мощности, чего бывает крайне трудно добиться (поэтому так популярно размещение ЦОДов в бывших производственных цехах). Наконец, большие инвестиции требуются для приобретения и монтажа инженерной и ИТ-инфраструктуры здания с учетом резервирования компонентов. Если строится коммерческий ЦОД, дополнительных ресурсов требует соблюдение требований стандарта надежности TIER. Наличие сертификата о соответствии одному из уровней TIER — существенное условие при выборе дата-центра клиентами.
Строительство ЦОД. Большинство компаний, которые становятся на этот путь первую ошибку на этапе оценки стоимости строительства дата-центра, совершают: делают неверный расчет капитальных затрат и не учитывают сопутствующие расходы. Так, предварительное планирование, проектирование и ввод ЦОД в эксплуатацию могут обойтись еще в 20-25% дополнительно к стоимости строительства.
Эксплуатационные расходы также должны подвергаться тщательной оценке. Еще одна затратная статья — оплата работы персонала, обеспечение круглосуточного наблюдения и технического обслуживания, в том числе расходы на медицинские страховки, отпуска, лицензирование и обучение сотрудников. К этому нужно добавить ежегодные расходы на обслуживание объектов инфраструктуры (от 3 до 5% от первоначальной стоимости строительства), а также предусмотреть расходы на ремонт и модернизацию примерно на третий год работы. Эксплуатация может составить до 80% бюджета всего проекта.
И это еще не всё.
Если все перечисленное уже кажется достаточно сложной задачей, то напомню, что мы еще даже не подобрались непосредственно к проекту. Возможно, уже на этапе расчета стоимости возникнет здравая идея умерить аппетит и требования к техническим параметрам будущего дата-центра. На самом деле, стадия оценки стоимости и проектирования тесно связаны, потому что между эксплуатационными расходами на 10 и 100 стоек пролегает пропасть. Важно трезво оценить, сколько и какого оборудования нужно конкретному предприятию, чтобы банально не переплачивать за лишние мощности и их жизнеобеспечение.
Необходимо сформулировать требования под конкретные бизнес-задачи, не потратить лишнего, а также избежать обратной распространенной ошибки — тотальной экономии на всем. Ориентируясь на дешевые и при этом плохо масштабируемые решения, компании часто упираются в потолок возможностей спроектированной инфраструктуры, и для ее дооснащения "вдруг" требуются затраты, сопоставимые с первоначальными.
Вот перечень лишь основных "узких мест" в процессе построения и эксплуатации ЦОД:
- Грамотно составленное техзадание – сегодня этим чаще всего занимается проектировщик объекта, при таком подходе вся философия будущего дата-центра зависит от специалистов организации, не принимающих участия в управлении дата-центром и в эксплуатации его систем. В будущем это чревато обнаружением множества моментов, которые потребуют серьезной и затратной корректировки.
- Учет региона расположения ЦОД в плане представленности техподдержки вендоров оборудования, наличия качественных подрядчиков, доступности достаточного количества квалифицированных кадров. От этого зависит конфигурация многих систем дата-центра: если нет уверенности в кадровом обеспечении объекта, имеет смысл положиться на мониторинг, определить на самых ранних этапах, какие параметры каких систем и каким типом датчиков отслеживать, потребуется ли управление в режиме реального времени (например, при аварийной ситуации) и т.д.
- Готовить персонал для ЦОД нужно уже на этапе строительства, чтобы за полгода до конца стройки начать работу с линейными инженерами: подготовить подробные инструкций, провести тестирование знаний и навыков для обеспечения бесшовного перехода от стройки к эксплуатации.
- Сдача проекта – тончайшая работа, многокомпонентный процесс, отражающий комплексный характер дата-центра как объекта на стыке инженерии, ИТ, телекома, процессуальных стратегий и множества отраслевых тонкостей. Пусконаладка предполагает испытания нагрузками, превышающими расчетный максимум. Этот процесс должен быть проведен в обязательном порядке
- Эксплуатация ЦОД требует постоянного аудита процессов и документации по отраслевым стандартам, доработки инструкций на все рабочие ситуации. Без опыта подобной работы, управление дата-центром на должном уровне невозможно.
Дьявол в деталях
Рассказать о всех нюансах проектирования и эксплуатации дата-центра в пределах одной колонки невозможно. Важным критерием при выборе между собственным ЦОД и арендой является готовность компании нести текущие расходы на содержание своего дата-центра. Они складываются из расходов на эксплуатацию здания, техобслуживание инженерных и ИТ-систем, оплаты работы персонала, электросетей, каналов связи, а также затрат на апгрейд оборудования, ремонт и т. п. Рассмотрим в общих чертах бюджетирование процесса эксплуатации:
Все затраты на эксплуатацию серверной/дата-центра можно поделить на два типа:
операционные – средства, которые пойдут на ремонты и техническое обслуживание инженерных систем и оборудования;
инвестиционные – средства на модернизацию систем, замену крупного оборудования.
Операционный бюджет.
Это постоянные затраты на оплату труда, ЗИП, расходники, ремонты и ТО, которые закладываются из года в год.
ШАГ 1. Составляем список инженерных систем и самого главного оборудования.
Бесперебойное энергоснабжение.
Гарантированное энергоснабжение.
Система холодоснабжения.
Системы контроля доступа и видеонаблюдения
Системы пожаротушения.
Система эксплуатации зданий и сооружений
Составляя такой список, важно не забыть про:
вспомогательные системы, например, мониторинг, вентиляцию, систему орошения, грузовые подъемники и ворота;
то, что, казалось бы, совсем косвенно относится к эксплуатации – клининговые услуги, транспортные расходы, утилизацию отработанных материалов (масло, АКБ).
ШАГ 2. Определяем стоимость и количество расходных материалов и ЗИП по каждой системе.
Если про стоимость деталей понятно – просто запрашиваем у поставщиков или делаем мониторинг предложения на рынке, то с вопросом: “А сколько нам этого надо?” – сложнее. Вот тут пригодится статистика по поломкам и ремонтам (можно собрать информацию задним числом по счетам/актам от подрядчиков на ремонты и покупку запасных деталей.
Предвижу вопрос: что делать, если серверная и дата-центр новые? Первые год-два можно продержаться на гарантии от поставщика оборудования, но все это время собираем статистику, однако лучше всего собрать службу эксплуатации из опытных людей владеющих информацией и способных спрогнозировать затраты («Кадры решают все» И.В.Сталин).
ШАГ 3. Рассчитываем стоимость работ по каждой системе силами подрядчиков.
Если у нас вариант, когда в договор включено все, в том числе и ремонт оборудования, то просто запрашиваем обновленное КП, проводим тендер или без лишних движений продлеваем договор на следующий год (тут можно попробовать поторговаться с существующими подрядчиками, чтобы они сделали дешевле, или они торгуются с нами, чтобы было дороже. В конечном итоге мы получим какую-то фиксированную цену на следующий год.
Если в договоре прописаны только ТО, нужно дополнительно рассчитать стоимость ремонтов и аварийных выездов. Тут так же, как и с расходниками и ЗИП: смотрим на статистику по проведенным работам за прошлый год.
Важно учесть, какой у нас договор – с постоплатой или предоплатой, чтобы не промахнуться с месяцем платежа. Допустим, работы по промывке внешних блоков кондиционеров у нас запланированы на апрель, значит с предоплатой это пойдет в марте, а с постоплатой – на май. Для чьей-то бухгалтерии это будут не просто разные кварталы, но разные финансовые года.
ШАГ 4. Сводим все цифры в один файл.
Сначала берем наши расходы на ТО и расписываем их в виде графика по месяцам. К этому добавляем в отдельной вкладке расходы на ремонты и стоимость ЗИП и расходников.
Инвестиционный бюджет
Это крупные траты на модернизацию и замену оборудования. Для его составления нам понадобится следующее:
- данные о сбоях и авариях в прошлом году. Смотрим статистику и выявляем слабые звенья. Например, у нас есть постоянно ломающийся кондиционер, которому за последний год 2 раза заменили компрессор. Или другой вариант: на всех кондиционерах ломаются пароувлажнители. В этом случае задумайтесь, не лучше ли заменить этот кондиционер целиком или модернизировать всю подсистему, чем дальше тратить деньги и силы на ремонты.
- данные об устаревающих элементах системы. Самый простой пример – аккумуляторные батареи. По опыту, среднее время работы батарей – 0,7 от заявленного производителем: если обещают 10 лет, то уже через 7 нужно готовиться к замене. Если меняем, то сразу всю линейку. Всю замену разбиваем на год: каждый месяц меняем один стеллаж, начав с самой «дохлой» линейки.
- все, что нам завернули в прошлом году со словами: “Давай вернемся к этому вопросу через год”. Не забываем про эти обещания и вписываем в новый бюджет. Если это не потеряло актуальности, а не должно.
Далее рассчитываем стоимость модернизаций и замен с подрядчиком. Заносим в бюджет.
На чем можно сэкономить
Вдумчивое прочтение договора на обслуживание подрядчиком дает большие возможности сэкономить. О премудростях составления таких договоров я уже писал. Добавлю еще немного премудростей. Итак, проверяем:
Не дублируются ли одни и те же работы под разными формулировками.
Можем ли мы какие-то работы, не требующие высокой квалификации, выполнять собственными силами. Например, заменять фильтры кондиционеров.
Нет ли нерелевантных для ваших систем работ.
Нет ли “пустых” проверок оборудования без последующего устранения неисправностей. Предпочтительнее, чтобы формулировки звучали следующим образом: “Проверка и, в случае необходимости, исправление неисправностей”. Поэтому если в договоре значится: “Контроль уровня хладагента и масла», то дополняем: “Контроль уровня хладагента и масла, при необходимости – дозаправка”.
Периодичность ТО. Понятно, что подрядчику чем больше, тем лучше. Не поленитесь проконсультироваться с производителем оборудования, чтобы определиться с оптимальным количеством.
Уровень сервиса и время реакции подрядчика на инциденты. Можно прописать все по максимуму и получить соответствующую стоимость договора. Тут надо отделить от некритичного. Например, решить для себя, действительно ли так нужен приезд подрядчика на площадку в течение трех часов, если сломался резервный кондиционер. Хороший способ урезать бюджет – заняться оптимизацией расходов на ЗИП и расходники. Делаем следующее:
- Закупаем напрямую у изготовителя.
- Используем экономичные аналоги расходных материалов.
- Унифицируем расходные материалы для оборудования разных поставщиков.
Самый энергозатратный, но действенный способ сэкономить – найти и устранить ошибки в эксплуатации, которые регулярно приводят к поломкам, а значит к затратам на ремонты. Аудит инженерных систем поможет выявить неправильную эксплуатацию оборудования, предотвратить будущие поломки.
Вот топ возможных слабых мест:
- некачественное или несвоевременное проведение ТО;
- неправильные алгоритмы работы оборудования, например, частые остановки и пуски компрессоров;
- заниженные уставки на кондиционерах из-за неправильно установленного серверного оборудования;
- разбалансировка нагрузки по фазам и лучам.
Проблемы в эксплуатации могут достаться и по наследству от тех, кто допустил просчеты на этапе проектирования или строительства. Такой аудит поможет не только тратить меньше, но и спасет дата-центр от потенциальных аварий.
На чем нельзя экономить.
Радостно вычеркивая статьи из бюджета, даже и не думайте резать следующие траты.
Тестирование. Если хотите спать спокойно, то боевые учения необходимы. Пусть лучше неисправность в оборудовании или системе (а иногда и в процессе) проявится во всей красе под нашим контролем, чем это случится 31 декабря.
Сезонные подготовительные работы. В первую очередь это касается системы холодоснабжения. Перед летним сезоном, самое позднее – в апреле, нужно промыть все внешние блоки и чиллеры, проверить правильность установленного ИТ-оборудования в залах, работоспособность резервных кондиционеров. К зиме готовимся в октябре: сливаем все, что может замерзнуть, проверяем подогрев ДГУ.
Закупка ЗИП. Мой опыт показывает, что подрядчика или своего инженера можно быстро вытащить на площадку ночью, в выходные или праздники, а вот привезти нужную деталь со склада так же быстро сложно. Склады живут по своему графику, не 24х7. А еще там просто может не оказаться нужной детали. Тогда ЗИП придется ждать неделями, если не месяцами.
Необязательно дублировать всю инфраструктуру на складе. Достаточно определить те детали, которые часто приходится менять (опять же смотрим статистику), и те, из-за которых вы можете лишиться резерва или вовсе остаться с неработающим оборудованием/системой. Когда пускаем в дело запасы со склада, сразу же закупаем новые, хотя бухгалтерия будет удивленно спрашивать: «Зачем вам новое, вы же только что поменяли?»
Вариант: аренда
Неудивительно, что высокие затраты на собственный ЦОД побуждают многие организации обращаться в коммерческие дата-центры. Сегодня можно найти предложение, удовлетворяющее практически любым разумным требованиям заказчика.
Аренда ресурсов коммерческого ЦОД может представлять собой один из двух вариантов: покупка облачных сервисов или аренда стоек. Особенно интересно это предложение для небольших развивающихся компаний, уже переросших возможности своих первых серверов. Например, аренда облачного сервера начального уровня может стоить на два порядка дешевле покупки «железного» сервера.
Клиент коммерческого дата-центра оплачивает лишь малую часть расходов, которые несет владелец. Вопросы безопасности, доступности, технической поддержки его волнуют лишь в части соблюдения поставщиком условий договора.
Плюсы облачных сервисов очевидны — это гибкость и коммерческая эффективность. В распоряжении заказчика всегда ровно столько ресурсов, сколько ему требуется. Если бы он построил свой ЦОД, даже модульный, всё равно он постоянно переплачивал бы за неиспользуемые мощности. Недостатки также хорошо известны: передача «на сторону» своей информации означает согласие с риском компрометации или потери данных. Кроме того, в случае сбоя и недоступности ресурсов у клиента отсутствуют рычаги полного контроля над ситуацией — он вынужден следовать за действиями поставщика услуг. К счастью, надежность коммерческих ЦОД достаточно высока, чтобы соответствовать требованиям абсолютного большинства компаний. Ряд провайдеров даже строит отдельные резервные ЦОД, в которых размещает бэкапы данных клиентов.
Отчасти вопросы контроля ИТ-систем заказчиком решаются при аренде стоек в коммерческом ЦОДе. Это, по сути, гибридный вариант, дающий возможность круглосуточного мониторинга производительности, энергопотребления и трафика. Если в компании приняты особые требования к безопасности, можно поставить вокруг ИТ-систем защитный периметр, договориться с провайдером о монтаже собственных, независимых от него систем видеонаблюдения и контроля доступа в помещении. Стоимость аренды стойки типа 1U со всеми коммуникациями колеблется около 100 долларов в месяц.
Практика показывает, что в подавляющем большинстве случаев требования бюджета оказываются самыми весомыми при принятии решения о том, где размещать свои данные. Строительство своего ЦОДа — удел компаний с миллиардными оборотами и стабильной прибылью, остальные могут воспользоваться облачными услугами.
