Жидкостное охлаждение
Жидкостное охлаждение в вашем свободном пространстве:
решение проблем, связанных с повышенными требованиями к охлаждению
Саймон Эвентов, Align (Саймон Эвентов) - управляющий директор по проектированию и сборке центров обработки данных в Align
Ознакомьтесь с проблемами и особенностями внедрения жидкостного охлаждения — революционного решения для центров обработки данных, сталкивающихся с растущими потребностями в охлаждении, вызванными искусственным интеллектом
Потребность в более эффективных методах охлаждения центров обработки данных становится всё более острой в связи с развитием генеративного искусственного интеллекта и высокопроизводительных вычислений, что выводит жидкостное охлаждение на первый план.
Хотя стратегическое использование охлаждающей жидкости для отвода тепла от электронных компонентов не является чем-то новым, оно эволюционировало, чтобы приблизить решения по охлаждению к конкретным компонентам в серверах и стойках.
Эти инновационные подходы направлены на то, чтобы по-новому взглянуть на управление температурой в современной инфраструктуре данных по мере увеличения плотности рабочей нагрузки. Однако внедрение решений с жидкостным охлаждением не лишено сложностей и проблем.
Чтобы справиться с этими трудностями при проектировании жидкостного охлаждения, необходимо детально изучить конкретное оборудование, на котором оно будет использоваться, и быть готовым решать проблемы. В этой статье эксперты по центрам обработки данных из Align — ведущего мирового поставщика технологических инфраструктурных решений — обсуждают основные трудности, связанные с жидкостным охлаждением, и предлагают ключевые рекомендации, основанные на собственном опыте.
«По мере того, как лидеры в области технологий внедряют жидкостное охлаждение, они на самом деле отправляются в путь исследований и экспериментов. Несмотря на то, что оптимальные методы ещё не определены, внедрение различных решений для жидкостного охлаждения набирает обороты. Разнообразие доступных решений только усугубляет путаницу в том, что лучше всего подходит для каждого конкретного проекта», — сказал Том Вебер, директор Align по проектированию и строительству центров обработки данных.
“Многие существующие объекты строились без учета жидкостного охлаждения и, конечно же, без использования жидкости в свободном пространстве ИТ”, - добавил Саймон Эвентов, управляющий директор по проектированию и сборке центров обработки данных.
Кроме того, жидкостное охлаждение характеризуется отсутствием единообразия и стандартизированных методов. В конечном счете, выбор решений для жидкостного охлаждения будет определяться требованиями производителей серверов и чипов, и универсальный подход может работать не во всех средах.
По мере разработки высокопроизводительных чипов новые требования будут предъявлять к жидкостному охлаждению.
"Мы знаем, что людям в конечном итоге придется перейти на жидкостное охлаждение, но мы также слышим отзывы клиентов о том, что это непросто. Для них своих центров обработки данных нет, им нужно строить новые центры обработки данных ", - заявил Чарли Бойл из Nvidia.
В настоящее время на рынке и в разработке имеется множество решений для жидкостного охлаждения, которые изменят принципы проектирования и эксплуатации будущих центров обработки данных. На данный момент основное внимание в этом обсуждении уделяется теплообменникам задней крышки корпуса и жидкостному охлаждению напрямую от микросхемы (DTC).
В этой статье основное внимание будет уделено этим более распространенным решениям, так как такие технологии, как погружение, являются жизнеспособными, они не получили широкого распространения.
Теплообменники.
“Теплообменники тыльной стороны корпкса (RDHx)" - это метод, при котором локальный блок охлаждения крепится к задней дверце отдельных серверных стоек. Охлаждающая жидкость проходит через теплообменник, поглощая тепло из отработанного воздуха, вырабатываемого серверным оборудованием внутри стойки. Затем нагретая охлаждающая жидкость отводит поглощенное тепло от серверной стойки. Затем охлаждающая жидкость охлаждается и рециркулирует, обеспечивая эффективное охлаждение отдельных стоек в системе с замкнутым контуром.
Этот метод охлаждения обеспечивает точное отведение тепла, уделяя особое внимание конкретным стойкам, где охлаждение требуется больше всего, что повышает эффективность центра обработки данных за счет эффективного управления выделением тепла на уровне стойки. RDXh не требует каких-либо модификаций самого ИТ-оборудования и, следовательно, является менее сложным подходом к более высоким требованиям к плотности.
Прямое подключение к чипу (DTC).
В настоящее время в разговорах преобладает охлаждение непосредственно к чипу, учитывая, что оно рассматривается как неизбежное требование в ближайшем будущем. DTC - это целенаправленный подход, который предполагает циркуляцию охлаждающей жидкости непосредственно к чипу. В рамках метода “DTC” существует два типа: однофазный и двухфазный.
Однофазное предполагает использование однофазного жидкого охлаждающего средства, обычно воды или специальной жидкости, наносимой непосредственно на поверхность чипа. Охлаждающая жидкость поглощает тепло, выделяемое процессором, эффективно отводя его. Однофазный DTC известен своей простотой и эффективностью. Развивая концепцию, двухфазный метод охлаждения DTC представляет собой более совершенный механизм.
При таком подходе охлаждающая жидкость переходит из жидкого состояния в газообразное, поглощая тепло от микросхемы. Это фазовое изменение повышает эффективность охлаждения, так как пар уносит больше тепловой энергии. Затем конденсированная охлаждающая жидкость возвращается в жидкое состояние, чтобы повторить цикл. Двухфазный метод ценится за повышенную эффективность охлаждения, что делает его привлекательным вариантом для сценариев, в которых высокие тепловые нагрузки требуют более сложного решения.
«Преимущество охлаждения DTC заключается в том, что оно позволяет чипам работать с максимальной эффективностью, что, конечно, важно для удовлетворения растущего спроса со стороны ИИ. Это также позволяет разгонять чипы. А в устаревших системах, в зависимости от существующей инфраструктуры, вы можете использовать контур с охлаждённой водой или внутренние системы отвода тепла.», — утверждает Родни Уиллис, вице-президент по продажам и закупкам в Data Center Design and Build.
Компания DTC не лишена своих проблем. Во многих случаях требуется модификация оборудования, сертифицированного производителем, что аннулирует их гарантии и требует сотрудничества с третьей стороной для внедрения модифицированного продукта и предоставления на него гарантии. Кроме того, установка коллекторов в серверных стойках, где и так много силовых и низковольтных кабелей, является сложной задачей без изменения существующих спецификаций стоек.
Важно отметить, что эти различные решения не являются взаимоисключающими. Мы часто видим охлаждение DTC в сочетании с RDHx для отвода остаточного тепла воздушным охлаждением.
Несколько слов о блоках распределения охлаждения (CDU).
Распределительные блоки охлаждения, или CDU, являются важнейшим компонентом любого из рассмотренных в этой статье способов жидкостного охлаждения. CDU — это корпус, который может быть как отдельно стоящим напольным устройством, так и установленным в серверной стойке. В некотором смысле CDU является «мозгом» системы жидкостного охлаждения. В CDU находятся элементы управления, необходимые для системы жидкостного охлаждения, и он обеспечивает фильтрацию, контроль температуры и расхода как для однофазных, так и для двухфазных решений RDHx и DTC. Выбор подходящего решения для жидкостного охлаждения — важный этап при планировании внедрения системы жидкостного охлаждения.
Ключевые проблемы жидкостного охлаждения
“Практически невозможно обсуждать жидкостное охлаждение, не упомянув о проблемах, которые оно создает. При всех преимуществах и волнении мы знаем, что где есть желание, там есть способ, но мы не должны притворяться, что сегодня существует простой универсальный стандарт ”, - сказал Вебер.
Основными проблемами, с которыми столкнулась команда Align, являются время на развертывание, затраты, сложные требования к техническому обслуживанию, снижение рисков и экономия места.
В помещениях центра обработки данных более конкретными проблемами при внедрении жидкостного охлаждения являются соображения пространственного проектирования, модификации водопровода / линии охлаждения, внутренние устройства и подключения серверов, уникальные потребности в техническом обслуживании и обучении технической поддержке, охлаждение окружающим воздухом, требования к корпусам, весовые нагрузки, гарантии и особенности перекрытий / фальшполов.
"Принимая во внимание время развертывания и сроки выполнения заказа, для создания идеальной инфраструктуры – что, если изготовление теплообменников задней двери займет 28 недель, а вам необходимо установить их за 14 недель? Если вы выберете водяное охлаждение, сможете ли вы построить его в свои сроки? Если нет, выбор должен основываться на наличии ”, - сказал Эвентов.
Процесс установки не только отнимает много времени, но и сопряжен со значительными затратами на оборудование и рабочую силу, что потенциально приводит к простоям во время развертывания. “В существующей инфраструктуре зданий отсутствует необходимая основа для бесшовной интеграции, что вынуждает лиц, принимающих решения, сопоставлять повышение эффективности с затратами на внедрение решений для жидкостного охлаждения”, - сказал Уиллис.
Техническое обслуживание становится важнейшим аспектом, требующим частого внимания и комплексных кадровых планов. Инженерам и ИТ-персоналу необходимо тесно сотрудничать из-за прямой связи между методом охлаждения и оборудованием.
Также важно учитывать текущие потребности в техническом обслуживании и поддержке, особенно после первоначальной настройки (операции "второго дня"). В то время как решения на водной основе потребуют длительного технического обслуживания и приведут к простоям, диэлектрическое двухфазное охлаждение более эффективно и надежно.
“Но эта реализация сопряжена со своими проблемами, например, добавляя жидкостное охлаждение, вы добавляете инфраструктуру для подачи охлажденной жидкости и отвода теплой жидкости, что может повлиять на требования к корпусу и выбор”, - считает Уиллис.
Компании также должны снижать риски, связанные с распределением жидкости внутри центра обработки данных, независимо от того, находится ли она под фальшполом или над шкафами в условиях перекрытия плитами. Например, для эмуляторов искусственного интеллекта весом до 4800 фунтов этот вес может быть слишком большим для некоторых помещений с фальшполом. В идеале трубопроводы охлаждающей жидкости следует прокладывать под корпусом, а не сверху. В конфигурации с перекрытием из плит добавление верхнего трубопровода охлаждающей жидкости значительно увеличило бы опорную нагрузку и весовую нагрузку на потолочную решетку.
“После выбора решения и заказа материалов мы считаем крайне важным не пропустить важные этапы планирования перед внедрением. Команда Align немедленно приступает к работе над координационными моделями BIM, инженерным обзорам конструкций и тщательной координации с другими компонентами верхнего или нижнего этажа, чтобы исключить неожиданности и изменить заказы на местах ”, - считает Эвентов.
И, наконец, важным фактором является текущее пространство и инфраструктура. «Жидкостное охлаждение не заменяет на 100% воздушное охлаждение — вам всё равно потребуется дополнительное охлаждение внутри помещения для других электрических компонентов/общее охлаждение окружающей среды. Суть в том, чтобы модернизировать эти системы для совместной работы», — утверждает Вебер.
Хотя все вышеперечисленные соображения важны для помещений центров обработки данных, мы даже не затронули другие аспекты, такие как:
- Как добавление жидкостного охлаждения повлияет на пространственный дизайн?
- Более широкие проходы и шкафы
- Уменьшенная емкость серверной стойки
- Насколько сложными являются модификации водопровода / линии охлаждения?
- Совместим ли коллектор жидкостного охлаждения с внутренними устройствами сервера и подключениями?
- Являются ли насосы и теплообменники избыточными?
- Используются ли у них собственные системы питания с поддержкой ИБП?
- Уже ли серверы оснащены специализированными решениями для жидкостного охлаждения с микроканалами и микроконвекторами?
- Будет ли производитель серверов поддерживать только определенное решение для жидкостного охлаждения?
Начало работы с жидкостным охлаждением
«Это пугает, но пока не было ситуации, с которой команда Align не смогла бы справиться» - Саймон Эвентов, Align
Возможность применения жидкостного охлаждения в конечном итоге зависит от тщательного планирования и интеграции с существующей инфраструктурой.
“Это непросто, но еще не было обстоятельств, с которыми команда Align не смогла справиться”, - Эвентов.
“Исходя из того, что мы видели, сотрудничество с такими партнерами, как Align, на ранних этапах процесса гарантирует, что бюджетные, временные и инфраструктурные соображения будут согласованы, прокладывая путь к успешному внедрению”, - Уиллис.
Вы можете узнать больше об Align и ее опыте на сайте www.align.com и связаться с ними, чтобы поговорить уже сегодня.
