EVALUATION OF THE EFFECTIVENESS OF SERVER EQUIPMENT COOLING METHODS

Растущее число, размер, сложность и плотность мощностей центров обработки данных (далее ЦОД) вместе с увеличивающимся большими темпами спросом на системы хранения, сети и вычисления создают значительную энергетическую проблему. Потребление энергии для систем кондиционирования составляет большую часть общего потребления таких центров. В случае неэффективности системы охлаждения ее величина может достигать 40%.

Воздушное охлаждение является наиболее часто используемым методом охлаждения оборудования ЦОД. Теплота от серверов переносится в окружающую среду, где затем удаляется с помощью систем вентиляции и кондиционирования. Крупнейшие центры обработки данных таких компаний как Google, Facebook, Amazon и т.д. в основном полагаются на воздушное охлаждение своих серверов и достигают с его помощью хорошей эффективности. Однако воздух — это не самая эффективная среда из доступных и применяемых для данных целей. Для ЦОД с воздушным охлаждением характерно наличие больших открытых каналов, мощных вентиляторов, потребляющих большое количество энергии. Стоит также отметить, что при этом происходит охлаждение только тех областей, по которым эффективно перемещается поток воздуха.

Анализ работ, посвящённых вопросам обеспечения оптимальных условий работы серверного оборудования, Пехурова Н.В., Нацеренус П.А., Архарова А.И., Матохина И.Д., Осинина И.П., Шатохина А.В., Костина А.А., Демидова Н.А. и также других российских и зарубежных авторов

При данном подходе вычислительное оборудование погружается в диэлектрическую жидкость и передаёт ей тепло внутри контейнера. Охлаждение данной жидкости происходит во встроенном теплообменнике, где она отдает теплоту воде (или раствору этиленгликоля), которая, с помощью насосных групп, поступает в драйкулер. В этом устройстве происходит процесс передачи отводимого тепла во внешнюю среду. Диэлектрические жидкости характеризуются более высокой, по сравнению с воздухом, плотностью вещества и удельной теплоемкостью, поэтому они поглощают тепловую энергию лучше, чем воздух. Они полностью совместимы с обычными металлами и многими пластиками

В данной статье приведены результаты сравнения двух методов охлаждения серверного оборудования: классического с использованием направленного воздушного потока и иммерсионного, при котором тепло отводится от оборудования за счет использования жидкого иммерсионного вещества на основе минерального масла-диэлектрика, обладающего значительно большей теплопроводностью чем воздух.

В качестве объекта исследования было выбрано одноэтажное здание центра обработки данных, расположенное в Ивановской области. Основным ядром технологической зоны рассматриваемого здания являются два машинных зала, вокруг которых расположены вспомогательные помещения. В первом машинном зале находятся 704 серверных блока H262-Z6B, с тепловыделением каждого блока по 4 кВт, во втором — 528 таких же серверных блока по 4 кВт, а также 64 интегральные схемы специального назначения Asic T9+ с тепловыделением по 6 кВт. Расчеты показали, что теплопоступления от данного оборудования в первом машинном зале составляют 2816 кВт, во втором — 8256 кВт.

Для того чтобы убедиться в эффективности иммерсионного метода охлаждения, был проведён расчёт количества теплоты, которое возможно отвести от серверного оборудования рассматриваемого центра при жидкостном и воздушном охлаждении. Для корректного сравнения была принята следующая модель — поток жидкости или газа обтекает плоское горизонтальное тело, которое представляет из себя процессор серверной установки. Для равноценности расчёта скорость потока и температура воздушной и жидкостной среды были приведены к одинаковым значениям. В обоих случаях, тепло от сервера отводится при помощи вынужденной конвекции. В расчете использовались следующие характеристики:

- длина поверхности теплообмена L = 50,05 м;

- площадь поверхности теплообмена S = 0,0025 м2;

- температура охлаждающего сервер среды T1 = 25 °C.

- температура поверхности процессора T2 = 65 °C;

- степень черноты поверхности ε = 0,78.

Мощность теплового потока была рассчитана по формуле Ньютона–Рихмана для стационарного процесса теплообмена, при неизменной температуре среды и площади поверхности тела при вынужденном конвективном теплообмене металлической пластины в ламинарном потоке газа (воздуха) и ламинарном потоке жидкости (диэлектрика):

где

Т1 — температура охлаждающей воды, °C;

Т2 — температура поверхности теплообмена, °C;

Q — тепловой поток, Вт;

S — площадь поверхности теплообмена, м2;

a — коэффициент теплоотдачи, Вт/(м2·К), определяется по формуле:

где Nu — коэффициент Нуссельта;

L — размер поверхности, мм;

 λ — коэффициент теплопроводности, Вт/(м·К).

В расчете количества теплоты, отводимого при воздушном охлаждении, были приняты следующие данные:

1. В рассчитываемом сервере используется вентилятор с характеристиками:

- диаметр 200 мм;

- площадь сечения S = 0,126 м2;

- максимальный объемный расход V = 870 м3/ч.

2. Скорость потока воздуха ω =V/3600S = 1,9 м/c.

3. Характеристики воздуха при температуре 25 °C:

- динамическая вязкость μ = 1,84 ∙ 10–5 Па·с;

- плотность воздуха ρ = 1,185 кг/м3;

- коэффициент теплопроводности λ = 0,0263 Вт/ (м·с);

- удельная теплоемкость воздуха Ср = 1005 Дж/ (кг·°C).

При определении эффективности иммерсионного охлаждения использовались следующие характеристики жидкости:

- динамическая вязкость μ = 0,04555 Па*с;

- плотность жидкости при ρ = 796 кг/м3;

- коэффициент теплопроводности λ = 0,14 Вт/ (м·с);

- удельная теплоемкость Ср = 2260 Дж/ (кг·°C).

Принята иммерсионная жидкость SmartCoolant производства Submer. Это высоко-экологичный органический теплоноситель-диэлектрик на основе насыщенных углеводородов с рабочим интервалом температур от 0 °C до 233 °C для охлаждения серверов, систем хранения данных, майнинг-ферм с погружением электронного оборудования в диэлектрический теплоноситель.

Результаты расчёта показали, что количество теплоты, отводимое воздухом, составляет 2,14 Вт, а отводимое жидкостью — 60,5 Вт. Величина теплового потока, отводимого от пластины процессора иммерсионной жидкости, значительно превышает величину, полученную при расчете воздушного охлаждения. Нужно отметить, что использование жидкостной среды предоставляет дополнительный запас для уменьшения скорости потока и разницы температур между поверхностью процессора и охлаждающей средой. Можно получить существенную экономию на средствах, обеспечивающих вынужденную конвекцию, а также на установках для охлаждения отработанного хладагента.

Расчеты подтвердили преимущество иммерсионного метода охлаждения с теплотехнической точки зрения. Для того чтобы сравнить технические преимущества рассматриваемых методов, выполнены проекты инженерных систем, обеспечивающих требуемые параметры микроклимата в помещении ЦОД, а также нормальное функционирования серверного оборудования путем воздушного и жидкостного охлаждения.

Принципиальные схемы центров при различных вариантах охлаждения оборудования, представлены на рисунке 1. Воздушное охлаждение осуществляется с помощью установки центрального кондиционирования. Стоит отметить, что при этом площадь, занимаемая серверными стойками намного больше площади, занимаемой серверами при иммерсионном охлаждении. Для двухсот стоек средних размеров мощностью 10 кВт необходимая площадь помещения составляет примерно 460 кв. м, а в пересчёте на одно стойкоместо выходит около 2,3 м2 (см. рис. 1а). Жидкость, обладая большей, чем воздух, теплоёмкостью, позволяет отводить от устройства большее количество тепла. Это даёт возможность размещать оборудование более плотно, экономя пространство (см. рис. 1б).

В случае применения иммерсионного охлаждения оборудование погружается в иммерсионную установку с диэлектрической жидкостью. Эта жидкость снимает тепло с плат и, перемещаясь по внутреннему контуру, отдает его через теплообменник на внешний контур. Во внешнем контуре используется обыкновенная вода, которая охлаждается в драйкулерах, расположенных на кровле здания. В этом случае теплота от работающего оборудования в помещение не поступает, поэтому для поддержания требуемой температуры внутреннего воздуха необходимо предусмотреть установку отопительных приборов (см. рис. 1б).

В рассматриваемом центре расположено два типа оборудования: серверные блоки H262-Z6B, с тепловыделением каждого блока по 4 кВт, а также интегральные схемы специального назначения Asic T9+ с тепловыделением каждого блока по 6 кВт. С учетом этого было принято решение предусмотреть две системы иммерсионного охлаждения: низкотемпературную и высокотемпературную.

При охлаждении оборудования с температурой работы 95 °C (высокотемпературная система), появляется возможность утилизировать теплоту, так как вода во внешнем контуре может нагреваться до температур достаточных для использования на нужды систем отопления и вентиляции ЦОД (см. рис. 1в).

Рисунок 1 - Принципиальные схемы ЦОД при воздушном, иммерсионном и иммерсионном с теплоутилизацией охлаждении

DOI:10.60797/mca.2025.67.4.1

Количество тепловой энергии, необходимое для работы систем, обеспечивающих требуемые параметры микроклимата в помещениях рассматриваемого ЦОД, было определено в процессе проектирования систем отопления, а также приточно-вытяжной вентиляции с механическим и естественным побуждением, с подогревом наружного воздуха в холодный период года в теплообменниках приточных установок. Результаты расчётов количеств теплоты, получаемой в процессе иммерсионного охлаждения и требуемой на нужды отопления и вентиляции представлены на рисунке 2. Около 27% получаемой тепловой энергии оказались излишними. Эту избыточную теплоту было решено рассеивать в окружающую среду с помощью драйкулера.

Для того чтобы выполнить экономическое сравнение, были запроектированы две системы охлаждения серверного оборудования рассматриваемого здания центра обработки данных: воздушная и иммерсионная.

Рисунок 2 - Принципиальная схема утилизации тепловой энергии при иммерсионном охлаждении

DOI:10.60797/mca.2025.67.4.2

Воздушное охлаждение серверов обеспечивается установкой центрального кондиционирования Kyotocooling Cell, характеризующейся низким энергопотреблением и высокой эффективностью. Жидкостное охлаждение осуществляется в иммерсионных модулях SmartPodXL со встроенными теплообменниками (низкотемпературная система), Octava C24 (высокотемпературная система). Передача отводимого тепла во внешнюю среду происходит в драйкулерах EHLD 1296NS и LF-PB204T5V-090H06D соответственно. Схема высокотемпературного контура иммерсионного охлаждения приведена на рисунке 3.

Рисунок 3 - Схема высокотемпературного контура иммерсионного охлаждения оборудования ЦОД

DOI:10.60797/mca.2025.67.4.3

Выполненные проекты подтвердили, что рассматриваемые методы охлаждения позволяют обеспечить условия для оптимальной работы серверного оборудования. В данном случае вызывает интерес сравнение методов воздушного и иммерсионного охлаждения с экономической точки зрения. В связи с этим были определены капитальные затраты на основное оборудование иммерсионной системы охлаждения и установки центрального кондиционирования Kyotocooling Cell, а также выполнены расчеты эксплуатационных затрат на тепловую и электрическую энергию. Результаты расчётов представлены на рисунке 4.

Рисунок 4 - Капитальные и эксплуатационные затраты при воздушном и иммерсионном охлаждении оборудования ЦОД

DOI:10.60797/mca.2025.67.4.4

Диаграммы свидетельствуют о том, что капитальные затраты на устройство воздушного охлаждения оказались выше на 35%. Разница в эксплуатационных затратах еще существеннее. На оплату тепловой и электрической энергии при использовании воздушного охлаждения тратится на 75% больше, чем при иммерсионном.

Технико-экономическое сравнение показало, что иммерсионное жидкостное охлаждение является целесообразным с экономической точки зрения и эффективным методом охлаждения серверных установок, который позволяет сократить расход энергии на охлаждение, сохраняя при этом температуру оборудования центров обработки данных в допустимом диапазоне. При этом, прежде неиспользуемая тепловая энергия от серверного оборудования позволяет значительно уменьшить расходы на отопление и вентиляцию помещений ЦОД. В случае, если возникают излишки теплоты, то нагретую воду внешнего контура иммерсионной системы можно использовать в качестве теплоносителя на нужды других потребителей. Не стоит забывать и о том, что использование жидкостной системы позволяет многократно увеличить плотность размещения серверного оборудования и, как следствие, экономить полезное пространство в центрах обработки данных.