Плотность стойки и тепловыделение — как рассчитать охлаждение серверной

Вся электрическая мощность, потреблённая оборудованием стойки, превращается в тепло. Стойка на 10 кВт отдаёт в помещение 10 кВт тепла, и если система охлаждения не рассчитана на эту величину, температура на входе оборудования растёт, вентиляторы выходят на максимум, а процессоры снижают частоту. Поэтому мощность стойки и охлаждение серверной считаются вместе, одним расчётом.

Разберём, из чего складывается потребление стойки, какие бывают схемы охлаждения, до какой плотности работает воздушное охлаждение и какие данные нужны для расчёта. Оборудование лежит в разделах серверов и систем хранения, монтажные элементы — в разделе аксессуаров для стоек.

Из чего складывается потребление стойки

• Процессоры. Основная доля потребления вычислительного узла. Модели с высоким числом ядер и высокой частотой рассеивают заметно больше, и разница между двумя процессорами одного семейства достигает двукратной величины.
• Оперативная память. Каждый модуль потребляет немного, но при полном заполнении каналов вклад становится существенным, особенно у модулей большой ёмкости.
• Ускорители вычислений. Графические ускорители — самая плотная нагрузка: одна карта способна потреблять больше, чем весь остальной сервер.
• Накопители. Механические диски потребляют больше на единицу ёмкости, твердотельные — меньше, но при интенсивной записи их потребление растёт.
• Блоки питания. Часть мощности теряется на преобразовании. При расчёте закладывается фактический коэффициент полезного действия блока питания в рабочей точке, а не в точке максимума.
• Сетевое оборудование стойки. Коммутаторы верхнего уровня и оптические модули добавляют сотни ватт, которые часто забывают учесть.

Считать по паспортной мощности блоков питания неверно: реальное потребление узла обычно составляет от половины до двух третей этой величины. Точный расчёт ведётся по конфигурации — процессоры, память, диски, ускорители — либо снимается измерением на действующем оборудовании.

Схемы охлаждения и предельная плотность

Границы приблизительные и зависят от высоты помещения, расположения стоек и качества разделения потоков. Но порядок величин задаёт выбор: стойку на 20 кВт нельзя охладить настенным кондиционером, сколько бы их ни поставили.

Что мешает охлаждению при правильно подобранной мощности

• Открытые юниты без заглушек. Горячий воздух с тыльной стороны возвращается на вход оборудования через пустые места. Заглушки — самая дешёвая мера, дающая заметный эффект.
• Смешение направлений продува. Часть оборудования продувается справа налево, а не спереди назад. В общем ряду такой узел получает горячий воздух соседа.
• Кабельные жгуты в тыльной части. Плотный пучок кабелей перекрывает выход воздуха. Разводка организуется по бокам стойки.
• Загрязнённые фильтры и радиаторы. Пыль на радиаторах повышает температуру кристалла при неизменной мощности вентиляторов.
• Неравномерная загрузка стоек. Одна стойка с ускорителями среди слабо загруженных создаёт локальный перегрев, который общий расчёт помещения не показывает.
• Изношенные вентиляторы. Вентиляторы шасси — расходная позиция; падение оборотов одного из них поднимает температуру всего узла.

Как распределить оборудование по стойкам

• Тяжёлые и плотные по мощности узлы ставятся в нижнюю часть стойки: там устойчивее конструкция и ниже температура воздуха.
• Оборудование с одинаковым направлением продува группируется вместе.
• Стойки с ускорителями выносятся в отдельный ряд с усиленным охлаждением, а не рассеиваются по залу.
• Между рядами сохраняется расстояние, достаточное для обслуживания с тыльной стороны и для замены шасси целиком.
• Оставляется запас по мощности на вводе: расширение конфигурации серверов HPE, Dell или Supermicro добавляет потребление без изменения числа юнитов.

Что прислать для расчёта

• Список оборудования по стойкам с конфигурациями: процессоры, память, диски, райзеры и ускорители.
• Размеры помещения, высоту потолка и наличие фальшпола.
• Доступную электрическую мощность на вводе и схему распределения по стойкам.
• Действующую систему охлаждения — тип, мощность, год установки.
• Планируемый рост: сколько юнитов и какой мощности добавится в ближайший год.

Частые вопросы

Можно ли считать тепловыделение по паспорту блоков питания? Такой расчёт даёт завышенную цифру и приводит к избыточной системе охлаждения. Корректнее считать по конфигурации или измерить потребление действующих узлов под нагрузкой.

Что важнее — температура в помещении или на входе оборудования? Температура на входе. Производители нормируют именно её, и она может быть на несколько градусов выше средней по залу при плохом разделении потоков.

Сколько стоек можно поставить в небольшую серверную комнату? Определяется не площадью, а суммарной мощностью и возможностями охлаждения. Две плотно загруженные стойки нагружают помещение сильнее, чем шесть с базовыми конфигурациями.

Помогают ли заглушки, если охлаждение уже не справляется? Заглушки и порядок в кабельной разводке снижают температуру на входе без затрат на оборудование. Это первый шаг перед покупкой дополнительного холода.

Когда переходить на жидкостное охлаждение? Когда плотность стойки выходит за пределы возможностей внутрирядных кондиционеров. Такой переход требует совместимых платформ и подготовленного помещения, поэтому планируется вместе с закупкой серверов, а не после неё.

Что мы делаем

Считаем потребление и тепловыделение по фактическим конфигурациям, а не по паспорту блоков питания, подбираем серверы и системы хранения с учётом плотности стойки, комплектуем поставку заглушками, вентиляторами, направляющими и кабельной организацией, предлагаем схему размещения оборудования по стойкам с запасом на расширение.

Пришлите список оборудования, размеры помещения и доступную мощность на server@tkasiatorg.ru — посчитаем тепловыделение по стойкам, предложим схему охлаждения под вашу плотность и дадим спецификацию с ценами и сроками поставки.