Как уместить больше стоек в ЦОД и не получить перегрев

CNews: Почему при проектировании ЦОД требуется детально рассчитывать воздушные потоки? Разве опыта инженеров уже недостаточно?

Данил Левадний: С ростом плотности ИТ-нагрузки меняются требования к подаче воздуха. Одновременно заказчики стремятся разместить больше оборудования на ограниченной площади. При выборе габаритов машинного зала нужно понять, хватит ли пространства для распределения воздуха, где возникнет перегрев и как система поведет себя при отключении части кондиционеров.

В нашей практике значительная часть таких задач приходится на стадию концепции при проектировании крупных ЦОД. Мы проверяем выбранную архитектуру охлаждения и определяем, какие размеры помещений и расстояния между оборудованием достаточны для ее работы. На этой стадии еще можно безболезненно изменить компоновку, если расчет выявил проблему.

Петр Вашкевич: Опытный инженер часто заранее понимает, где могут возникнуть сложности. Моделирование помогает проверить его предположения и показать заказчику, к каким последствиям приведет конкретное решение. Особенно полезно сравнить несколько вариантов до того, как оборудование закуплено и смонтировано.

Есть и условия, которые трудно воспроизвести при испытаниях готового объекта. Для наружного оборудования это, например, разные сочетания ветра и режимов работы установок. В расчетной модели их можно задать заранее.

CNews: Что именно моделируется и какие исходные данные для этого нужны?

Данил Левадний: Мы разделяем задачи на внутренние и наружные. Внутри здания рассматриваем машинный зал: расположение стоек и кондиционеров, перегородки, фальшпол, пространство над стойками и другие элементы, влияющие на движение воздуха. Состав модели зависит от системы охлаждения. Это могут быть межрядные кондиционеры, подача воздуха через фальшпол или холодные стены.

Сначала создаем геометрическую модель по проекту либо по данным существующего объекта. Детали, которые не влияют на аэродинамику, можно упростить. Затем задаем тепловыделение оборудования, расход воздуха, свойства материалов и режимы работы. Программа рассчитывает движение потоков и распределение температур.

В модели можно сравнить расположение кондиционеров и перфорированных плит, высоту фальшпола, варианты изоляции горячих и холодных коридоров. Расчет показывает, как эти изменения влияют на подачу воздуха к оборудованию, где появляются зоны перегрева и куда возвращается нагретый воздух. Отдельно проверяем работу при разной ИТ-нагрузке: это помогает выбрать компоновку с учетом постепенного заполнения зала.

Наружная задача охватывает оборудование за пределами машинного зала: дизель-генераторы, чиллеры и другие установки холодоснабжения. Здесь мы оцениваем их взаимное влияние с учетом геометрии здания и ветра. Такое исследование особенно полезно при плотной компоновке энергоцентра и хладоцентра.

CNews: Какие проблемы могут возникнуть снаружи здания? Почему недостаточно просто разнести установки на некоторое расстояние?

Данил Левадний: На небольшом участке возможности для этого ограничены. Одна из компоновок, которую мы рассматриваем, — размещение дизель-генераторов на нижнем уровне, машинных залов выше, а холодильного оборудования на кровле. Так можно использовать высоту здания, но приходится проверять, куда уходит тепло от каждой группы установок.

Воздух после радиаторов охлаждения дизель-генераторов сильно нагрет. Если он возвращается на вход этих же установок, возникает риск их перегрева. Если поднимается к холодильным машинам, меняются условия, в которых работает хладоцентр. Рециркуляция возможна и между самими холодильными установками.

На результат влияют направление выброса воздуха, расстановка оборудования и ветер. Поэтому нужно проверить несколько сценариев и понять, где образуются зоны повышенной температуры. В зависимости от результата меняют расположение установок, подбирают другое оборудование, корректируют компоновку. Возможность таких изменений лучше предусмотреть еще при разработке концепции.

Петр Вашкевич: Самый неприятный вариант — когда при испытаниях все работает, потому что ветер благоприятный, а проблема появляется уже в эксплуатации. Расчет помогает заранее увидеть, при каких условиях горячий поток попадет туда, где его быть не должно. Это дает основание доработать решение до строительства.

CNews: На каком этапе стоит подключать CFD? Можно ли сначала закончить проект, а затем проверить его?

Данил Левадний: Проверить готовый проект можно. Но на стадии концепции у команды больше возможностей повлиять на результат: изменить размеры зала, расположение оборудования, устройство фальшпола. Когда основные решения уже приняты, выбор сужается.

Обычно работа идет последовательно. Проектировщики предлагают исходную компоновку, мы рассчитываем ее работу в заданных режимах. Если обнаруживается перегрев, разбираемся в причине, вносим изменения и повторяем расчет. Бывает и обратная ситуация: модель показывает, что для выбранной схемы можно сократить некоторые расстояния или размеры помещения. Это также требует проверки следующей итерацией.

Для заказчика важна перспектива полной загрузки. Между выбором концепции и моментом, когда ЦОД заполнится оборудованием, могут пройти годы. Моделирование позволяет оценить будущий режим еще до того, как он возникнет на объекте.

CNews: Как заказчику оценить экономический эффект? Можно ли заранее назвать процент экономии от CFD?

Петр Вашкевич: Универсальный процент мы не называем. В наших проектах существенный эффект связан с использованием площади. Размер машинного зала, ширина здания, размещение инженерного оборудования влияют на объем строительства. Расчет помогает определить, насколько компактной может быть выбранная компоновка при заданной нагрузке и режимах работы.

Если площадь заложена с избытком, появляется возможность ее оптимизировать. Если заказчик уже стремится разместить оборудование очень плотно, нужно проверить работоспособность такого решения. Но сказать, что CFD всегда сокращает площадь на определенную величину, нельзя: исходные условия у объектов разные.

На эксплуатационные затраты влияет и сопротивление движению воздуха. Компоновка машинного зала, расположение оборудования и организация подачи воздуха определяют потери давления, которые приходится преодолевать вентиляторам. CFD помогает сравнить варианты и выбрать решение с меньшими потерями и более равномерным распределением холодного воздуха. Это создает возможность снизить энергопотребление системы охлаждения.

Насколько заметным будет результат, зависит от архитектуры охлаждения и от того, что еще можно изменить в проекте. Обещать значительное снижение PUE только за счет моделирования было бы некорректно.

Данил Левадний: Есть еще стоимость переделок. Расчет позволяет заранее проверить сомнительные решения и выбрать рабочие варианты. Для заказчика это способ снизить риск ситуации, когда деньги уже потрачены, объект построен, а нужного режима работы получить не удалось.

CNews: Что CFD может дать действующему ЦОДу при модернизации?

Петр Вашкевич: Например, заказчик собирается установить более мощные стойки и хочет понять, в какой части зала им хватит охлаждения. Или в существующей зоне возникает перегрев и нужно разобраться в его причинах. Такие задачи можно исследовать на модели.

Другая ситуация — зал пока недозагружен. Возникает вопрос, какие кондиционеры можно вывести из работы и какие необходимо оставить включенными. По общей мощности это может выглядеть просто, но распределение воздуха зависит от конкретной комбинации оборудования. Моделирование позволяет перебрать варианты и отобрать те, которые имеет смысл проверять на объекте. Затем их отрабатывают в реальных условиях и оценивают удобство для эксплуатации.

Данил Левадний: Перед установкой более мощного оборудования важно проверить, как изменятся воздушные потоки и температура у соседних стоек. Новая нагрузка может повлиять на условия охлаждения всего участка зала. В модели можно сравнить варианты размещения и проверить корректирующие меры: герметизацию, установку направляющих воздушного потока, изменение подачи воздуха через перфорированные плиты. Так проектировщик заранее определяет, какие изменения потребуются вместе с установкой оборудования.

У нас был опыт обследования действующего зала, который заказчик планировал дополнить стойками большей мощности. Мы собрали данные системы мониторинга, а недостающие параметры измерили своими датчиками. Затем сопоставили результаты модели с работой существующей системы и выполнили расчет для новой нагрузки. Также рассматривали необходимость изоляции коридоров.

На небольших объектах встречается задача дооснащения: в существующее помещение добавляют оборудование и меняют состав кондиционеров. Здесь важно проверить совместную работу новой и действующей техники в тех габаритах, которые уже есть.

CNews: Насколько можно доверять результату расчета? Что ограничивает точность модели?

Данил Левадний: Модель строится на исходных данных и допущениях. На стадии концепции заказчик часто еще не знает точный состав оборудования в стойках. Мы используем обобщенное представление стойки с заданными характеристиками, без подробного расчета движения воздуха внутри каждого сервера. Это нужно учитывать при интерпретации результата.

Для существующего объекта есть возможность сравнить расчет с измерениями. Такая валидация — сопоставление с реальными данными — помогает оценить применимость модели к дальнейшей задаче.

Есть и ограничение по времени. Для крупного ЦОДа нужно подготовить геометрию, исходные параметры, выполнить расчеты и разобрать результат. Изменение компоновки может потребовать новых итераций. Это полноценная инженерная работа, которую нужно учитывать в графике проектирования.

Петр Вашкевич: У расчета есть погрешности, но он дает общую картину и помогает обнаружить серьезные ошибки в организации воздушных потоков. При модернизации выбранные решения нужно проверять на действующем оборудовании. Модель позволяет сузить число вариантов, которые придется испытывать в реальности.

CNews: Как использовать результаты CFD при принятии решения о строительстве или модернизации?

Петр Вашкевич: Расчет помогает предметно обсудить техническое решение с заказчиком. Можно показать, при каких условиях возникает проблема, чем она вызвана и какие изменения позволяют ее устранить. Если есть несколько вариантов, появляется основание для сравнения.

При модернизации такой отчет полезен и внутри компании заказчика. Эксплуатация получает возможность обосновать, какие работы необходимы и почему. Дальше к техническим выводам добавляются стоимость и порядок реализации — с этим уже можно обсуждать бюджет.

1 октября К2Тех проведет в Москве демо-день «ПРО ЦОД». Эксперты и партнеры разберут тренды развития рынка и сценарии масштабирования инфраструктуры в условиях дефицита стойко-мест, вопросы комплексной безопасности и проектирования залов под ИИ-нагрузки, а также подходы к оценке локализованных решений; в демо-зонах можно будет протестировать работу оборудования и посетить модульный дата-центр. Программа мероприятия и регистрация — по ссылке.