Иммерсионное жидкостное охлаждение для ультраплотных ЦОД

Отвод тепла методом непосредственного окунания охлаждаемого объекта позволяет удерживать температуру оборудования в требуемых для функционирования системы рамках и открывает путь для создания нового поколения ультраплотных систем. Из-за большого расстояния между молекулами, воздух – очень слабый проводник и аккумулятор тепла; эти показатели примерно в 25 раз хуже, чем у обыкновенной воды. Неудивительно, что жидкостное охлаждение постепенно заменяется воздушным. Из-за неуклонного роста количества серверов компоновка ЦОДов становится все более плотной, что само по себе приводит к росту температуры в стойках. Помещение объекта в жидкую среду заменяет устаревшие способы воздушного остужения ультраплотных ЦОДов.

Современные системы требуют большого количества вентиляторов для направления больших объемов воздуха на обдуваемые поверхности по специально рассчитанным каналам в корпусе устройства. Подобные способы увеличивают потребление энергии и существенно повышают уровень шума и риски. Отказ охлаждающего оборудования зачастую становится причиной возникновения серьезных проблем. Разработчики современных микросхем постоянно работают в направлении снижения энергопотребления, а с ним и излучаемого тепла. Уменьшение тепловыделения чипов позволит увеличить плотность компоновки, но уже сейчас понятно, что традиционные устройства теплоотвода ограничивают максимальную плотность размещения компонентов.

Пытаясь выйти за накладываемые традиционными способами рамки, разработчики погружают аппаратные компоненты в жидкую среду. Подобный метод – инновационная технология, которая, несомненно, совершит переворот в области центров хранения данных.

Один огромный охладитель

Ввиду плотности, жидкость является идеальным хладагентом. Молекулы растворов обволакивают охлаждаемый объект, что способствует легкому поглощению тепловой энергии. Чиллерная вода, которая циркулирует в теплообменниках дата-центров, долгое время была основным теплоносителем.

Но вода и электричество в данном случае плохая пара. Вода – проводник, и вдобавок вызывает коррозию элементов. Нарушение целостности охладительного контура зачастую оборачивается настоящей катастрофой! Опасность воды – вот основная причина отказа многих ЦОДов от жидкостного охлаждения.

«У нас уже были инциденты, связанные с авариями в системе водяного охлаждения, которые имели значительные последствия, – поделился информацией Tim Noble, IT-директор, входящий в консультативный совет ReachIPS Inc., провайдера интернет-сервисов из города Cupertino, California. – Избавившись от жидкости, мы предотвратим опасности протечек или затопления».

Инновация состоит в выборе нового вещества в качестве теплоносителя. Обыкновенная вода заменяется другой субстанцией, которая обладает диэлектрическими свойствами, а также будет инертной по отношению к электронным компонентам. Например, это могут быть минеральные масла, или флюиды Green Revolution Cooling.

Использование новой методики позволит погрузить охлаждаемые объекты непосредственно в теплоноситель без ущерба для электронных компонентов и изменения их параметров.

Методы погружного охлаждения

Существует два базовых метода погружного охлаждения – однофазный и двухфазный. Однофазный способ базируется на погружении оборудования в хладагент и отводе излишков тепла от устройств циркуляцией жидкости, которую должна обеспечить насосная установка. На этом принципе базируется установка CarnotJet от группы Green Revolution Cooling, – простое, но эффективное решение.

Существуют системы, использующие циркуляцию хладагента лишь по индивидуальным изолированным отсекам и не требующие погружения всей стойки. Одним из таких решений является установка от LiquidCool Solutions, которая связывает несколько серверных модулей в единую систему.

Двухфазный метод взят на вооружение компанией Allied Control и реализован в инновационном решении Immersion-2. Используемый Allied Control теплоноситель от группы 3М обладает диэлектрическими свойствами, инертен по отношению к другим веществам. Кроме того, он имеет низкую температуру фазового перехода: 34°C, 49° C, или 56°C (зависит от используемого флюида). Вблизи источников тепла теплоноситель нагревается, закипает, испаряется и совершает обратный переход в жидкое состояние в конденсаторе.

Теплоноситель от 3М – это продукт химии перфторированных соединений. Длительные исследования завершились ошеломляющими успехами: в мировую практику стремительно вошел новых класс веществ – фторированные кетоны. Это наименование получили органические вещества синтетического происхождения, в молекулах которых частицы водорода заменяются частицами фтора, крепко связанными с углеродным скелетом. Флуоркетоны Novec® представляют собой прозрачную жидкость, не имеющую цвета и запаха. Обладает диэлектрическими свойствами, нетоксична, не вступает в реакции с другими веществами, имеетнизкую температуру кипения. За внешнюю схожесть кетоны названы сухой водой. Исследования нового вещества показали его эффективность для использования в системах теплоотвода и газовом пожаротушении.

Основное преимущество метода – его эффективность. Из-за естественной циркуляции теплоноситель не нуждается в перекачке. Это позволяет отказаться от дорогостоящего насосного оборудования, ведь после конденсации весь теплоноситель остаётся в резервуаре!

Требуемая температура конденсатора задается при помощи обыкновенной воды. Для работы подобной системы требуется гораздо меньше электроэнергии, если сравнивать с традиционными решениями. А два фазовых перехода способны отвести гораздо больше тепла!

Основные преимущества иммерсионного охлаждения

Иммерсионное охлаждение имеет множество существенных преимуществ для сверхплотных центров нового поколения. Плотность компоновки серверов при использовании жидкостного охлаждения существенно растет. Исчезает опасность возникновения горячих точек из-за неверного распределения или блокировки воздушных потоков.

Современное оборудование полностью совместимо с иммерсионным методом. Кроме того, технология имеет многообещающие перспективы для использования в области высокопроизводительных вычислений, в которых задействованы модули, требующие отвода от 30 до 100 киловатт с одной стойки.

Еще одним существенным плюсом является длительный цикл процесса. Отказ от воздушного охлаждения приводит к перегреву оборудования в течении секунд. Дата-центры обычно выходят из подобной ситуации снижением нагрузок и постепенным отключением устройств, или срабатыванием резервной системы.

В случае поломки насоса, однофазный иммерсионный метод позволяет сохранить требуемую температуру хладагента гораздо дольше. Двухфазный, благодаря естественной циркуляции, вовсе не требует насосного оборудования. В качестве основного преимущества приводится арифметика снижения затрат на электроэнергию, ведь отвод тепла новым методом не требует приобретения дорогостоящих вентиляторов. Плюс в самом серверном зале становится больше места. «Представители Direct Liquid Cooling говорят, что иммерсионное охлаждение снижает расход электроэнергии до 60% и больше, – комментирует Andrew Donohue, руководитель группы аналитиков 451 Research. – Также отсутствие вентиляторов оставит в прошлом шум и вибрации, которые иногда сами становятся причиной поломки оборудования.

Недостатки новой технологии

Иммерсионному охлаждению свойственны и недостатки. Основным является высокая эффективность. На сегодня подавляющее большинство ЦОДов не требуют столь мощного охлаждения, и уход от воздушного способа к иммерсионному не оправдает финансовых затрат на модернизацию центра.

В случае, если ЦОД уже обладает системой CRAC, у владельца нет причин менять стабильно работающую схему, ведь современное оборудовании нормально функционирует и с воздушным охлаждением. Серьёзным поводом для внедрения погружного охлаждения становится развертывание сверхплотных вычислительных систем, обеспечение работы которых посредством старых методов теплоотвода становится проблематичным.

Увы, иммерсионное охлаждение требует существенных переделок центра. Сегодня структура ЦОДов основывается на вертикальных стойках, но иммерсионный метод требует горизонтального расположения баков. Также использование жидкости в качестве теплоносителя привносит в работу некоторые неудобства. При извлечении объекта требуется чистка и сушка (в последних наработках эти проблемы решены).

«Имеющиеся ЦОДы довольно сложно модернизировать, а компоненты, находящиеся в жидкой среде, имеют трудности с обслуживанием», – считает Scott Gorcester, представитель облачного провайдера VirtualQube.

Специалисты Gorcester и Donohue дополнительно ссылаются на возможные проблемы с эксплуатацией установок и утилизацией хладагента. Даже если ёмкости герметичны, важным аспектом остается фильтрование и очистка жидкости от различных частиц, которые могут ухудшать конвекцию и даже быть потенциально опасны для обслуживающего персонала.

По мнению David J.Cappucio, вице-президента в области исследований компании Gartner, для этого отлично подходят очищенные субстанции с низкой вязкостью, но высокой тепловой инерцией, которые, в свою очередь, должны быть экологичными и не иметь токсичных свойств, как, например, минеральные масла.

Однако в наше время еще нет ГОСТов для подбора хладагентов, их очистки и утилизации.

Погружение в инновацию

Иммерсионные установки уже завоевывают рынок, но следует внимательно отнестись к некоторым вопросам внедрения новинки. Современное вычислительное оборудование прекрасно совместимо с иммерсионным охлаждением, так что следует постепенно планировать модернизацию уже существующих площадок. Если новая стойка выходит за границы выделенного места, то иммерсионная система становится оптимальным решением этой проблемы. «Я считаю, что эти методы оптимальны для интенсивных условий работы и суперкомпьютерных вычислительных систем», – комментирует Scott Gorcester.

Полностью преимущества иммерсионного охлаждения можно оценить лишь в связке с вычислительным оборудованием, которое не может эксплуатироваться с применением устаревших способов теплоотвода. Это основная причина откладывания в долгий ящик монтажа охладительного оборудования нового поколения. Массового внедрения не предвидится до появления ультраплотных ЦОДов.

Модернизация, или внедрение новых приёмов теплоотвода, подразумевает проведение предварительного комплексного анализа. Это вселяет уверенность, что несущие конструкции здания способны выдержать все компоненты установок, в том числе жидкость, которая создаст основную нагрузку на перекрытия.

Дополнительное оборудование включает в себя трубопроводы, помпы, теплообменники, фильтры и устройства контроля теплоудаления. Это оборудование необходимо для соответствия устоявшимся методикам проектирования и строительства дата-центров. Кроме того, иммерсионная технология, вопреки устоявшимся традициям, подразумевает горизонтальное размещение стоек, а это также влияет на структуру компоновки ЦОДов.

На сегодняшний день серверное оборудование оснащается вентиляторами, радиаторами и сложными системами воздуховодов, которые направляют воздушные массы на охлаждаемые объекты. Несмотря на полную совместимость вычислительного оборудования с иммерсионными методами теплоотвода, одновременная эксплуатация обеих типов охлаждения невозможна. Перед погружением в жидкий теплоноситель все компоненты воздушной системы должны быть демонтированы.

Твердотельные устройства памяти не требуют дополнительных модификаций перед помещением в жидкую среду. Но это не относится к обычным жёстким дискам, которые не могут полноценно вращаться в жидкости. Решением проблемы является установка жёстких дисков в сухой зоне, или использование специально разработанных герметичных модификаций.

Ещё одним препятствием становятся оптоволоконные кабели. Обычные электрические проводники, в том числе витая пара, работают без сбоев, однако жидкая среда может вносить искажения в месте соединения оптоволоконного кабеля и порта. Этот недостаток способен существенно повлиять на производительность сетевого соединения, ведь даже небольшое воздействие может снизить скорость ниже необходимого минимума!

При использовании иммерсионных схем не стоит забывать и о риске утечек, или загрязнении оборудования. Естественно, в ЦОДах применятся нетоксичная диэлектрическая жидкость, однако найдется мало желающих находиться в помещении с минеральными маслами. Некомфортно проводить работы с оборудованием, с которого течёт масло.

Сотрудникам центра в таком случае потребуются средства индивидуальной защиты и специализированные поддоны с высокими краями для предотвращения растекания масел.

Одним из условий работы также является очистка пролившегося теплоносителя для его повторного использования. К тому же, иммерсионные системы должны оснащаться двойными резервуарами для предотвращения утечек и контрольным оборудованием для своевременного обнаружения малейших потерь теплоносителя в резервуарах.

Потребность в больших вычислительных мощностях и более плотной компоновке систем обработки и хранения данных постепенно приводит к увеличению количества процессоров и объёмов оперативной памяти, размещенных на одной материнской плате. Сверхплотные серверные системы и стойки более не смогут эксплуатироваться совместно с традиционными методами охлаждения, поэтому разработчики начнут выпуск иммерсионных систем охлаждения, как минимум, в нескольких вариантах исполнения, что поспособствует повсеместному применению новой технологии в новых дата-центрах.

Прямое погружное жидкостное охлаждение доступно уже сегодня. Решения некоторых производителей могут быть реализованы взамен традиционного воздушного охлаждения. Однако внедрение новых технологий идёт весьма медленно. Причина этому – огромные инвестиции в традиционные механические системы и неуклонное повышение энергоэффективности вычислительного оборудования.

Аналитики пока уклончиво комментируют сроки широкомасштабного внедрения инноваций, но возможные выгоды видны уже сейчас.