Drei gute Gründe für Liquid Cooling im Rechenzentrum 

Warum die Wärmeentwicklung im Rechenzentrum zum zentralen Problem wird 

Es ist kalt draußen. Sehr kalt. Zum Zeitpunkt der Entstehung dieses Artikels schneit es mal wieder. Große Teile Deutschlands erleben gerade einen der kältesten Winter der letzten 15 Jahre. Tagelang Dauerfrost, Eis und Schnee waren aus vielen Köpfen der Bundesbürger schon wieder verschwunden. Um da auf warme Gedanken zu kommen, denkt man als IT-ler nicht immer nur an seinen morgendlichen – und für einen produktiven Arbeitstag unverzichtbaren – Kaffee oder Tee, sondern immer öfter auch an das Thema Wärmeentwicklung im Rechenzentrum.

Kein Wunder: Moderne IT im Rechenzentrum benötigt eine Menge Strom. Und dieser Strom wird, ganz nach dem Energieerhaltungsgesetz, in eine andere Energieform umgesetzt. Und da nur sehr wenige Server-, Speicher- und Netzwerksysteme plötzlich das helle Leuchten oder das Fliegen erlernt haben, findet diese Umwandlung zwangsläufig in die Form der Wärme statt. Zwar werden die Systeme grundsätzlich, rein gemessen an ihren Leistungsdaten pro Einheit (Watt), immer effizienter, jedoch oft nicht in dem Umfang, wie es notwendig wäre, um den immer schneller wachsenden Bedarf an Rechen- und Speicherleistung ausgleichen zu können. 

Steigende Leistungsaufnahmen von CPUs und GPUs: Luftkühlung am Limit 

Sowohl bei Prozessoren als auch – durch zunehmende Datenverarbeitungsanforderungen – bei Grafikkarten entwickelt sich die maximale Leistungsaufnahme der Chips seit Jahren eindeutig nach oben. War es in den 90er Jahren noch üblich, derartige Komponenten komplett passiv (mit kleinen oder gar ganz ohne Kühlkörper) zu kühlen, stiegen die Werte Ende der 2000er Jahre bereits auf ca. 100 – 150 Watt, Ende der 2010er auf ca. 200 – 250 Watt bis zum heutigen Tag auf 400 – 500 Watt bei Central Processing Units (CPUs) oder bei den aktuell schnellsten Graphics Processing Units (GPUs) für KI-Anwendungen sogar deutlich über 1.000 Watt an. Man muss kein besonders großer Hellseher sein und die ersten Roadmaps der Hersteller deuten es auch bereits an, dass bis zum Ende dieses Jahrzehnts die Prozessoren nahe der 1.000-Watt-Marke und die der GPUs möglicherweise sogar in Richtung 2.000 Watt und höher bei der Leistungsaufnahme marschieren werden (erste Gerüchte schätzen die kommende Nvidia GPU „Rubin“ Generation bereits auf 1.800 – 2.300 Watt).

Werte, die bekannte Luftkühlungskonzepte in typischen Serverformfaktoren (19-Zoll-Rack, 1, 2 oder 4 Höheneinheiten) an ihre Grenzen gebracht oder diese sogar bereits überschritten haben. Und bereits jetzt ist gesichert absehbar, dass zukünftige Hochleistungssysteme, allen voran im High-Performance- sowie KI-Bereich, ausschließlich für Flüssigkeitskühlungen ausgelegt sein werden. Systeme mit Luftkühlung wird es weiterhin geben, jedoch mit deutlichen Einschränkungen hinsichtlich der Auswahl an leistungsfähigen CPUs und GPUs (weniger Kerne, niedrigere Taktraten). Wer also heute und zukünftig in seinem Rechenzentrum Spitzenleistungen erreichen möchte, hat hiermit bereits den ersten Grund gefunden, sich mit dem Thema Flüssigkeits-basierte Kühlungskonzepte auseinanderzusetzen. Das ist dementsprechend der „technische“ Grund. 

Ökologischer Vorteil: Abwärmenutzung steigert die Energieeffizienz 

Der zweite Grund ist der „ökologische Aspekt“. In dieser Diskussion soll an dieser Stelle bewusst kein Plädoyer für immer mehr Verzicht und Vermeidung von primärer Ressourcennutzung stehen. Unternehmen benötigen Rechen- und Speicherleistung ja nicht zum Spaß, sondern um Geschäftsprozesse IT-technisch abzubilden. Der Ansatz ist hier ein anderer, nämlich der Gedanke: Wie schafft man es, aus der unvermeidlichen Primär-Energienutzung (in dem Fall „elektrischer Strom“) das Maximum herauszuholen?  

Klassische Rechenzentren in Unternehmen sind bzw. waren in den letzten Jahrzehnten typischerweise folgendermaßen aufgebaut: Es gibt Räumlichkeiten mit passenden Serverracks, in denen die IT-Komponenten eingebaut wurden. Diese Räumlichkeiten verfügen über aktive Klimaanlagen, welche die anfallende Wärmelast über entsprechende Kühlmittelleitungen zu passenden Wärmetauschern außerhalb des Gebäudes (oft auf dem Dach) geleitet haben, wo sie dann schlussendlich ohne weitere Nutzung in die Umgebungsluft abgegeben werden. Cleverere Ansätze – wie zum Beispiel Free Cooling – haben in unseren Breitengraden bereits dazu geführt, dass während rund 95 % des Jahres auf eine aktive Kältemittelkühlung verzichtet werden kann. Stattdessen wird die kühlere Außenluft über große Lüftungsanlagen zur Temperierung genutzt. 

Warmwasserkühlung: Wie Rechenzentren ihre Abwärme weiterverwenden können 

Flüssigkeitskühlungen für Rechenzentren bieten dagegen eine weitere Option: Die so genannte Warmwasserkühlung, bei der die abgegebene Wärme optimalerweise sekundär im Gebäude oder in einem Produktionsprozess genutzt wird. So beträgt bei einer Warmwasserkühlung die Einlasstemperatur in die Serversysteme typischerweise 30 – 40°C und die Auslasstemperatur aus dem primären Kühlkreislauf über 45°C. Das ist genug, um beispielsweise im Winter eine Fußbodenheizung für die Büroräumlichkeiten zu betreiben oder über entsprechende Wärmetauscher Produktions- und Lagerhallen zu beheizen. Der Gesamteffizienzgrad der Energienutzung steigt somit deutlich an, was insbesondere auch im Hinblick auf das deutsche Energieeffizienzgesetz (EnEfG, siehe Paragraf 11,12 ff) relevant wird.  

Ökonomischer Nutzen: Wie Liquid Cooling Strom- und Betriebskosten senkt 

Und überall, wo ein Effizienzgrad steigt, findet sich oft der dritte Grund: Der „Ökonomische“: Nicht nur lassen sich beispielsweise Heizkosten einsparen – haben Sie sich auch schon gefragt, wie hoch der Energiebedarf der Luftkühlung in einem leistungsstarken Standardserver inzwischen ist?  Moderne Hochleistungslüfter in einem 2-HE-Server besitzen bei einer Größe von typischerweise 60 x 60 x 58 mm in einem „counter rotating“ Design (also zwei Lüfter in einem Paket, die jeweils gegenläufig zueinander drehen) und einer maximalen Drehzahl von über 20.000 Umdrehungen pro Minute eine Leistungsaufnahme von bis zu 75 Watt. Von dieser Lüfterklasse sind i.d.R. sechs Stück verbaut, was einen Gesamtbedarf je nach Auslastung von bis zu 450 Watt ergibt. Interne Messungen mit einem 1-HE-großen Server und acht Lüftern haben einen Bedarf von 300 Watt bei 100% Lüfterdrehzahl ergeben. Werden die zu kühlenden Komponenten wie Prozessoren, Arbeitsspeicher und Grafikkarten entsprechend ausgelastet, entfällt somit ein signifikanter Anteil der Gesamtleistungsaufnahme des Servers bereits auf die typische Luftkühlung.  

Rechenbeispiel: So viel Energie verschlingt die Server-Luftkühlung 

Kleine Beispielrechnung?   

20 Server * 300 Watt (2/3 Auslastung – abhängig vom Workload) für die Lüfter benötigen somit sechs Kilowatt nur für die Luftkühlung. Hochgerechnet auf einen Betriebszeitraum von fünf Jahren ergibt das einen Gesamtbedarf von satten 262.800 Kilowattstunden (6 kW x 8.760 Stunden x 5 Jahre). Bei einem Strompreis von 20 Cent je Kilowattstunde summiert sich das bereits auf rund 52.000 Euro. 

Technische Optionen für Liquid Cooling im Überblick 

In der Praxis umsetzen lässt sich das auf verschiedene Wege und je nach Anforderungen oder vorhandenen räumlichen Gegebenheiten gibt es eine Vielzahl an technischen Optionen, von denen wir kurz ein paar beleuchten möchten. 

Option 1: Racks mit integrierten Wärmetauschern (z.B. an der Rückwand) 

Bei dieser Lösung wird an der Rückwand eines Serverracks ein großer Wärmetauscher installiert, welcher die abgegebene Wärme der verbauten Komponenten ansaugt und schließlich an einen externen Wasserkreislauf übergibt. 

Vorteile: 

• Bestehende Server-, Storage- und Netzwerktechnik mit klassischer Luftkühlung kann erhalten bleiben.  

• Praktisch die komplette Wärme wird ins Wasser abgegeben 

• Etablierte Kühlungstechnik 

• Wird von verschiedenen Herstellern angeboten und unterstützt 

Nachteile: 

• Komponenten, die zwingend eine Flüssigkeitskühlung erfordern (High Performance CPUs + GPUs), werden allein damit nicht abgedeckt. 

• Energiebedarf für die Luftkühlung bleibt erhalten 

Derartige Systeme sind teilweise zudem auch auf wärmere Wassereinlasstemperaturen (z.B. 30°C bei max. 75 kW Wärmelast/Rack) ausgelegt. 

Option 2: Direct Liquid Cooling (DLC) 

Bei dieser Lösung werden die kritischen Komponenten in einem Server (CPUs, falls möglich GPUs, RAM, NICs) direkt per Flüssigkeitskühlung versorgt. Mittels einer so genannten CDU (Cooling Distribution Unit) wird die Wärme über einen Kühlkreislauf von den Komponenten abgeführt und in einen externen Kreislauf (Warm- oder Kaltwasser) übertragen. 

Vorteile:  

• Wärmeabgabe direkt von den Komponenten in die Flüssigkeit. Hohe Leistungsaufnahmen pro Chip lassen sich sicher abführen. 

• Die Luftkühlung der Server wird dadurch stark entlastet. 

• Nach wie vor relativ neue, aber durchaus schon etablierte Technik, wird von vielen Herstellern angeboten und unterstützt 

Nachteile: 

• Nur für bestimmte Servermodelle, CPU + GPU-Konfigurationen verfügbar.  

• Ggf. unterschiedliche Herstellerstandards (Kühlmittel, Anschlüsse) 

• Umfasst in der Regel nicht die Kühlung aller Komponenten z.B. RAM, Netzwerkkarten, SSDs in Servern oder andere Geräte wie Storage- und Switche in einem Rack, die über keine DLC-Kühlmöglichkeit verfügen. Bestimmte Serverlösungen von OEMs bieten jedoch einen Anteil von über 90% Wärmeabgabe direkt ins Wasser. Hier werden große Teile des Mainboards und der verbauten Komponenten mittels einer großen Kupferplatte (Cold Plate) samt Kühlkanälen bedeckt. 

Oftmals kann jedoch eine Kombination aus Option 1 und 2 eingesetzt werden, um möglichst die komplette Wärmelast in den externen Wasserkreislauf zu übertragen. Somit wird sowohl der technische als auch der ökonomische und ökologische Aspekt abgedeckt. 

Option 3: Immersionskühlung (LIC = Liquid Immersion Cooling) 

Bei dieser Variante werden die Komponenten komplett in einer speziellen Flüssigkeit „versenkt“. 

Vorteile: 

• Alle Serverkomponenten werden über die Flüssigkeit gekühlt 

• Keine Luftkühlung mehr notwendig 

• Sehr hohe Packdichte an Servern möglich 

Nachteile: 

• Spezielle Firmware für die Server wird benötigt (z. B., dass sämtliche Alarme für nicht vorhandene Lüfter aus der Managementfirmware entfernt werden). Viele große OEMs bieten hier auf Anfrage inzwischen jedoch Lösungsmöglichkeiten. 

• Strenge Kompatibilitätsvorschriften  

• Optische Verbindungen (z.B. Fibre-Channel oder Netzwerkkarten mit Transceivern) sind problematisch, können jedoch gegebenenfalls mit Speziallösungen realisiert werden. 

Option 4: DLC mit Heat Dissipation Units (HDUs) 

Bei dieser Lösung werden die kritischen Komponenten in einem Server (CPUs, falls möglich GPUs, RAM) direkt per Flüssigkeitskühlung versorgt. Mittels einer so genannten HDU (Heat Dissipation Unit) wird die Wärme über einen primären Kühlkreislauf von den Komponenten abgeführt und anschließend in die Umgebungsluft innerhalb des Rechenzentrums übertragen. Diese Lösung ist für Installationen geeignet, bei denen keine direkte Wasserzuleitung in Rechenzentrum möglich ist. 

Vorteile: 

• Flüssigkeitskühlungen können „getestet“ werden, ohne grundlegende Umbauarbeiten im Rechenzentrum vorzunehmen (z.B. Wasserzuleitung) 

• Wärmeabgabe direkt von den Komponenten in die Flüssigkeit. Hohe Leistungsaufnahmen pro Chip lassen sich sicher abführen. 

• Die Luftkühlung der Server wird dadurch stark entlastet. 

• Bestehende Kühlungslösungen im Rechenzentrum können weiterverwendet werden. 

Nachteile: 

• Erfordert weiterhin eine herkömmliche Klimatisierung (doppelter Aufwand). 

Diese Lösung ist vor allem für eine schnelle und relativ unkomplizierte Lösung für den „technischen“ Aspekt sinnvoll, wenn beispielsweise neue, besonders leistungsfähige und auf Flüssigkeitskühlung angewiesene Komponenten eingesetzt werden soll, jedoch keine größeren Änderungen an der bestehenden Rechenzentrumsbasis vorgenommen werden können. 

Übersichtstabelle 

Fazit: Warum Liquid Cooling im Rechenzentrum unverzichtbar wird 

Das Thema Liquid Cooling im Rechenzentrum wird in der Zukunft unter den drei genannten Gründen einen immer wichtigeren Part einnehmen:  

1. Luftkühlung kann die steigenden Leistungsaufnahmen moderner CPUs und GPUs nicht mehr bewältigen.  

2. Gleichzeitig ermöglicht Flüssigkeitskühlung eine deutlich bessere Energieeffizienz, da Abwärme sinnvoll weiterverwendet werden kann.  

3. Darüber hinaus senkt sie Betriebs- und Energiekosten, weil aufwendige Luftkühlungssysteme weniger Leistung benötigen. 
    

Liquid Cooling ist nicht nur eine technologische Weiterentwicklung – es ist ein entscheidender Baustein, um Performanceanforderungen, Nachhaltigkeitsziele und ökonomische Effizienz gleichzeitig zu erreichen. Unternehmen, die heute ihre IT-Infrastruktur planen, sollten Flüssigkeitskühlung deshalb fest einbeziehen. 

Technik, die bislang allen voran in größeren Installationen zum Einsatz kommt, wird mit zunehmender Verbreitung immer weiter in klassische Mittelstandsinstallationen Einzug halten.