„Die IT-Infrastruktur muss künftig mit Wasser arbeiten“

Es sind eigentlich zwei Trends, die sich überlagern: Das eine ist die Anwendung „KI“, die in Summe das Wachstum unheimlich pusht. Und gleichzeitig findet ein Technologie-Shift statt. Das Mooresche Gesetz hat die Strukturen in den vergangenen Jahren immer kleiner werden lassen und ist bis heute auch ungebrochen. Und jetzt kommen wir an einen Punkt, an dem die Leistungsdichten der Chips derart zunehmen, dass das Kühlen mit Luft immer schwieriger wird. Diese beiden Entwicklungen verursachen im Markt gerade eine größere Disruption. Die IT-Infrastruktur muss künftig mit Wasser arbeiten. In der Vergangenheit gab es das zwar auch schon - im Bereich „High Performance Computing (HPC)“. Das war aber ein kleineres Marktsegment, eher etwas für Nischenanbieter. Durch den Boom der KI-Systeme, mit dem sich inzwischen auch alle Hyperscaler beschäftigen, wird das Thema „Wasserkühlung“ nun wirklich zu einem extrem großen Markt. Wir rechnen mit einem Marktwachstum von heute rund 1 Mrd. Euro für Kühllösungen auf über 10 Mrd. Euro bis zum Jahr 2030.

Nach unseren Informationen wird Nvidia als wichtigster Anbieter seine Produktion von Chips, die wassergekühlt sind, bis Anfang des kommenden Jahres von rund 10 bis 20 Prozent auf über 80 Prozent erhöhen. Das heißt, ein großer Teil der neuen Racks und Server, die ausgeliefert werden, müssen fast zwangsläufig für Wasserkühlung geeignet sein. Und diejenigen, die diese Technologie einsetzen möchten, sind zum Teil heute schon unsere Kunden. Oder es sind potenzielle Kunden, die Anfragen bei uns platzieren. Und so gut wie in jedem neuen Projekt geht es um Wasserkühlung. Die Entwicklung ist also keine, die kommen wird, sondern sie ist schon da.

Wasserkühlung wird dort eingesetzt, wo diese benötigt wird. Grundsätzlich vertragen sich Wasser und Elektronik nicht so gut. Daher nutzt man diese Art der Kühlung nur dort, wo es sein muss. Bei KI-Anwendungen mit den neuesten Chipgenerationen führt kein Weg daran vorbei. Aber es gibt natürlich auch weiterhin klassische Anwendungen wie zum Beispiel das Streamen von Dateien oder das Rendern von Webseiten, die auch auf luftgekühlten Architekturen laufen können. Insofern werden wir auch weiterhin ein Wachstum bei klassischen Luftkühllösungen sehen. Das wird sich laut uns vorliegenden Studien bei einer durchschnittlichen jährlichen Wachstumsrate von etwa 9 Prozent bewegen. Luftkühlung bleibt also durchaus ein relevantes Marktsegment. Im Bereich „Künstliche Intelligenz“ sprechen wir allerdings von einer durchschnittlichen jährlichen Wachstumsrate in der Größenordnung von 40 Prozent. Daher geht ein Großteil unserer Investitionen genau in diese Richtung.

Wir bedienen den Markt als Ganzes und Rittal verfolgt dabei immer einen Systemansatz. Es geht darum, einen Systembaukasten zu entwickeln, der die verschiedenen Anforderungen der Kunden erfüllt - unabhängig von den Anwendungen. Wir erweitern unseren Baukasten an Lösungen für luftgekühlte Rechenzentren nun eben in Richtung „Wasser“. Es wird schließlich auch im wassergekühlten RZ eine Luftkühlung geben müssen. Die Haupt-CPUs und -GPUs werden zwar direkt mit Wasser gekühlt, doch die Restwärme von den umliegenden Komponenten, der Bus-Bar und der Energieversorgung muss ja trotzdem abgeführt werden. Und das wird auch weiterhin mit Luft geschehen.

Es geht hierbei vor allem um das Thema „Zuverlässigkeit“. Eine Lösung muss rund um die Uhr durchlaufen können. Ein Rechenzentrum schaltet man nicht mal eben kurz ab. Deswegen investieren wir sehr viel in die Auswahl zuverlässiger Komponenten und den Einbau von Redundanzen. Und die gesamte Lösung muss natürlich hohen Qualitätsansprüchen genügen. Das gilt etwa für die Rohrverbindungen. Diesbezüglich haben wir in unserer langen Historie schon viel Erfahrung gesammelt, denn in den Luftkühllösungen von Rittal gibt es schließlich auch wasserführende Systeme. Somit können wir viel von unserem Wissen, was Verbindungstechnik und Materialauswahl betrifft, auf die neue Welt übertragen. Das Thema „Re-dundanz“ spielt neben der Stromversorgung immer dann eine Rolle, wenn Einheiten verbaut sind, die eine gewisse Ausfallwahrscheinlichkeit mit sich bringen. Das ist etwa bei mechanischen Komponenten der Fall - wie zum Beispiel einer Pumpe. Diesem Problem begegnen wir, indem es in unserem modularen System möglich ist, im laufenden Betrieb eine Pumpe zu ersetzen. Das Gleiche gilt für die Leistungselektronik des Netzteils.

Es hat mich sehr überrascht, aber die Kunden sind sich bereits überwiegend sicher, dass kein Weg mehr an der Wasserkühlung vorbeiführt. Dass man im KI-Rechenzentrum nicht mehr mit Luft weiterkommt, ist jedem in der Branche mittlerweile klar. Insofern müssen wir nicht missionieren, sondern die Kunden kommen mit dem expliziten Wunsch nach Wasserkühlung auf uns zu. Es taucht höchstens ab und zu einmal die Frage auf, ob alternativ zur einphasigen direkten Chipkühlung nicht auch Immersion Cooling - also Tauchkühlung - eine mögliche Lösung wäre. Doch aus unserer Sicht - und das bestätigen auch andere Marktteilnehmer - bringt die Tauchkühlung aktuell noch zu viele Unsicherheiten mit sich. Daher geht der Trend derzeit klar in Richtung direkter einphasiger Chipkühlung.

Die Lösung, die Sie ansprechen, ist eine Coolant Distribution Unit (CDU). Entsprechende Produkte gibt es zwar schon länger auf dem Markt, wir haben uns aber Gedanken gemacht, was sich noch verbessern ließe. Denn die eigentliche Technologie ist relativ simpel: Man braucht eine Pumpe, einen Wärmetauscher und eine Verrohrung. Und wir sind zu dem Schluss gekommen, dass das größte Verbesserungspotenzial in der Integration der verschiedenen Komponenten liegt. Dabei verfolgen wir einen modularen Ansatz. Wir versuchen, viele Komponenten wiederzuverwenden, die auch sonst im Datacenter zu finden sind. Ein Beispiel ist die Rahmenkonstruktion: Das ist ein Rack, wie es auch in der Open Compute Platform (OCP) definiert wird. Da wir ein Hersteller dieses Racks sind, verwenden wir es an dieser Stelle einfach wieder. Das hat uns schon einmal viel Entwicklungsaufwand gespart. Für den Rechenzentrumsbetreiber bedeutet es auch, dass er mit bekannten Geometrien arbeiten kann und sich das System problemlos in eine Rack-Reihe einfügt. Und für die Stromversorgung nutzen wir eine Standard-OCP-Powershelf und unsere Bus-Bar. Auch das sind Komponenten, die nicht erst neu entwickelt werden müssen, sondern die nur noch in die Lösung integriert werden.

Wir haben uns bewusst dafür entschieden, mehrere kleinere Pumpen einzusetzen. So erreicht man mehr Pumpleistung auf kleinerem Raum. Und um die Redundanzanforderungen sicherzustellen, teilen wir diese Leistung auf - zum Beispiel in fünf Pumpkassetten. Vier dieser Kassetten laufen parallel und bringen für die 1-Megawatt-Lösung 1.500 Liter Flüssigkeit pro Minute in Bewegung. Und die fünfte Einheit ist redundant.

Zum einen profitieren unsere Kunden von finanziellen Vorteilen, weil sie nicht so viel Pumpenleistung kaufen müssen, um volle Redundanz herzustellen. Zum anderen haben die Pumpen selbst das Format eines Servergehäuses. Dadurch ist für den RZ-Betreiber der Service einer solchen Einheit noch relativ unproblematisch, weil das Personal ja schon von den luftgekühlten Systemen weiß, wie der Server entriegelt und aus dem Rack gezogen wird. Hinzu kommt, dass die Rittal-Lösung skalierbar ist. Man kann zunächst mit nur zwei Kassetten beginnen und im Nachgang noch eine dritte, vierte und fünfte hinzufügen.

Das ist zumindest etwas, womit wir rechnen - insbesondere dort, wo das Thema „Skalierbarkeit“ zum Tragen kommt. Das wird wahrscheinlich weniger im Hyperscaler-Segment der Fall sein, dafür umso mehr im Colocation- und Enterprise-Bereich. Denn niemand, der heute ein Colocation-Rechenzentrum betreibt, weiß wirklich genau, wie viel Leistung er für Flüssigkeitskühlung vorsehen muss. Und dort bieten skalierbare Systeme natürlich einen Vorteil. Man kann mit diesen klein anfangen und dann mit dem Bedarf der Kunden mitwachsen. Ähnlich ist es im Company Datacenter. Wenn man zum Beispiel erste eigene KI-Implementierungen umsetzt, startet man vielleicht mit ein oder zwei Servern. Wenn sich das Thema etabliert hat und mehr Flüssigkeitskühlleistung benötigt wird, kann man mit einem modularisierten System einfach nachlegen.

Wir sprechen alle genannten Gruppen an - auch die Hyperscaler. Das sind die Front-runner, die auch die Standardisierung und die Technologieentwicklung vorantreiben, die dann letztendlich auch dem Colocation-Bereich zugutekommt. Denn die großen Kunden der Colocation-Anbieter sind ja auch die Hyperscaler, die ihre Architektur dann dort in die Vorgaben mit einbringen. Insofern müssen wir auch all diese verschiedenen Ebenen bespielen. Das ist natürlich entsprechend aufwendig, weil die Kunden ganz unterschiedliche Bedürfnisse haben, denen wir mit verschiedenen Vertriebsprozessen begegnen. So spielen bei den Hyperscalern kundenspezifische Modifikationen eine wichtige Rolle. Bei den Colocation-Anbietern ist dagegen die Bereitschaft, eine Standardlösung zu wählen, wesentlich größer. Grundsätzlich zielen wir mit unserer Systemplattform darauf ab, mit der Kombination standardisierter Module möglichst individuelle Anforderungen umsetzbar zu machen.

OCP wurde 2011 von Meta und weiteren IT-Anbietern wie IBM, Google, Intel und Microsoft gegründet. Der Gedanke, der diesem Projekt zugrunde liegt, ist Open Source. Der Grund, warum Meta das macht, ist die Annahme, dass offene Systeme eine höhere Adaptionsrate haben. So entsteht ein Ökosystem, in dem unheimlich viele Lieferanten und Programmierer zu finden sind, die mit den entsprechenden Systemen umgehen können. Durch eine hohe Adaptionsrate sinken dann die Kosten. Der Open-Source-Gedanke, der im Software-Bereich schon lange etabliert ist, wurde auf die Hardware übertragen.

Wir waren schon in einer sehr frühen Phase mit dabei und haben dort insbesondere das Thema „Rack“ besetzt. Wir leiten zum Beispiel die Arbeitsgruppe „Rack and Power“. Rückblickend war es eine sehr kluge Entscheidung, bei OCP mitzuwirken. Interessanterweise entwickelt dort jeder Hyperscaler sein eigenes Rack-Design, aber die grundsätzliche Topologie der Racks, die 21-Zoll-Breite und die Höheneinheit mit 48 Millimeter, ist als De-facto-Standard aus der Arbeit der OCP entstanden. Und an diesem Standard orientieren sich zunehmend mehr Player in der Branche.

Im luftgekühlten Rechenzentrum gibt es bereits funktionierende Standards. Mit der Flüssigkeitskühlung entsteht aber eine völlig neue Debatte. Das gilt etwa für die Schnellkupplungen, für die noch proprietäre Lösungen existieren. Da wäre ein Standard extrem hilfreich. Die OCP hat bereits einen Standard vorgeschlagen, der inzwischen auch von vier Herstellern unterstützt wird. Es gibt aber noch jede Menge weitere Lücken. Wir diskutieren beispielsweise schon über die nächste Bus-Bar, die dann wassergekühlt sein muss. Doch die Entwicklungsgeschwindigkeit ist dafür noch viel zu hoch. Denn Standards brauchen Zeit, um sich zu etablieren. Nichtsdestotrotz nimmt der Druck auf die Standardisierung zu, weil die vielen kleineren Player eine solche brauchen. Dadurch gibt es im Markt eine größere Bereitschaft, sich an bestimmten Stellen zu einigen.

Wir stellen Komponenten bereit, die dazu beitragen, die Energieeffizienz zu verbessern. Unsere 1-Megawatt-CDU hat für sich genommen einen Power-Usage-Effectiveness-Wert (PUE), der in der Größenordnung von 1,01 liegt. Der PUE ist das Maß für die Energieeffizienz der Rechenzentrumsinfrastruktur. Das bedeutet, dass wir 1 Megawatt Kühlleistung mit 10 bis 15 Kilowatt Anschlussleistung erzeugen. Und wir beraten unsere Kunden auch, wie sie die richtigen Topologien auswählen, um einen guten PUE-Wert zu erreichen. Wasserkühlung ist außerdem ein Enabler für das Thema „Restwärmenutzung“.

Durch die Wasserkühlung schafft man es, Restwärme mit einem tendenziell höheren Temperaturniveau aus der Gebäudehülle herauszubekommen als bei einer Luftkühlung. Und mit einem höheren Temperaturniveau lassen sich natürlich auch mehr Szenarien für die Restwärmenutzung bedienen als mit niedrigen Temperaturen. Ob es nun um das Beheizen des örtlichen Freibads geht oder das Einspeisen ins Fernwärmenetz - je höher die Ausgangstemperaturen aus dem Rechenzentrum sind, desto attraktiver werden solche Szenarien und desto mehr Sinn ergeben sie.

Bei diesem Thema gibt es aktuell noch viel technologische Unsicherheit. Zur Tauchkühlung befinden wir uns im regelmäßigen Austausch mit der OCP-Community und mit Chemieherstellern. Denn im Bereich der zweiphasigen Tauchkühlung stellen sich noch ein paar offene Fragen: Eine bezieht sich auf die Umweltverträglichkeit, da es sich um fluorhaltige Sub-stanzen handelt, die Umwelt und Gesundheit schädigen können. Die entsprechenden Chemieanbieter bemühen sich aber sehr stark und hochprofessionell, diese Bedenken auszuräumen.

Wir reden bei der zweiphasigen Tauchkühlung von 60 bis 100 Euro pro Kilogramm Fluid. Und wenn man bedenkt, dass damit ein ganzes Rechenzentrum befüllt werden muss, dann kommen durchaus höhere Kosten zusammen. Daher ist eine entsprechende Lösung bis jetzt nicht wettbewerbsfähig im Vergleich zu einer Rack-integrierten direkten Chipkühlung.

Sowohl Single als auch Dual Phase Immersion Cooling befinden sich aktuell bei uns in der Kategorie „Beobachten“. Wir arbeiten aktuell nicht daran. Wir wollen das, was sich jetzt klar absehen lässt, auch intensiv und gut bedienen. Und das ist eben die einphasige direkte Chipkühlung. Aber sobald wir sehen, dass die offenen technologischen Fragen besser lösbar werden und sich Vorbehalte am Markt legen, werden wir uns auch strategisch stärker damit auseinandersetzen und abwägen, ob wir eigene Lösungen anbieten wollen.

Ich gehe von einem anhaltenden Trend zur direkten einphasigen Chipkühlung aus. Da ist das Ende der Fahnenstange, was technologisch möglich ist, noch nicht erreicht. Angesichts der Maximalleistungen der zukünftigen Chipgeneration bis zu 3 Kilowatt sind wir der Meinung, dass deren Einsatz auch mit der einphasigen Chipkühlung möglich ist. Das bedingt dann aber, dass man an zwei Stellen der Technologie arbeiten muss: Zunächst ist die Frage zu beantworten, wie die Energie ins Rack gelangt, denn dann reden wir über Rack-Leistungen weit jenseits der 250 Kilowatt. Und die zweite Frage lautet: Wie bringt man die Wärme nach draußen? Denn mehr Wärmeleistung erfordert höhere Volumenströme an Wasser. Das heißt, man benötigt dann auch größere Rohrdurchmesser, um das Wasser zu transportieren. Es könnte also durchaus sein, dass das Rack dann auch noch mal größer wird - in der Tiefe und möglicherweise sogar in der Breite.

Die Vorlaufzeiten in der Entwicklung sind angesichts der Geschwindigkeit, welche die Hyperscaler an den Tag legen, in wenigen Jahren zu bemessen. Das bedeutet, das, was in vier Jahren in Betrieb gehen soll, muss bereits in zwei Jahren gebaut werden und heute schon entwickelt oder zumindest sehr gut vorkonzeptioniert sein.