Vienna Scientific Cluster 3 – Österreichs schnellster Superrechner
Mit Öl-Kühlung und insgesamt 32.000 Prozessorkernen startet in Wien der schnellste wissenschaftliche Rechner Österreichs. Der Wissenschaftscluster erreicht 600 Teraflops.
Die TU Wien sowie sieben weitere österreichische Universitäten nehmen den Vienna Scientific Cluster 3 in Betrieb. Auf dem Wissenschaftscluster sollen verschiedene Disziplinen von der Teilchenphysik bis zur Klimaforschung arbeiten können. Der Rechner besteht aus 2020 Knoten mit jeweils 16 Prozessorkernen. Damit erreicht der Rechner 600 Teraflops. Das bedeutet innerhalb einer Sekunde kann der Rechner 600 Billionen Rechenoperationen durchführen.
Als Kühlung setzt der Supercomputer im cience Center der TU Wien am Wiener Arsenal auf 35 Tonnen mineralisches Öl, das nicht leitfähig ist und erreicht damit deutlich bessere Effizienzwerte als mit einer Luftkühlung. Das Kühlsystem stammt von dem US-Unternehmen Green Revolution Cooling und den Rechner hat das Unternehmen Clustervision errichtet.
Der Rechner basiert auf Mainboards von Supermicro, die jeweils mit zwei Intel Xeon E-5-2650 v2 Prozessoren mit jeweils acht Kernen bestehen. Der Xeon liefert eine Taktrate von 2,6 GHz. Der Memory pro Node reicht von 64 bis 256 GByte Hauptspeicher. Zwei Nodes übernehmen die Verwaltung des Superrechner.
Auf den Rechner kann über fünf dedizierte Login-Nodes zugegriffen werden und darüber hinaus gibt es zwei SSD-basierte Deployment-Server sowie sechs weitere geteilte Deployment-Nodes. Als Interconnect verwendet Clustervision das Intel Truescale QDR80-Design. Dieser Interconnect erlaubt nicht nur einen Hohen Datendurchsatz und hohe Zuverlässigkeit, sondern auch vorhersagbare Latenzzeiten sowie eine hohe Skalierbarkeit. Weitere Technologie-Partner sind Bright Computing und das Fraunhofer Institut, das das parallele Dateisystem BeeGFS (ehemals FhGFS) beisteuert.
Der österreichische Superrechner würde mit 600 Teraflops laut der Juni-Liste der Top500.ort etwa den 60. Rang der schnellsten Superrechner weltweit erreichen. Es sei den Wissenschaftlern jedoch auch nicht darum gegangen, einen möglichst leistungsfähigen Rechner zu erstellen. So sei auch ein direkter Vergleich mit anderen Computerclustern nur bedingt möglich.
“Viele der Rechner, die derzeit die Weltranglisten anführen, sind heute aus Graphikkarten aufgebaut. Wir müssen allerdings Prozessoren anbieten, auf denen die bestehenden wissenschaftlichen Programmcodes möglichst gut laufen”, kommentiert Herbert Störi. “Man muss sich entscheiden: Will man einen Rennwagen, oder einen Autobus, mit dem man bei ähnlicher Leistung deutlich mehr Leute transportieren kann? Für die heutigen Anforderungen der österreichischen Wissenschaft ist der VSC3 jedenfalls bestens geeignet.”
Die TU Wien, Universität Wien und die Universität für Bodenkultur hatten schon zuvor gemeinsam die Vorgängermodelle VSC 1 und VSC 2 (derzeit Rang 425) betrieben. An der dritten Ausbaustufe sind nun darüber hinaus auch die Universität Innsbruck und die TU Graz beteiligt, sowie durch diese als Partner koordiniert die Karl-Franzens-Universität Graz, die Montanuniversität Leoben und die Alpen-Adria Universität Klagenfurt.
“Moderne Wissenschaft ist ohne entsprechende Simulations- und Berechnungsmethoden nicht mehr denkbar. Gerade als technische Universität ist der Zugriff auf entsprechende Computerkapazitäten von entscheidender Bedeutung. Man denke zum Beispiel an die Simulationen im modernen Maschinenbau. Mit dem VSC 3 können wir unseren Forschenden eine moderne Infrastruktur bieten, die international konkurrenzfähig ist“, so Horst Bischof, Vizerektor für Forschung der TU Graz. So werden auch viele unterschiedliche Forschungsgruppen Zugang VSC3 haben, die Palette an wissenschaftlichen Themen reicht von der Entwicklung neuer Materialien mit Hilfe quantenphysikalischer Rechnungen über meteorologische Simulationen bis hin zur Biologie.
“Ganz entscheidend für uns war, schon bei der Planung auf Energieeffizienz zu achten”, erklärt Prof. Herbert Störi von der TU Wien, wissenschaftlicher Projektleiter des VSC 3 und Mitglied des Steering Committees. So werde der VSC 3 eine Leistung von etwa 540 Kilowatt benötigen und damit etwa 0,8 Kilowatt pro Teraflop. Damit ist der VSC3 nicht nur leistungsfähiger, sondern auch deutlich effizienter als der Vorgänger VSC2, der etwa 2.3 Kilowatt pro Teraflop bei einer Gesamtleistung von etwa 150Teraflops verbrauchte.
Ein wichtiger Schritt für die Energie-Optimierung des VSC 3 war eine völlig neue Kühlungstechnologie: Statt Luftkühlung durch stromfressende Ventilatoren setzt man auf Paraffinöl, ähnlich wie es auch in Kosmetikprodukten verwendet wird. 35 Tonnen Öl enthalten die Wannen, in die man die Prozessoren versenkt. Das Öl hat besonders gute Wärmeleitungseigenschaften, dadurch kann die an den Prozessoren anfallende Wärme sehr effizient wegtransportiert werden. Ohne Luftkühlung muss auch der Rechnerraum nicht mehr eigens gekühlt werden. Die Energie die nun dank des Carnojet-Systems von Green Revolution Cooling für die Kühlung aufgebracht werden muss, liege laut Clustervision nur noch bei 5 Prozent des ursprünglichen Bedarfs.
