Das Grid: Ein Internet, das rechnen kann

Grid – der Begriff hat etwas Mystisches, das hinter einem undurchdringlichen Wall aus komplexer Computerzauberei und Netzwerkdschungeln hervorblitzt. Der Nutzen dagegen scheint klar: Grids werden ermöglichen, Rechenleistung zu beziehen wie heute Strom aus der Steckdose. Doch bis Vision wahr wird, gibt es jede Menge IT-Probleme zu lösen, die fast alltäglich sind.
Doris Heathman, Marketing Manager für Grid Computing beim Institut für Wissenschaftliches Rechnen im Forschungszentrum Karlsruhe, kennt den geheimnisvollen Nimbus um das Grid-Computing. Ihre Definition hingegen hat etwas Handfestes: “Das Grid ist Internet mit der zusätzliche Fähigkeit, Rechenaufgaben zu lösen.” Ihr Arbeitgeber, das Forschungszentrum Karlsruhe, beteiligt sich an der weltweit verteilten Rechnerstruktur, mit der die Daten aus dem Teilchenbeschleuniger Large Hadron Collider (LHC) auswertbar werden sollen.

Das Karlsruher Institut baut für die Hochenergieteilchenphysiker das deutsche Storage-Cluster für die Datenbereitstellung auf, tatsächlich eine Arbeit mit vielen Unbekannten. Die Datenzusammenführung und -bereitstellung stellt hohe Anforderungen an die Middleware, die das konsistent und zeitnah bewerkstelligen soll. Allerdings gibt es sie noch gar nicht. Das Forschungszentrum Karlsruhe beteiligt sich maßgeblich an der Entwicklung und baut derweil massenhaft Speicherkapazität auf.

Jährlich neue Daten für 2000 Jahre Musik

Im Jahr 2007 soll LHC funktionieren. Das europäische Forschungszentrum CERN in Genf will dann in dem 27 Kilometer langen, kreisförmigen Teilchenbeschleuniger Protonen oder Bleikerne nahezu mit Lichtgeschwindigkeit aufeinander prallen lassen. Diese zerplatzen in Unmengen kleiner Elementarteilchen. In Detektoren, die bis zu 12.000 Tonnen wiegen, werden dann die entstandenen Teilchen gemessen. Die Wissenschaftler erhoffen sich davon Einblicke in die innere Struktur von Materie. Um diese erlangen zu können, müssen in jeder Sekunde mehr als 100 Millionen Messdaten registriert werden. Auf ein Jahr hochgerechnet entstehen dadurch 8 Petabyte Daten. Ausgeschrieben sind das 8.000.000.000.000.000 Byte.

Eine Broschüre des Forschungszentrums ruft den Lesern Maßstäbe ins Gedächtnis, so dass sich abschätzen lässt, wie groß ein Petabyte tatsächlich ist: Wenn unkomprimierte Musik für 60 Minuten eine Datenmenge von 1 Gigabyte benötigt, dann liefert ein Petabyte Musik für 125 Jahre. Diese Menge an Daten soll Wissenschaftlern aus aller Welt zugänglich sein. Heathman schätzt, dass mit deren Auswertungen zusätzlich zum LHC-Datenwust noch einmal dieselbe Menge, 8 Petabyte, hinzukommen.

Um die Datenflut überhaupt in den Griff zu bekommen, ist das Projekt in hierarchische Schichten unterteilt, die via Internet miteinander verknüpft sind. Schicht 0 repräsentiert die Datenquellen bei CERN. Schicht I bilden acht bis zehn in der Welt verstreute Rechenzentren. Schicht II sind etwa 100 Universitätsrechenzentren, Schicht III rund 1000 Institute und Labore. Schicht IV schließlich besteht aus 8000 PCs oder Laptops der Physiker, die mit den Daten arbeiten. In Deutschland alleine gibt es 41 Arbeitsgruppen, die mit den LHC-Daten arbeiten wollen.

GridKa: ein Cluster im Cluster

Der deutsche Knoten der Schicht I ist das ‘GridKa’ am Forschungszentrum Karlsruhe. Es ist im Wesentlichen ein Linux-Cluster, das letztlich mit anderen Clustern verbunden werden soll. Bis jetzt hat das Forschungszentrum ein Gigabit-Backbone aufgebaut, 700 CPUs installiert und verwaltet netto rund 160 Terabyte Plattenspeicher sowie 300 Terabyte auf Bändern. Ab 2007 soll GridKa über 4500 Prozessoren neuester Technologie verfügen, die eine Rechenleistung äquivalent derer von 22.000 Pentium-III-Prozessoren (mit 1 GHz) haben werden.  Auch der Bedarf an Speichermedien ist ernorm.

Heathman geht von 1500 Terabytes auf Platten aus und 3800 Terabytes auf Bändern. Diese Kalkulation stammt vom Oktober des vergangenen Jahres. Dennoch muss sie als vorläufig gekennzeichnet werden. Am 1. Juli 2001 haben die Teilchenphysiker dem Forschungszentrum erstmals ihren Bedarf schriftlich mitgeteilt. Somit lässt sich dieses Datum als Beginn der Grid-Aktivitäten in Karlsruhe bezeichnen. Doch unabhängig vom genauen Datum war allen Beteiligten schon während der Planung klar, dass die gesamte Auslegung von GridKa sowie das Management aller Komponenten des Rechenbetriebs fast beliebig skalierbar sein müsste und dennoch bezahlbar.

“Das bedeutet einerseits, dass der technische Fortschritt entsprechend dem Moorschen Gesetz berücksichtigt werden musste”, führt Heathman aus. Dieses basiert auf der Beobachtung des Ingenieurs Gordon Moore und besagt, dass sich die Computerleistung alle 18 Monate verdoppelt. Andererseits müssen mehr oder minder Standardkomponenten sowie Open-Source-Produkte zum Einsatz kommen. Sonst wäre ein solches Forschungs-Grid finanziell kaum tragbar.

Kühles Nass für die PCs

So basiert die lokale Job-Verteilung auf das ‘Portable Batch System’. Für das Monitoring nutzt das GridKa das ‘Ganglia’-Toolkit. Die ersten Betriebssysteme wurden manuell installiert. Mittlerweile nutzt das GridKa-Team, für das derzeit 20 Mitarbeiter tätig sind, das ‘Rocks Toolkit’, mit dem sich die Installation zentral organisieren lässt. Später sollen die laufenden Aktualisierungen mit Tools wie ‘rdist’ oder ‘rsync’ vollzogen werden. Pro Installation und Rechnerschrank sind 30 Minuten notwendig. Für die komplette Neuinstallation sämtlicher Rechnerknoten wird schon heute maximal eine Stunde vorausgesetzt.

Diese Schränke sind eine Besonderheit: Das GridKa betreibt das erste PC-Cluster mit vollständiger Wasserkühlung. “Eine PC-Bodenhaltung gibt es bei uns nicht mehr”, erläutert Heathmann. Tatsächlich hatte das Team mit ‘Bodenhaltung’ begonnen. Doch schnell stellte es fest, dass damit die notwendige ‘Packungsdichte’ nicht hinzubekommen war. Die Rechner, handelsübliche Intel-PCs mit Linux-Betriebssystem, müssen in den alten Maschinensaal des Forschungszentrums passen. Heute stapelt das Institut so genannte Pizza-Boxen mit Doppelprozessoren in Rechnerschränken.

Zugleich stellte man fest, dass die Abwärme der PCs sich zu einem ernstzunehmenden Problem auswuchs. Ein Rack mit 36 Rechnern hat einen Kühlungsbedarf von bis zu 7,7 Kilowatt. “Damit können Sie ganze Gebäude heizen”, sagt Heathman. Die Kühlung per Wärmetauscher im Boden des Schranks entwickelte das GridKa gemeinsam mit der Knürr AG. “Wir wollten die vorhandene Klimaanlage nutzen und nicht aufrüsten. Denn mit herkömmlichen Geräten wäre eine Wäremeabfuhr nur mit hoher Luftgeschwindigkeit und in stark gekühlten Räumen möglich.”

Die Tools sind zu klein

Problem und Lösung verdeutlichen, dass die Schwierigkeiten, die dem GridKa entgegenstehen, mit der schieren Größe des Vorhabens sowie der Heterogenität zu tun haben. “Im Prinzip gibt es schon Grids”, erläutert Marketing-Frau Heathman, “in Firmen, die weltweit Filialen haben, oder in Tauschbörsen wie Kazaa.” Allerdings kann das Wissenschaftsnetz weder davon ausgehen, eine homogene Betriebssystem- und Rechnerlandschaft vorzufinden, noch von bekannten Nutzern. So muss beispielsweise eine Zugangsregelung und Benutzerverwaltung her.

Da die Grid-Teilnehmer sich nicht kennen, müssen sie sich durch weltweit eindeutige Zertifikate ausweisen, um mit anderen vertrauliche Informationen austauschen zu können. Die Voraussetzungen für den Zugang müssen vom System überprüft werden. Das German Grid (FZK-Grid-CA) ist die deutsche Zertifizierungsstelle, die im Forschungszentrum Karlsruhe die Identifizierung und Authentifizierung der Benutzer übernimmt und dadurch für einen gesicherten Betrieb sorgt. Da die Forscher die Daten in unterschiedlichem Maße nutzen, muss zudem eine Software gefunden werden, die abhängig von der Nutzungsintensität Gebühren errechnet. Doch die Aufgaben von Middleware reichen noch weiter.

So muss gewährleistet sein, dass die weltweit verteilten Daten richtig zusammengeführt und bearbeitet werden können. Eine besondere Herausforderung stellen die Antwortzeiten über weltweite Verbindungen dar. Bei der Übertragung von großen Dateien ist eine breitbandige Vernetzung ein Muss. Bei einer Bandbreite von 1 Gigabit pro Sekunde nimmt der Transport von 1 Gigabyte 8 Sekunden, von 1 Terabyte 2,5 Stunden und von 1 Petabyte 100 Tage in Anspruch. Detailprobleme schaffen dabei die Internet-Protokolle wie FTP, die weiterentwickelt werden müssen, etwa um Möglichkeiten der Priorisierung von Datenpaketen. Schließlich sollen alle Services der Grid-Zentren Web-fähig gemacht werden, so dass alle Teilnehmer über einen Browser darauf zugreifen können.

Die Aufgabenliste nimmt kein Ende. Auch die Kommunikationszeiten zwischen den Prozessoren will das Grid-Team verbessern. Ansätze wie Infiniband spielen hier laut Heathman eine wesentliche Rolle. Im Gegensatz zu herkömmlichen Verfahren ist Infiniband kein Bus-, sondern ein geswitchtes Ein- und Ausgabe-System. I/O-Switches verbinden dabei einzelne Ein- und Ausgabeeinheiten, Prozessorknoten und I/O-Plattformen wie Massenspeichereinheiten mit hohen Datenraten. Auf der To-Do-Liste findet sich auch die Bekämpfung des erheblichen Verwaltungs-Overheads, den ein Cluster dieses Ausmaßes produziert. Bereits fertig dagegen ist die Erweiterung für das Scheduling, mit dem die Reihenfolge von Computer-Jobs festgelegt wird.

So funktioniert das bisher aufgebaute Cluster des Forschungszentrums, obwohl das GridKa noch immense Aufgaben, zu bewältigen hat: “Das ist eine Besonderheit”, bemerkt Heathman stolz. “Unser Cluster stellt schon während des Aufbaus Speicher- und Rechenkapazität zur Verfügung.” Zum Beispiel übernimmt GridKa Daten des Babar-Experiments am Stanford Linear Accelerator Center, USA, und bietet Rechenzeit. Die Barbar-Wissenschaftler rechnen wöchentlich rund 2000 Jobs auf dem Cluster und verbrauchen dabei etwa 3500 CPU-Stunden. Zur Kundschaft zählt auch das Fermilab in Chicago – und zwar bereit seit August 2002.

Heathman sieht in der Entwicklung des World Wide Grid (WWG), Ähnlichkeiten zur Entwicklung des World Wide Web, das ebenfalls als Forschungsnetz begann. „Bis jeder PC-Benutzer Zugang zum WWG haben wird“, sagt sie, „wird es spannend.“