Weltrekord im Sortieren riesiger Datenmengen

Über das Internet vernetzte Rechner erzeugen immer größere Datenmengen. Um diese auswerten zu können, muss man sie zunächst nach einem bestimmten Kriterium ordnen. Das effiziente Sortieren von Daten ist von zentraler Bedeutung für Suchmaschinen oder Datenbanken – und damit ein wichtiges Forschungsthema in der theoretischen wie auch in der praktischen Informatik.

Der SortBenchmark – eine im Internet veröffentlichte Tabelle, über die Fachleute etwa von den Unternehmen Microsoft und Hewlett-Packard entscheiden – verzeichnet die jeweils aktuellen Rekorde im Sortieren. In der Königsdisziplin müssen mindestens 1012 Datensätze sortiert werden, das sind insgesamt 100 Terabyte.

Ein Forscherteam um Professor Peter Sanders am Institut für Theoretische Informatik hat sich nun in zwei Kategorien des SortBenchmark gegen die Konkurrenz durchgesetzt. So sortierten die Wissenschaftler – neben Sanders Dr. Mirko Rahn, Johannes Singler und Tim Kieritz – 100 Billionen Byte Daten in etwas weniger als drei Stunden, was einem Durchsatz von 564 GB pro Minute entspricht.

Dafür nutzten sie einen Computerverbund mit 200 Rechenknoten, den Mitarbeiter des ‘Steinbuch Centre for Computing’ (SCC) am KIT konfiguriert hatten. Ein Yahoo-Team schaffte zwar einen etwas besseren Wert – nutzte dafür aber mehr als 17 Mal so viele Rechenknoten.

&nbsp

&nbsp