EMC stellt eigene Hadoop-Distribution vor -

Mit Pivotal HD stellt Storage-Spezialist EMC eine eigene Hadoop-Distribution vor. Vor allem sehr leistungsfähige Antwortzeiten zeichneten diese Distribution vor anderen aus.

EMC stellt unter dem Namen Pivotal HD eine eigene Hadoop-Distribution vor und und tritt damit in Konkurrenz Cloudera, das mit seinen vielen Partnern bisweilen als “Red Hat für Big Data” bezeichnet wird. EMC will als Distributor vor allem die Antwortzeiten von Abfragen verbessern. Die Software und Appliances der Reihe Greenplum sollen so zusätzliche Kunden gewinnen.

EMC verspricht Integration von Apache Hadoop mit seiner Parallel-Processing-Datenbank Greenplum sowie Unterstützung traditioneller Business-Intelligence-Werkzeuge. Data Mining kann per SQL erfolgen und doch Hadoops Dateisystem nutzen. Mit Project Hawk sind außerdem Datenbankdienste für Hadoop geplant. Und ein Cluster-Management soll Aufgaben anlegen und verwalten helfen.

EMC zufolge ist Pivotal HD mächtiger als jede andere Hadoop-Distribution, weil sie EMCs Technik Dynamic Pipelining nutzt. Die Reaktionszeiten habe man so um Faktor 10 bis 600 gegenüber reinen SQL-Schnittstellen für Hadoop verbessern können. Teil des Pakets sind außerdem die Hadoop Virtualization Extensions von VMware – wenig überraschend, da VMware zu EMC gehört.

Josh Klahr, der als Vizepräsident die Reihe EMC Greenplum verantwortet, hat die Konkurrenz deutlich benannt: “Wir wollen uns mit Cloudera messen. Unser Betatest konnte schon eine Entscheidung für einen Cloudera-Kauf verhindern. Jeder einzelne unserer Kunden zeigt verstärktes Interesse an Hadoop. Das reicht natürlich von Experimenten bis zur Einführung in der Produktion auf breiter Basis.” Neben Hadoop stecke auch Code von 100 mit dem Projekt beschäftigten EMC-Entwicklern in Pivotal HD.

Auf dem Markt für Hadoop-Distributionen drängen sich allerdings schon die Anwärter. Als führend gelten Cloudera, IBM und Hortonworks. Aber etwa auch Microsoft hat eine eigene Hadoop-Variante zusammengestellt.