Pivotal: Lösungen für die neue Big-Data-Generation

In den letzten Jahren schien es manchmal, als wäre EMC dem Software-Kaufrausch verfallen. Doch langsam wird eine Strategie sichtbar, die wesentlich auf das Thema Big Data setzt.

Deutschland-Geschäftsführerin Sabine Bendiek präsentierte auf dem EMC Forum in Frankfurt die Auswertung einer Umfrage zum Thema Big Data, an der ungefähr 300 der auf der Veranstaltung registrierte Besucher teilgenommen hatten. Danach glauben 56 Prozent der Befragten, dass der bessere Umgang mit Daten zu leichteren Entscheidungen beitrage. 23 Prozent, dass Big Data Unternehmen Wettbewerbsvorteile verschafft und 35 Prozent, dass Big Data entscheidet, wer in spezifischen Branchen die Nase vorn hat. 35 Prozent sagen, dass ihr Senior Management schon heute Big Data vertraue, 41 Prozent sahen die Technologie als wichtig zur Abwehr von Cyberattacken an.

EMC sieht im Bereich Anwendungen für die Datenanalyse eine der zukünftigen Kernkompetenzen.

“Wir gehen zu einer dritten IT-Plattform nach Mainframe und PC-Zeitalter über, in der es um Milliarden Anwender, Millionen Applikationen und riesige Datenmassen geht”, sagte Bendiek. Neue Workloads seien weniger komplex und mit der physischen Infrastruktur weniger verzahnt, stellten aber beispielsweise höhere Anforderungen an die Skalierbarkeit von Datenspeichern.

“Google und Amazon können deshalb so gut neue Anwendungsumgebungen bauen, weil sie auf der grünen Wiese angefangen haben – wir müssen aber Investitionen schützen und dafür sorgen, dass auch die alten Anwendungen weiter laufen können”, erklärte Bendiek, warum EMC weiter viele Speicherplattformen anbietet.

Das ist nicht die einzige Form der Vielfalt: Zukünftig sollen drei Firmen selbständig unter dem EMC-Dach Geschäft machen: EMC liefert Infrastruktur, VMware übergreifende Virtualisierung und Pivotal stellt innovative Anwendungen für die Handhabung und Analyse von Daten her. “Wir wollen, dass der Kunde auf jeder Ebene die Wahl hat. Das ist möglicherweise zunächst unbequem für uns, aber ein Anreiz, uns auf jeder der Ebene zu perfektionieren”, sagte Paul Maritz, CEO von Pivotal.

Was wird Pivotal im Einzelnen tun? Das Unternehmen soll drei Aufgaben erfüllen: Erstens baut es eine Cloud-Fabric, also eine Open-Source-Abstrahierungsschicht, mit der man Daten und Workloads auf unterschiedlichen Cloud-Formen unterbringen, zwischen ihnen verschieben und verwalten kann und die ein übergeordnetes Serviceregister haben. Die Cloud-Fabric wird unter Apache-II-Lizenz gestellt. Diese Aufgabe übernimmt das Team der ehemaligen CloudFoundry.

Zweitens entsteht mit AppFabric eine neue Entwicklungs- und Anwendungsumgebung, die als Middleware fungiert. Hier finden Spring++ und andere Frameworks wie Rails oder Node ihren Platz. Für das Open-Source-Framework Spring hat Pivotal kürzlich die Betreuung (“Stewaredship”) übernommen.

Die Data Fabric als drittes Element, umfasst eine neue Generation von Daten verarbeitenden Applikationen. Hier finden sich Greenplum, Gemfire, spezialisiert auf In-Memory-Grids, und andere Aufkäufe wieder.

Basis aller Applikationen ist das Hadoop-Filesystem HDFS. Gerade bauten die ersten Unternehmen HDFS-basierende “data lakes”, unstrukturierte Datenspeicher, die einfach alles aufnehmen, was an Daten überhaupt für eine potentielle Analyse zur Verfügung stehe und deshalb hochskalierbar sind.

Darin liegen auch Logs oder Transaktionen. “Die brauchen wir etwa, um IT-Angriffe schnellstens zu erkennen und abzuwehren”; erklärte Maritz. Denn in Zukunft werde Prävention zugunsten der Erkennung und Abwehr beim Schutz der IT zurücktreten.

Aus Greenplums Technologien entsteht Pivotal HD, das Map-Reduce, SQL und andere Datenbanktechnologien unterstützt. Dazu gehört das Modul HAWQ Advanced Database Services mit einem Pipelining-Mechanismus, einem Erweiterungsframework, Katalogdiensten und eine Optimierungslösung für Anfragen unterhalb einer Schicht für ANSI-SQL und Analytics.

Hawq sei bei Testläufen um Größenordnungen schneller gewesen als Hive oder Cloudera Impala, berichtete Maritz. Aus Gemfire wird das transaktionsorientierte Analysesystem Pivotal Transactions.

“Wir wollen möglichst alle Datentypen, ob in klassischen oder neuen Formaten, mit unseren neuen Applikationen analysieren und verwalten”, postuliert Maritz. AppFabric, Data Fabric und Cloud Fabric sind auch einzeln erhältlich. Schon bald können Anwender sich selbst ein Bild davon machen: Unter der Marke “Pivotal One” kündigte Maritz die erste voll instantiiere Version für das vierte Quartal 2013 an.