Google macht Big-Data-as-a-Service allgemein verfügbar

Martin Schindler,

Der Service basiert auf Spark und Hadoop und unterstützt auch andere quelloffene Big-Data-Technologien.

Cloud Dataproc, Googles Cloud-Service für Big Data, ist ab sofort allgemein verfügbar. Der Service basiert auf Hadoop und Spark. Unterstützt werden zusätzlich MapReduce, die Programmierplattform Pig und die Data-Warehousing-Lösung Hive.

Google startete im September 2015 mit den Beta-Tests. “Während der Betaphase wurde Cloud Dataproc um mehrere wichtige Funktionen erweitert, darunter Property Tuning, VM-Metadaten und Tagging sowie die Versionierung von Clustern“, erklärt Produktmanager James Malone in einem Blog.

Nutzer bezahlen für den Service einen US-Cent je Stunde vCPU. Google stellt Cloud Dataproc noch den Service Cloud Dataflow zur Seite. Dieser soll Batch- und Streamverarbeitung unterstützen. Google will damit die Datenverarbeitung im großen Maßstab einer größeren Nutzerschaft zugänglich machen. Datenforscher, Datenanalysten und datenzentrierte Entwickler sollen damit einen einfacheren und besser skalierbaren Zugang zu Informationen erhalten.

Die zugrunde liegende Technik wurde inzwischen in ein Inkubationsprojekt der Apache-Stiftung überführt, das Apache Beam heißt. Auch andere Google-Dienste wie Cloud Storage, Cloud Bigtable und BigQuery lassen sich mit dem neuen Angebot verbinden.

Der Google-Dienst Cloud Dataproc soll für Anwender von Hadoop und Spark vieles vereinfachen und auch die Wirtschaftlichkeit erhöhen. (Bild: Google)
Der Google-Dienst Cloud Dataproc soll für Anwender von Hadoop und Spark vieles vereinfachen und auch die Wirtschaftlichkeit erhöhen. (Bild: Google)

Sowohl Marktführer Amazon Web Services als auch IBMs Public Cloud und Microsoft Azure bieten bereits Big-Data-Services an. Zudem kann man Hadoop-basierte Clouddienste bei Start-ups wie Aleron, Altiscale, CenturyLink, Quobole Data Service, Rackspace und Mirantis buchen. Google nennt als Vorteile seines eigenen Angebots den niedrigen Preis, die hohe Geschwindigkeit und die Möglichkeit, andere Cloud-Platform-Dienste damit zu koppeln. Auch brauche man weder einen Administrator noch eine spezielle Verwaltungssoftware, sondern könne einfach die Cloud Platform Console, das Cloud SDK oder die Cloud Dataproc REST API nutzen.

Für Neulinge stellt Google einen Schritt-für-Schritt-Leitfaden bereit. Sein Dokumentationsangebot umfasst auch zwei Beispielprogramme und drei Tutorien, darunter eines für Monte-Carlo-Simulationen, wie sie inzwischen auch im Finanzsektor populär sind.

[mit Material von Florian Kalenda, ZDNet.de]

Tipp: Wie gut kennen Sie Google? Testen Sie Ihr Wissen – mit dem Quiz auf silicon.de.