Das Cloud-Dataflow-SDK für Java hat Google jetzt als Open Source freigegeben. Im Sommer hat Google Cloud Dataflow auf der Entwicklerkonferenz Google I/O das Big-Data-Analyse-Tool zum ersten Mal der Öffentlichkeit vorgestellt. Google will damit eine “Plattform zur Demokratisierung der Datenverarbeitung im großen Maßstab” anbieten. Datenforscher, Datenanalysten und datenzentrierte Entwickler sollen damit einfacheren und besser skalierbaren Zugang zu Informationen erhalten.
Der Cloud-Dienst Dataflow ist aus der Java-Bibliothek Flume und dem Framework MillWheel hervorgegangen, die beide intern von Google-Entwicklern genutzt wurden. “Wir haben viel darüber gelernt, wie aus Daten Einsichten entstehen, während die ursprünglichen Programmiermodelle von FlumeJava (Grundlage für Cloud Dataflow) sich intern bei Google entwickelten”, So der Google Softwareentwickler Sam McVeety im Google Cloud Platform Blog.
Im Sommer hatte Urs Hölzle, Senior Vice President for Technical Infrastructure bei Google, mitgeteilt, Dataflow habe intern das zuvor im Unternehmen entwickelte MapReduce ersetzt, das lange als unverzichtbar bei der Verarbeitung großer Datenmengen auf Computerclustern galt.
Mit Cloud Dataflow als Lösung für Big-Data-Analyse tritt Google in Konkurrenz zu Angeboten wie dem Data-Warehouse-Dienst AWS Redshift und dem Hadoop-Dienst AWS Elastic MapReduce. Die Dataflow-Anwendungen können auf der Google Cloud Platform laufen, die dafür die gesamte benötigte Infrastruktur bereitstellt. Ein Managed Service sorgt für die Verarbeitung im Streaming- oder im Batch-Modus.
Das quelloffene Software Development Kit für Cloud Dataflow erlaubt aber auch lokale Anwendungen oder den Einsatz in anderen Clouds. Das Programmiermodell ist zudem nicht an eine bestimmte Sprache gebunden. “Wir arbeiten derzeit an einer Python-3-Version des SDKs, um Entwicklern noch mehr Wahlmöglichkeiten zu geben und Dataflow für weitere Anwendungen verfügbar zu machen”, schreibt McVeety weiter.
Das Google-Dataflow-SDK für Java ist auf GitHub verfügbar.
[mit Material von Bernd Kling, ZDNet.de]
Autonom agierende Agenten werden Sicherheitsteams bei der Angriffsabwehr unterstützen, sagt Zac Warren von Tanium.
Schweden hat in seiner Entwicklung hin zu einer bargeldlosen Gesellschaft einen überraschenden Rückzieher gemacht. Diese…
"Uns geht es vielmehr darum aufzuzeigen, wie Open-Source-KI realisierbar ist", sagt Jan Wildeboer von Red…
"Wir haben in unserem SOC den Level 1-Support vollständig automatisiert", sagt Thomas Maxeiner von Palo…
Das Bewusstsein für die Bedeutung von Diversität wächst, doch der Fortschritt bleibt zäh, obwohl gemischte…
