500 Terabyte täglich – Datenrausch bei Facebook

So werden täglich 2,7 Milliarden Likes verarbeitet, die bei Facebook sowie anderen Webseiten anfallen. Die 955 Millionen Nutzer des Sozialen Netzes teilen täglich 2,5 Milliarden Inhalte und laden 300 Millionen Fotos hoch. 70.000 Anfragen sind zu bearbeiten, die von Nutzern kommen oder automatisch generiert werden. Alles zusammen bedeutet, dass mehr als 500 TByte an Daten zu “verdauen” sind.

Das Soziale Netz setzt Big-Data-Tools ein. Quelle: Facebook.

Für die meisten Funktionen muss die Verarbeitung fast in Echtzeit erfolgen, erklärte Jay Parikh, der als Vice President für die Infrastruktur bei verantwortlich ist und damit auch für den Datenfluss und Facebooks Umgang mit dem Thema Big Data. Nur so könne eine gute, schnelle und personalisierte Nutzer-Erfahrung gewährleistet werden. “Wir können es uns nicht leisten, dass Ihr Foto erst in der nächsten Woche hochgeladen und gespeichert wird”, sagte er. Ständige Daten-Updates erfordere beispielsweise auch eine Funktion wie “Empfohlene Freunde” – wenn ein Freund neu hinzugefügt werde, müssten alle Verknüpfungen sofort sichtbar sein.

Die Verarbeitung der Daten innerhalb von Minuten habe für Facebook außerdem den Vorteil, Nutzerreaktionen besser verstehen und neue Produkte in kürzester Zeit einführen zu können. Bei Big Data gehe es darum, Einsichten zu gewinnen und für die geschäftliche Entwicklung zu nutzen. Ein System namens Gatekeeper erlaubt es, verschiedene mögliche Veränderungen bei einem kleinen Prozentsatz der Nutzerbasis gleichzeitig zu testen. Möglich sind auch Simulationen mit historischen Daten, bevor Veränderungen umgesetzt werden.

Der Manager enthüllte weiterhin, dass Facebook über 100 Petabyte Daten in einem einzigen Hadoop-Disk-Cluster speichert. “Wir glauben, dass wir das größte Hadoop-System der Welt betreiben”, sagte er. Diese Big-Data-Lösung erlaubt die Verarbeitung und Analyse großer Datenmengen auf Computerclustern. Es ist ein Open-Source-Projekt der Apache Software Foundation, das insbesondere von Yahoo und Google gefördert wurde.

Das Soziale Netz teilt die Datenmengen nicht auf und errichtet auch keine Barrieren zwischen verschiedenen Geschäftsbereichen wie Werbung und Kundensupport. Laut Parikh sollen Produktentwickler eine Sicht auf Daten über die Abteilungen hinweg bekommen, um beispielsweise erfassen zu können, ob eine kleine Änderung zu längerer Verweildauer auf der Site, zu Beschwerden oder mehr Werbeklicks führt.

Auf Nachfragen anwesender Journalisten versicherte er, Facebook treffe zahlreiche Vorkehrungen, um den Missbrauch dieser breiten Zugangsmöglichkeiten zu verhindern, der ausschließlich Produktentwicklern zustehe. Wer diese Grenzen überschreite, werde gefeuert. “Wir haben eine Null-Toleranz-Politik”, sagte er.

[mit Material von Donna Tam, News.com]

Tipp: Wie gut kennen Sie Soziale Netzwerke? Testen Sie Ihr Wissen – mit 15 Fragen auf silicon.de.

Redaktion

Recent Posts

Alle Prozesse im Blick: IT-Service Management bei der Haspa

Wo es früher auf Buchhalter, Schreiber und Boten ankam, geht es heute vor allem um…

12 Stunden ago

Wie generative KI das Geschäft rund um den Black Friday verändert

Mit KI-Technologien lässt sich das Einkaufserlebnis personalisieren und der Service optimieren, sagt Gastautor Gabriel Frasconi…

13 Stunden ago

Banken und Versicherer sind KI-Großabnehmer

Ein Großteil der weltweiten KI-Gelder fließt in den Finanzsektor. 2023 wurden in der Branche 87…

1 Tag ago

Siemens legt 10 Milliarden Dollar für Software-Spezialisten auf den Tisch

Die Übernahme des US-amerikanischen Anbieters Altair Engineering soll die Position im Markt für Computational Science…

1 Tag ago

Standortübergreifender KI-Einsatz im OP-Saal

Ein deutsch-französisches Projekt hat hybride Operationssäle entwickelt, die durch 5G-Netz und KI neue Anwendungen ermöglichen.

1 Tag ago

OT-Security braucht zunächst Asset-Transparenz

Unternehmen wissen oft nicht, welche Geräte in der Produktion eine IP-Adresse haben, warnt Peter Machat…

4 Tagen ago