500 Terabyte täglich – Datenrausch bei Facebook

So werden täglich 2,7 Milliarden Likes verarbeitet, die bei Facebook sowie anderen Webseiten anfallen. Die 955 Millionen Nutzer des Sozialen Netzes teilen täglich 2,5 Milliarden Inhalte und laden 300 Millionen Fotos hoch. 70.000 Anfragen sind zu bearbeiten, die von Nutzern kommen oder automatisch generiert werden. Alles zusammen bedeutet, dass mehr als 500 TByte an Daten zu “verdauen” sind.

Das Soziale Netz setzt Big-Data-Tools ein. Quelle: Facebook.

Für die meisten Funktionen muss die Verarbeitung fast in Echtzeit erfolgen, erklärte Jay Parikh, der als Vice President für die Infrastruktur bei verantwortlich ist und damit auch für den Datenfluss und Facebooks Umgang mit dem Thema Big Data. Nur so könne eine gute, schnelle und personalisierte Nutzer-Erfahrung gewährleistet werden. “Wir können es uns nicht leisten, dass Ihr Foto erst in der nächsten Woche hochgeladen und gespeichert wird”, sagte er. Ständige Daten-Updates erfordere beispielsweise auch eine Funktion wie “Empfohlene Freunde” – wenn ein Freund neu hinzugefügt werde, müssten alle Verknüpfungen sofort sichtbar sein.

Die Verarbeitung der Daten innerhalb von Minuten habe für Facebook außerdem den Vorteil, Nutzerreaktionen besser verstehen und neue Produkte in kürzester Zeit einführen zu können. Bei Big Data gehe es darum, Einsichten zu gewinnen und für die geschäftliche Entwicklung zu nutzen. Ein System namens Gatekeeper erlaubt es, verschiedene mögliche Veränderungen bei einem kleinen Prozentsatz der Nutzerbasis gleichzeitig zu testen. Möglich sind auch Simulationen mit historischen Daten, bevor Veränderungen umgesetzt werden.

Der Manager enthüllte weiterhin, dass Facebook über 100 Petabyte Daten in einem einzigen Hadoop-Disk-Cluster speichert. “Wir glauben, dass wir das größte Hadoop-System der Welt betreiben”, sagte er. Diese Big-Data-Lösung erlaubt die Verarbeitung und Analyse großer Datenmengen auf Computerclustern. Es ist ein Open-Source-Projekt der Apache Software Foundation, das insbesondere von Yahoo und Google gefördert wurde.

Das Soziale Netz teilt die Datenmengen nicht auf und errichtet auch keine Barrieren zwischen verschiedenen Geschäftsbereichen wie Werbung und Kundensupport. Laut Parikh sollen Produktentwickler eine Sicht auf Daten über die Abteilungen hinweg bekommen, um beispielsweise erfassen zu können, ob eine kleine Änderung zu längerer Verweildauer auf der Site, zu Beschwerden oder mehr Werbeklicks führt.

Auf Nachfragen anwesender Journalisten versicherte er, Facebook treffe zahlreiche Vorkehrungen, um den Missbrauch dieser breiten Zugangsmöglichkeiten zu verhindern, der ausschließlich Produktentwicklern zustehe. Wer diese Grenzen überschreite, werde gefeuert. “Wir haben eine Null-Toleranz-Politik”, sagte er.

[mit Material von Donna Tam, News.com]

Tipp: Wie gut kennen Sie Soziale Netzwerke? Testen Sie Ihr Wissen – mit 15 Fragen auf silicon.de.

Redaktion

Recent Posts

Cyber Resilience Act: Countdown läuft

Hersteller werden stärker in die Pflicht genommen, den gesamten Lebenszyklus ihrer Produkte in den Blick…

25 Minuten ago

KI auf dem Prüfstand

LLMs besitzen einerseits innovative neue Fähigkeiten, stellen Unternehmen allerdings auch vor diverse Herausforderungen: ob EU…

24 Stunden ago

Rechenzentren: Deutschland verliert Anschluss

Server-Ausbau in den USA und China macht große Fortschritte, deutscher Weltmarktanteil sinkt. Lichtblicke in Frankfurt…

1 Tag ago

KI steigert Nachfrage nach hybriden Workplace-Umgebungen

Der Markt für Workplace Services gerät in Bewegung. Das bestmögliche digitale Nutzererlebnis gilt als Schlüssel…

1 Tag ago

Hagebau erreicht E-Mail-Sicherheit mit der NoSpamProxy Cloud

Schutz für 10.000 Postfächer über rund 200 Domains: Private-Stack-Variante kombiniert Vorteile einer Cloud-Lösung mit Sicherheit…

2 Tagen ago

Rechenzentrumsnetzwerke als Schlüssel für Desaster Recovery

Huawei Connect Paris: Innovationen rund um Data Center, Storage und IT-Sicherheit.

2 Tagen ago