Qualitätsmanagement für Crowdsourcing

Auch in Zeiten des Cloud Computing sind Menschen für die Bearbeitung mancher Aufgaben unverzichtbar. Dazu gehören Tätigkeiten, die nicht oder nur sehr schlecht automatisierbar sind. Beispiele sind das Erstellen von Texten und Produktbeschreibungen, Übersetzungen, Webrecherchen oder die Verschlagwortung und Kategorisierung von Bildern und Videos.

Sind die Aufgaben sehr umfangreich, lassen sie sich in einzelne, sogenannte Mikrojobs zerlegen und zur parallelen Bearbeitung durch viele Arbeitskräfte freigeben. Man spricht von Paid-Crowdsourcing. Auf Webportalen können sich Freiberufler, sogenannte Crowdworker, registrieren, Aufgaben auswählen und zeitlich wie auch räumlich flexibel bearbeiten. Die Ergebnisse der erledigten Jobs werden vom Portalanbieter final zusammengefügt und dem Auftraggeber übermittelt.

“Bevor die Einzelergebnisse der bearbeiteten Mikrojobs wieder zusammengefasst werden, muss sichergestellt werden, dass sie den geforderten Qualitätsstandards entsprechen”, sagt Robert Kern, Projektleiter am KIT. Das sei eine große Herausforderung, da man in einem Crowdsourcing-Szenario nur eine bregrenzte Kontrolle über die Beiträge der einzelnen Crowdworker habe.

“Hier kommt unser Qualitätsmanagementsystem zum Einsatz. Der Ansatz: Wir kombinieren mit statistischen Methoden die Beiträge mehrerer Crowdworker, um aus dem Grad ihrer Übereinstimmung auf die Qualität der geleisteten Arbeit zu schließen und damit die geforderte Qualität des Gesamtergebnisses zu garantieren.” Das am KIT entwickelte Instrument kommt bereits in Kooperationen zum Einsatz, so etwa beim Crowdsourcing-Anbieter clickworker.com.