Frisierte Android-Benchmarks bei Herstellern
Trau keiner Statistik, die Du nicht selbst gefälscht hast. Das scheint im Übrigen auch auf Benchmarks zuzutreffen. Um in den Tests besser abzuschneiden haben offenbar fast alle Hersteller von Android-Smartphones ihre Geräte für diese Tests optimiert. Über die Leistung von realen Anwendungen sagen dann solche Ergebnisse nicht mehr viel aus.
Zunächst war Samsung damit aufgefallen, dass das Top-Modell Galaxy S4 und auch das Phablet Galaxy Note 3 offenbar für bestimmte Benchmarks frisiert wurden. AnandTech hatte darauf hin weitere Geräte in dieser Hinsicht genauer überprüft.
Dabei zeigte sich, dass die bereits bei PCs und Server übliche Praxis inzwischen auch bei Smartphones Einzug gehalten hat. Ausnahmen seien laut AnandTech Apple und Motorola – und auch Google selbst nimmt mit den Nexus-Geräten nicht am diesem unfairen Wettlauf teil. Die anderen Hersteller hingegen sorgen dafür, dass insbesondere die Flaggschiff-Modelle weitverbreitete Benchmark-Tests erkennen und beispielsweise die Taktfrequenz von Anwendungs- und Grafikprozessoren erhöhen, um in Vergleichstests besser abzuschneiden.
LG ist zu attestieren, dass Optimierungen für Benchmarks weniger umfangreich als die von Samsung ausfallen. Samsung hingegen soll sich nicht auf Geräte mit ARM-Prozessoren beschränken, sondern auch beim auf CloverTrail+ basierenden Galaxy Tab 3 10.1 geschummelt haben. Dabei soll Intel – wie vermutlich auch Qualcomm – der unfairen Praxis sehr kritisch gegenüberstehen. Die Schummelei geht also offenbar nicht von den Chiplieferanten aus, die sich allerdings öffentlicher Kritik enthalten, sondern von den einzelnen OEM-Herstellern.
Samsungs aktuelles Galaxy Note 3 reagiert leistungssteigernd auf nicht weniger als sechs verschiedene Benchmarks, während es beim Galaxy S4 noch drei waren. Das HTC One erkennt vier Benchmark-Tests, darunter das verbreitete 3DMark. Auf nur zwei Benchmarks sprechen das LG G2 und das Asus Padfone Infinity an.
Für die Benchmark-Hersteller wie auch die Tester ist die offenbar unaufhaltsam vordringende Praxis mehr als ärgerlich, da es die Aussagekraft der Tests infrage stellt. Versierte Tester versuchen durch einen laufenden Wechsel der Benchmark-Suite gegenzuhalten und benennen auch einzelne Benchmarks um, um ihre Erkennung zu verhindern. So ergibt sich ein Katz- und Maus-Spiel wie in den 1990er Jahren der PC-Ära.
Laut AnandTech bringen die Tricksereien den Herstellern letztlich relativ wenig: “Die Auswirkung auf unsere CPU-Tests macht 0 bis 5 Prozent aus, und sie liegt irgendwo unterhalb von 10 Prozent bei unseren GPU-Benchmarks, soweit wir das sehen.” Die Tester raten den OEM-Herstellern daher dringend, “mit diesem Unsinn aufzuhören und stattdessen mehr Leistung und Energieeffizienz von ihren Chiplieferanten zu verlangen”.
Tipp: Sind Sie ein Android-Kenner? Überprüfen Sie Ihr Wissen – mit 15 Fragen auf silicon.de
[mit Material von Bernd Kling, ZDNet.de]
