FutureMark-Patch beendet Benchmark-Schummelei von Nvidia und ATI (Update)
Ein Patch von FutureMark lässt den 3DMark 2003 wieder richtig laufen; die Treiber von ATI und Nvidia erzielen zu hohe Werte auf Kosten der Bildqualität.
Der Benchmark-Spezialist Futuremark (ehemals MadOnion) stellt den Patch 330 für den Anfang Februar veröffentlichten Grafikchip-Benchmark 3DMark 2003 zur Verfügung, der vom Grafikchip-Hersteller Nvidia in seine GeForce-Treiber eingebaute Schummeleien verhindern soll. Bei den Tests mit dem Patch hat FutureMark zudem festgestellt, dass auch der Grafikspezialist ATI zu schummeln scheint.
In Tests, die die Anforderungen zukünftiger Spiele vorwegnehmen und die Shader-Einheiten des Grafikchips im DirectX-9-Modus betreiben, haben die Manipulationen von Nvidia den größten Effekt. So soll der Nvidia-Treiber 43.51 und 44.03 im DirectX-9-Test "Mother Nature" von der Kamera nicht erfasste Bereiche der besonders rechenintensiven Himmelskuppel durch Clip-Planes begrenzen und teilweise gar nicht berechnen. Damit verschafft sich Nvidia natürlich einen Vorteil gegenüber seinem Konkurrenten ATI, der den gesammte Himmel berechnet.
Der Patch 330 wandelt den 3DMark 2003 nun so so ab, dass der Nvidia-Treiber den Benchmark nicht mehr erkennt und ihn wie jede andere Applikation behandelt. Damit sind auch die GeForceFX-Chips wieder gezwungen, die gesamte Szene zu berechnen. Nach Messungen von c´t bei 1024er-Auflösung ohne Antialiasing und anisotrope Filterung verlangsamt sich der GeForce FX 5900 Ultra bei Mother Nature dadurch von 37 auf 19 Bilder/s. Damit verliert er 48 Prozent seiner Leistung und liegt weit hinter dem Wert von 34 Bilder/s einer Radeon 9800 Pro zurück. Auch die Tests, mit denen sich die Leistungen des Vertex- und Pixel-Shaders gezielt untersuchen lassen, seien laut FutureMark manipuliert. Der Nvidia-Treiber ersetze die Shader-Programme des Benchmarks durch für den GeForceFX-Chip günstige Shader-Programme, die aber das gleiche visuelle Ergebnis produzieren. Mit den ursprünglichen Shadern des 3DMark verlangsamt sich der Nvidia-Chip im Vertex-Shader-Test von 17 auf 11 Bilder/s und im Pixel-Shader-Test von 48 auf nur noch 21 Bilder/s. Eine Radeon 9800 Pro erzielt 18 und 48 Bilder/s.
Das Auslassen von Szenenteilen in Mother Nature und der Einsatz von weniger rechenintensiven Shader-Programmen ist natürlich eine unzulässige Manipulation und soll verdecken, dass die Shader-Leistung der Radeon-Chips von ATI überlegen ist. Im Pixel-Shader-Test schaltet Nvidia vermutlich die vom Benchmark angeforderte maximale Präzision auf 16 Bit herunter. Die maximale Präzision beträgt bei Nvidia allerdings 32 Bit, während ATI immer mit 24 Bit Genauigkeit arbeitet. Der Vergleich der beiden Chips ist mit 100-prozentiger Exaktheit nicht möglich, sodass es beim Pixel-Shader-Test auch Argumente für Nvidias Standpunkt gibt.
Nach Einspielen des Patches verlieren übrigens auch ATI-Grafikkarten in Mother Nature rund 8 Prozent, wodurch auch der kanadische Grafikspezialist im Verdacht steht, die vom Benchmark beabsichtigte Testbelastung zu verändern.
Schummeleien in dieser Art sind nicht neu und zielen oft auf bekannte und viel eingesetzte Benchmarks wie die 3DMark-Reihe von Futuremark. Auch ist es beliebt, dass die Standard-Einstellungen der Grafikkarten-Treiber eine vergleichsweise niedrige Render-Qualität liefern, was nicht nur einzelne synthetische Benchmarks beeinflusst, sondern auch die fürs Benchmarking herangezogenen Spiele wie Quake III oder Unreal Tournament. Hierbei gelten beispielsweise SiS und Trident als verdächtig, ATI sogar schon als überführt – Quake III lief aufgrund eines Tricks um bis zu 15 Prozent schneller.
Zudem liefern einige Hersteller mit ihren Testsystemen Patches aus, die einzelne Benchmarks beschleunigen sollen. Beispielsweise hatte AMD sich hier wiederholt hervorgetan: Im Sommer 1999 gab es einen Patch für den 3DMark 99, zwei Jahre später folgte ein Patch für den BAPCo SysMark 2001, und auch bei den FSB400-Testsystemen des Athlon XP kam wieder ein Patch zum Einsatz. AMD begründet das immerhin damit, dass diese Benchmarks gewisse Fähigkeiten der eigenen Prozessoren nicht ausnutzen würden und geriet darüber sogar in Streit mit der BAPCo. (Manfred Bertuch) / (jow)
