Benchmark
eval · evaluation set · leaderboard
Kurz gesagt
Ein Benchmark ist eine feste Reihe von Aufgaben mit bekannten Antworten, die verwendet wird, um Modelle zu bewerten und zu vergleichen. Öffentliche Benchmarks geben ein grobes Fähigkeitsranking, sind aber stark optimiert, anfällig für Trainingsdaten-Kontamination und ähneln eher kurzen, gut spezifizierten Problemen als realer Produktionsarbeit.
Benchmarks existieren, weil Modellvergleiche einen gemeinsamen Maßstab benötigen, und sie sind dafür wirklich nützlich: Sie etablieren eine grobe Rangfolge und fangen große Rückschritte ab.
Sie versagen auch auf vorhersehbare Weise, alles zurückführbar auf eine einzige Dynamik – sobald eine Zahl zum Ziel wird, hört sie auf, eine Messung zu sein.
- Kontamination. Öffentliche Benchmarks befinden sich im öffentlichen Web, und Trainingskorpora werden aus dem öffentlichen Web gescrapt.
- Optimierungsdruck. Anbieter optimieren gegen die Benchmarks, an denen sie gemessen werden. Das ist rational und bläht die Ergebnisse im Verhältnis zu ungetesteten Fähigkeiten auf.
- Aufgabenform. Kurz, Einmal-Interaktion, eindeutig, mit einer richtigen Antwort. Wenig Produktionsarbeit sieht so aus.
- Selektive Berichterstattung. Jeder Launch zeigt die Benchmarks, bei denen er gewinnt.
- Sättigung. Sobald jedes glaubwürdige Modell über 90 % erzielt, sind die verbleibenden Unterschiede Rauschen.
Die Alternative ist nicht, Benchmarks aufzugeben, sondern eigene hinzuzufügen. Ein paar hundert echte Anfragen aus Ihrem Traffic, mit korrekten Antworten, die von Domänenexperten vereinbart wurden, jedes Mal auf die gleiche Weise bewertet. Dieser Satz beantwortet die Frage, die Sie tatsächlich haben – welches Modell ist dafür besser – und er ist der einzige, der ein Modell-Upgrade übersteht.
Teams, die einen solchen Satz erstellen, stellen routinemäßig fest, dass die Rangfolge von der Bestenliste abweicht, manchmal zugunsten des günstigeren Modells.
Häufige Fragen
- Warum enttäuschen Benchmark-Spitzenreiter manchmal in der Produktion?
- Benchmarks belohnen kurze, eindeutige, Single-Turn-Aufgaben. Produktionsarbeit ist lang, mehrdeutig, Multi-Turn und gegnerisch. Die Korrelation zwischen beiden ist real, aber lose.
- Was ist Benchmark-Kontamination?
- Benchmark-Fragen und -Antworten, die in den Trainingsdaten eines Modells vorkommen, meist weil sie im Web veröffentlicht wurden. Ein kontaminierter Benchmark misst den Recall und nicht die Fähigkeit, und er kann nicht vollständig ausgeschlossen werden.