AWS veröffentlicht Open-Source-Benchmark zum Vergleich von OpenAI-Modellen auf Bedrock

AWS hat in seinem Artificial-Intelligence-Blog einen Beitrag veröffentlicht, der eine quelloffene Benchmark-Testumgebung zum Vergleich von OpenAI-Modellen auf Amazon Bedrock mit OpenAI-Modellen beschreibt, die direkt über die OpenAI-API angesprochen werden. Als Autoren des Beitrags werden die AWS-Mitarbeiter Nick McCarthy, Sharadha Kandasubramanian, Sudeesh Sasidharan und Saurabh Trikande genannt.

Laut AWS vergleichen Unternehmen Modelle in der Regel anhand des Preises pro Million Token – jener Kennzahl, die auf jeder Preisseite zu finden sei. Diese Zahl blende jedoch Faktoren aus, die die tatsächlichen Kosten beeinflussten: wie häufig ein Modell eine korrekte Antwort liefere, wie viele Token es dafür benötige und, bei agentenbasierten Arbeitslasten, wie viele Gesprächsrunden dafür nötig seien – da bei jeder Runde der wachsende Gesprächsverlauf erneut übertragen werde.

Die Testumgebung und die getesteten Modelle

AWS erklärt, man habe eine Testumgebung entwickelt und als openai-on-aws/benchmarks-openai veröffentlicht, die einen einzigen identischen Code-Pfad – die OpenAI Responses API – sowohl gegen Amazon Bedrock als auch gegen die OpenAI-API laufen lasse, indem lediglich Backend und Modell-ID gewechselt, die Bewertungslogik aber konstant gehalten würden.

Dem Beitrag zufolge bewertet die Testumgebung fünf Modelle:

• Drei OpenAI-Modelle auf Amazon Bedrock: gpt-5.6-luna, gpt-5.6-terra und gpt-5.6-sol
• Zwei OpenAI-API-Modelle: gpt-5.4-mini und gpt-5.4-nano

AWS bezeichnet die beiden OpenAI-API-Modelle als kosteneffiziente Basismodelle, die bereits von vielen Teams genutzt würden, nicht als unmittelbare generationsgleiche Pendants zu den Bedrock-Modellen. Der Vergleich sei vielmehr auf die Frage ausgerichtet, ob sich ein Umstieg von mini oder nano auf ein neueres Bedrock-Modell lohne.

Was die Auswertung umfasst

Laut AWS beantwortet die Testumgebung drei Fragen: Was kostet eine korrekte Antwort statt eines einzelnen Tokens, was kosten mehrstufige Agenten-Abläufe angesichts der Tatsache, dass die Anzahl der Runden die Rechnung dominieren kann, und ob ein Modell Arbeit liefert, die eine Fachperson akzeptieren würde – geprüft anhand realer beruflicher Arbeitsergebnisse statt quizartiger Fragen.

AWS zufolge misst die Auswertung Genauigkeit und Kosten bei Einzelanfragen anhand der Mathematikwettbewerbsaufgaben AIME, des Wissenschaftstests GPQA Diamond auf Graduiertenniveau und MMLU-Pro, ergänzt um mehrstufige Agenten-Abläufe bei Live-Webrecherche-Aufgaben sowie nach Bewertungsraster benotete professionelle Arbeitsergebnisse. Die Bewertung kombiniert deterministische Prüfungen mit einem als Richter fungierenden LLM, gpt-5.5, das laut AWS nicht selbst zu den bewerteten Modellen zählt, unter Verwendung fest vorgegebener Prompts, deren Hashwerte in jeder Ergebnisdatei festgehalten werden.

AWS erklärt, dass jeder Durchlauf der Testumgebung eine zeitgestempelte Ergebnisdatei im JSON-Format erzeuge und dass sämtliche Zahlen und Grafiken im Beitrag zum Build-Zeitpunkt aus diesen Dateien generiert worden seien. Das vorliegende Ausgangsmaterial enthält keine konkreten Angaben zu Genauigkeits-, Kosten- oder Benchmark-Ergebnissen der Testumgebung.

Quelle: AWS Machine Learning Blog, „Beyond the price per token: Choosing the right OpenAI model on Amazon Bedrock for your workload“, veröffentlicht am 11. September 2026.