AWS stellt Tool für Multi-Turn Reinforcement Learning auf SageMaker AI vor
AWS hat einen technischen Leitfaden zu Multi-Turn Reinforcement Learning auf SageMaker AI veröffentlicht – einer Methode zum Training von Modellen für mehrstufige, agentenbasierte Aufgaben mithilfe ergebnisbasierter Belohnungen.
Kurze Antwort
Was hat AWS zu Multi-Turn Reinforcement Learning auf SageMaker AI angekündigt?
AWS hat einen technischen Leitfaden veröffentlicht, der Multi-Turn Reinforcement Learning (MTRL) auf Amazon SageMaker AI beschreibt – eine serverlose Pipeline, die Modelle für mehrstufige, agentenbasierte Aufgaben trainiert und dabei Amazon Bedrock AgentCore nutzt, um den Agenten und die Belohnungsfunktion zu hosten und ganze Handlungssequenzen statt einzelner Prompts zu bewerten.
Das Wichtigste
- AWS beschreibt Multi-Turn Reinforcement Learning (MTRL) auf Amazon SageMaker AI als eine Methode zum Training von Modellen für agentenbasierte Aufgaben, die eine Abfolge von Aktionen erfordern, bei denen nur das Endergebnis der Sequenz bewertet werden kann.
- Laut AWS sendet SageMaker AI Prompts an einen Agenten, der auf Amazon Bedrock AgentCore (oder auf Kundeninfrastruktur wie Amazon EKS, EC2 oder Fargate über einen AWS-Lambda-Forwarder) gehostet wird, und der Agent meldet eine Belohnung, wenn eine Episode endet.
- AWS erklärt, dass die Pipeline Group Relative Policy Optimization (GRPO) nutzt, um anhand von Belohnungsunterschieden über mehrere Durchläufe hinweg einen Low-Rank-Adaptation-Adapter (LoRA) am Policy-Modell zu aktualisieren.
- AWS gibt an, dass MTRL derzeit vier Basismodelle mit LoRA-Adaptern unterstützt: Amazon Nova 2 Lite, GPT-OSS-20B, Gemma 4 31B (instruction-tuned) und Qwen 3.6 27B, verfügbar in bestimmten AWS-Regionen je nach Modell.
- In einem von AWS beschriebenen Wordle-Beispiellauf erhöhte MTRL die Lösungsrate von GPT-OSS-20B von 61 auf 84 Prozent bei standardmäßigem Reasoning-Aufwand und von 15 auf 69 Prozent bei geringem Reasoning-Aufwand, bei berichteten Trainingskosten von rund 339 US-Dollar an Token-Kosten.
Was AWS angekündigt hat
AWS hat einen technischen Blogbeitrag veröffentlicht, der Multi-Turn Reinforcement Learning (MTRL) beschreibt, eine Trainingsfunktion auf Amazon SageMaker AI, die für agentenbasierte Aufgaben konzipiert ist, die eine Abfolge von Aktionen statt einer einzelnen Antwort erfordern. Laut AWS schließt die Methode eine Lücke in bestehenden Trainingsansätzen: Supervised Fine-Tuning benötigt gekennzeichnete korrekte Antworten, die für mehrstufige Aufgaben mit vielen möglichen erfolgreichen Lösungswegen nicht existieren, und Single-Turn Reinforcement Learning kann eine Entscheidung, die mehrere Schritte vor dem Ergebnis getroffen wurde, nicht entsprechend bewerten.
AWS zufolge trainiert MTRL Modelle ausschließlich anhand einer am Ende einer vollständigen Aufgabenepisode gemeldeten finalen Belohnung, ohne festzulegen, welche genaue Abfolge von Aktionen hätte erfolgen sollen.
Wie das System funktioniert
AWS beschreibt eine zweiteilige Architektur. SageMaker AI verwaltet den Trainingsjob und das trainierte Policy-Modell. Amazon Bedrock AgentCore hostet den Agenten, die Aufgabenumgebung und die Belohnungsfunktion. Für jeden Trainingsdurchlauf ruft der MTRL-Dienst laut AWS die AgentCore-Laufzeitumgebung mit einem einzelnen Trainingsbeispiel auf, und ein Strands-Agent innerhalb dieser Laufzeitumgebung ruft das Policy-Modell über einen OpenAI-kompatiblen Endpunkt auf, der von der SageMaker Job Runtime bereitgestellt wird.
AWS erklärt, dass Agenten alternativ auf der eigenen Infrastruktur des Kunden gehostet werden können, etwa auf Amazon Elastic Kubernetes Service, Amazon EC2 oder AWS Fargate, verbunden über einen AWS-Lambda-Forwarder, wobei das Beispiel im Beitrag AgentCore verwendet.
Sobald eine Aufgabenepisode endet, gibt der Agent laut AWS eine einzelne Belohnung zurück, und das System wendet Group Relative Policy Optimization (GRPO) an, um Belohnungen über mehrere Durchläufe derselben Aufgabe zu vergleichen und einen Low-Rank-Adaptation-Adapter (LoRA) am Policy-Modell zu aktualisieren.
AWS hebt drei Designaspekte hervor: Der Agent und die Belohnungsfunktion befinden sich gemeinsam in einer bereitgestellten Datei, der Trainingsdatensatz enthält nur die aufgabenspezifischen Eingaben, die für die Bewertung nötig sind, und die Belohnungsstrukturen sind stärker auf finale Ergebnisse ausgerichtet, mit kleineren Anteilen für die Zwischenstrategie.
Durchgerechnetes Beispiel und Ergebnisse
AWS veranschaulicht die Pipeline anhand von Wordle, einem Spiel, bei dem ein Spieler sechs Versuche hat, ein fünfbuchstabiges Wort zu erraten. Es wurde ausgewählt, weil seine Regeln einfach sind, sich das Feedback von Zug zu Zug aufbaut und Ergebnisse objektiv bewertet werden können. AWS merkt an, dass führende Modelle Wordle bereits gut spielen, und stellt das Beispiel als Stellvertreter für interne, geschäftsspezifische mehrstufige Arbeitsabläufe dar, für die öffentliche Modelle nicht trainiert wurden.
In einem berichteten Trainingslauf habe MTRL laut AWS die Lösungsrate von GPT-OSS-20B bei zurückgehaltenen Wörtern bei standardmäßigem Reasoning-Aufwand von 61 auf 84 Prozent und bei einem während des Trainings verwendeten geringeren Reasoning-Aufwand von 15 auf 69 Prozent erhöht, bei berichteten Trainingskosten von rund 339 US-Dollar an Token-Kosten. AWS zufolge verbrauchte der 100-Schritte-Lauf 491,6 Millionen Prefill-Token, 159,7 Millionen Sample-Token und 643,3 Millionen Trainings-Token über 105.486 Durchläufe hinweg innerhalb von 12 Stunden und 40 Minuten.
Unterstützte Modelle und Preisgestaltung
AWS gibt an, dass MTRL derzeit vier Basismodelle unterstützt, die jeweils mit einem LoRA-Adapter trainiert werden: Amazon Nova 2 Lite, GPT-OSS-20B, Gemma 4 31B (instruction-tuned) und Qwen 3.6 27B. Die Verfügbarkeit variiert je nach AWS-Region: Nova 2 Lite und GPT-OSS-20B sind in US East (Nord-Virginia) und US West (Oregon) verfügbar, Gemma 4 31B und Qwen 3.6 27B nur in US West (Oregon). AWS begründet die Wahl von GPT-OSS-20B für sein Beispiel damit, dass es unter den vier Modellen den niedrigsten Preis pro Token hat und der Reasoning-Aufwand pro Anfrage eingestellt werden kann.
AWS beschreibt MTRL als serverlos: Kunden wählen ein Basismodell aus, während der Dienst Trainings- und Sampling-Infrastruktur automatisch bereitstellt. Die Preisgestaltung erfolgt pro Million Token in drei Kategorien: Prefill-Token, die als Eingabe verarbeitet werden, Sample-Token, die vom Policy-Modell erzeugt werden (einschließlich Reasoning-Token), und Trainings-Token, die während des Backward-Pass verarbeitet werden, der den LoRA-Adapter aktualisiert. AWS erklärt zudem, dass Kundendatensätze, Agenten und trainierte Modelle im AWS-Konto des Kunden verbleiben und nicht zum Training der eigenen Basismodelle von AWS verwendet werden.
Quelle: AWS Machine Learning Blog, „Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide“, veröffentlicht am 23. Oktober 2026.
Häufige Fragen
- Was ist Multi-Turn Reinforcement Learning (MTRL) auf SageMaker AI?
- AWS beschreibt es als einen Trainingsansatz für agentenbasierte Aufgaben mit mehreren aufeinanderfolgenden Aktionen, bei dem das Modell anhand einer einzigen, am Ende einer Episode gemeldeten Belohnung trainiert wird statt anhand gekennzeichneter Beispiele korrekter Schritte.
- Welche Modelle unterstützt MTRL?
- Laut AWS unterstützt MTRL Amazon Nova 2 Lite, GPT-OSS-20B, Gemma 4 31B (instruction-tuned) und Qwen 3.6 27B, jeweils trainiert mit einem LoRA-Adapter, wobei die Verfügbarkeit je nach AWS-Region variiert.
- Wie wird MTRL bepreist?
- AWS zufolge zahlen Kunden pro Million Token in drei Kategorien – Prefill (Eingabe-Token), Sample (generierte Token) und Train (Token im Backward-Pass zur Aktualisierung des LoRA-Adapters) –, wobei die Preise je nach Basismodell variieren.
- Welches Beispiel verwendete AWS zur Veranschaulichung von MTRL?
- AWS nutzte Wordle, ein Wortratespiel, als Lehrbeispiel und berichtete, dass MTRL die Lösungsrate von GPT-OSS-20B bei zurückgehaltenen Wörtern von 61 auf 84 Prozent bei standardmäßigem Reasoning-Aufwand verbesserte.
Quellen
- Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide | Artificial Intelligence — Amazon Web Services (AWS)