AWS erläutert, wie AgentCore Evaluations und der DevOps-Agent produktive KI-Agenten überwachen

AWS hat in einem Blogbeitrag erläutert, wie sich zwei eigene Tools, Amazon Bedrock AgentCore Evaluations und AWS DevOps Agent, kombinieren lassen, um KI-Agenten im Produktivbetrieb zu überwachen.

Das Problem, das AWS beschreibt

Laut AWS treten bei Multi-Agenten-Systemen im Produktivbetrieb Fehler auf, die klassisches Monitoring nicht erfasst. Das Unternehmen nennt zwei Beispiele: einen Agenten, der sein Foundation Model nicht aufrufen kann und wegen einer fehlenden Berechtigung in AWS Identity and Access Management (IAM) eine leere Antwort zurückgibt, ohne dass dabei ein 500er-Fehler ausgelöst wird, sowie einen Supervisor-Agenten mit unzureichend abgegrenztem Prompt, der beginnt, 20 Prozent der Anfragen an den falschen Spezialisten weiterzuleiten, während die Infrastrukturmetriken davon unberührt bleiben.

Infrastruktur-Monitoring-Tools wie Amazon CloudWatch könnten laut AWS zwar bestätigen, dass ein System korrekt ausgeführt wurde, zeigten aber nicht, ob ein Agent einem Nutzer tatsächlich geholfen hat, sein Ziel zu erreichen. Das Unternehmen schreibt, ein Agent könne Amazon Bedrock erfolgreich aufrufen, jedes Tool fehlerfrei nutzen und trotzdem eine Antwort liefern, die am eigentlichen Bedürfnis des Nutzers vorbeigeht. AWS beschreibt zudem einen Fall, in dem ein Buchungsagent keine Reservierungen mehr abschließt, obwohl die Logs erfolgreiche Tool-Ausführungen zeigen – der Fehler trat drei Aufrufe tief in einer Kette auf, die keine Exception nach außen gab.

Diese Probleme verschärften sich laut AWS in Multi-Agenten-Systemen, in denen eine einzelne Anfrage einen Supervisor-Agenten auslöst, der Aufgaben an mehrere Spezialisten mit jeweils eigenen Tools und Modellaufrufen verteilt. Es gebe in der Regel keinen festen Ausführungsgraphen, den man instrumentieren könne, so AWS, und Fehler könnten an mehreren Übergabepunkten auftreten, ohne sich vorhersehbar durch das System fortzupflanzen.

Das System, das AWS gebaut hat

Um dem zu begegnen, hat AWS eigenen Angaben zufolge ein produktives Flugbuchungssystem mit vier spezialisierten Agenten entwickelt, das Amazon Bedrock AgentCore Evaluations zur kontinuierlichen Bewertung der Agentenqualität mit AWS DevOps Agent zur autonomen Untersuchung von Infrastrukturvorfällen kombiniert.

AWS beschreibt Amazon Bedrock AgentCore als Plattform, um Agenten in beliebigem Framework und mit beliebigem Modell im großen Maßstab zu bauen, zu verbinden und zu optimieren. Innerhalb dieser Plattform bewerte AgentCore Evaluations laufende Interaktionen kontinuierlich und erkenne so falsche Tool-Auswahl, gescheiterte Aufgaben und Qualitätsregressionen, die Infrastrukturmetriken vollständig übersähen. AWS DevOps Agent wiederum verfolge Fehler autonom über Servicegrenzen hinweg und bringe IAM-Richtlinien, Aufruf-Logs und Orchestrierungs-Traces ohne manuelle Untersuchung miteinander in Verbindung. Zusammen sollen diese beiden Ebenen laut AWS zeigen, ob ein Agent korrekt funktioniert und ob die zugrunde liegende Infrastruktur ihn trägt.

Zentrale eingesetzte Technologien

AWS nennt mehrere Dienste, auf denen das System aufbaut:

• Amazon Bedrock stellt API-Zugriff auf Foundation Models von Anthropic, Meta, Mistral und Amazon bereit und treibt das Sprachverständnis im Flugbuchungssystem an.
• Die AgentCore-Runtime übernimmt die Orchestrierung der Agenten und verwaltet den Lebenszyklus der Interaktionen, mit integrierter Observability durch OpenTelemetry-Instrumentierung.
• Das Fullstack AgentCore Solution Template (FAST) wird als Teil der Implementierung erwähnt, wobei der Blogbeitrag seine Rolle im vorliegenden Auszug nicht vollständig erläutert.

Quelle: AWS Machine Learning Blog, „Monitoring production agent lifecycle with AWS DevOps Agent and AgentCore Evaluations“, veröffentlicht am 11. September 2026.