AWSが説明する、AgentCore Evaluationsと DevOpsエージェントによる本番稼働中AIエージェントの監視手法

AWSは、同社の2つのツール「Amazon Bedrock AgentCore Evaluations」と「AWS DevOps Agent」を組み合わせることで、本番環境で稼働するAIエージェントを監視できるとするブログ記事を公開した。

AWSが指摘する課題

AWSによると、本番環境のマルチエージェントシステムでは、従来型の監視では捉えられない障害が発生するという。同社は2つの例を挙げている。1つは、AWS Identity and Access Management(IAM)の権限不足により基盤モデルを呼び出せず空の応答を返すエージェントで、この場合500エラーは発生しない。もう1つは、スコープの甘いプロンプトを持つスーパーバイザーエージェントが、リクエストの20%を誤った専門エージェントにルーティングし始めても、インフラのメトリクスには何の変化も現れないケースだ。

AWSは、Amazon CloudWatchのようなインフラ監視ツールはシステムが正しく実行されたことは確認できても、エージェントが実際にユーザーの目的達成を助けたかどうかまでは示せないと述べる。同社によれば、エージェントはAmazon Bedrockの呼び出しに成功し、すべてのツールをエラーなく呼び出しながら、それでもユーザーの本当のニーズを取り違えた応答を返すことがあるという。AWSはまた、予約エージェントが予約を完了できなくなる事例も紹介している。ログ上はツールの実行が成功しているにもかかわらず、障害が例外を発生させない形で処理チェーンの3段階目に潜んでいたためだ。

AWSは、こうした問題はマルチエージェントシステムにおいてさらに深刻化すると指摘する。単一のリクエストがスーパーバイザーエージェントを起動し、それぞれ独自のツールとモデル呼び出しを持つ複数の専門エージェントに作業を振り分けるためだ。AWSによれば、計測すべき固定の実行グラフが存在しないのが通常であり、障害は複数の受け渡しポイントのいずれでも発生しうる上、システム内をどのように伝播するかも予測できないという。

AWSが構築したシステム

この課題に対応するため、AWSは4つの専門エージェントから成る本番向け航空券予約システムを構築したとしている。このシステムは、エージェントの品質を継続的に評価するAmazon Bedrock AgentCore Evaluationsと、インフラ障害を自律的に調査するAWS DevOps Agentを組み合わせたものだ。

AWSは、Amazon Bedrock AgentCoreを、任意のフレームワークやモデルを用いてエージェントを大規模に構築・接続・最適化するためのプラットフォームと説明する。同プラットフォーム内で、AgentCore Evaluationsは稼働中のやり取りを継続的にスコアリングし、インフラのメトリクスだけでは全く捉えられないツール選択の誤りやタスクの失敗、品質の低下を検出するという。またAWS DevOps Agentは、IAMポリシー、呼び出しログ、オーケストレーションのトレースを相関付けながら、サービス境界をまたいだ障害を人手の調査なしに自律的に追跡すると同社は説明する。AWSは、この2つの層を組み合わせることで、エージェントが正しく機能しているかどうかと、その基盤となるインフラがそれを支えられているかどうかの両方を示すことを狙っていると述べている。

利用されている主要技術

AWSは、このシステムを支えるいくつかのサービスを挙げている。

• Amazon Bedrockは、Anthropic、Meta、Mistral、Amazonの基盤モデルへのAPIアクセスを提供し、航空券予約システムの言語理解を支えている。
• AgentCoreランタイムは、エージェントのオーケストレーションを担い、やり取りのライフサイクルを管理する。OpenTelemetryによる計装を通じた可観測性も標準で備える。
• Fullstack AgentCore Solution Template(FAST)も実装の一部として言及されているが、提供された抜粋の中でその役割は詳しく説明されていない。

出典:AWS Machine Learning Blog、「Monitoring production agent lifecycle with AWS DevOps Agent and AgentCore Evaluations」、2026年9月11日公開。