AWS, 아마존 AgentCore 이볼루에이션스와 데브옵스 에이전트가 프로덕션 AI 에이전트를 모니터링하는 방식 공개
AWS는 AgentCore Evaluations와 AWS DevOps Agent가 어떻게 함께 작동해 프로덕션 환경에서 AI 에이전트의 품질과 인프라를 모니터링하는지 설명하는 블로그 게시물을 발표했다.
한 줄 답
AWS는 AgentCore Evaluations와 DevOps Agent를 통해 프로덕션 환경에서 운영 중인 AI 에이전트를 모니터링하는 방안에 대해 무엇을 발표했나요?
AWS는 AgentCore Evaluations와 AWS DevOps Agent가 프로덕션 환경에서 AI 에이전트를 모니터링하기 위해 어떻게 함께 작동하는지 설명하는 블로그 게시물을 발표했다. AWS에 따르면 AgentCore Evaluations는 실시간 에이전트 상호작용의 품질 문제를 점수화하는 반면, DevOps Agent는 서비스 경계를 넘나드는 인프라 장애를 추적한다. AWS는 4개 에이전트로 구성된 항공사 예약 시스템을 통해 이 접근 방식을 시연했다.
핵심 요약
- AWS에 따르면 아마존 클라우드워치(Amazon CloudWatch) 같은 인프라 모니터링 도구는 시스템이 오류 없이 실행되었음을 보여줄 수는 있지만, AI 에이전트가 실제로 사용자의 목표 달성을 도왔는지는 드러내지 못한다.
- AWS는 Amazon Bedrock AgentCore Evaluations와 AWS DevOps Agent를 결합하는 사례를 보여주기 위해 네 개의 전문화된 에이전트로 구성된 실제 운영용 항공사 예약 시스템을 구축했다.
- AWS에 따르면 AgentCore Evaluations는 실시간 에이전트 상호작용을 지속적으로 점수화해, 인프라 지표로는 포착되지 않는 잘못된 도구 선택과 작업 실패, 품질 저하를 잡아낸다.
- AWS는 DevOps 에이전트가 IAM 정책과 호출 로그, 오케스트레이션 추적 정보를 서로 연결함으로써 별도의 수동 조사 없이도 서비스 경계를 넘나드는 장애를 자율적으로 추적해낸다고 설명한다.
- AWS는 아마존 베드록(Amazon Bedrock)이 앤트로픽, 메타, 미스트랄, 아마존의 파운데이션 모델에 대한 API 접근을 제공하며, AgentCore 런타임에는 오픈텔레메트리(OpenTelemetry) 계측을 통한 내장 관측 기능이 포함되어 있다고 밝혔다.
AWS는 자사의 두 가지 도구인 Amazon Bedrock AgentCore Evaluations와 AWS DevOps Agent를 결합해 프로덕션 환경에서 실행되는 AI 에이전트를 모니터링하는 방법을 설명하는 블로그 게시물을 공개했다.
AWS가 지적한 문제
AWS에 따르면 프로덕션 환경의 멀티 에이전트 시스템은 기존 모니터링으로는 포착되지 않는 장애를 겪는다. 회사는 두 가지 사례를 든다. 하나는 AWS Identity and Access Management(IAM) 권한 누락으로 파운데이션 모델을 호출하지 못해 빈 응답을 반환하지만 500 오류는 발생시키지 않는 에이전트이고, 다른 하나는 프롬프트 범위 설정이 부실한 감독(supervisor) 에이전트가 요청의 20%를 잘못된 전문 에이전트로 라우팅하기 시작하는데도 인프라 지표에는 아무런 영향이 나타나지 않는 사례다.
AWS는 Amazon CloudWatch 같은 인프라 모니터링 도구는 시스템이 정상적으로 실행되었는지는 확인할 수 있지만, 에이전트가 실제로 사용자의 목표 달성을 도왔는지는 보여주지 못한다고 말한다. 회사는 에이전트가 Amazon Bedrock 호출에 성공하고 모든 도구를 오류 없이 호출하면서도, 사용자가 필요로 하는 바를 잘못 이해한 응답을 반환할 수 있다고 설명한다. AWS는 또 예약 처리 에이전트가 로그상으로는 도구 실행이 모두 성공했음에도 예약을 완료하지 못하는 사례도 소개하는데, 이는 실패가 예외를 드러내지 않은 채 호출 체인 세 단계 안쪽에서 발생했기 때문이다.
AWS는 이러한 문제가 멀티 에이전트 시스템에서 더욱 복잡해진다고 말한다. 단일 요청이 감독 에이전트를 촉발하면 이 에이전트가 각기 고유한 도구와 모델 호출을 갖춘 여러 전문 에이전트로 작업을 라우팅하기 때문이다. AWS에 따르면 이런 구조에는 계측할 수 있는 고정된 실행 그래프가 대개 존재하지 않으며, 장애는 여러 인계(handoff) 지점에서 예측 가능한 방식으로 전파되지 않은 채 발생할 수 있다.
AWS가 구축한 시스템
이 문제를 해결하기 위해 AWS는 네 개의 전문 에이전트로 구성된 프로덕션용 항공사 예약 시스템을 구축했다고 밝혔다. 이 시스템은 지속적인 에이전트 품질 평가를 위한 Amazon Bedrock AgentCore Evaluations와 자율적인 인프라 장애 조사를 위한 AWS DevOps Agent를 결합한다.
AWS는 Amazon Bedrock AgentCore를 어떤 프레임워크나 모델로도 대규모로 에이전트를 구축·연결·최적화할 수 있는 플랫폼으로 소개한다. 이 플랫폼 내에서 AgentCore Evaluations는 실시간 상호작용을 지속적으로 채점해 잘못된 도구 선택, 작업 실패, 그리고 인프라 지표로는 전혀 드러나지 않는 품질 저하를 포착한다고 AWS는 설명한다. AWS DevOps Agent는 서비스 경계를 넘나드는 장애를 자율적으로 추적하며, IAM 정책과 호출 로그, 오케스트레이션 트레이스를 사람의 수작업 조사 없이 상호 연관 짓는다고 회사는 말한다. AWS는 이 두 계층이 함께 작동함으로써 에이전트가 올바르게 작동하는지 여부와 그것을 뒷받침하는 인프라가 제대로 작동하는지 여부를 모두 보여주도록 설계됐다고 밝혔다.
사용된 핵심 기술
AWS는 이 시스템을 뒷받침하는 여러 서비스를 다음과 같이 소개한다.
- Amazon Bedrock은 Anthropic, Meta, Mistral, Amazon의 파운데이션 모델에 대한 API 접근을 제공하며, 항공사 예약 시스템의 언어 이해 기능을 구동한다.
- AgentCore 런타임은 에이전트 오케스트레이션을 처리하고 상호작용 라이프사이클을 관리하며, OpenTelemetry 계측을 통한 내장 관측 가능성(observability)을 제공한다.
- 풀스택 AgentCore 솔루션 템플릿(FAST)도 구현의 일부로 언급되지만, 제공된 발췌문에서 블로그 게시물은 그 역할을 상세히 다루지 않는다.
출처: AWS Machine Learning Blog, "Monitoring production agent lifecycle with AWS DevOps Agent and AgentCore Evaluations," 2026년 9월 11일 게재.
자주 묻는 질문
- 이 블로그 게시물에서 AWS는 어떤 문제를 다루고 있는가?
- AWS에 따르면 프로덕션 환경의 멀티 에이전트 시스템은 기존 모니터링으로는 포착되지 않는 방식으로 실패할 수 있다. 예를 들어 IAM 권한 누락으로 에이전트가 오류를 발생시키지 않은 채 빈 응답을 반환하거나, 인프라 지표에는 변화가 없는데도 감독 에이전트가 요청을 잘못 라우팅하는 경우가 있다.
- AgentCore Evaluations란 무엇인가
- AWS는 이를 실시간 에이전트 상호작용을 지속적으로 점수화해, 인프라 지표로는 포착되지 않는 잘못된 도구 선택과 작업 실패, 품질 저하를 잡아내는 기능이라고 설명한다.
- AWS 데브옵스 에이전트란 무엇인가
- AWS에 따르면 이 기능은 서비스 경계를 넘나드는 장애를 자율적으로 추적하며, IAM 정책과 호출 로그, 오케스트레이션 추적 정보를 수동 조사 없이 상호 연관시킨다.
- AWS는 이 접근 방식을 설명하기 위해 어떤 사례를 들었는가?
- AWS는 두 모니터링 계층이 함께 작동하는 모습을 보여주기 위해 4개의 전문 에이전트로 구성된 실제 프로덕션 항공사 예약 시스템을 구축했다.
출처
- Monitoring production agent lifecycle with AWS DevOps Agent and AgentCore Evaluations | Artificial Intelligence — Amazon Web Services (AWS)