AWS explica cómo AgentCore Evaluations y DevOps Agent supervisan a los agentes de IA en producción

AWS publicó una entrada de blog en la que explica cómo dos de sus herramientas, Amazon Bedrock AgentCore Evaluations y AWS DevOps Agent, pueden combinarse para supervisar agentes de IA que se ejecutan en producción.

El problema que describe AWS

Según AWS, los sistemas multiagente en producción sufren fallos que la supervisión tradicional no detecta. La compañía ofrece dos ejemplos: un agente que no puede invocar su modelo fundacional y devuelve una respuesta vacía debido a un permiso faltante de AWS Identity and Access Management (IAM) que no genera un error 500, y un agente supervisor con un prompt mal delimitado que empieza a enrutar el 20 % de las solicitudes al especialista equivocado mientras las métricas de infraestructura permanecen inalteradas.

AWS afirma que las herramientas de supervisión de infraestructura, como Amazon CloudWatch, pueden confirmar que un sistema se ejecutó correctamente, pero no pueden mostrar si un agente realmente ayudó a un usuario a lograr su objetivo. La compañía escribe que un agente puede invocar con éxito Amazon Bedrock, llamar a todas las herramientas sin errores y aun así devolver una respuesta que malinterpreta lo que el usuario necesita. AWS también describe un caso en el que un agente de reservas deja de completar reservas pese a que los registros muestran ejecuciones de herramientas exitosas, porque el fallo ocurrió tres llamadas más adentro en una cadena que no generó ninguna excepción visible.

AWS sostiene que estos problemas se agravan en los sistemas multiagente, donde una sola solicitud activa a un agente supervisor que distribuye el trabajo entre varios especialistas, cada uno con sus propias herramientas y llamadas al modelo. AWS señala que normalmente no existe un grafo de ejecución fijo que se pueda instrumentar, y que los fallos pueden producirse en múltiples puntos de traspaso sin propagarse de forma predecible por el sistema.

El sistema que construyó AWS

Para abordar esto, AWS afirma haber construido un sistema de reservas de aerolínea en producción con cuatro agentes especializados que combina Amazon Bedrock AgentCore Evaluations, para la evaluación continua de la calidad de los agentes, con AWS DevOps Agent, para la investigación autónoma de incidentes de infraestructura.

AWS describe Amazon Bedrock AgentCore como una plataforma para crear, conectar y optimizar agentes a gran escala, con cualquier framework o modelo. Dentro de esa plataforma, AWS explica que AgentCore Evaluations puntúa de forma continua las interacciones en vivo para detectar selecciones erróneas de herramientas, fallos de tareas y regresiones de calidad que las métricas de infraestructura pasan por alto por completo. AWS DevOps Agent, según la compañía, rastrea de forma autónoma los fallos entre los distintos servicios, correlacionando políticas de IAM, registros de invocación y trazas de orquestación sin necesidad de investigación manual. AWS sostiene que, en conjunto, estas dos capas están pensadas para mostrar tanto si un agente funciona correctamente como si la infraestructura subyacente lo respalda.

Tecnologías clave utilizadas

AWS enumera varios servicios que sustentan el sistema:

• Amazon Bedrock ofrece acceso mediante API a modelos fundacionales de Anthropic, Meta, Mistral y Amazon, y impulsa la comprensión del lenguaje en el sistema de reservas de aerolínea.
• El runtime de AgentCore gestiona la orquestación de los agentes y administra los ciclos de vida de las interacciones, con observabilidad integrada mediante instrumentación de OpenTelemetry.
• La Fullstack AgentCore Solution Template (FAST) se menciona como parte de la implementación, aunque la entrada de blog no detalla por completo su función en el fragmento proporcionado.

Fuente: AWS Machine Learning Blog, "Monitoring production agent lifecycle with AWS DevOps Agent and AgentCore Evaluations", publicado el 11 de septiembre de 2026.