Cómo monitorear agentes en producción: calidad de agente y salud de infraestructura con AgentCore y AWS DevOps Agent

El reto: fallas que la observabilidad tradicional no muestra

Los sistemas multiagente en producción fallan de maneras que las herramientas de monitoreo convencionales suelen pasar por alto. Un agente puede invocar a su modelo base (FM) y devolver una respuesta vacía sin generar un error 500; la causa puede ser un permiso de IAM faltante en el rol de ejecución. Un supervisor con un prompt mal afinado no eleva la tasa de errores, pero empieza a enrutar 20% de las solicitudes al especialista equivocado mientras las señales de infraestructura permanecen “verdes”.

Esas fallas silenciosas son particularmente peligrosas en sistemas donde una solicitud de usuario desencadena la coordinación entre múltiples agentes: no hay un grafo de ejecución fijo para instrumentar, los fallos pueden ocurrir en varios puntos de transferencia y su propagación no siempre es predecible. Un agente puede ejecutar con éxito llamadas a herramientas y a Amazon Bedrock y aun así malinterpretar la intención del usuario, entregando respuestas técnicamente válidas pero inútiles.

Dos preguntas críticas de monitoreo

Para cubrir estas brechas conviene plantearse dos preguntas separadas:

• ¿El agente está ayudando realmente al usuario a cumplir su objetivo? (calidad del agente)
• ¿La infraestructura que soporta al agente está funcionando correctamente? (salud de infraestructura)

Responder ambas exige enfoques distintos: métricas e instrumentación para la infraestructura, y evaluaciones continuas de calidad para el comportamiento y los resultados del agente.

Caso práctico: un sistema de reservas aéreas con cuatro agentes especializados

Para ilustrar esta aproximación, se construyó un sistema de reservas aéreas en producción compuesto por cuatro agentes especializados, combinando dos componentes clave:

• Amazon Bedrock AgentCore Evaluations, para evaluación continua de calidad en interacciones reales.
• AWS DevOps Agent, para investigación autónoma de incidentes de infraestructura.

Esta capa dual permite ver si el agente funcionó correctamente desde la perspectiva del usuario y, al mismo tiempo, si la infraestructura lo soportó sin problemas.

Tecnologías clave que intervienen

• Amazon Bedrock: ofrece acceso a modelos base (FM) de diversos proveedores y se usa para la comprensión del lenguaje en el sistema. Para verificar disponibilidad por región, revisar la documentación “Supported models by AWS Region” en Bedrock.
• AgentCore runtime: orquesta agentes y administra ciclos de interacción, con instrumentación OpenTelemetry integrada para observabilidad.
• Fullstack AgentCore Solution Template (FAST): plantilla para desplegar rápidamente una interfaz React segura conectada a un backend AgentCore.
• AgentCore Evaluations: marco de evaluación de calidad integrado en el runtime, que puntúa interacciones en vivo usando metodología LLM-as-a-Judge.
• AWS DevOps Agent: herramienta de investigación autónoma que actúa como ingeniero on-call para la infraestructura, correlacionando logs, métricas y trazas.
• Strands Agents: SDK open source para construir agentes con patrones de colaboración multiagente (Swarm, Graph, Agents-as-Tools).
• OpenTelemetry: estándar abierto para instrumentación de trazas, métricas y logs; AgentCore emite datos hacia Amazon CloudWatch.
• Swarm Pattern: patrón de orquestación donde un supervisor enruta dinámicamente tareas a especialistas, ideal para rutas de ejecución adaptativas pero complejo de monitorear.

Monitorización en dos capas: cómo funciona en la práctica

AgentCore Evaluations — monitoreo continuo de calidad

AgentCore Evaluations puntúa interacciones en producción en dimensiones como utilidad, corrección y cumplimiento de objetivos. El sistema toma una muestra configurable del tráfico productivo y evalúa esas sesiones en segundo plano.

Cada puntuación incluye un razonamiento que explica por qué se asignó, considerando el contexto de la conversación, las herramientas usadas y los requisitos de la tarea. Cuando las métricas de calidad bajan, se corre un análisis de patrones sobre las sesiones con baja puntuación para identificar modos de fallo comunes (por ejemplo, selección errónea de herramienta o formato de respuesta inadecuado).

A partir de ese análisis, AgentCore Evaluations sugiere correcciones concretas: ajustes de prompt, cambios en la lógica de selección de herramientas u optimizaciones en la orquestación.

AWS DevOps Agent — investigación autónoma de infraestructura

AWS DevOps Agent monitorea métricas, logs y patrones de error y, ante un incidente, investiga automáticamente. Extrae logs relevantes de Amazon CloudWatch, construye un grafo topológico de recursos afectados y correlaciona errores a través de servicios (IAM, Amazon Bedrock, runtime del agente).

El agente rastrea la secuencia de fallos, encuentra la ruta de la falla y entrega un análisis de causa raíz junto con recomendaciones de remediación específicas. Esto es especialmente útil cuando los problemas son silenciosos (p. ej., permisos revocados o throttling) y no generan excepciones claras en cada llamada.

Beneficios de combinar ambas capas

Juntas, estas tecnologías entregan una imagen completa:

• AgentCore Evaluations responde si el comportamiento del agente cumple con los objetivos del usuario.
• AWS DevOps Agent verifica si la infraestructura permite que ese comportamiento ocurra correctamente.

Esto reduce el riesgo de falsos positivos/negativos: una métrica infra “verde” no distrae del hecho de que el agente puede estar fallando en la tarea principal; y una caída en calidad puede ser rápidamente rastreada hasta un problema infra con el DevOps Agent.

Recomendaciones prácticas para equipos en América Latina

• Instrumenten desde el diseño: integren OpenTelemetry en el runtime de agentes para trazar la cadena de llamadas entre supervisor y especialistas.
• Activen evaluaciones continuas: configuren AgentCore Evaluations para muestrear tráfico crítico (p. ej., reservas, pagos) y recibir análisis de patrones.
• Automatizar la investigación: usen AWS DevOps Agent para acelerar la identificación de causas raíz, especialmente en entornos con equipos reducidos o con operaciones 24/7.
• Revisen permisos y políticas IAM con frecuencia: muchos fallos silenciosos provienen de permisos incompletos en roles de ejecución.
• Use FAST para prototipar rápidamente interfaces seguras y validar flujos multiagente antes de escalar.

Conclusión

Monitorear sistemas multiagente exige separar la observación de la infraestructura de la evaluación de la calidad del agente. Integrar AgentCore Evaluations y AWS DevOps Agent permite detectar tanto fallas silenciosas en la infraestructura como regresiones de calidad en la experiencia del usuario. Para equipos en la región, estos enfoques ayudan a operar con mayor confianza y a reducir el tiempo medio de detección y resolución en entornos de producción complejos.

Para implementaciones concretas, revisar la documentación de Amazon Bedrock, AgentCore y AWS DevOps Agent y considerar plantillas como FAST para acelerar despliegues seguros y observables.