Cuando el agente falla a la segunda corrida: cómo medir y corregir la inconsistencia de agentes de IA

El problema: éxito promedio no garantiza fiabilidad

Es común decir que un agente de IA tiene “77% de éxito” y asumir que eso basta. Pero esa cifra suele ser un promedio sobre varias corridas, y no responde a la pregunta que importa en producción: ¿si repito exactamente la misma solicitud, el agente resolverá la tarea las veces que la ejecute? En entornos críticos —reconciliación financiera, revisión de contratos, flujos regulatorios— que el agente a veces falle en la misma petición puede ser un problema grave.

El equipo de Hugging Face mostró este fenómeno con un agente ReAct potenciado por GPT-4.1 en el benchmark AppWorld. Su Media@5 (Mean@5) fue 77.4%, pero la métrica Pass^5 —la fracción de tareas que el agente resolvió en las cinco ejecuciones repetidas— fue apenas 53.0%. Es decir, en casi un cuarto de los casos el agente es intermitente: a veces lo logra, otras no, sin que nada cambie en la tarea.

¿Qué es Pass^k y por qué importa? La diferencia con Pass@k

Hay varias métricas que se confunden: la que aparece en los rankings y la que debería importar a un usuario final.

• Mean@k (o Mean@5) mide el porcentaje de ejecuciones exitosas en promedio sobre k corridas. Es la cifra que se acostumbra a usar en evaluaciones.
• Pass@k pregunta si al menos una de k intentos fue exitosa —es optimista y útil cuando el sistema puede verificar y reintentar.
• Pass^k (con el acento invertido) es la métrica que importa para la robustez: exige que todas las k corridas sean exitosas. Es la medida más estricta y revela la inconsistencia.

Siempre se cumple Pass^k ≤ Mean@k ≤ Pass@k. En el caso citado, la brecha entre Mean@5 y Pass^5 —la “consistency gap”— fue de 24.4 puntos porcentuales. En tareas difíciles esa brecha puede llegar a 30 puntos.

Por qué los agentes “dan vueltas”: distribuciones afiladas vs planas

Cada decisión de un agente basado en LLM (qué herramienta usar, qué argumento pasar, si reintentar) surge de una distribución de probabilidad sobre el siguiente token. La forma de esa distribución decide si la decisión es estable:

• Distribución afilada: una opción domina claramente; pequeñas variaciones numéricas no cambian la salida. Estas decisiones son resilientes.
• Distribución plana: varias opciones están cerca en probabilidad; pequeñas perturbaciones (ruido numérico, procesamiento en el endpoint, batching) pueden invertir el orden y cambiar la elección.

Un trayecto de agente tiene decenas de decisiones encadenadas; una pequeña probabilidad de cambio por paso compuesta puede convertir una corrida consistente en otra que falla. Esto explica la existencia de agentes capaces pero inconsistentes, y por qué no basta con cambiar a un modelo más grande para resolver el problema.

Diagnóstico: Consistency Analyzer

Frente a este reto, la aproximación es primero diagnosticar exactamente dónde del trayecto se encuentran las decisiones “frágiles”.

La herramienta que propone el equipo es el Consistency Analyzer. Su idea práctica es sencilla y eficiente: a partir de un solo trayecto grabado del agente, vuelve a muestrear cada punto de decisión del histórico para ver cómo varían las salidas en ese punto. Concretamente, por cada paso toma una sola llamada al modelo que solicita k completions (por defecto k=5) sobre el contexto ya registrado —no reejecuta la tarea de extremo a extremo ni repite interacciones con herramientas— y calcula una puntuación de consistencia para ese paso.

El resultado es un scorecard que localiza las decisiones con alto riesgo de “flip” (cambio). Esta técnica requiere sólo un trazo y no necesita la verdad de referencia (ground truth), lo cual es clave cuando la verificación humana o la orquestación de herramientas es costosa.

Corrección: directrices de consistencia en ALTK-Evolve

Diagnosticar no es suficiente: hay que actuar sobre las decisiones frágiles. ALTK-Evolve introduce un tipo de directrices denominado consistency guidelines. El flujo es:

1. Registrar un trayecto exitoso.
2. Ejecutar el Consistency Analyzer para identificar pasos con distribuciones planas.
3. Extraer de esa información reglas o indicaciones automáticas —directrices— que se inyectan en tiempo de inferencia para guiar al agente hacia las opciones más estables.

Al aplicar estas directrices, Hugging Face logró reducir la consistency gap de 24.4pp a 12.0pp, es decir, la mitad. Además, informaron ganancias específicas: en tareas idénticas el Pass^5 subió +16.0pp y en tareas similares +13.0pp, sin pérdida en la precisión promedio (Mean@k).

¿Qué significa esto para organizaciones en América Latina?

En la práctica regional, donde muchas empresas aún están en etapas tempranas de adopción, la diferencia entre “funciona en demo” y “funciona en producción” es crucial:

• Servicios financieros y fintech: una conciliación intermitente puede generar errores en balances o inconsistencias frente a auditorías.
• Legal y cumplimiento: revisar cláusulas de contrato con resultados no reproducibles complica la trazabilidad y la responsabilidad.
• Salud y administración pública: decisiones que deben ser determinísticas por requisitos regulatorios no pueden depender del azar de una corrida.

La técnica descrita es atractiva para equipos que ya registran trazas de agentes y quieren mejorar la robustez sin cambiar el modelo base ni incrementar costos significativos: el análisis pide una llamada adicional por decisión (k completions por paso, offline) y se integra en pipelines de validación o CI.

Recomendaciones prácticas para líderes técnicos y tomadores de decisión

• No se guíen sólo por la precisión promedio: exploren Pass^k para sus flujos críticos.
• Empiecen a registrar trazas completas de los agentes en producción para habilitar diagnósticos posteriores.
• Automatizar un análisis de consistencia (como el Consistency Analyzer) permite priorizar los puntos a corregir con el menor esfuerzo.
• Inyecten directrices locales (consistency guidelines) antes de apostar por modelos más grandes o costosos; muchas veces la mejora de fiabilidad está en la orquestación, no en el modelo.
• Diseñen monitorización que alerte cuando la consistencia cae en tareas clave; eso facilitará respuestas proactivas.

Conclusión

La discrepancia entre éxito promedio y reproducibilidad bajo repeticiones es una vulnerabilidad real en agentes de LLM. Medir Pass^k revela esa grieta, y herramientas como el Consistency Analyzer combinadas con directrices automáticas (ALTK-Evolve) pueden reducir significativamente la variabilidad sin sacrificar precisión promedio. Para organizaciones en América Latina que despliegan agentes en procesos sensibles, este enfoque ofrece un camino práctico y coste-eficiente para pasar de demostraciones brillantes a sistemas fiables en producción.