Cuánta memoria necesita realmente su agente: calibrando dosis y costos

Introducción

Equipar un agente con “memoria” —un conjunto de reglas o guías derivadas de su propio comportamiento pasado— suena como una receta simple para mejorar rendimiento: más experiencia, mejores decisiones. Sin embargo, al escalar la evaluación a ocho modelos (desde un denso de 30B hasta sistemas propietarios de punta) quedó claro que la memoria agentica no es algo que se activa y ya: es una dosis que hay que calibrar según el modelo.

En este artículo resumimos los hallazgos del experimento con ALTK-Evolve, que destila pautas reutilizables de trayectorias pasadas y las inyecta en tiempo de inferencia sin actualizar pesos ni requerir anotación humana. Además discutimos implicaciones prácticas para equipos de América Latina que planean desplegar agentes conversacionales o automatizados en producción.

¿Qué es ALTK-Evolve y qué entendemos por “memoria”?

ALTK-Evolve extrae lecciones del propio comportamiento del agente: estrategias que funcionaron, errores a evitar y casos límite detectados. El flujo es simple:

• El agente ejecuta tareas y genera trayectorias (logs de pasos y acciones).
• ALTK-Evolve mina esas trayectorias para producir un conjunto de guías (guidelines).
• Al inferir, el agente recibe o bien el conjunto completo de guías o una selección curada relacionada con la tarea.

Importante: no se actualizan los pesos del modelo. La “memoria” modifica el contexto de entrada, no el modelo subyacente, lo que facilita adoptar la técnica en diferentes arquitecturas.

Tres patrones observados según la capacidad del modelo

Al evaluar ocho modelos, emergieron tres patrones recurrentes:

1. Modelos fuertes con margen de mejora (headroom) se benefician del conjunto completo de guías. Tienen capacidad para absorber guías incluso raras y de casos extremos. Ejemplo: DeepSeek-V3.2 (671B MoE) mejoró +9.5 puntos porcentuales en Task Goal Completion (TGC) cuando se le inyectó el conjunto completo.

2. Modelos más pequeños o con menor capacidad se saturan con un conjunto amplio. Para ellos, la mejor estrategia fue una core de guías de alta confianza más unas pocas guías relevantes recuperadas por tarea (curated retrieval). gpt-oss-120b (117B MoE) mostró este patrón: ganó +16.1 pp en TGC usando retrieval curado, mientras que inyectar el conjunto completo aportó menos beneficio y costó aproximadamente 50% más tokens.

3. Modelos ya saturados no muestran mejoras medibles con memoria adicional. Esto se observó en GLM-5 (745B MoE) en estos experimentos; puede deberse a techo de desempeño en esas tareas o a que las guías no atacaron las fallas restantes.

Estos patrones no dependen únicamente del conteo de parámetros: factores como margen en benchmarks, tamaño de ventana de contexto, arquitectura, calidad de las guías y distribución de tareas influyen en dónde queda cada modelo.

Resultados y métricas (qué se midió)

La evaluación se hizo en AppWorld: 585 tareas multi-paso (168 en test_normal y 417 en test_challenge) a través de 9 aplicaciones simuladas (calendarios, mensajería, pagos, etc.). Se usaron dos métricas principales:

• TGC (Task Goal Completion): si el agente completa completamente la tarea.
• SGC (Scenario Goal Completion): métrica más estricta que exige que todas las variantes de un escenario pasen.

Los tres estados comparados fueron:

• Baseline: agente sin memoria.
• Full guideline set: todas las guías minadas inyectadas en cada paso ReAct.
• Curated retrieval: una base fija de guías de alta confianza más un subconjunto recuperado por tarea (parte fija + variable).

Resultados ilustrativos extraídos del estudio:

• gpt-oss-120b (117B MoE) — patrón “débil/selectivo”: Baseline TGC 39.9 / SGC 21.4 → con curated retrieval TGC 56.0 / SGC 37.5. Ganancia TGC: +16.1 pp (curated retrieval, además con un costo de tokens solo ~+5% en esa configuración).
• DeepSeek-V3.2 (671B MoE) — patrón “fuerte con headroom”: Baseline TGC 79.8 / SGC 64.3 → con full guideline set TGC 89.3 / SGC 80.4. Ganancia TGC: +9.5 pp.

Nota: las ganancias en SGC tienden a ser mayores porque SGC exige consistencia en todas las variantes de cada escenario.

Costos y optimizaciones: cuándo la recuperación curada es mejor

Dos observaciones prácticas en el estudio:

• La recuperación curada puede ser tanto más precisa como más barata. En el caso de gpt-oss-120b, curated retrieval logró +16.1 pp con solo ~+5% de tokens adicionales, mientras que inyectar todo el conjunto completo dio menos beneficio y consumió casi 50% más tokens.

• En producción, técnicas como prompt caching (almacenar prompts ya construidos/ensamblados) reducen el costo de usar conjuntos más grandes, haciendo viable el uso del conjunto completo en modelos con headroom.

Implicaciones prácticas para equipos en América Latina

Para organizaciones y equipos de producto en la región, estas conclusiones tienen varias implicancias operativas:

• Calibren la memoria según el modelo: no asuman que más guías siempre mejoran. Hagan pruebas iniciales con curated retrieval en modelos de tamaño medio/pequeño.
• Miden SGC además de TGC: SGC detecta mejoras en la consistencia que TGC puede ocultar.
• Consideren costo por token y latencia: la ganancia en exactitud debe balancearse con el costo operativo, especialmente si usan modelos comerciales con facturación por token.
• Usen prompt caching y precompilación: para conjuntos grandes de guías, el caching baja costos y latencia en producción.
• Diseñen el bucle de minería de guías con datos de entrenamiento separados del test: en el estudio, las guías se minaron solo del split de entrenamiento para evitar fuga de información.

Recomendaciones prácticas (pasos concretos)

1. Evalúen “headroom” del modelo en sus tareas específicas usando benchmarks internos.
2. Si el modelo muestra espacio de mejora, prueben inyectar el conjunto completo; si no, comiencen por curated retrieval.
3. Monitoricen tanto TGC como SGC y costos de tokens por petición.
4. Implementen prompt caching para operaciones en producción y reduzcan llamadas recurrentes a la construcción de contexto.
5. Iteren la minería de guías con ciclos cortos de retroalimentación para mantener la relevancia.

Conclusión

La memoria agentica, entendida como un set de guías auto-distilladas, es una palanca poderosa pero sensible a la capacidad del modelo. En lugar de un ajuste único, lo efectivo es calibrar la “dosis”: modelos con margen aprovechan conjuntos completos; modelos más modestos prosperan con una base curada y recuperación por tarea; modelos ya saturados pueden no beneficiarse. Para equipos en América Latina esto significa equilibrar precisión y costos, experimentar con retrieval curado y usar prácticas de producción (prompt caching, métricas SGC) para desplegar agentes confiables y eficientes.