Harness²: cómo mejorar agentes de IA sin actualizar el modelo

Harness² demuestra que muchas mejoras en agentes de IA vienen de su entorno —prompts, herramientas y bucles de control— y no sólo del modelo. Este artículo explica el enfoque, resultados y cómo aplicarlo en entornos con recursos limitados.

Por Redaccion TD
Harness²: cómo mejorar agentes de IA sin actualizar el modelo

Introducción

Cuando un agente de IA no cumple una tarea, la reacción habitual es pensar en cambiar o actualizar el modelo. Harness², un proyecto de Google Research, propone otra vía: optimizar la “harness” —el conjunto de prompts, interfaces de herramientas, memoria y control— que rodea al modelo. Esa capa a menudo determina si un agente termina su trabajo correctamente. En este artículo reviso los hallazgos de la investigación, cómo funciona la implementación disponible, y qué lecciones prácticas pueden sacar equipos de desarrollo, especialmente en contextos latinoamericanos donde el costo y la infraestructura importan.

¿Qué es una “harness” y por qué importa?

Una harness define cómo se le da contexto al modelo (system prompt, guardrails, memoria, skills), cómo se describen e invocan herramientas, qué trabajo se delega a subagentes y qué ocurre dentro del bucle de ejecución (plugins o middleware). La diferencia clave: una regla en un prompt es una sugerencia; una regla implementada en el control loop es una acción forzada por código. Así, muchas fallas no se corrigen con más instrucciones al modelo, sino cambiando dónde y cómo se aplican esas reglas.

Otra lección: no hay una harness universal. Distintos ensamblajes funcionan mejor según la tarea: por ejemplo, Claude Code rindió mejor en tareas de programación y hojas de cálculo, mientras que Codex fue superior para navegación web. Una harness fija deja rendimiento sobre la mesa; Harness² busca adaptar la harness en tiempo de prueba para cerrar esa brecha.

Por qué fallan los “self-editing prompts”

Permitir que un agente reescriba su propio system prompt suena lógico, pero en la práctica puede empeorar el rendimiento. El problema es el presupuesto de tokens: los prompts del sistema se procesan repetidamente durante una ejecución. Agregar más texto consume tokens y deja menos espacio para la tarea real; si se agota el presupuesto, el agente puede fallar antes de completar el trabajo.

Harness² evita este problema exponiendo componentes que permanecen inactivos hasta que intervienen, de modo que no generan coste de token cuando no se usan.

Componentes que maneja Harness²

El proyecto presenta ocho componentes agrupados en cuatro categorías principales:

  • Contexto: system prompt, guardrails, memoria y skills.
  • Interfaz de herramienta: guías de uso, scripts y la forma en que se describe e invoca cada herramienta.
  • Delegación: subagentes o contextos limpios a los que se puede delegar trabajo.
  • Middleware: plugins que operan dentro del bucle de herramientas para imponer comportamiento.

La idea es activar y modificar estos elementos en ejecución sin inflar el prompt.

Dos arreglos simples que funcionan

Harness² mostró soluciones prácticas que un prompt nunca garantiza:

  • Evitar investigación interminable: se construyó un watchdog que registra pasos y obliga al agente a empezar a generar salidas antes de agotar tokens.
  • Detectar hojas de cálculo incompletas: se bloqueó la finalización hasta que un script verificara que no faltaran fórmulas.

¿Por qué funcionan? Porque son salvaguardas aplicadas por el código del sistema, no solo instrucciones que dependen de la buena intención del modelo.

Propose, Probe, Compose: cómo decide si una edición ayuda

El reto técnico es saber si una edición a la harness realmente mejoró la ejecución, especialmente en tareas reales donde no hay una respuesta conocida. Harness² usa tres etapas:

  1. Propose: el agente ejecuta la tarea una vez. Dos editores leen el log de ejecución: uno busca fallas en la mecánica del flujo de trabajo y el otro propone reglas de dominio (expertas).
  2. Probe: la harness editada se ejecuta otra vez sobre la misma tarea para generar una segunda tentativa.
  3. Compose: se comparan ambas ejecuciones. Una edición se mantiene solo si corrige una falla observable de la primera ejecución. Todo lo demás se descarta.

El criterio clave es la señal derivada de diferencias en ejecuciones, no una métrica con respuesta conocida; eso permite operar sobre tareas inéditas. El paso de probe no es ornamental: eliminarlo redujo el rendimiento en aproximadamente 10% en las pruebas reportadas.

Resultados de la evaluación

Harness² fue probado en tres benchmarks profesionales y cuatro configuraciones de modelo-harness, usando GLM-5 y Gemini 3.5 Flash. En general, un solo paso de edición mejoró la harness base en todas las configuraciones evaluadas.

Algunos resultados destacados:

  • WorkBuddy-Bench: ganancias de hasta 11.5 puntos.
  • JobBench: hasta 4.5 puntos.
  • LAB (taxonomía de ejecución), tasa de pase parcial: hasta 11.8 puntos.
  • Sondeo paralelo de cinco candidatos aportó adicionalmente entre 2.9 y 3.9 puntos en WorkBuddy-Bench.
  • Tareas de redlining legal y conciliación presupuestaria: mejoras de 35 a 50 puntos en un solo paso.
  • Una harness evolucionada con un modelo fuerte y luego entregada a uno más pequeño rindió 17 puntos inmediatamente.
  • Un hallazgo relevante: una estrategia basada en memoria (ReasoningBank) bajó 6.6 puntos respecto al baseline en tareas de programación, lo que sugiere que más memoria no siempre equivale a mejor desempeño.

Dos implicaciones prácticas: la memoria no es panacea, y una harness evolucionada con un modelo costoso puede transferirse a uno menos poderoso, reduciendo costos de despliegue.

Implementación y experiencia práctica

El código está disponible y puede instalarse localmente. Requisitos técnicos: Linux, Python 3.12 y la herramienta uv. El repositorio pesa ~15 MB; la instalación trajo 8 paquetes (lxml, openpyxl, pillow, python-pptx, typing-extensions, xlsxwriter y dependencias). El paquete fija Python >=3.12,<3.14.

Se instalan siete comandos CLI: harness2, harness2-demo, harness2-setup, harness2-check, harness2-judge, harness2-report y harness2-bridge. El demo no requiere claves de API ni cuenta en la nube y puede ejecutarse con:

harness2-demo —output runs/demo —k 2

En mi ejecución local el demo completó 2 tareas de contabilidad con 0 fallas. Produjo 28 ejecuciones y 32 llamadas a editores, escribiendo 2,360 archivos que contienen alrededor de 265 KB de contenido. El tamaño en disco varía según el sistema de archivos: ext4 ocupó ~13 MB por el tamaño de bloque, mientras que APFS empaquetó lo mismo en ~0.3 MB. Esto es importante tenerlo en cuenta antes de ejecutar benchmarks a gran escala.

Recomendaciones para equipos en América Latina

  • Empiecen por instrumentar: registren logs de ejecución y pasos del agente. Sin señal observada no hay cómo validar una edición.
  • Prioricen controles en el bucle: imponer guardrails por código suele ser más fiable que añadir más texto al prompt.
  • Aprovechen la transferencia: entrenar o evolucionar harnesses con modelos potentes y luego ejecutar con modelos más baratos puede reducir costos operativos.
  • Cuidado con el presupuesto de tokens en tareas en español: prompts largos en español también consumen token y pueden afectar ejecuciones complejas.
  • Planifiquen almacenamiento: runs grandes generan muchos archivos pequeños; el coste en disco puede sorprender en infraestructuras locales o nubes con límites estrictos.

Conclusión

Harness² muestra que mejorar agentes de IA no siempre implica cambiar el modelo. Ajustando cómo se entrega contexto, cómo se invocan herramientas y qué se ejecuta en el control loop, es posible resolver fallas concretas y mejorar la robustez. Para organizaciones latinoamericanas que buscan eficiencia—menos costos de inferencia y más fiabilidad—esta aproximación ofrece una vía práctica: evolucionar la harness con recursos superiores y desplegar luego sobre infraestructuras más económicas, cuidando siempre la instrumentación y la verificación basada en ejecuciones reales.

Fuente original: Analytics Vidhya