LeRobot v0.6.0: políticas que imaginan, evalúan y mejoran robots

Resumen ejecutivo

LeRobot v0.6.0 es una actualización orientada a cerrar el ciclo completo del aprendizaje robótico: desde políticas que aprenden a imaginar su propio futuro hasta modelos de recompensa que evalúan el éxito en tareas, pasando por una herramienta de despliegue que facilita convertir errores en datos de entrenamiento. Además incluye mejoras en datasets (soporte de profundidad, anotaciones en lenguaje natural y codificación de video personalizada), entrenamiento distribuido y opciones de entrenamiento en la nube.

¿Por qué importa la capacidad de “imaginar” en robótica?

En robótica existe una pregunta central: ¿los llamados world models realmente mejoran las políticas de control? LeRobot v0.6.0 incorpora tres enfoques distintos que añaden supervisión basada en modelos del mundo durante el entrenamiento, pero sin penalizar el costo de inferencia en producción.

• VLA-JEPA: enseña a una representación compacta (VLA basada en Qwen3-VL-2B) a predecir futuros en espacio latente mientras la política aprende a actuar. El modelo de mundo supervisa el entrenamiento anticipando frames resultantes de las propias acciones; durante inferencia ese mundo model desaparece, por lo que no añade costo adicional. Hay checkpoints listos en el Hub y una ruta estándar de fine-tuning con lerobot-train.

• LingBot-VA: es un modelo autoregresivo de video y acción que predice video y acciones en bloques, reintegrando observaciones reales para mantener su imaginación anclada a la realidad. Permite guardar el video predicho para comparar imaginación vs. resultado real. Corre en una sola GPU de 24–32 GB.

• FastWAM: combina un experto en generación de video (~5B) con un experto compacto en acciones dentro de una misma red. Durante el entrenamiento el modelo aprende a soñar sus propios rollouts; en inferencia omite esa fase de sueño y directamente denoisa fragmentos de acción, manteniendo eficiencia en tiempo real.

Estos tres enfoques exploran caminos diferentes para beneficiar a políticas robóticas con supervisión basada en modelos del mundo, sin sacrificar latencia en despliegue.

El zoológico de VLAs sigue creciendo

LeRobot incorpora nuevas integraciones y políticas de visión-lenguaje-acción (VLA):

• GR00T N1.7: actualización de la integración con NVIDIA que reemplaza la versión previa. N1.7 usa Cosmos-Reason2-2B (basado en Qwen3-VL) con un head de flow-matching para acciones. La integración mantiene paridad con la implementación original de Isaac-GR00T y hace opcional flash-attention para facilitar la instalación.

• MolmoAct2: el modelo del Allen Institute for AI llega con ciclo de vida completo en LeRobot: fine-tuning (incluyendo LoRA), evaluación y despliegue en robot real. Hay checkpoints calibrados que permiten ejecución zero-shot en plataformas SO-100/101; la inferencia en bf16 cabe en ~12 GB y el fine-tuning con LoRA cabe en una GPU de 24 GB.

• EO-1: integrado con backbone Qwen2.5-VL-3B y head de flow-matching, aportado por autores del paper original. Está disponible para entrenar con la workflow estándar de lerobot-train.

• Multitask DiT, EVO1 y otras políticas se suman al catálogo, expandiendo las capacidades para distintas arquitecturas y requisitos de hardware.

Estas incorporaciones facilitan experimentar y comparar modelos de distinta escala y diseño dentro de un mismo ecosistema.

Modelos de recompensa: cuándo sabemos que el robot tuvo éxito

Una pieza crítica para cerrar el ciclo es medir el éxito. v0.6.0 añade un API para modelos de recompensa que permite entrenar y evaluar señales de logro aprendidas:

• Robometer y TOPReward: dos implementaciones de reward models que centralizan la evaluación de éxito de tareas robóticas. Tener modelos de recompensa entrenables facilita el uso de señales más ricas que métricas rígidas en entornos simulados o reales.

Datasets: más ricos y más rápidos

LeRobot mejora la infraestructura de datos para flujos de trabajo reales:

• Soporte de profundidad de extremo a extremo: ahora los datasets pueden incluir información de profundidad, útil para tareas de manipulación y percepción 3D.

• Anotaciones en lenguaje a escala: un pipeline automático permite generar anotaciones en lenguaje natural aprovechando modelos VLM, lo que facilita crear datasets calificables para entrenamiento y evaluación.

• Codec personalizado: la plataforma ahora soporta codificación de video personalizada para optimizar almacenamiento y transferencia según las necesidades del proyecto.

• Hasta 2x más rápido en carga de datos: optimizaciones en IO reducen los tiempos de preprocesamiento y entrenamiento.

Estos avances reducen la fricción para equipos que construyen y curan datos en América Latina, donde la conectividad y el coste de almacenamiento pueden ser limitantes.

Benchmarks y evaluación unificada

La versión trae seis nuevos benchmarks de simulación que permiten medir el desempeño de políticas y modelos dentro de un marco común. Todos están accesibles desde un único CLI, lerobot-eval, que unifica métricas y facilita comparaciones reproducibles.

Entrenamiento e inferencia: despliegue y escalado

• lerobot-rollout: la CLI de despliegue ahora tiene su propio flujo pensado para producción y recolección de datos. Integra un modo DAgger-style que permite correcciones humano-en-el-bucle para transformar fallas de despliegue en ejemplos de entrenamiento.

• FSDP: soporte para Fully Sharded Data Parallel que permite entrenar modelos más grandes que la memoria de una sola GPU.

• HF Jobs: integración para entrenar en la nube con Hugging Face Jobs, facilitando escalar experimentos sin gestionar infraestructura propia.

Estas funciones ayudan a equipos a mover modelos desde la experimentación hasta despliegues reales y ciclos de reentrenamiento continuos.

Código más ligero y comunidad

v0.6.0 apuesta por una instalación más lean y un código más limpio. La integración con librerías externas (como la de NVIDIA) se ha simplificado para reducir fricciones. La comunidad de LeRobot y el Hub permiten compartir checkpoints listos para usar y pipelines de fine-tuning que aceleran la adopción.

Qué significa esto para equipos en América Latina

• Más opciones para experimentar: desde modelos compactos que corren en hardware moderado hasta integraciones con modelos más grandes listos para ser probados en simulación o robot real.

• Menos fricción para datos: soporte de profundidad y anotaciones automáticas facilitan la creación de datasets locales y ajustados a escenarios regionales.

• Escalado flexible: la posibilidad de entrenar en la nube y usar FSDP ayuda a superar limitaciones de hardware comunes en equipos pequeños.

Conclusión

LeRobot v0.6.0 no es solo un conjunto de nuevas políticas y modelos; es un paso hacia cerrar el ciclo completo del aprendizaje robótico: imaginar, evaluar y mejorar. Para equipos y tomadores de decisión en América Latina, la versión aporta herramientas prácticas para reducir el tiempo entre experimentación y despliegue, mientras facilita construir datos y métricas más relevantes. Si su proyecto busca integrar políticas con world models, reward models aprendidos y un flujo de despliegue que transforme errores en datos útiles, esta actualización ofrece un conjunto coherente de funcionalidades para avanzar en esa dirección.