Cómo LLMs enseñan a robots a entender instrucciones vagas y priorizar lo importante

Introducción

En los próximos años es probable que convivan más robots con personas en oficinas, almacenes y fábricas. Pero enseñarles tareas prácticas sigue siendo costoso: normalmente se necesitan muchas demostraciones físicas o instrucciones muy detalladas para que una máquina entienda no solo qué hacer, sino cómo hacerlo sin causar problemas. Investigadores del Computer Science and Artificial Intelligence Laboratory (CSAIL) del MIT presentan Masked IRL, un enfoque que combina demostraciones físicas con modelos de lenguaje a gran escala (LLMs) para clarificar instrucciones vagas y reducir drásticamente la cantidad de datos necesarios.

Masked IRL busca que los robots inferir qué detalles del entorno y de la demostración son relevantes para completar una tarea de forma segura y coherente con las preferencias del usuario. Esto resulta especialmente útil cuando la persona que enseña no quiere —o no puede— describir cada condicionante del entorno.

¿Qué es Masked IRL y por qué importa?

Masked IRL (Masked Inverse Reinforcement Learning) es una técnica que aprovecha dos funciones principales de los LLMs: 1) elaborar y concretar indicaciones ambiguas que un humano da al robot, y 2) evaluar qué elementos del entorno deben tenerse en cuenta al generar el plan de movimiento.

En pruebas realizadas por el equipo del MIT, Masked IRL logró identificar hasta un 15% más las preferencias implícitas del usuario —detalles que no fueron explicitados en la instrucción— en comparación con métodos de referencia. Además, el sistema aprendió tareas con casi cinco veces menos demostraciones físicas que sus competidores en simulación.

Para contextos latinoamericanos, donde la adaptación de robots a entornos diversos (almacenes con pasillos estrechos, oficinas con mobiliario variado, plantas de producción con layouts cambiantes) es habitual, reducir la carga de datos y la necesidad de instrucciones detalladas puede acelerar la adopción y bajar costos de implementación.

Cómo funciona, paso a paso

1. Captura de la demostración kinestésica: un humano guía físicamente el robot para mostrarle una acción (por ejemplo, tomar una taza y moverla a otro lugar). Durante esa demostración, los sensores del robot registran la trayectoria y las posiciones relativas de objetos y obstáculos.

2. Comparación de trayectorias con un LLM: un modelo de lenguaje analiza la secuencia de movimientos registrada y la compara con la trayectoria más corta o directa posible. A partir de esa comparación, el LLM explica por qué ciertos movimientos pueden ser relevantes, transformando órdenes vagas como “mantente cerca” en instrucciones más concretas: por ejemplo, “mantente cerca a la superficie de la mesa”.

3. Enmascaramiento de detalles irrelevantes por un segundo LLM: otro LLM evalúa las características del entorno (posición de obstáculos, forma del objeto objetivo, presencia de personas) y las clasifica mediante una máscara binaria: “1” para lo importante y “0” para lo irrelevante. Si durante la demostración el usuario se apoyó en la mesa, ese detalle puede recibir un “0” y no influir en el plan final.

4. Integración en el plan de movimiento: la información marcada como importante se incorpora al algoritmo que genera la trayectoria final, de modo que el robot reproduzca la intención general de la demostración respetando restricciones que no fueron declaradas explícitamente.

Resultados en simulación y en el mundo real

Los investigadores probaron Masked IRL tanto en entornos 3D simulados como con un brazo robótico real. En las demostraciones hubo tareas cotidianas: mover una taza alrededor de una laptop, acercar una bebida a una persona evitando su computadora, limpiar una mesa manteniéndose cerca de la superficie, y entregar una bolsa de papas sin chocar con la mesa o la persona.

• Identificación de preferencias: Masked IRL detectó correctamente preferencias implícitas hasta un 15% más que métodos comparables.
• Eficiencia de aprendizaje: en simulación el método necesitó muchas menos demostraciones; los investigadores reportan “casi cinco veces” menos datos de demostración que los baselines.
• Transferencia al mundo real: tras 50 demostraciones kinestésicas, el brazo robótico pudo ejecutar instrucciones no vistas en el entrenamiento —por ejemplo, mover una taza evitando una laptop— mostrando que la combinación de LLMs y señales físicas resulta robusta.

Implicaciones para empresas y operaciones en América Latina

Para tomadores de decisión en la región, Masked IRL ofrece dos ventajas claras: menor costo de entrenamiento y mayor seguridad en la operación cotidiana. Menos demostraciones significan menos tiempo de personal especializado dedicado a enseñar robots y menos interrupciones operativas. Además, la capacidad de inferir restricciones no explicitadas (como no acercarse a un laptop durante una videollamada) mejora la aceptabilidad del robot por parte de usuarios finales.

En centros de distribución, por ejemplo, donde la variabilidad espacial y humana es alta, un sistema capaz de priorizar dinámicamente qué evitar o respetar puede reducir errores y accidentes. En oficinas o entornos de retail, robots que entienden matices del comportamiento humano —sin instrucciones detalladas— facilitan la colaboración hombre-máquina.

Limitaciones y pasos siguientes

Masked IRL depende hoy de la información que puedan recoger los sensores y de las demostraciones kinestésicas. Los investigadores planean incorporar cámaras para que el robot no solo reciba datos del movimiento, sino que también pueda observar su entorno y destacar visualmente elementos relevantes o irrelevantes antes de actuar. Esa extensión permitiría, por ejemplo, identificar frutas cercanas a un juguete y descartarlas como objetos no relevantes para la tarea.

Hay consideraciones operativas y éticas que deben evaluarse al integrar LLMs en sistemas robóticos en entornos reales: desde la latencia y el costo computacional hasta la trazabilidad de decisiones cuando un modelo de lenguaje decide que algo es irrelevante. El equipo de MIT tampoco reemplaza la supervisión humana; su objetivo es reducir la carga de explicación, no eliminar la responsabilidad humana sobre la acción final.

Autores, financiamiento y presentación

El trabajo fue liderado por el estudiante de doctorado Minyoung Hwang y cuenta con las contribuciones de Alexandra Forsey-Smerek, Nathaniel Dennler y la profesora Andreea Bobu. El estudio recibió apoyo parcial del Tata Group a través del MIT Generative AI Impact Consortium Award y del Department of Defense. Los autores presentarán el proyecto en la conferencia IEEE International Conference on Robotics and Automation (ICRA) en junio de 2026.

Conclusión

Masked IRL demuestra que combinar LLMs con datos kinestésicos permite a los robots comprender mejor instrucciones vagas y priorizar los detalles importantes del entorno, con menos datos de demostración. Para organizaciones en América Latina que buscan automatizar tareas en espacios complejos y cambiantes, este enfoque ofrece un camino prometedor para desplegar robots más seguros y eficientes sin multiplicar el costo de entrenamiento. El siguiente paso —añadir visión por cámara y desplegar en más escenarios reales— será clave para evaluar su impacto a escala industrial y comercial.