Grabette: sistema abierto para grabar datos de manipulación robótica

Por qué importa: el cuello de botella está en los datos

En investigación y desarrollo de aprendizaje para robots, las arquitecturas y el cómputo han avanzado rápidamente. Transformadores, políticas basadas en difusión y modelos del mundo existen; las GPUs también. Sin embargo, lo que falta es un suministro amplio y diverso de datos reales de manipulación. Grabar demostraciones con un robot suele ser caro, logísticamente complejo y difícil de escalar a la variedad de tareas y entornos que se necesitan.

Grabette propone una idea sencilla pero poderosa: no hace falta un robot para generar datos útiles para robots. Con un gripper de mano, una cámara y un método para recuperar la trayectoria 6-DoF del agarre, una demostración humana puede convertirse en datos que una máquina puede aprender a reproducir.

¿Qué es Grabette?

Grabette es un sistema abierto y de bajo costo diseñado para grabar demostraciones de manipulación “en la wilda”. Su objetivo es reducir la fricción entre tener una tarea interesante y disponer de un dataset listo para entrenar una política robótica.

Elementos clave:

• Dispositivo portátil (Grabette) que combina un gripper, cámaras e IMU para capturar la demostración.
• Un gripper motorizado gemelo (Gripette) pensado para montar en un brazo robótico y reproducir las acciones aprendidas.
• Un flujo de procesamiento que transforma las grabaciones en un dataset LeRobot y lo publica en el Hugging Face Hub.

El diseño separa dos cámaras con roles distintos: una cámara fisheye amplia, económica, que aporta contexto tipo “cámara de muñeca” para la política; y una cámara RGB-D (OAK-D) que facilita un rastreo 6-DoF robusto. La sincronización se logra con un único reloj compartido en el dispositivo (Raspberry Pi), registrando color, profundidad, IMU y valores de encoder del gripper.

Inspiración y ecosistema abierto

Grabette toma inspiración directa del Universal Manipulation Interface (UMI) de Stanford, que mostró que grabar con un gripper de mano más SLAM puede producir datos útiles para entrenar políticas visuomotoras. A diferencia de algunos dispositivos comerciales o cerrados (por ejemplo, soluciones tipo MEgo de Agibot o guantes de captura), Grabette busca que cualquiera pueda construirlo y usarlo.

Todo el proyecto es open source: archivos CAD y de producción, software de captura para la Raspberry Pi, y la tubería de procesamiento que pueden ejecutar localmente o desde un Space de Hugging Face. La filosofía es que los componentes sean estándar y adquiribles: Raspberry Pi, cámara Pi, OAK-D, encoders magnéticos, etc. El equipo ha publicado la lista de materiales (BOM) y costos aproximados para facilitar la réplica.

Diseño pensado para ser accesible

La captura no asume un brazo específico: las demostraciones se guardan como poses cartesianas 6-DoF relativas a la cámara y el estado del gripper. El resultado final es un dataset en formato LeRobot alojable en Hugging Face Hub, lo que permite usar los datos con diferentes brazos y métodos de aprendizaje (siempre que se use el gripper compatible para ejecución).

Este enfoque es relevante para laboratorios, makerspaces y startups en América Latina: reducir la dependencia de costosas estaciones robóticas abre la posibilidad de contribuir datos desde universidades, talleres y entornos reales de trabajo. La combinación de bajo costo y software abierto facilita la colaboración y la creación de repositorios compartidos de demostraciones.

De su mano al dataset: dos pasos sencillos

Grabette propone un flujo de trabajo muy concreto para que cualquier persona pueda aportar demostraciones:

1. Grabar

• Pulsan un botón: el dispositivo registra simultáneamente la cámara de observación, la cámara de tracking (color, profundidad y IMU) y los encoders del gripper, todo sincronizado por un reloj común.
• Pulsan de nuevo para terminar la toma. Los datos quedan almacenados localmente en la Raspberry Pi.

2. Procesar (directamente desde el navegador)

• Abren el tablero de Grabette en su navegador y seleccionan las tomas a subir.
• Con un clic, las secuencias se suben al Hugging Face Hub.
• El Space grabette-slam ejecuta SLAM usando la librería RTAB-MAP y verifica la consistencia de la trayectoria (sin saltos ni pérdidas de tracking).
• Las tomas se convierten al formato LeRobot.
• Se publica un nuevo dataset en su espacio, y pueden visualizar cada episodio con el visualizador LeRobot.

Con esto, los episodios pasan a ser datasets listos para comenzar el entrenamiento de políticas.

Qué se puede hacer con los datos

El valor de los datos depende de su diversidad y calidad: tareas domésticas, manipulación de objetos, ensamblaje sencillo, y escenarios de oficina o industriales ligeros. Al estandarizar la captura y el formato (LeRobot), los mismos registros pueden alimentar distintos modelos y controladores, y servir tanto para entrenamiento sim2real como para evaluación en brazos reales que monten el gripper Gripette.

Además, al alojar los datasets en el Hugging Face Hub se facilita compartir, versionar y combinar contribuciones de múltiples equipos, algo esencial para construir un repositorio amplio que ninguna institución podría crear por sí sola.

Limitaciones y puntos a tener en cuenta

Grabette captura demostraciones humanas, por lo que las trayectorias reflejan la variabilidad humana (que es a la vez ventaja y desafío). Para ejecutar en un robot será necesario adaptar o mapear las trayectorias al brazo y control específicos. También, aunque el hardware y software sean abiertos, su reproducción requiere habilidad técnica: ensamblaje, calibración y comprensión básica de SLAM y formatos de dataset.

¿Qué sigue? Oportunidad para América Latina

La propuesta de Grabette es especialmente interesante en contextos donde el acceso a estaciones robóticas completas es limitado. Instituciones académicas, incubadoras tecnológicas y empresas pueden construir dispositivos a bajo costo, grabar tareas reales en talleres y fábricas, y contribuir a un dataset regional que refleje necesidades y objetos locales.

La clave será coordinar contribuciones y acuerdos de gobernanza de los datos para asegurar calidad y reutilización. Grabette entrega las herramientas; la construcción de una comunidad latinoamericana de datos de manipulación puede acelerar la investigación aplicada y la adopción industrial de la robótica en la región.

Dónde empezar

El repositorio público contiene los archivos CAD, el software de captura y ejemplos de la tubería de procesamiento. Si tienen acceso a una Raspberry Pi, una OAK-D y componentes estándar, pueden comenzar a construir y grabar en pocas horas. Luego, el proceso de post-procesado en el Space de Hugging Face facilita subir y transformar las grabaciones en datasets listos para entrenar.

Grabette no reemplaza los laboratorios robóticos, pero baja la barrera para que más equipos contribuyan datos de manipulación del mundo real. La invitación es clara: graben, suban y colaboren para crear un dataset abierto que impulse el aprendizaje robótico en una variedad de escenarios reales.