MolmoMotion: pronóstico de movimiento 3D guiado por lenguaje

Qué es MolmoMotion

MolmoMotion es un modelo de pronóstico de movimiento 3D que conecta visión, puntos en el espacio y lenguaje. Dado un cuadro RGB, un conjunto de puntos 3D anotados en la superficie de un objeto y una instrucción en texto que describe la acción (por ejemplo: “Mover y rotar el tazón de madera con fruta sobre la mesa”), MolmoMotion predice las trayectorias futuras de esos puntos en el espacio métrico durante los segundos siguientes. Estas predicciones no generan video completo, sino trayectorias explícitas en 3D que pueden alimentar aplicaciones como planificación robótica o generación de video condicionada por trayectorias.

Por qué usar puntos 3D como representación de movimiento

El equipo detrás de MolmoMotion eligió representar el movimiento mediante puntos 3D adheridos al objeto por varias razones prácticas:

• Clase-agnóstico: una colección de puntos superficiales describe el movimiento de cuerpos rígidos, articulados y, dentro de ciertos límites, deformables, sin suponer una plantilla previa (por ejemplo, humano, mano o tipo de objeto).
• Estabilidad frente a la vista: como las coordenadas están en un marco de mundo compartido, la misma trayectoria física se mantiene consistente aunque cambie la cámara o el punto de vista.
• Directamente útil para downstream: las trayectorias explícitas en coordenadas métricas se pueden pasar tal cual a controladores robóticos o a módulos que generen video fotorrealista condicionado por movimiento.

Esta representación es compacta y evita el coste de renderizar secuencias completas de frames cuando lo que importa es la dinámica física del objeto.

Arquitectura y variantes de MolmoMotion

MolmoMotion aprovecha Molmo 2 como columna vertebral para vincular lenguaje con objetos y puntos en la imagen. La entrada compartida al backbone incluye tokens de imagen (RGB), tokens de texto con la descripción de la acción y tokens de características de puntos 2D muestreados del encoder visual. Sobre esa base, el modelo identifica el objeto referido, localiza los puntos de consulta y descifra la intención de la instrucción para predecir las trayectorias 3D futuras.

Se entrenaron y publicaron dos variantes principales:

• MolmoMotion-AR (autoregresivo): predice coordenadas futuras paso a paso. Representa coordenadas 3D como texto estructurado (un estilo ya usado por modelos visión-lenguaje) y genera la trayectoria en orden temporal. La dependencia secuencial favorece rollouts suaves cuando el camino futuro está bien definido.

• MolmoMotion-FM (flow-matching): modela trayectorias en espacio 3D continuo transformando ruido en movimiento mediante técnicas de flow-matching. Esta variante es más adecuada cuando la instrucción admite múltiples futuros plausibles y es necesario capturar incertidumbre.

Ambas alternativas comparten la misma entrada visual y textual, pero difieren en cómo representan y muestrean el futuro, balanceando precisión y capacidad para modelar ambigüedad.

MolmoMotion-1M y PointMotionBench: el dato que faltaba

Para entrenar un modelo así se requiere mucha data: videos con trayectorias 3D de puntos anclados a objetos y descripciones de la acción. Los conjuntos existentes de rastreo 3D eran limitados en escala y dominio, y los videos de internet, aunque abundantes, no venían con anotaciones métricas. Por eso los autores construyeron una tubería automática que extrae trayectorias 3D objetuales en coordenadas métricas a partir de video no restringido y las empareja con descripciones de acción.

El resultado son dos recursos publicados:

• MolmoMotion-1M: la mayor colección disponible de trayectorias de puntos 3D vinculadas a descripciones de acción, construida a partir de 1.16 millones de videos.
• PointMotionBench: un benchmark validado por humanos para medir la precisión en el pronóstico de movimiento centrado en objetos, compuesto por 2.7K clips.

Además del código y los pesos del modelo, los autores liberan estos recursos para que la comunidad los estudie, mejore y personalice.

Aplicaciones prácticas y ejemplos de uso

Las trayectorias 3D predichas por MolmoMotion pueden integrarse en varios flujos de trabajo:

• Planificación robótica: un robot que debe alcanzar o manipular un objeto necesita anticipar la posición futura del mismo (por ejemplo, un brazo que toma una taza en una cinta transportadora). Las trayectorias métricas permiten planificar movimientos con conocimiento de la dinámica esperada.

• Generación de video condicionada: modelos generativos pueden recibir trayectorias 3D como guía para producir cuadros coherentes físicamente, mejorando la plausibilidad de la animación en secuencias con interacción de objetos.

• Sistemas de ayuda en logística y manufactura: al anticipar cómo se moverán piezas u objetos en una línea, se puede optimizar la sincronización entre robots y procesos humanos.

Estas capacidades son relevantes para industrias en América Latina como manufactura, agroindustria (p. ej., manipulación de productos agrícolas), centros de distribución y contenidos multimedia donde la generación de secuencias realistas tiene valor comercial.

Implicaciones para América Latina

Para equipos y empresas latinoamericanas, MolmoMotion y sus datos abiertos ofrecen oportunidades prácticas: acelerar la integración de visión y control en robótica aplicada, mejorar simulaciones para entrenamiento de operadores o robots y habilitar nuevas herramientas creativas para la producción audiovisual local. El acceso abierto al dataset y al benchmark facilita la adaptación a contextos locales, donde las apariencias de objetos, las condiciones de luz y los escenarios de manipulación pueden diferir de los conjuntos de datos tradicionales.

Sin embargo, como con cualquier recurso de investigación, resulta importante validar modelos en condiciones locales antes de desplegarlos en producción, por ejemplo para evaluar sesgos en tipos de objetos, escalas espaciales y condiciones de captura.

Limitaciones y próximos pasos

Los autores reconocen que predecir movimiento sigue siendo un reto: la incertidumbre a largo plazo, las oclusiones, deformaciones complejas y diferencias entre entornos de entrenamiento y despliegue pueden limitar el desempeño. MolmoMotion aborda algunas de estas dificultades con representaciones explícitas y variantes que modelan incertidumbre, pero quedan áreas por mejorar, como la predicción fiable en horizontes temporales muy largos o en escenas con interacción humana compleja.

El propio lanzamiento del dataset y el benchmark busca impulsar investigación para superar estas limitaciones: mejores pipelines de anotación, modelos que integren física explícita y evaluaciones más amplias en dominios del mundo real.

Recursos y acceso

Los autores publicaron los pesos del modelo, MolmoMotion-1M, el benchmark PointMotionBench, código y un reporte técnico para que la comunidad pueda reproducir y extender el trabajo. Estos recursos facilitan experimentación y adaptación en proyectos académicos e industriales.

Si su organización considera integrar predicción de movimiento en aplicaciones latinoamericanas, MolmoMotion ofrece una base técnica y datos relevantes para comenzar a prototipar soluciones que conecten visión, lenguaje y control físico.