OlmoEarth: cómo ejecutar inferencia geoespacial a escala planetaria
OlmoEarth combina modelos entrenados con terabytes de datos satelitales y una plataforma diseñada para convertir esos modelos en mapas útiles a escala continental. Explicamos los desafíos técnicos, la arquitectura y por qué esto importa para gobiernos y organizaciones en América Latina.
Qué es OlmoEarth y por qué importa
OlmoEarth es un conjunto de modelos de observación de la Tierra (foundation models) preentrenados con aproximadamente 10 terabytes de datos satelitales multimodales. Estos modelos ya se están adaptando para monitoreo de deforestación, seguridad alimentaria y evaluación de riesgos de incendios. Pero la propuesta clave no es solo el modelo: es la plataforma que permite pasar de la investigación al impacto operativo, especialmente para organizaciones que no cuentan con grandes equipos de ingeniería.
En muchas instituciones públicas y ONGs de América Latina, el valor está en obtener mapas precisos y actualizados que guíen decisiones en terreno. OlmoEarth Platform busca reducir la brecha entre modelos poderosos y su uso productivo, automatizando el ciclo que va desde el preprocesamiento de imágenes hasta la generación de productos geoespaciales listos para integrar en flujos de trabajo.
Por qué la inferencia satelital es diferente y compleja
A diferencia de modelos que procesan unos pocos megabytes en milisegundos, la inferencia en observación de la Tierra opera con volúmenes enormes: terabytes de imágenes, múltiples bandas espectrales, series temporales y diferentes tipos de sensores. Los datos provienen de varios proveedores, con proyecciones y resoluciones distintas, y con frecuencia contienen nubes u observaciones faltantes.
El resultado de la inferencia no es un único valor sino un mapa: cada predicción debe alinearse exactamente con una grilla de coordenadas. Además, muchas ejecuciones pasan más tiempo descargando y preparando imágenes que ejecutando el modelo en sí, por lo que la eficiencia en los pipelines de datos es crítica.
Arquitectura: poner el hardware correcto en cada etapa
Una de las decisiones de diseño centrales de la plataforma fue asignar cada tarea al hardware más apropiado, evitando que las GPUs —costosas y limitadas— se ocupen de operaciones que rinden mejor en CPU:
- Adquisición y preprocesamiento (CPU, I/O intensivo): búsqueda, descarga, reproyección, normalización y escritura en formatos optimizados para carga rápida durante la inferencia.
- Inferencia (GPU): ejecución del forward pass del modelo y escritura de salidas mínimamente procesadas a almacenamiento.
- Postprocesamiento (CPU): ensamblado de ventanas, aplicación de máscaras, reescalados y exportación a formatos usuables como Zarr, GeoTIFF o GeoJSON.
Distribuir estas etapas en máquinas especializadas mantiene las GPUs ocupadas con inferencia real mientras los procesos de I/O y reproyección escalan en paralelo.
Escalar mediante particiones, ventanas y paralelismo masivo
OlmoEarth Run, la capa de ejecución de la plataforma, divide la región objetivo en particiones adecuadas para instancias de cómputo y luego subdivide cada partición en ventanas que procesa el modelo. Cada ventana se puede procesar de forma independiente, lo que permite ejecutar miles de procesos en paralelo sin que una parte del mapa dependa de otra.
En la práctica esto significa que un estado puede transformarse en unas decenas de particiones, mientras que una corrida a escala continental puede generar miles. Las particiones adyacentes se solapan ligeramente y la plataforma reconcilia ese solapamiento al ensamblar los resultados para evitar costuras visibles en el ráster final.
Un ejemplo operativo: la plataforma generó un mapa de riesgo de incendios para toda Norteamérica usando cerca de 19,600 CPUs y 994 GPUs en paralelo, con picos de throughput de red superiores a 168 GB/s. Ese grado de paralelismo redujo un cálculo que serialmente requeriría unas 4,737 horas a cerca de 30.5 horas de tiempo real, un aceleramiento aproximado de 155×. A pesar de esto, la capacidad de paralelizar está limitada por cuotas cloud y otras restricciones operativas, por lo que el grado de fan-out se ajusta según cada ejecución.
Pipelines de datos: encontrar, alinear y servir píxeles
Para que la inferencia sea eficiente hay que mover y transformar mucha información: descargar mosaicos, reproyectar a una grilla común, remuestrear para igualar resoluciones y normalizar bandas. La plataforma escribe los resultados intermedios en formatos optimizados para acceso rápido por los loaders multiproceso que alimentan a las GPUs.
El tiempo de preparación puede dominar el costo y la duración total de un trabajo, por eso los pipelines están diseñados para alto I/O y para realizar las transformaciones más pesadas en CPU, liberando a las GPUs para lo que realmente aportan valor.
Manejo de fallos y consistencia geográfica
Operar a esta escala implica diseñar para fallos rutinarios: instancias que se caen, redes inestables o errores temporales de proveedores de datos. La plataforma recupera trabajos de forma incremental —cada ventana es una unidad de trabajo independiente— lo que permite reintentos y reasignaciones sin tener que recomputar toda la corrida.
Al mismo tiempo, el ensamblado final corrige solapamientos y asegura consistencia de proyección y resolución. Los outputs se escriben en almacenamiento en bloque (blob storage) para que sean accesibles de forma fiable por los procesos de stitching y por los usuarios finales.
Rendimiento y costos: mapas a escala en tiempos prácticos
Hoy, la plataforma puede ejecutar inferencia sobre áreas continentales en aproximadamente un día, procesando docenas de terabytes de imágenes y generando resultados a un costo por área muy bajo —en los términos usados por el equipo, fracciones de un centavo por kilómetro cuadrado—. Esta combinación de velocidad y economía es lo que permite que decisiones tácticas y estratégicas (por ejemplo, responder a incendios o priorizar monitoreo de bosques) se apoyen en análisis recientes y reproducibles.
Relevancia para América Latina
Para países y organizaciones en América Latina, herramientas como OlmoEarth reducen barreras técnicas importantes: no es necesario desplegar y operar toda la infraestructura desde cero ni contar con equipos de ingeniería muy grandes para ejecutar modelos a escala. Aplicaciones típicas en la región—monitoreo de deforestación en la Amazonía, seguimiento de cultivos, evaluación de daños post-desastre—se benefician de la capacidad para generar mapas frecuentes y consistentes que integren múltiples fuentes de imágenes.
Además, el enfoque modular (separar adquisición, inferencia y postprocesamiento) facilita adaptar flujos de trabajo a casos de uso locales: por ejemplo, integrar sensores específicos que utilicen organizaciones gubernamentales o ajustar la resolución del output según restricciones presupuestales.
Hacia dónde se dirige la plataforma
La creación de OlmoEarth Platform surgió de la experiencia operando sistemas de producción que deben funcionar diariamente. El camino adelante combina mejorar la eficiencia del pipeline de datos, ampliar el soporte de sensores y proveedores, y seguir reduciendo los costos y tiempos de ejecución. Para los tomadores de decisión en la región, esto significa acceso más rápido a información geoespacial accionable sin necesidad de invertir en ingeniería de infraestructura a gran escala.
Conclusión
OlmoEarth no es solo una familia de modelos: es una solución de infraestructura que permite llevar modelos de observación terrestre al mundo real. Al optimizar el uso de hardware, diseñar pipelines de datos robustos y escalar la ejecución mediante particiones independientes, la plataforma permite generar mapas continentales en plazos prácticos y con costos reducidos. Para gobiernos, ONGs y organizaciones en América Latina, esto abre oportunidades para tomar decisiones más informadas y oportunas basadas en datos satelitales.
Fuente original: Hugging Face Blog