Por qué las GPUs ociosas son el nuevo avión en tierra

La lección de la aviación aplicada a la IA

En la aviación, la supervivencia de una aerolínea depende menos del tamaño de su flota y más de cuánto tiempo pasan sus aviones en tierra. Los costos corren por hora calendario (financiamiento, depreciación, seguros, mantenimiento), mientras que los ingresos llegan por hora de vuelo. Ese desajuste convierte la utilización en la métrica decisiva: una flota grande no asegura mejores resultados si los aviones no vuelan.

Este mismo razonamiento se traslada al mundo de la inteligencia artificial en la forma de las GPUs. Una tarjeta gráfica también acumula costos por hora calendario —financiamiento, depreciación, energía, refrigeración— y solo genera valor en las horas de cómputo efectivas. Por eso, cuando una empresa compra o arrienda aceleradores, la pregunta crítica deja de ser si pueden conseguirlos y pasa a ser si serán capaces de mantenerlos ocupados.

El cuello de botella se movió: de modelos a cómputo

La primera era de la IA empresarial fue una carrera por modelos mejores: más parámetros, mayores conjuntos de entrenamiento y mejores benchmarks. Eso creó capacidades suficientes para desplegar aplicaciones reales. Pero esa ventaja técnica trajo consigo una dependencia clara: correr modelos de alto desempeño necesita hardware especializado, y hoy eso significa principalmente GPUs.

Las GPUs son caras y su oferta es limitada. Para dar una idea del salto en escala, en 2020 Microsoft montó para OpenAI una supercomputadora con más de 10,000 GPUs y 285,000 núcleos de CPU, entonces una de las más grandes del mundo. Sin embargo, en pocos años esa magnitud dejó de ser un techo y se convirtió en un punto de partida. Hacia 2026, incluso los laboratorios mejor financiados trataban el acceso a cómputo como una restricción estratégica: Anthropic asumió compromisos multi-gigavatios simultáneos con cuatro proveedores distintos (Amazon, Google, Microsoft y AMD) y Meta firmó un acuerdo de capacidad comparable. Eso es lo que ocurre cuando un comprador con capital casi ilimitado no puede obtener suficiente de un solo proveedor.

Lo importante aquí no es la tecnología en abstracto, sino la economía: la capacidad ya no es la limitación intelectual, es un recurso físico y escaso.

Propiedad vs API: cómo cambia la economía del uso

Para muchas empresas la opción frente al alto costo por token en APIs es comprar su propio hardware. Con una API, el costo escala linealmente con el volumen: mientras más peticiones, más cuesta. Al comprar GPUs, el gasto se vuelve mayormente fijo (capital, operación) y deja de crecer al ritmo del uso. Pasado cierto punto de consumo, tener infraestructura propia es más económico.

Pero esa transición introduce un nuevo reto operativo: una vez que el clúster está en línea, el problema deja de ser la adquisición y se convierte en la utilización. Firmar por la capacidad tiene plazos y responsables claros (equipos de compras, finanzas), pero mantener esa capacidad en uso es una responsabilidad difusa que suele quedar en manos de equipos distintos —infraestructura, ML engineering, producto— y rara vez se mide con la misma rigurosidad.

Por qué los clusters ocupados siguen desperdiciando capacidad

Tener GPUs en uso no garantiza eficiencia. Hay varias razones por las que incluso clústeres aparentemente “ocupados” pueden estar desperdiciando recursos:

• Fragmentación de workloads: cargas de entrenamiento y de inferencia tienen demandas distintas (latencia, memoria, throughput). Si la infraestructura no está optimizada para consolidar esas cargas, quedan franjas de capacidad subutilizadas.
• Especialización de hardware: algunas tareas requieren GPUs con mucha memoria, otras pueden correr en aceleradores más económicos. Comprar por exceso para cubrir picos no resuelve la ineficiencia diaria.
• Coordinación operativa: la disciplina de “turnaround” en aerolíneas tiene su paralelo en la rapidez para lanzar jobs, reasignar nodos y recuperar fallos. Sin orquestación fina, los recursos permanecen inactivos entre tareas.
• Costos ocultos de energía y refrigeración: la infraestructura de soporte también consume y limita dónde conviene desplegar clústeres —un factor especialmente relevante en regiones con restricciones de energía o altos costos eléctricos.

En resumen, el mero hecho de que un clúster esté “ocupado” no implica que cada hora de GPU se traduzca en trabajo útil que genere valor.

Inteligencia moviéndose hacia la infraestructura

A medida que modelos y herramientas maduran, la diferenciación competitiva empieza a trasladarse de los modelos mismos hacia cómo se gestionan y operan. La «inteligencia» del negocio se inserta ahora en la infraestructura: qué tipos de cargas priorizan, cómo se balancea entre nube y on-prem, qué políticas de spot/commitment se usan, y qué orquestación habilita mayor consolidación.

Para las empresas latinoamericanas esto significa que la ventaja competitiva no solo vendrá de usar modelos líderes, sino de administrar el cómputo de forma que reduzca costos y mejore disponibilidad para casos de uso críticos.

Especialización libera capacidad; la orquestación la consume

La especialización del hardware (diferentes familias de GPUs, aceleradores alternativos) puede liberar capacidad si se usa para alinear exactamente la herramienta con la tarea. Pero la especialización también complejiza la orquestación: cuantos más perfiles de nodo existan, mayor será el esfuerzo para asignarlos eficientemente. Ahí es donde la orquestación se vuelve clave y, a la vez, donde puede consumir la capacidad si no está bien diseñada.

Herramientas de scheduling, pools de recursos compartidos, técnicas de bin-packing de cargas y políticas de preemptible/spot son mecanismos que pueden aumentar la utilización. Sin embargo, requieren disciplina operativa y métricas claras: seguimiento de tiempo de GPU útil, latencia objetivo por workload, costo por inferencia o por hora de entrenamiento.

Implicaciones para empresas en América Latina

En la región, muchas organizaciones enfrentan restricciones adicionales: presupuestos acotados, acceso desigual a data centers locales, costos energéticos y requisitos regulatorios que influyen en dónde conviene operar. Eso hace que la decisión entre consumir APIs y adquirir infraestructuras propias deba evaluarse con cuidado:

• Para proyectos piloto o volúmenes bajos, las APIs siguen siendo la opción más simple y controlada en costos.
• Para usos en producción con escala sostenida, la inversión en infraestructura puede ser rentable, pero solo si se implementan prácticas para maximizar la utilización.
• Asociaciones con proveedores de cloud locales o híbridos, así como modelos de consumo compartido entre empresas y universidades, pueden ser vías para mejorar acceso sin dejar hardware ocioso.

Recomendaciones prácticas

• Mida la utilización real: cuantifiquen horas de GPU efectivas frente a horas calendario y definan objetivos de mejora.
• Diferencien workloads: clasifiquen entrenamiento vs inferencia y diseñen pools de recursos específicos.
• Automatizar orquestación: invertir en scheduling inteligente y en pipelines reproducibles incrementa la consolidación y reduce tiempos muertos.
• Evaluar compromisos de capacidad con cuidado: los acuerdos multi-gigavatio y compromisos largos pueden dar acceso, pero sin estrategia operativa pueden convertirse en pasivos.
• Considerar soluciones híbridas: combinación de APIs para picos y capacidad propia para cargas base puede balancear costos y flexibilidad.

Conclusión

La industria de la IA ya no está limitada solo por la calidad de los modelos: la verdadera restricción se desplaza hacia la capacidad de cómputo y, fundamentalmente, hacia su utilización. Comprar GPUs es solo el comienzo; la decisión que realmente define el retorno de la inversión es cuánto de ese hardware genera trabajo útil. Para las empresas latinoamericanas que buscan escalar iniciativas de IA, el reto operativo y organizacional de mantener las GPUs en vuelo es tan importante como lograr acceso a los aceleradores.