Cómo presupuestar tiempo GPU para priorizar investigación de alto impacto

El reto: más demanda que oferta

Los equipos de investigación en IA compiten por un recurso escaso: horas de GPU. En el AI2, el equipo de infraestructura gestiona miles de GPUs NVIDIA H100, B200 y B300 distribuidas en clústeres de entre 88 y 1024 GPUs para aproximadamente 150 investigadores. A partir de las solicitudes, en cualquier momento hay demanda de 2–3 veces la capacidad disponible —es decir, cada hora-GPU tiene 2 o 3 proyectos compitiendo por ella.

Este desequilibrio genera un problema operativo y estratégico: ¿cómo asegurar que los trabajos más valiosos reciban recursos sin dejar ociosos los equipos cuando otros necesitan correr?

Lo que no funcionó: prioridades y monopolios

Históricamente se usó un planificador basado en prioridades donde algunas cargas podían declararse no preempribles. Cada equipo tenía un límite de GPUs no preempribles y podía usar GPUs adicionales si estaban inactivas. Esa solución produjo varios efectos adversos:

• “Squatting” o ocupación artificial: usuarios ejecutaban cargas sin propósito real para reservar acceso interactivo cuando lo necesitaban.
• Inflación de prioridades: con el tiempo casi todos los trabajos adoptaron prioridad ALTA, dejando sin tiempo a niveles más bajos.
• Costes operativos: el equipo de on-call dedicaba gran parte de su tiempo a negociar el apagado controlado de cargas no preempribles en máquinas con problemas.

Además, al otorgar monopolios de hardware a proyectos, se creaba propiedad estática sobre recursos que sufren la estacionalidad de la investigación. Un equipo podría mantener GPUs ociosas mientras otros esperaban capacidad.

El problema más profundo: la tragedia de los comunes

Sin darse cuenta al principio, la organización había creado una versión moderna de la “tragedia de los comunes”: individuos compitiendo por un bien compartido terminan generando un resultado global subóptimo. En asignación de recursos, los usuarios conocen mejor el valor de sus trabajos, pero también tienen incentivos para ocultarlo o retener recursos incluso cuando eso perjudica el desempeño total.

El fenómeno no es nuevo: investigaciones en asignación de recursos, como Dominant Resource Fairness, muestran cómo incentivos mal alineados llevan a comportamientos que distorsionan métricas como utilización.

La solución conceptual: presupuestos, no solo horarios

La respuesta clásica a la tragedia de los comunes es privatizar o asignar propiedad. Dar monopolios sobre GPUs fue un intento en ese sentido, pero resultó demasiado rígido. La innovación fue combinar la idea de propiedad con flexibilidad operativa: en lugar de asignar GPUs físicas, asignar presupuesto de tiempo GPU.

¿Por qué funciona mejor? Porque:

• Privilegia el incentivo de propiedad —los equipos administran su presupuesto para maximizar valor—
• Evita la ociosidad estacional: si un equipo no usa su tiempo, otros pueden acceder según reglas acordadas,
• Permite que la discusión sobre prioridades se traslade de decisiones operativas ad hoc a un proceso administrativo y estratégico previo: ¿qué proyectos deben recibir más horas GPU este trimestre?

Implementación: tres piezas clave

En la práctica, el equipo adoptó tres componentes que transformaron el planificador:

1. Presupuestos de tiempo GPU: a los equipos se les asigna una cuota de horas GPU proporcional a su prioridad estratégica. Es una asignación previa que actúa como presupuesto para proyectos futuros.

2. Asignación jerárquica fair-share: la política permite que niveles de gestión distribuyan tiempo a unidades y proyectos de forma proporcional, manteniendo justicia entre equipos y la posibilidad de ajustes administrativos.

3. Contrato de time-slicing: para mantener alta ocupación y permitir preempción controlada, los trabajos se ejecutan en “rodajas” temporales acordadas. De este modo, cargas interactivas y de larga duración pueden convivir sin bloquear recursos indefinidamente.

Con esto, la discusión sobre quién merece tiempo GPU dejó de ser un ajuste operativo y pasó a ser un debate sobre presupuestos y estrategia. Los equipos reciben incentivos claros para usar su tiempo de forma productiva, y el scheduler utiliza esas decisiones administrativas para priorizar cargas a medida que llegan.

Beneficios observados

El cambio no es solo teórico. Al mover el foco hacia presupuestos y compartir de forma jerárquica, el equipo consiguió:

• Reducir conductas de “squatting” y la inflación de prioridades,
• Disminuir la carga de negociación manual del equipo de operaciones,
• Mantener o mejorar la ocupación del clúster al permitir que los presupuestos no utilizados se reasignen dinámicamente,
• Hacer transparente la asignación: ahora los debates sobre recursos ocurren antes de que corran los trabajos, con criterios estratégicos claros.

Relevancia para laboratorios y centros en América Latina

En América Latina hay múltiples instituciones académicas y centros de investigación que enfrentan restricciones similares: capacidad limitada, demanda creciente por entrenamiento de modelos grandes y necesidad de priorizar proyectos con impacto social o científico. El enfoque de presupuestos de tiempo GPU ofrece varias lecciones útiles:

• Transparencia y gobernanza: institucionalizar la asignación de presupuesto GPU permite que las decisiones reflejen prioridades estratégicas regionales (salud pública, energía, agricultura, etc.).
• Flexibilidad operativa: en contextos con picos estacionales o proyectos con necesidades dispares, asignar horas en lugar de hardware evita recursos ociosos.
• Escalabilidad: al separar decisiones estratégicas (presupuestos) de decisiones operativas (scheduler), los equipos pequeños pueden gestionar clusters con menos fricción administrativa.

Implementarlo requiere definir métricas de impacto aceptadas localmente y establecer procesos de revisión periódica para reasignar presupuestos según resultados.

Consideraciones y límites

Es importante reconocer límites: no existe una solución única. Presupuestos de tiempo GPU dependen de una gobernanza prudente, métricas de impacto consensuadas y reglas claras para reasignación. Además, la predicción de demanda sigue siendo incierta: el presupuesto no garantiza que cada hora se use exactamente como planeado, pero mejora los incentivos respecto al modelo previo.

Finalmente, los detalles técnicos del scheduler (por ejemplo, duración de slices, políticas de preempción finas) son implementaciones que varían según infraestructura y requisitos, y deben diseñarse sin perder la claridad administrativa que aporta el modelo de presupuestos.

Conclusión

Pasar de un planificador basado en prioridades y monopolios a un modelo de presupuestos de tiempo GPU con asignación jerárquica y time-slicing convierte un problema operativo en una decisión estratégica. Para instituciones que gestionan clusters compartidos —incluyendo muchas en América Latina— este enfoque puede mejorar la equidad, la ocupación y, sobre todo, garantizar que el tiempo GPU se invierta en proyectos con mayor impacto.

La clave es combinar incentivos de propiedad con reglas que fomenten la reutilización eficiente del recurso, y trasladar la discusión sobre prioridades al nivel de presupuesto y gobernanza antes de que las cargas lleguen al scheduler.