SageMaker ahora permite particionar GPUs con MIG para mejorar la inferencia
Amazon SageMaker Inference incorpora soporte para NVIDIA Multi-Instance GPU (MIG), permitiendo dividir una GPU física en particiones independientes. Esto facilita desplegar más modelos por instancia, mejorar la utilización y ofrecer aislamiento de rendimiento y memoria.
Resumen
Amazon SageMaker Inference integra soporte para NVIDIA Multi-Instance GPU (MIG), lo que permite dividir una GPU física en particiones independientes con recursos dedicados de cómputo y memoria. El objetivo es mejorar la utilización de aceleradores, reducir la fragmentación de capacidad entre generaciones de GPU y ofrecer aislamiento de cargas en endpoints gestionados.
El problema que enfrentan hoy las implementaciones en GPU
Cuando se despliega un modelo en un endpoint GPU, la unidad mínima que puede solicitarse suele ser un acelerador completo. Eso genera dos problemas prácticos:
- Si una instancia tiene varios aceleradores, no se pueden alojar más modelos de los aceleradores que contiene. Por ejemplo, una ml.p4d.24xlarge tiene ocho A100, así que solo puede alojar ocho modelos cuando cada uno se mapea a una GPU completa, aunque algunos modelos requieran mucha menos memoria.
- La elección de la GPU queda restringida a unidades completas. A medida que crece la concurrencia o cambian las longitudes de prompt, una GPU antigua completa puede quedarse corta, mientras que una GPU nueva completa puede ser sobredimensionada para el modelo, lo que lleva a pagar capacidad no usada.
Estas limitaciones llevan a decisiones subóptimas: agrupar modelos para batch, usar endpoints multi-modelo con sus problemas de aislamiento, o gestionar clústeres propios para activar MIG manualmente. Cada alternativa tiene costos operativos o de rendimiento que muchas organizaciones quieren evitar.
¿Qué aporta NVIDIA MIG? Ventajas clave
NVIDIA Multi-Instance GPU (MIG) divide una GPU física en múltiples instancias lógicas —hasta siete, según el modelo de acelerador—, y cada instancia tiene su propio conjunto de recursos de cómputo, caché, memoria y ancho de banda. Al ser un particionado a nivel de hardware, ofrece garantías que otros métodos de compartición no entregan:
- Latencia predecible: cada partición recibe ancho de banda de memoria dedicado, lo que evita que picos de una carga impacten el p99 de otra.
- Aislamiento de fallos: errores de memoria o crashes quedan confinados a la partición afectada, en lugar de tirar todo el dispositivo.
- Capacidad a tamaño adecuado: modelos pequeños o medianos pueden recibir una porción en vez de una GPU completa, y se pueden mezclar tamaños de slice en una misma GPU.
- Sin arranques en frío: cada modelo conserva su partición y permanece cargado, evitando penalizaciones por carga inicial o expulsiones.
- Aislamiento de inquilinos: la protección de memoria es hardware-enforced, lo que simplifica revisiones de seguridad y cumplimiento.
- Planeamiento y chargeback confiables: el desempeño de una partición es independiente de los vecinos, por lo que pruebas de carga predicen producción y los costos se pueden mapear limpiamente a equipos o modelos.
Es importante conocer límites: el número máximo de particiones depende del acelerador y nunca excede siete; cambiar el layout de particiones solo es posible mientras las particiones están inactivas; y un modelo que requiere más de una GPU sigue necesitando dispositivos enteros.
Qué añade SageMaker: particionado gestionado sin la capa operativa
Hasta ahora, habilitar MIG implicaba operar Kubernetes u otra infraestructura para gestionar controladores, plugins de dispositivos, versiones de drivers y configuraciones de particiones. Con GPU partitioning en Amazon SageMaker Inference, esa carga operativa desaparece: ahora solo se elige un perfil de partición para el modelo y SageMaker se encarga de la configuración del GPU, la colocación y el escalado.
El particionado se integra con el concepto de componentes de inferencia que ya usan los endpoints que alojan múltiples modelos. Una partición se solicita como un recurso del componente —en el mismo lugar donde se piden CPU y memoria—, por lo que la API de despliegue no introduce operaciones completamente nuevas, sino campos opcionales en las llamadas que ya hacen los equipos que administran endpoints con múltiples modelos.
Hay restricciones: endpoints de un solo modelo, endpoints serverless y pools heterogéneos no son aptos para particionamiento. Además, los modelos que requieren más de una GPU aún deben usar GPUs completas.
Opciones que tenían los clientes —y por qué quedaban cortas
Antes de este soporte, los clientes recurrían a tres aproximaciones principales:
- Ejecutar menos endpoints más grandes y aumentar batch: mejora la utilización cuando los modelos son intercambiables, pero no sirve para portafolios con variantes finetuneadas o modelos por cliente.
- Usar endpoints multi-modelo: cargan y descargan modelos en una GPU compartida según demanda, útil para tráfico escaso o esporádico, pero sufren falta de aislamiento y penalizaciones por carga inicial.
- Gestionar Kubernetes y usar MIG por cuenta propia: ofrece el particionado, pero implica mantener drivers, plugins, configuración y scheduling, con alto overhead operativo.
Con el soporte de MIG en SageMaker, se conservan las ventajas del particionado hardware sin asumir la complejidad operativa de una solución autogestionada.
Validación por parte de clientes (caso Salesforce)
Salesforce participó en el proyecto desde sus etapas iniciales, ayudando a definir requisitos y validar la implementación. Desde su perspectiva, particionar GPUs con MIG permite consolidar cargas que no requieren una GPU entera, mejorar significativamente la utilización, reducir costos de inferencia y mantener aislamiento y rendimiento predecible —todo lo cual facilita escalar inferencia empresarial de manera más eficiente.
Implicaciones para organizaciones en Latinoamérica
Para empresas y equipos de IA en América Latina, donde la optimización de costos y la eficiencia operativa son a menudo factores críticos, este soporte puede ser especialmente relevante. Algunas consideraciones prácticas:
- Consolidación de modelos: startups y equipos que atienden múltiples clientes o versiones de modelos por país/cliente pueden alojar más modelos por instancia sin perder aislamiento.
- Control de costos: la posibilidad de seleccionar particiones más pequeñas en aceleradores modernos reduce el gasto en capacidad infrautilizada.
- Regulación y seguridad: el aislamiento hardware-enforced facilita revisiones de cumplimiento y reduces riesgos en entornos multi-tenant.
- Menor carga operativa: al no tener que gestionar MIG manualmente, los equipos pueden enfocarse en modelos y entregables, no en la orquestación del hardware.
Recomendaciones prácticas
- Evalúen el tamaño de memoria y cómputo que requiere cada modelo antes de decidir particiones: no todos los modelos se benefician de slices pequeñas.
- Usen endpoints con componentes de inferencia para aprovechar el modelo de partición integrado con CPU y memoria.
- Mantengan pruebas de carga por partición para garantizar que la latencia y el rendimiento se ajustan a expectativas de producción.
- Para modelos que necesitan más de una GPU, sigan desplegando en dispositivos completos.
Conclusión
El soporte de NVIDIA MIG en Amazon SageMaker Inference aporta una forma gestionada de particionar GPUs que ayuda a mejorar la utilización, reducir costos y garantizar aislamiento entre modelos. Al integrar particiones como un recurso de componentes de inferencia, SageMaker evita la necesidad de operar la infraestructura necesaria para MIG, una ventaja importante para equipos con restricciones operativas o presupuestarias. Para organizaciones en Latinoamérica, la capacidad de ajustar granularmente la capacidad GPU y simplificar la operación puede acelerar adoptación y escalado de proyectos de inferencia en producción.
Fuente original: AWS ML Blog