Cómo desplegar Kimi K3 en Amazon SageMaker HyperPod y Amazon EKS

Introducción

Kimi K3, lanzado el 27 de julio de 2026 por Moonshot AI, es un modelo Mixture of Experts (MoE) de 2.8 billones de parámetros que marcó un hito como el primer sistema de peso abierto en la clase de 3 billones. Gracias a su diseño, activa solo una fracción de expertos por token, lo que reduce el costo computacional efectivo y permite capacidades de razonamiento y ejecución a largo plazo, como codificación de largo horizonte y flujos agentivos multi‑paso.

Para organizaciones que evalúan opciones de autoalojamiento —incluidas empresas y centros de I+D en Latinoamérica preocupados por soberanía de datos y control operativo— AWS ofrece dos vías relevantes: Amazon SageMaker HyperPod (con su Inference Operator) y despliegues propios sobre Amazon EKS. A continuación detallamos características del modelo, requisitos de infraestructura y consideraciones practicas para la región.

Qué trae Kimi K3 (resumen técnico)

• Arquitectura: Mixture of Experts (MoE) con innovaciones como Kimi Delta Attention (KDA), Gated Multi Head Latent Attention (MLA) y Stable LatentMoE.
• Parámetros totales: 2.8 billones.
• Parámetros activos por token: ~104 mil millones (activa 16 expertos por token de un total de 896 especialistas).
• Ventana de contexto: 1 millón de tokens.
• Modalidad: multimodal nativa (texto + visión).
• Formato de pesos: MXFP4 (Microscaling Floating Point 4‑bit), balance entre calidad y eficiencia de memoria.
• Disponibilidad de pesos: repositorio en Hugging Face bajo moonshotai/Kimi-K3.

vLLM es el motor recomendado para servir Kimi K3 en day‑0. En el momento de redacción, existe un commit específico para Kimi K3 en vllm/vllm-openai:kimi-k3 que se espera sea integrado en versiones principales próximas. vLLM aporta soporte nativo para MoE, paralelismo tensorial y el formato MXFP4.

Requisitos de infraestructura obligados

Debido a la escala y la arquitectura MoE, Kimi K3 exige nodos con alta capacidad de GPU y enlaces de alta banda ancha entre tarjetas. El tipo de instancia requerido es p6‑b300 (ml.p6-b300.48xlarge), que agrupa 8 GPUs NVIDIA B300 Blackwell Ultra y conexiones de alto rendimiento necesarias para inferencia tensor‑paralela sobre el pool completo de expertos.

AWS facilita acceso a esa capacidad mediante dos mecanismos relevantes:

• Flexible Training Plans (FTP): reservas de capacidad comprometida que se asignan a clusters HyperPod, útiles para cargas de inferencia sostenida.
• Capacity Blocks (bloques de capacidad): reservas de instancias EC2 GPU por periodos definidos; Amazon EKS puede apuntar a estas reservas para consumir la capacidad garantizada.

Ambos mecanismos son importantes para garantizar disponibilidad frente a la contención del pool on‑demand.

Opción A: Deploy con Amazon SageMaker HyperPod

SageMaker HyperPod, junto con su Inference Operator, ofrece la ruta más sencilla para desplegar modelos a escala como Kimi K3. El Inference Operator se instala automáticamente durante la creación del cluster y abstrae la complejidad de orquestación, carga de modelos y administración de endpoints.

Pasos clave (resumen):

1. Provisionar un HyperPod cluster «orquestado por Amazon EKS» desde la consola de SageMaker AI. Durante la creación pueden elegir “Quick setup” o personalizar la integración con su VPC, subredes e IAM.
2. Asegurarse de que las opciones de Helm charts y add‑ons predeterminadas queden habilitadas para que el Inference Operator y operadores requeridos se instalen automáticamente.
3. Agregar un grupo de instancias configurado con ml.p6-b300.48xlarge.
4. Asociar un Flexible Training Plan que cubra la capacidad p6‑b300 necesaria para el cluster, seleccionando la zona de disponibilidad que corresponda.
5. Una vez que los nodos ml.p6-b300 estén en estado Healthy y el cluster Active, usar la API/consola de HyperPod para desplegar el contenedor vLLM compatible con Kimi K3 y apuntar al repositorio moonshotai/Kimi‑K3 para cargar pesos MXFP4.

Ventajas de HyperPod:

• Menos trabajo de operador: configuración y actualizaciones automatizadas para inferencia a gran escala.
• Integración con planes de capacidad de SageMaker, útil para cargas sostenidas.
• Manejo simplificado de endpoints y políticas de autoscaling específicas para ML.

Opción B: Desplegar sobre Amazon EKS (autogestionado)

Para equipos con experiencia en Kubernetes y necesidades de control fino (por ejemplo, integración con pipelines internos o requisitos regulatorios específicos), desplegar vLLM y Kimi K3 sobre un cluster Amazon EKS que consuma Capacity Blocks es una alternativa viable.

Consideraciones y pasos generales:

1. Reservar bloques de capacidad p6‑b300 mediante Capacity Blocks en EC2 y asegurarse de la zona de disponibilidad.
2. Crear o reutilizar un cluster EKS que tenga nodos apuntando a esa capacidad reservada.
3. Desplegar contenedores vLLM (idealmente la imagen con el commit dedicado a Kimi K3) y configurar el soporte para MoE y paralelismo tensorial.
4. Orquestar la distribución de pesos MXFP4 y mecanismos de checkpointing, así como la red de comunicación entre GPUs para mantener eficiencia.

Ventajas del enfoque EKS:

• Control granular sobre configuración de red, storage y políticas de seguridad.
• Flexibilidad para integrar observabilidad, CI/CD y despliegues canary.

Consideraciones prácticas para organizaciones en Latinoamérica

• Soberanía y cumplimiento: el acceso a los pesos abiertos permite mantener datos sensibles en la región y mitigar riesgos de cumplimiento transfronterizo. Revisen las opciones de regiones y disponibilidad de p6‑b300 en AWS en LATAM.
• Costos y planeación: aunque no se dan cifras específicas aquí, la naturaleza de la capacidad (nodos con GPUs Blackwell Ultra) implica un gasto operativo significativo; planifiquen reservas de capacidad y ventanas de uso.
• Latencia y proximidad: elegir la región y la zona de disponibilidad correcta es clave para reducir latencia de apps en producción y optimizar egress.
• Talento y soporte: desplegar y operar MoE a esta escala requiere experiencia en paralelismo tensorial y tuning de inferencia; considerar alianzas con integradores locales o capacitación interna.

Recomendaciones finales

• Para equipos que buscan una ruta rápida y gestionada, SageMaker HyperPod es la opción preferible por la integración y abstraído operativo.
• Para equipos con demandas de control y personalización, EKS permite mayor flexibilidad siempre que se garantice la reserva de capacidad p6‑b300.
• Independientemente de la ruta, utilicen vLLM como motor de serving y apunten a la imagen/commit compatible con Kimi K3 (vllm/vllm-openai:kimi-k3) y los pesos MXFP4 en moonshotai/Kimi-K3.

Kimi K3 representa una oportunidad para organizaciones latinoamericanas que requieren modelos de frontera y desean autoalojarlos por motivos de privacidad, latencia o personalización. La decisión entre HyperPod y EKS dependerá del balance entre rapidez de despliegue y control operativo; en ambos casos, la clave es planificar la capacidad GPU y la arquitectura de inferencia desde el inicio.