Cómo desplegar Kimi K3 en AWS: guía práctica para empresas de Latinoamérica

Qué es Kimi K3 y por qué importa

Kimi K3, lanzado el 27 de julio de 2026 por Moonshot AI, es un modelo Mixture of Experts (MoE) de 2.8 billones de parámetros diseñado para tareas de razonamiento complejo, flujos agentivos de múltiples pasos y codificación a largo plazo. Su arquitectura activa solo una fracción de los parámetros por token (16 expertos activados de un total de 896), lo que resulta en aproximadamente 104 mil millones de parámetros activos por pasada. Eso le da una eficiencia de escalado 2.5x mayor que la generación anterior Kimi K2.

El modelo soporta entrada multimodal nativa (texto y visión), una ventana de contexto hasta 1 millón de tokens, y funciones orientadas a producción como invocación de herramientas, salidas estructuradas y un modo de “pensamiento siempre activo” para resolver problemas en múltiples pasos. Además, Moonshot AI publicó los pesos abiertos en Hugging Face bajo moonshotai/Kimi-K3, en formato MXFP4 para equilibrar calidad y uso de memoria.

Formato de pesos y motor recomendado

Los pesos están distribuidos en MXFP4 (Microscaling Floating Point 4-bit). Para servir Kimi K3 se recomienda usar vLLM con el soporte día-cero específico para Kimi K3 (repositorio y commit en vllm/vllm-openai:kimi-k3). vLLM ofrece soporte nativo para arquitecturas MoE, paralelismo tensorial y el formato MXFP4, lo que facilita inferencia a escala en entornos optimizados.

Requisitos de infraestructura en AWS

Servir Kimi K3 requiere GPU de alta gama y conectividad de interconexión de alto ancho de banda para ejecutar paralelismo tensorial entre GPUs y acceder eficientemente al pool de expertos.

• Instancia requerida: ml.p6-b300.48xlarge (p6-b300), que incluye 8 GPUs NVIDIA B300 Blackwell Ultra por nodo.
• Capacidad: se recomiendan reservas específicas porque este tipo de capacidad no siempre está disponible on-demand.

AWS ofrece mecanismos para asegurar estos recursos:

• Flexible Training Plans (para SageMaker HyperPod): reservas comprometidas que pueden asignarse a un cluster HyperPod para cargas de inferencia sostenidas.
• Capacity Blocks: permite reservar instancias EC2 GPU (p6-b300) por periodos definidos y son consumibles por workloads en Amazon EKS.

Opción A — Despliegue con Amazon SageMaker HyperPod

Amazon SageMaker HyperPod, con su Inference Operator, es la ruta más simple para organizaciones que buscan minimizar la complejidad operativa de orquestación y gestión de endpoints.

Pasos esenciales:

1. Crear un cluster HyperPod en la consola de SageMaker: en Cluster Management seleccione “Create HyperPod cluster” y elija “Orchestrated by Amazon EKS”.
2. Seleccione “Quick setup” para proveedores de red, almacenamiento e IAM por defecto, o “Custom setup” si debe integrar con VPC y subredes existentes.
3. Asegúrese de habilitar la instalación de Helm charts y add-ons por defecto para que el Inference Operator y otros operadores necesarios se desplieguen automáticamente.
4. En Instance groups agregue un worker group con el tipo ml.p6-b300.48xlarge.
5. Para contar con la capacidad de GPU, adjunte un Flexible Training Plan (FTP) como fuente de capacidad: en la configuración del grupo de instancias elija “Training plan” y seleccione o cree una reserva que cubra p6-b300.
6. Una vez el cluster esté en estado Active y los nodos p6-b300 saludables, despliegue la configuración de endpoint de inferencia (InferenceEndpointConfig) apuntando al contenedor vLLM preparado para Kimi K3.

HyperPod abstrae muchas tareas de orquestación y facilita la carga de modelos grandes y la gestión de endpoints en producción.

Opción B — Despliegue usando Amazon EKS y Capacity Blocks

Para organizaciones que prefieren control total sobre Kubernetes o integraciones más finas con pipelines CI/CD, Amazon EKS es la alternativa. Aquí se suele reservar capacidad mediante Capacity Blocks para garantizar acceso a instancias p6-b300.

Flujo general:

1. Reserve Capacity Blocks en EC2 que incluyan p6-b300 para la región y zona en la que operará el cluster.
2. Crear o usar un cluster EKS y configurar nodos que apunten a la capacidad reservada (usando etiquetas o selección por capacidad disponible).
3. Empaquete vLLM (con commit específico para Kimi K3) en un contenedor de inferencia listo para producción y publique la imagen en ECR.
4. Despliegue recursos Kubernetes (Deployments/StatefulSets) con configuración de paralelismo tensorial y afinidad de GPU para asegurar colocación correcta entre GPUs.
5. Exponer endpoints mediante un Ingress/Service o un operador de inferencia si se dispone de uno.

EKS ofrece máxima flexibilidad, pero requiere equipos con experiencia en Kubernetes y en redes de alto rendimiento para garantizar latencia y throughput adecuados.

Consideraciones prácticas para organizaciones en Latinoamérica

• Disponibilidad regional: Verifiquen si las instancias p6-b300 están disponibles en la(s) región(es) de AWS que usan. La disponibilidad puede variar y afectar tiempos de provisión.
• Cumplimiento y soberanía de datos: si manejan datos sensibles, planifiquen región y políticas de residencia de datos; una ventaja del modelo con pesos abiertos es que permite self-hosting en entornos controlados.
• Costos y gobernanza: modelos de este tamaño implican consumo sustancial de recursos GPU; planifiquen pruebas en ambientes reducidos y validen SLAs antes de producción.
• Red y seguridad: asegurarse de contar con redes de alta capacidad y políticas de seguridad/manejo de secretos (IAM, KMS) para las credenciales y pesos del modelo.
• Capacitación técnica: equipos de ML Ops y DevOps requieren familiaridad con vLLM, MoE y paralelismo tensorial para optimizar la inferencia y la utilización de GPU.

Buenas prácticas para puesta en producción

• Iniciar con pruebas en entorno de staging para medir latencia, tasa de aciertos de expertos y costo por inferencia.
• Monitorizar salud de GPUs, uso de memoria y balance de carga entre expertos.
• Automatizar despliegues mediante IaC (CloudFormation/Terraform) y pipelines CI/CD.
• Considerar estrategias de escalado y degradación graceful para mantener disponibilidad ante fallas de nodos.

Conclusión

Kimi K3 representa un salto importante en capacidades de modelos abiertos, ofreciendo potencia de vanguardia y la posibilidad de self-hosting. Para organizaciones en Latinoamérica, AWS presenta dos vías maduras: SageMaker HyperPod para una experiencia administrada y más sencilla, y Amazon EKS para control y personalización. Ambas requieren reservas de capacidad p6-b300 y el uso de vLLM con soporte para MXFP4 y MoE. Planificar disponibilidad regional, cumplimiento y costos será clave para una adopción exitosa.

Para comenzar, revisen la disponibilidad de p6-b300 en sus regiones AWS, preparen una imagen vLLM con el commit Kimi K3 y evalúen si una reserva mediante Flexible Training Plan o Capacity Blocks se ajusta mejor a sus necesidades operativas.