Machine Learning 6 min lectura

Cómo desplegar modelos de vanguardia en AWS Trainium con SGLang‑Neuron

SGLang‑Neuron conecta la experiencia de SGLang con los chips Trainium de AWS, permitiendo servir modelos y generar rollouts de RL usando la misma API. Este artículo explica arquitectura, flujo de trabajo, y un paso a paso para iniciar un servidor SGLang en Trainium.

Por Redaccion TD
Cómo desplegar modelos de vanguardia en AWS Trainium con SGLang‑Neuron

Introducción

AWS presentó SGLang‑Neuron como un plugin público que integra SGLang con AWS Trainium y está disponible a través de un AWS Deep Learning Container desarrollado por RadixArk en colaboración con Annapurna Labs. La propuesta es simple pero potente: mantener la experiencia conocida de SGLang —la misma interfaz de servidor y APIs de generación— mientras se ejecuta el cómputo en Trainium, la familia de chips de AWS optimizada para entrenamiento e inferencia a escala.

Para equipos en América Latina interesados en llevar modelos de frontera a producción, SGLang‑Neuron ofrece un puente directo entre un flujo de trabajo consolidado y la infraestructura de AWS diseñada para economías de escala en ML.

¿Qué es SGLang‑Neuron? Una visión general

SGLang‑Neuron es un plugin “out‑of‑tree” que registra la plataforma Neuron (Trainium) dentro del ecosistema SGLang. Desde la perspectiva del usuario, SGLang sigue proveyendo el servidor API, la gestión del ciclo de vida de las solicitudes, RadixAttention y el manejo del prefix‑cache. El plugin se ocupa de las piezas específicas de Trainium: modelos optimizados, atención, Mixture of Experts (MoE) y el motor gráfico que compila y ejecuta los programas sobre el hardware Neuron.

La instalación del plugin añade la plataforma neuron al punto de entrada de plugins de SGLang y la selección de la misma se realiza definiendo la variable de entorno SGLANG_PLATFORM=neuron cuando se arranca el servidor.

Cómo se ejecuta SGLang sobre Trainium (técnicamente)

SGLang‑Neuron aprovecha TorchNeuron para registrar Trainium como un dispositivo nativo de PyTorch. La ruta de ejecución del modelo utiliza operaciones estándar de PyTorch y, para lograr rendimiento, incorpora kernels escritos con la Neuron Kernel Interface (NKI). Estos componentes se compilan en programas ejecutables mediante torch.compile, y el graph runner del plugin se encarga de preparar y ejecutar estos programas durante el servicio.

Esta arquitectura permite que SGLang continúe iterando de forma independiente del soporte específico para Trainium: el diseño out‑of‑tree habilita actualizaciones y mejoras más rápidas tanto en el core de SGLang como en el soporte Neuron.

Soporte para PD disaggregation (prefill/decoding separado)

SGLang‑Neuron soporta PD disaggregation, una configuración donde el prefill (cálculo del cache KV del prompt) se ejecuta en un servidor y el decode (generación de tokens restantes) en otro. En este flujo, el prefill server calcula el KV cache y lo transfiere al decode server usando NIXL sobre Elastic Fabric Adapter (EFA). Cada servidor mantiene el scheduler y ciclo de vida de solicitudes de SGLang, mientras que el plugin gestiona la ejecución en Trainium y la ruta de transferencia del KV‑cache.

Esta separación puede ser útil para optimizar recursos cuando se manejan prompts largos o para escalar partes del pipeline de forma independiente.

Despliegue: ejemplo práctico en Trainium3

A continuación se describe el flujo mínimo para poner en marcha un servidor SGLang‑Neuron en una instancia Trainium3 de Amazon EC2 usando el contenedor pytorch‑inference‑sglang‑neuronx.

  1. Iniciar el contenedor (ejemplo):
docker run --rm -it \
  --privileged --ipc=host \
  -v /path/to/work:/work \
  public.ecr.aws/neuron/pytorch-inference-sglang-neuron:v0.1.0-neuron-py314-sdk-2.33.0-ubuntu26.04 \
  /bin/bash
  1. Lanzar el servidor SGLang dentro del contenedor (definiendo la plataforma neuron):
SGLANG_PLATFORM=neuron \
python -m sglang.launch_server \
  --model-path openai/gpt-oss-120b \
  --tp-size 8 \
  --ep-size 8 \
  --kv-cache-dtype fp8_e4m3 \
  --context-length 10240 \
  --chunked-prefill-size 8192 \
  --max-running-requests 64 \
  --max-total-tokens 655360 \
  --mem-fraction-static 0.8 \
  --host 127.0.0.1 \
  --port 30000
  1. Enviar una petición al servidor (ejemplo curl):
curl -s http://127.0.0.1:30000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{ "model": "openai/gpt-oss-120b", "messages": [ {"role": "user", "content": "Explain why the sky appears blue."} ], "temperature": 0, "max_tokens": 128 }'

Para más detalles, la guía de inicio rápido de SGLang‑Neuron y la documentación del repositorio describen configuraciones validadas, modelos soportados y pasos de setup.

Implicaciones para equipos y empresas en América Latina

  • Flujo de trabajo conocido: El principal beneficio operativo es mantener la experiencia de SGLang intacta. Equipos que ya usan SGLang pueden migrar a Trainium sin rehacer su capa de servicio ni las APIs de generación.

  • Economías de escala: Trainium está diseñado para ofrecer una propuesta económica competitiva en entrenamiento e inferencia a gran escala. Para organizaciones latinoamericanas que buscan optimizar costos en despliegues productivos de modelos grandes, esta integración puede ser relevante al evaluar la relación costo‑beneficio en la nube.

  • Flexibilidad de arquitectura: El soporte para PD disaggregation facilita diseñar infraestructuras más adaptadas a cargas mixtas (prompts largos, inferencia en tiempo real, RL rollouts), lo cual es útil para aplicaciones en sectores como banca, salud digital, educación y servicios, comunes en la región.

  • Integración con PyTorch: Al aprovechar la compatibilidad con PyTorch y torch.compile, los equipos mantienen compatibilidad con herramientas y flujos de ML ampliamente adoptados en la comunidad.

Buenas prácticas y consideraciones

  • Validar modelos y configuraciones: Use las configuraciones validadas del repositorio SGLang‑Neuron y pruebe con cargas representativas antes de migrar a producción.

  • Monitorización y benchmarks propios: Aunque Trainium está orientado a economías de escala, las métricas reales dependen de la carga, modelo y patrón de solicitudes de cada proyecto. Realicen pruebas de rendimiento y costos con su propio workload.

  • Red y latencia: En arquitecturas con PD disaggregation y transferencia de KV-cache sobre EFA, la red y la configuración de EFA son componentes críticos para latencia y throughput. Aseguren que la topología de red en AWS soporte los requisitos de su aplicación.

  • Contribución y feedback: SGLang‑Neuron es público; contribuir al repositorio y compartir experiencias ayudará a mejorar soporte de modelos y características.

Conclusión

SGLang‑Neuron ofrece una manera práctica de llevar la experiencia de SGLang a la infraestructura Trainium de AWS sin cambiar la interfaz de servicio ni la API de generación. Al operar sobre PyTorch nativo y usar kernels NKI optimizados, permite ejecutar modelos de frontera con un flujo de trabajo familiar. Para equipos en América Latina que evalúan opciones para producción de modelos grandes, esta integración representa una alternativa a considerar dentro de la oferta de infraestructura en la nube, combinando familiaridad operativa con la promesa de economías de escala de Trainium.

Para comenzar, lancen el contenedor SGLang‑Neuron, sigan el quickstart del proyecto y evalúen con sus propios modelos y cargas. Su retroalimentación en el repositorio será útil para priorizar soporte y mejoras futuras.

Fuente original: AWS ML Blog