Cómo enrutar solicitudes de agentes de código a modelos adecuados con NVIDIA NeMo Switchyard y LiteLLM en Amazon Bedrock
El enrutamiento entre modelos cambia la métrica relevante: no es el costo por token sino el costo por tarea resuelta. Aquí explicamos cómo desplegar LiteLLM con el plugin Switchyard en AWS y cómo medir costo por tarea para tomar decisiones informadas.
Introducción
Los agentes de codificación (como Claude Code o herramientas basadas en Codex) completan tareas que pueden requerir múltiples llamadas al modelo: leer archivos, editar código, ejecutar pruebas y repetir hasta terminar. Eso significa que el verdadero costo operativo no se mide solo por el precio por token, sino por el costo total que implica resolver una tarea: cuántas vueltas necesita el modelo, cuánto historial se reenvía en cada turno y cuántas veces la tarea debe reintentarse.
Este artículo adapta la presentación técnica original sobre cómo usar NVIDIA NeMo Switchyard integrado con LiteLLM para dirigir peticiones de un agente de código al modelo más conveniente dentro de Amazon Bedrock. Está orientado a equipos y tomadores de decisión en América Latina que evalúan costos y arquitectura para proyectos de IA en producción.
Por qué medir por tarea resuelta (cost per solved task)
Cuando un desarrollador pide un cambio, lo que importa es que las pruebas pasen al final. Cada intento consume recursos: llamadas al modelo, reenvío de historial y ejecuciones fallidas. Por eso, al enrutar peticiones entre varios modelos, la métrica de negocio recomendable es el costo por tarea resuelta —el costo total dividido entre el número de ejecuciones exitosas— y no el costo por token aislado.
Evaluar en términos de costo por tarea resuelta permite comparar rutas que alternan entre un modelo más caro pero más capaz y otro más económico pero menos eficiente en ciertas tareas.
¿Qué son NVIDIA NeMo Switchyard y LiteLLM?
- NVIDIA NeMo Switchyard: es una librería open source para permitir que un agente AI decida qué modelo atiende cada petición. Usted define los modelos disponibles y la estrategia de enrutamiento.
- LiteLLM: un gateway open source para LLM que puede integrar el plugin Switchyard. En este caso se despliega en AWS y hace las llamadas a los modelos a través de Amazon Bedrock.
La integración disponible en la muestra soporta al menos dos estrategias: Stage (que elige entre dos candidatos leyendo la actividad de herramientas en el historial) y Random (selección ponderada para tests A/B). La muestra usa switchyard-server 0.3.0 y LiteLLM v1.102.0; NVIDIA documenta 0.3.0 como componente de demo y evaluación, y la integración es experimental.
Arquitectura de solución (resumen)
La muestra desplegada con AWS CDK ejecuta LiteLLM y el plugin Switchyard en un solo contenedor sobre Amazon ECS en AWS Fargate dentro de subredes privadas. Puntos clave:
- El agente envía una petición compatible con OpenAI con el campo model=switchyard, que identifica al grupo manejado por LiteLLM.
- La entrada HTTPS tiene un certificado de AWS Certificate Manager en el load balancer, y se limita el acceso por rango CIDR IPv4 permitido y reglas de AWS WAF (reputación IP, entradas maliciosas conocidas, límites por IP).
- Application Load Balancer (ALB) solo reenvía rutas específicas (/v1/chat/completions, /v1/models, /health/liveliness) al task de ECS; otras rutas reciben 404.
- LiteLLM valida la clave de gateway (gestionada por AWS Secrets Manager) y pasa la solicitud al plugin Switchyard para seleccionar un modelo.
- La llamada al modelo seleccionada usa Amazon Bedrock (Converse o ConverseStream) con las credenciales del rol IAM del task, y atraviesa un endpoint Runtime Interface en la VPC para mantener el tráfico de inferencia dentro de la red AWS.
- Respuestas y streams de tokens regresan por LiteLLM y el ALB. El header x-litellm-model-name identifica qué modelo respondió; el campo model del cuerpo sigue siendo switchyard.
- Logs se envían a CloudWatch y Container Insights recolecta métricas. El contenedor toma variables LITELLM_CONFIG_TEXT y SWITCHYARD_CONFIG_TEXT que el startup escribe en /tmp antes de arrancar.
La topología incluida en la muestra abarca dos Availability Zones y un NAT gateway para permitir pulls de imágenes y acceso saliente necesario.
Estrategias de enrutamiento: Stage vs Random
- Stage routing: necesita exactamente dos candidatos. Lee la actividad de herramientas y resultados en el historial para decidir entre un modelo capaz y otro más económico. Para que funcione, el agente debe enviar el historial completo de la conversación.
- Random routing: requiere al menos dos modelos y distribuye tráfico por peso, útil para experimentos A/B.
La integración actual no soporta estrategias que requieran llamadas intermedias a modelos (por ejemplo, clasificadores que decidan ruta) porque no realiza llamadas adicionales durante la selección.
Cómo evaluar impacto y comparar rutas
La muestra incluye runners de benchmark que permiten medir costo por tarea resuelta para un grupo de modelos enrutados frente a grupos baseline de un solo modelo. Recomendaciones prácticas:
- Use un entorno no productivo para las pruebas iniciales y valide con cargas representativas de sus agentes de codificación.
- Compare costo por tarea resuelta entre: un modelo único capaz, uno único económico y el grupo enrutado (Stage o Random).
- Mida tasa de éxito (tests que pasan), reintentos y número promedio de turnos por tarea para entender por qué varía el costo.
Recomendaciones y consideraciones para equipos en América Latina
- Planificación de presupuesto: evalúe la métrica de costo por tarea resuelta al estimar costos reales de integración de agentes de codificación en sus flujos de trabajo.
- Gobernanza y seguridad: el ejemplo es experimental y para no producción; coordine con sus equipos de seguridad y cumplimiento antes de poner esto en producción.
- Latencia y región: la muestra fue probada con ciertos modelos y en US East (N. Virginia). Verifique la disponibilidad regional de modelos y capacidades de tool-calling en su región AWS objetivo.
- Control de acceso: limite la exposición del gateway por ACLs, WAF y certificados, como propone la arquitectura.
Limitaciones y precauciones
- La muestra instala switchyard-server 0.3.0 y usa LiteLLM v1.102.0; NVIDIA indica que switchyard-server 0.3.0 es para demo y evaluación y su configuración puede cambiar entre versiones.
- La integración Switchyard–LiteLLM es experimental; APIs y configuración pueden variar.
- Este es código de ejemplo para uso no productivo. No despliegue sin revisiones de seguridad, cumplimiento y pruebas operacionales.
Conclusión
Dirigir peticiones de agentes de codificación entre modelos puede reducir costos efectivos si se mide con la métrica correcta: costo por tarea resuelta. NVIDIA NeMo Switchyard integrado con LiteLLM y Amazon Bedrock ofrece un patrón técnico para implementar y probar estrategias de enrutamiento (Stage y Random) dentro de AWS. Para equipos en América Latina, la recomendación es probar esta arquitectura en cuentas no productivas, medir costo por tarea resuelta frente a baselines y coordinar con las áreas de seguridad y cumplimiento antes de cualquier migración a producción.
Si su organización busca optimizar el gasto en IA generativa para flujos de desarrollo, estas herramientas permiten comparar rutas y tomar decisiones basadas en resultados operativos reales y no solo en tarifas por token.
Fuente original: AWS ML Blog