Granite Switch 4.1: un endpoint para chat, decisiones y voz

Qué es Granite Switch 4.1

Granite Switch 4.1 es la evolución de un enfoque modular para el desarrollo de modelos: en lugar de desplegar múltiples modelos independientes, este lanzamiento compone varias capacidades —chat, toma de decisiones y reconocimiento de voz— en un único endpoint hospedado. Las versiones publicadas son Granite-Switch-4.1-8B y Granite-Switch-4.1-30B, diseñadas para ofrecer más funcionalidades sin incrementar significativamente el uso de VRAM respecto al modelo base.

En la práctica esto significa que desde una sola llamada a la API pueden atenderse solicitudes de conversación, consultas que requieren una decisión automatizada y tareas de transcripción de audio, reduciendo la necesidad de múltiples GPUs o instancias separadas.

Componentes clave incluidos

Las builds de 4.1 integran tres elementos principales:

• Un Decision aLoRA de propósito general (p. ej. v1/systemone) orientado a tareas de decisión automatizada.
• Una aLoRA especializada llamada Guardian, optimizada para seguridad: en promedio supera a modelos como Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions y Clef-Flash en tareas de decisión relacionadas con seguridad.
• Granite-Speech-5.0-Turbo-CTC, el modelo ASR más rápido en el OpenASR Leaderboard, incorporado para tareas de transcripción.

Todos estos componentes, junto con el modelo base, se componen en una sola artefacto que ocupa aproximadamente la misma memoria GPU que el modelo base por sí solo. Esto se consigue gracias a adaptadores cache-eficientes denominados Activated LoRAs, que permiten que la KV cache generada por el modelo base se reutilice para inferencias posteriores con cualquier adaptador.

Rendimiento y latencia: cómo cambian las operaciones

Además del ahorro de memoria, el equipo de Granite ha sumado optimizaciones en vLLM para acelerar la inferencia con adaptadores de bajo rango. Con un encoder ASR co-localizado y adaptadores activados, los modelos 4.1 pueden cambiar entre una solicitud de chat, una solicitud de decisión y una entrada de voz con velocidades muy elevadas.

En la demo pública —el espacio Speech-to-Decisions en Hugging Face— el modelo Granite-Switch-4.1-8B realiza en tiempo real: transcripción de audio, generación de resúmenes, filtrado de contenido dañino y la verificación de 15 banderas definidas por el usuario, todo desde un único endpoint.

Granite Libraries: adaptación y especialización

Granite Libraries ya ofrecía un repositorio de adaptadores especializados (decision models y otros adaptadores de tarea). La observación importante es que, en tareas de clasificación especializadas, los adaptadores específicos suelen superar a los modelos de decisión generalistas. Al componer especialistas junto a un adaptador generalista, se obtiene cobertura amplia con mayor precisión en las tareas críticas —y gracias al uso compartido de la KV cache, el costo en recursos al añadir especialistas es prácticamente nulo.

Un experimento comparó Granite-Switch-4.1-30B (base congelada + 4 aLoRAs especializadas) frente a Jev-27B (base Qwen congelada + 1 LoRA genérica) en un flujo de trabajo RAG de 5 pasos: Granite-Switch-4.1-30B completó el flujo real mucho más rápido que su competidor, demostrando la ventaja práctica de la composición de adaptadores.

Personalicen y extiendan su propio Granite Switch

Aunque Granite publica versiones “batteries included”, cualquiera puede componer su propio Granite Switch mezclando adaptadores de Granite Libraries. La intención es fomentar que la comunidad desarrolle adaptadores propios o de terceros: clasificadores especializados, adaptadores para tareas de lenguaje específicas o incluso controles de comportamiento.

Granite anuncia además planes de lanzar un Adapter SDK para entrenar adaptadores en Mellea, junto con tutoriales y soporte adicional. Estos complementos facilitarán que equipos en startups y empresas en América Latina creen adaptadores alineados a requisitos locales, como clasificación de contenido en español o filtros regulatorios regionales.

Un ejemplo curioso: una versión de 3B parámetros de Granite Switch fue entrenada para jugar Doom. Este modelo tomaba decisiones a 60–100 decisiones por segundo, frente a las 10 decisiones por segundo reportadas para Jev, y además podía narrar y responder preguntas mientras jugaba.

Dónde y cómo puede correr: accesibilidad y compatibilidad

Granite Switch 4.1 está disponible en tamaños 8B y 30B, lo que permite adaptarlo según la capacidad de cómputo disponible. Tiene soporte para:

• vLLM con un plugin específico (ver repositorio de Granite Switch),
• inference nativa en llama.cpp y otras plataformas downstream,
• interoperabilidad con llamadas tipo /v1/systemone, manteniendo además soporte para llamadas de chat tradicionales gracias al cache de prefijo compartido.

Esto facilita desplegar Granite Switch tanto en infraestructuras on-premise como en nubes públicas, y reduce la fricción para sustituir o complementar modelos existentes por una solución más versátil.

Relevancia para América Latina

Para tomadores de decisión y equipos de tecnología en América Latina, la propuesta de valor es clara: reducir costos operativos (menos instancias/GPU), acelerar tiempos de respuesta en flujos que combinan voz y texto, y mejorar la precisión en decisiones críticas mediante adaptadores especializados. Además, la capacidad de componer adaptadores propios permite atender casos de uso en español y variaciones regionales del lenguaje sin depender solo de modelos generalistas.

Recursos y próximos pasos

Granite ofrece documentación y recursos para comenzar: las fichas de modelo de Granite Switch 4.1, la demo Speech-to-Decisions en Hugging Face, el repositorio de Granite Switch en GitHub, el release original de Granite Libraries, y notebooks para comparar entrenamientos de aLoRAs.

Si su equipo evalúa integraciones de IA que combinen voz, decisiones automatizadas y diálogo, vale la pena probar los modelos 4.1 y explorar la creación de adaptadores propios. La arquitectura modular y las optimizaciones de cache hacen de Granite Switch una opción eficiente para proyectos que requieren múltiples capacidades desde un mismo endpoint.

Para más información y enlaces directos, revisen los recursos oficiales de Granite Switch y Granite Libraries en Hugging Face y GitHub.