Amazon SageMaker AI ya ofrece instancias G7e con GPUs NVIDIA RTX PRO 6000 Blackwell, que duplican la memoria por GPU respecto a la generación anterior y prometen hasta 2.3x más rendimiento de inferencia. Esto facilita correr grandes modelos en una sola máquina y reduce la latencia en despliegues multiescala.
La decodificación especulativa permite a los grandes modelos de lenguaje generar texto considerablemente más rápido al delegar tokens previsibles a un modelo pequeño y verificar en bloque con el modelo objetivo. Es una técnica práctica para reducir latencia sin sacrificar calidad.
SageMaker AI Training Plans permiten reservar capacidad de GPU p-family para cargas de inferencia con ventanas de tiempo definidas. Esto ayuda a equipos que deben evaluar modelos grandes sin depender de la capacidad on‑demand.
Speculative Decoding acelera la inferencia de LLMs al usar un modelo 'borrador' que genera tokens anticipados y un modelo objetivo que verifica en paralelo. SPEED-Bench unifica la evaluación de esta técnica con dos conjuntos de datos y un marco de medición integrado con motores de inferencia de grado productivo.
Holotron-12B es un modelo multimodal diseñado para agentes que interactúan con interfaces y múltiples imágenes. Basado en la familia Nemotron de NVIDIA, ofrece un salto importante en throughput y rendimiento en benchmarks agenticos.
AWS y el proyecto open source llm-d ofrecen una arquitectura de inferencia desagregada que separa las fases de prefill y decode, incorpora enrutamiento consciente de caché y soporte para fabrics de alta velocidad como EFA. Esto mejora la utilización de GPU y la eficiencia en despliegues a gran escala.