Amazon SageMaker JumpStart ya ofrece Nemotron 3 Ultra con despliegue de un clic. El modelo, optimizado para cargas de trabajo agentic, promete inferencia hasta 5x más rápida y hasta 30% menos costo en tareas complejas.
NVIDIA presentó Nemotron-Labs Diffusion, una familia de modelos que combina generación autoregresiva y por difusión para acelerar la inferencia y permitir revisiones iterativas. Los modelos vienen en escalas de 3B, 8B y 14B y ofrecen modos de generación intercambiables que equilibran velocidad y precisión.
Además de sus GPUs, Nvidia empuja una segunda línea de productos centrada en la inferencia: el chip Vera y la plataforma Vera Rubin. Jensen Huang dice que abrirán acceso a un mercado de US$200 mil millones y que Vera podría facturar US$20.000 millones este año fiscal. La gran pregunta es si la oferta podrá sostener la demanda.
El batching asíncrono rompe el patrón donde CPU y GPU se turnan y desperdician ciclos. En lugar de esperar a que termine una etapa para empezar la siguiente, se preparan batches en la CPU mientras la GPU está ocupada, reduciendo tiempos muertos y aumentando throughput.
La migración de vLLM V0 a V1 reveló una brecha entre la inferencia y el entrenamiento que afectaba métricas clave como clip rate, KL, entropía y recompensa. Al corregir primero el comportamiento del backend —logprobs procesados, defaults de runtime, actualizaciones en vuelo y proyección final en fp32— se restauró la paridad sin tocar el objetivo RL.
Hugging Face suma a DeepInfra a su ecosistema de Inference Providers, facilitando el uso de modelos serverless con alternativas de enrutamiento y facturación. Esta integración simplifica la adopción de LLMs y modelos multimodales por parte de desarrolladores y equipos en América Latina.
Amazon SageMaker AI ya ofrece instancias G7e con GPUs NVIDIA RTX PRO 6000 Blackwell, que duplican la memoria por GPU respecto a la generación anterior y prometen hasta 2.3x más rendimiento de inferencia. Esto facilita correr grandes modelos en una sola máquina y reduce la latencia en despliegues multiescala.
La decodificación especulativa permite a los grandes modelos de lenguaje generar texto considerablemente más rápido al delegar tokens previsibles a un modelo pequeño y verificar en bloque con el modelo objetivo. Es una técnica práctica para reducir latencia sin sacrificar calidad.
SageMaker AI Training Plans permiten reservar capacidad de GPU p-family para cargas de inferencia con ventanas de tiempo definidas. Esto ayuda a equipos que deben evaluar modelos grandes sin depender de la capacidad on‑demand.
Speculative Decoding acelera la inferencia de LLMs al usar un modelo 'borrador' que genera tokens anticipados y un modelo objetivo que verifica en paralelo. SPEED-Bench unifica la evaluación de esta técnica con dos conjuntos de datos y un marco de medición integrado con motores de inferencia de grado productivo.
Holotron-12B es un modelo multimodal diseñado para agentes que interactúan con interfaces y múltiples imágenes. Basado en la familia Nemotron de NVIDIA, ofrece un salto importante en throughput y rendimiento en benchmarks agenticos.
AWS y el proyecto open source llm-d ofrecen una arquitectura de inferencia desagregada que separa las fases de prefill y decode, incorpora enrutamiento consciente de caché y soporte para fabrics de alta velocidad como EFA. Esto mejora la utilización de GPU y la eficiencia en despliegues a gran escala.