Este artículo explica, con trazas de perfilador, por qué nn.Linear no genera kernels separados para multiplicación y suma, qué es un epílogo y cuándo torch.compile aporta beneficios. Incluye recomendaciones prácticas para experimentar con scripts de Hugging Face.
Perfilado es el primer paso para optimizar modelos. En esta guía práctica (Parte 1) revisamos cómo usar torch.profiler sobre una operación simple —matmul + bias— y cómo leer la tabla y la traza que genera.
NVIDIA presentó Nemotron-Labs Diffusion, una familia de modelos que combina generación autoregresiva y por difusión para acelerar la inferencia y permitir revisiones iterativas. Los modelos vienen en escalas de 3B, 8B y 14B y ofrecen modos de generación intercambiables que equilibran velocidad y precisión.
Google presentó Gemini 3.5 Flash, un modelo orientado a ejecución práctica que prioriza la velocidad sin sacrificar capacidades multimodales. Sus fortalezas incluyen un enorme contexto, cuatro modos de 'pensamiento' y latencias muy bajas, lo que lo hace útil para prototipado rápido y flujos agentivos en entornos empresariales.
Investigadores del MIT desarrollaron Sandook, una solución de software que reduce la variabilidad de rendimiento en pools de SSD y mejora la eficiencia de centros de datos. En pruebas con cargas reales, la técnica aumentó el rendimiento entre 12% y 94% y elevó la utilización de capacidad en 23%.
La decodificación especulativa permite a los grandes modelos de lenguaje generar texto considerablemente más rápido al delegar tokens previsibles a un modelo pequeño y verificar en bloque con el modelo objetivo. Es una técnica práctica para reducir latencia sin sacrificar calidad.
Speculative Decoding acelera la inferencia de LLMs al usar un modelo 'borrador' que genera tokens anticipados y un modelo objetivo que verifica en paralelo. SPEED-Bench unifica la evaluación de esta técnica con dos conjuntos de datos y un marco de medición integrado con motores de inferencia de grado productivo.
Holotron-12B es un modelo multimodal diseñado para agentes que interactúan con interfaces y múltiples imágenes. Basado en la familia Nemotron de NVIDIA, ofrece un salto importante en throughput y rendimiento en benchmarks agenticos.