PULSO AI · Nueva plataforma impulsada por TD
La inferencia de modelos de lenguaje (LLM) combina dos tareas en la GPU: procesar el prompt y generar tokens uno por uno. Entender esas etapas, sus cuellos de botella y estrategias de optimización es clave para aplicaciones rápidas y económicas.
LFM2.5-24B-A2B es un modelo diseñado para agentes que piensan antes de responder y que puede correr de forma privada en dispositivos locales. Con 24B parámetros y solo 2B activos por token, busca combinar eficiencia, velocidad y capacidades de herramienta en escenarios on-device.
OpenAI presentó GPT-6 Sol y GPT-6 Luna para llevar capacidades cercanas a GPT-6 Astra a niveles de uso más accesibles. Además de reducir costos, prometen mejor caching, menos errores factuales y un estilo de respuesta más claro.
Claude Opus 5.5 promete razonamiento activo, respuestas más rápidas y un menor costo por token. En este artículo desglosamos las novedades, los benchmarks publicados y las implicaciones prácticas para equipos y empresas, incluyendo consideraciones para América Latina.
Las aplicaciones basadas en LLM pueden incluir miles o millones de tokens, lo que hace crítico evitar reprocesos innecesarios. Este artículo explica cuatro tipos de cache —KV, prefix, prompt y semantic— y cómo se complementan para acelerar la inferencia.
Cuando los agentes de IA pasan a producción, los errores dejan de ser el único problema: la lentitud y el crecimiento de memoria degradan la experiencia y elevan costos. Este artículo explica cómo usar AgentCore Observability y CloudWatch para identificar y solucionar esas fallas operativas.
Diffusers ahora soporta checkpoints al estilo Nunchaku con ejecución 4-bit (W4A4) directamente desde from_pretrained(), sin motores de inferencia separados ni compilación local. Esto permite ahorrar memoria y ganar velocidad en GPUs modernas.
Analizamos cómo el profiler de PyTorch revela los componentes de la atención y por qué una pequeña modificación —usar operaciones in-place— elimina copias innecesarias en GPU. Aplicable a modelos transformer y cargas de trabajo en producción.
Cortar las calcetas se ha vuelto un gesto recurrente en el Mundial 2026 y en torneos previos. Aunque los jugadores dicen aliviar presión y ganar comodidad, no hay pruebas firmes de que mejore el rendimiento.
Un estudio directo entre Olmo 3 (transformer 7B) y Olmo Hybrid muestra que los híbridos aciertan más en palabras que transmiten significado y en casos que requieren seguimiento de contexto, mientras que los transformers conservan la ventaja en copia exacta y cierre de corchetes. Esto guía la elección de arquitectura según la tarea.
Apple asegura que iOS 27 mejorará el rendimiento de iPhone más antiguos —desde el iPhone 11— con arranque de apps hasta 30% más rápido y transferencias AirDrop hasta 80% más veloces. Estas mejoras provienen de optimizaciones del programador de la CPU y otros ajustes del sistema.
Este artículo explica, con trazas de perfilador, por qué nn.Linear no genera kernels separados para multiplicación y suma, qué es un epílogo y cuándo torch.compile aporta beneficios. Incluye recomendaciones prácticas para experimentar con scripts de Hugging Face.
Perfilado es el primer paso para optimizar modelos. En esta guía práctica (Parte 1) revisamos cómo usar torch.profiler sobre una operación simple —matmul + bias— y cómo leer la tabla y la traza que genera.
NVIDIA presentó Nemotron-Labs Diffusion, una familia de modelos que combina generación autoregresiva y por difusión para acelerar la inferencia y permitir revisiones iterativas. Los modelos vienen en escalas de 3B, 8B y 14B y ofrecen modos de generación intercambiables que equilibran velocidad y precisión.
Google presentó Gemini 3.5 Flash, un modelo orientado a ejecución práctica que prioriza la velocidad sin sacrificar capacidades multimodales. Sus fortalezas incluyen un enorme contexto, cuatro modos de 'pensamiento' y latencias muy bajas, lo que lo hace útil para prototipado rápido y flujos agentivos en entornos empresariales.
Investigadores del MIT desarrollaron Sandook, una solución de software que reduce la variabilidad de rendimiento en pools de SSD y mejora la eficiencia de centros de datos. En pruebas con cargas reales, la técnica aumentó el rendimiento entre 12% y 94% y elevó la utilización de capacidad en 23%.
La decodificación especulativa permite a los grandes modelos de lenguaje generar texto considerablemente más rápido al delegar tokens previsibles a un modelo pequeño y verificar en bloque con el modelo objetivo. Es una técnica práctica para reducir latencia sin sacrificar calidad.
Speculative Decoding acelera la inferencia de LLMs al usar un modelo 'borrador' que genera tokens anticipados y un modelo objetivo que verifica en paralelo. SPEED-Bench unifica la evaluación de esta técnica con dos conjuntos de datos y un marco de medición integrado con motores de inferencia de grado productivo.
Holotron-12B es un modelo multimodal diseñado para agentes que interactúan con interfaces y múltiples imágenes. Basado en la familia Nemotron de NVIDIA, ofrece un salto importante en throughput y rendimiento en benchmarks agenticos.
