vLLM ahora puede ejecutar modelos definidos en transformers con velocidad comparable a implementaciones nativas optimizadas. Esto reduce la necesidad de portar código y acelera la puesta en producción de LLM y VLM.
Analizamos cómo el profiler de PyTorch revela los componentes de la atención y por qué una pequeña modificación —usar operaciones in-place— elimina copias innecesarias en GPU. Aplicable a modelos transformer y cargas de trabajo en producción.
DiScoFormer propone un solo modelo que, dado un conjunto de datos, estima tanto la densidad como el score de la distribución subyacente en una sola pasada. Aprovecha atención cruzada y una pérdida de consistencia entre cabeceras para adaptarse a entradas fuera de distribución sin necesidad de reentrenar.
Un estudio directo entre Olmo 3 (transformer 7B) y Olmo Hybrid muestra que los híbridos aciertan más en palabras que transmiten significado y en casos que requieren seguimiento de contexto, mientras que los transformers conservan la ventaja en copia exacta y cierre de corchetes. Esto guía la elección de arquitectura según la tarea.
Con la llegada de agentes que programan y ejecutan flujos por su cuenta, las bibliotecas deben pensarse para ser manejadas por máquinas, no solo por humanos. Aquí describimos un enfoque práctico para medir cuánto esfuerzo necesita un agente y qué mejoras (CLI, Skills, ejemplos) marcan la diferencia.
OlmoEarth v1.1 es una familia de modelos para detección en imágenes satelitales que mantiene la precisión de la versión anterior mientras reduce hasta tres veces el costo de cómputo. El avance clave: disminuir la longitud de las secuencias de tokens y rediseñar cómo se representan las bandas de Sentinel-2.
Con la llegada de agentes de código capaces de generar PRs, los proyectos como Transformers y MLX enfrentan una avalancha de contribuciones automáticas. Presentamos una Skill que guía la portabilidad de modelos desde Transformers a mlx-lm, generando pruebas, comparaciones numéricas y PRs útiles para revisores.
Mamba4 propone una arquitectura basada en State Space Models (SSMs) con un mecanismo selectivo que mantiene rendimiento competitivo y reduce costos computacionales frente a Transformers en secuencias largas. Es especialmente relevante para aplicaciones con recursos limitados o datos en streaming.
Los Transformers son la arquitectura que permitió el salto de los RNN/LSTM a los LLMs modernos. En este artículo desglosamos, paso a paso, desde la tokenización hasta la generación autoregresiva.