Beam: un modelo MoE abierto de 501B para equipos que quieren controlar y personalizar

Qué es Beam y por qué importa

Beam es el primer modelo del laboratorio Reflection publicado en Hugging Face. Se trata de un gran modelo de tipo Mixture-of-Experts (MoE) con 501 mil millones de parámetros totales y aproximadamente 23 mil millones de parámetros activos por token. Está diseñado para tareas textuales, con un enfoque en casos de uso de programación y agentes (agentic), y se entrega bajo licencia Apache 2.0: eso significa que los equipos pueden desplegarlo, personalizarlo y adaptarlo en su propia infraestructura.

La propuesta clave de Beam es entregar capacidad de frontera (capacidad de un modelo muy grande) con la eficiencia de ejecución de un modelo más pequeño, gracias a la arquitectura MoE donde solo una fracción de la red se activa por token. Además, Beam admite contextos extremadamente largos —hasta 1 millón de tokens—, lo que lo hace atractivo para workflows que requieren mantener razonamiento o historial muy extenso.

Arquitectura principal: capas, atención y expertos

Beam es un decodificador de 52 capas con tamaño oculto de 5,120. La atención es híbrida: 43 capas usan ventana deslizante sobre los 512 tokens previos; cada sexta capa y la última capa atienden al contexto completo, sumando 9 capas globales. Esta mezcla busca eficiencia local y capacidad global cuando es necesario.

Las capas de ventana deslizante aplican codificación posicional RoPE, apropiada para relaciones relativas en bloques cortos. Las capas globales, en cambio, no usan codificación posicional; en su lugar cada consulta se multiplica por un factor escalador que crece lentamente con la posición visible (una técnica descrita como escalado de consultas o “scalable-softmax”), lo que mantiene la precisión del softmax cuando el contexto se alarga.

La atención usa grouped-query attention con 48 cabezas de consulta y 8 cabezas de clave-valor, y RMSNorm en queries y keys. Antes de la proyección final hay una puerta aprendida (sigmoidea) que escala cada canal de cada cabeza.

Mixture-of-Experts: 256 expertos y 8 activos por token

Las primeras 3 capas utilizan un MLP denso SwiGLU; las otras 49 capas sustituyen ese MLP por bloques MoE con 256 expertos cada uno. Cada experto es un SwiGLU MLP con tamaño intermedio de 2,560 —aproximadamente 39 millones de parámetros por experto— y en conjunto los expertos concentran el 98.4% de los parámetros del modelo.

El ruteador emplea un esquema inspirado en DeepSeek-V3: califica los 256 expertos con una función sigmoidal, los divide en 8 grupos de 32, elige los 4 mejores grupos (según la suma de las dos mejores puntuaciones de cada grupo) y dentro de esos grupos selecciona los 8 expertos finales. Los outputs de los expertos se combinan con pesos normalizados por el ruteador y se escalan por 2.5. Así, por token solo se ejecutan 8 expertos: por eso la cantidad de parámetros computados por token equivale a la de un modelo de ~23B, aunque todos los expertos permanecen en memoria —esto implica requisitos de memoria equivalentes a un modelo de 501B.

Flujo residual y estabilidad numérica

Beam aplica una estrategia de mezcla en las conexiones residuales para mantener la escala del stream constante a lo largo de la profundidad. Cuenta la embedding de entrada como paso 1; en el paso k, suma la salida del sublayer con peso 1/sqrt(k) y conserva el stream previo con peso sqrt((k-1)/k). Las magnitudes cuadradas suman uno, por lo que después de todas las adiciones cada sublayer y la embedding inicial contribuyen con el mismo peso al estado final. Además, cada sublayer se normaliza antes y después, y los logits finales pasan por un tanh softcap a ±30, calculado en FP32.

La implementación fija varios cálculos críticos en FP32: el ruteador, el producto SwiGLU, las normas, RoPE, el escalado de consultas y el softcap, buscando estabilidad numérica y precisión.

Contexto de hasta 1 millón de tokens y manejo del cache

Beam está optimizado para contextos muy largos. El diseño híbrido de atención y el almacenamiento de claves/valores por token permiten mantener razonamiento extenso, aunque con un coste de memoria: cada token añade valores de cache por cada capa; en la implementación actual, si las 52 capas guardaran cada token, la cache crecería alrededor de 208 KiB por token. Esto refuerza que despliegues a gran contexto requerirán planificación de memoria y estrategia de almacenamiento.

Formatos de checkpoint y despliegue

Beam se distribuye en varios formatos: checkpoint BF16 (safetensors) de gran tamaño —el BF16 ocupa cerca de 1 TB—, checkpoints NVFP4 optimizados para GPUs NVIDIA Blackwell (con la mayoría de parámetros en 4 bits y algunos en BF16 para precisión) y checkpoints FP8 adecuados para GPUs Hopper y Ampere. Aunque la ejecución solo activa 23B parámetros por token, el requisito de memoria para almacenar los 256 expertos implica infraestructura con mucha RAM/GPU.

Además, Beam trae un harness abierto en Rust diseñado para obtener el máximo rendimiento del modelo. Day-0 el modelo cuenta con implementaciones en transformers, integraciones en vLLM, SGLang y soportes para post-entrenamiento: recetas de inferencia, SFT (supervised fine-tuning) y RL (reinforcement learning). El soporte de SGLang y vLLM facilita su uso en pipelines de baja latencia.

Funcionalidades prácticas: razonamiento, llamadas a herramientas y decodificación

Beam incorpora varias facilidades para tareas complejas: un modo de razonamiento que puede persistir entre turnos (preserve_thinking), soporte para llamadas a herramientas con una gramática dedicada, y cinco niveles de razonamiento seleccionables (‘low’, ‘medium’ —por defecto—, ‘high’, ‘xhigh’, ‘max’). El tokenizer incluye una plantilla de respuesta y Beam tendrá un modelo “drafter” para decodificación especulativa usando DFlash2.

Para entrenamiento en RL, el proyecto menciona soporte de “Full-parameter RL with Miles”, lo que apunta a la posibilidad de ajustar completamente el modelo con técnicas de RL cuando se necesite.

Incentivo para desarrolladores: $10,000 en créditos Hub

Reflection ofrece $10,000 en créditos de Hugging Face Hub para los mejores proyectos que usen Beam. Las ideas sugeridas incluyen demos en Spaces, cuantizaciones para hardware específico, generación de datasets sintéticos, entornos RL, benchmarks y otras iniciativas creativas. Basta con subir la demo, modelo o dataset al Hub y enlazarla desde la página del repositorio de Beam; el equipo recogerá los enlaces y seleccionará los ganadores.

Relevancia y recomendaciones para equipos en América Latina

Para organizaciones y equipos en América Latina, Beam puede ser muy atractivo si su objetivo es controlar por completo datos, privacidad y personalización: permite ejecutar un modelo de frontera en infraestructura propia o en la nube de su preferencia y ajustar el modelo a necesidades locales (catalogación de código, agentes para soporte técnico, automatización de procesos regulatorios, etc.).

Sin embargo, es importante evaluar dos factores críticos: la memoria requerida para almacenar todos los expertos (el checkpoint BF16 alcanza ~1 TB) y la compatibilidad de hardware para aprovechar formatos optimizados (NVFP4 para Blackwell, FP8 para Hopper/Ampere). Para equipos con recursos limitados, conviene explorar las recetas de vLLM/SGLang y usar cuantización, o empezar con despliegues en la nube donde se pueda alquilar hardware compatible.

Conclusión

Beam es una propuesta ambiciosa: combina la capacidad de un modelo extremadamente grande con técnicas MoE para ejecutar solo una fracción activa por token, ofrece contexto masivo, soporte día cero en librerías clave y un harness en Rust para rendimiento. Está orientado a equipos que quieran poseer, adaptar y escalar un modelo de frontera en su propio entorno. Si su organización en América Latina considera llevar cargas de trabajo sensibles o altamente personalizadas a producción, Beam merece una evaluación técnica cuidadosa, especialmente por los requerimientos de memoria y la compatibilidad de hardware.