Ejecute agentes privados y rápidos on-device con LFM2.5-24B-A2B

Qué es LFM2.5-24B-A2B

LFM2.5-24B-A2B es un modelo de razonamiento basado en arquitectura Mixture-of-Experts (MoE) que cuenta con 24 mil millones de parámetros totales, pero donde únicamente 2 mil millones están activos por token. Esa reducción de parámetros activos por paso de razonamiento hace que cada token de inferencia sea mucho más barato en cómputo y memoria, lo que facilita ejecutar agentes constantemente en hardware local sin depender de la nube.

El modelo está pensado explícitamente para agentes: realiza una cadena de pensamiento antes de dar la respuesta final, puede invocar herramientas y está optimizado para flujos multietapa dentro de harnesses de agente populares. Esto lo convierte en una opción atractiva para empresas y desarrolladores que buscan mantener datos sensibles en sus propios servidores o dispositivos, algo especialmente relevante en mercados con regulaciones de datos estrictas o necesidades de privacidad como varios países de América Latina.

Arquitectura y entrenamiento: enfoque en razonamiento y contexto largo

LFM2.5-24B-A2B hereda la arquitectura de su predecesor y mantiene características clave: 40 capas, 64 expertos por bloque MoE con enrutamiento top-4, y una mezcla de convoluciones cortas en modo gated junto con GQA (Grouped Query Attention). Dos elementos importantes para aplicaciones multilingües y de contexto largo:

• Ventana de contexto ampliada a 131K tokens, lo que permite manejar documentos extensos, hilos de conversación muy largos o código y datos combinados en una sola pasada.
• Tokenizador ampliado en sitio que duplica el vocabulario de 65K a 128K tokens, mejorando la tokenización de lenguajes no latinos y conjuntos mixtos de scripts.

En cuanto a datos, el preentrenamiento se escaló de aproximadamente 17 trillones de tokens a ~33T. La fase intermedia añadió 2T tokens a contexto de 32K con enfoque en razonamiento, matemáticas, código, seguimiento de instrucciones y texto multilingüe; además se sumaron 300B tokens a 131K contexto centrados en datos de largo alcance. Herramientas y trayectorias multi-turn aparecen tanto en pretraining como en mid-training.

El proceso de post-entrenamiento transforma la base en un agente mediante cinco etapas: fine-tuning supervisado (SFT), especialización por “teachers”, distilación on-policy multidominio no agentica (MOPD non-agentic), distilación MOPD enfocada en tareas agenticas, y finalmente entrenamiento con refuerzo dentro de agent harnesses (Agentic RL) como OpenClaw, Hermes Agent, Pi y OpenCode.

Rendimiento en tareas agenticas y resultados de benchmark

Aunque es el más pequeño del grupo comparado, LFM2.5-24B-A2B compite con modelos MoE que tienen cerca de 50% más parámetros totales y activos. En evaluaciones contra Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it y Nemotron-3.5-Lightning, el nuevo modelo lidera o empata en varios benchmarks orientados a uso de herramientas y flujos agenticos.

Un ejemplo notable: en LiveClaw obtiene 48.09 puntos frente a 38.19 de Qwen3.6-35B-A3B. Lidera o empata en cinco de ocho benchmarks de uso de herramientas y agenticidad (AutomationBench, BFCLv4, ToolSandbox, LiveClaw y τ³-Bench Banking) y destaca especialmente en AutomationBench, donde supera por más de tres veces al siguiente modelo. También domina los tres benchmarks de seguimiento de instrucciones incluidos en la evaluación.

No obstante, modelos más grandes mantienen ventaja en tareas con alta necesidad de conocimiento factual y en ciertos benchmarks de código: GPQA Diamond, HLE, AA-Omniscience, SWE-Bench Verified (OpenCode) y SciCode. Por eso, para cargas de trabajo que demanden conocimiento enciclopédico o código complejo, es recomendable combinar LFM2.5-24B-A2B con sistemas de recuperación (retrieval) o búsquedas web.

Velocidad e inferencia: optimizado para CPU y GPU

LFM2.5-24B-A2B ofrece soporte desde el día uno en un amplio ecosistema de inferencia: llama.cpp, MLX, vLLM, SGLang y ONNX.

• Edge/CPU: decodifica 184 tokens por segundo en un Apple M5 Max y 114 tokens/s en un Ryzen AI Max+ 395, siendo hasta 1.7x más rápido que el competidor más cercano dentro de su clase y usando menos memoria.
• GPU: en una sola NVIDIA B300 alcanza más de 21,000 tokens de salida por segundo en escenarios de alta concurrencia.

Esta combinación de baja latencia por token y alta tasa de salida a GPU lo hace indicado tanto para agentes que necesitan mantener sesiones largas on-device como para despliegues en servidores con alta concurrencia.

Cómo usarlo y consideraciones prácticas

Para integrar LFM2.5-24B-A2B en su aplicación pueden usar entornos compatibles con transformers (>= 5.0.0) y servirlo detrás de cualquier backend compatible con la API de OpenAI para apuntar sus harnesses de agente. El equipo detrás del modelo provee ejemplos para cargarlo con transformers y también tiene instrucciones para configurarlo en agent harnesses como Hermes Agent.

Recomendaciones prácticas para organizaciones en América Latina:

• Privacidad y compliance: usar el modelo on-device reduce el riesgo de exposición de datos sensibles en sectores regulados (finanzas, salud, gobierno) y facilita el cumplimiento de normativas locales.
• Recuperación para conocimiento: combine LFM2.5-24B-A2B con vectores de recuperación o búsquedas web cuando la tarea requiera acceso a hechos o código actualizado.
• Infraestructura: evalúen si sus requerimientos se ajustan a CPU edge (para privacidad y costo) o a GPU (para concurrencia alta).

Casos de uso relevantes para la región

• Asistentes virtuales en banca y atención al cliente que necesiten ejecutar localmente por requisitos regulatorios.
• Automatización de procesos y RPA en manufactura, donde los agentes deben invocar herramientas internas y procesar contextos largos.
• Soporte técnico y análisis de código para equipos de desarrollo que prefieran mantener código privadamente dentro de la infraestructura local.

Conclusión y recomendaciones

LFM2.5-24B-A2B representa una alternativa interesante para empresas que priorizan correr agentes capaces de razonar y usar herramientas sin depender de la nube. Su diseño MoE, con solo 2B parámetros activos por token, logra una buena combinación de eficiencia, velocidad y capacidad para tareas agenticas. Para implementaciones en América Latina, su capacidad on-device y la compatibilidad con un ecosistema amplio de inferencia lo hacen especialmente valioso en sectores con requisitos de privacidad y cumplimiento.

Si su caso de uso demanda conocimiento muy actualizado o extensivo, considere agregar mecanismos de retrieval o búsqueda. Para despliegues locales, prueben primero en hardware representativo (CPU vs GPU) y aprovechen las bibliotecas soportadas (p. ej. vLLM, llama.cpp) para ajustar latencia, memoria y concurrencia según sus necesidades.