LFM3: la nueva generación de modelos multimodales optimizados para el edge
LFM3 es la nueva generación de Liquid Foundation Models que reúne texto, visión, audio y capacidades omni en un backbone compartido en el rango de 2B parámetros. Está pensado para especializarse en su dominio, ajustarse en una sola GPU y correr en el edge.
Introducción
LFM3 es la siguiente iteración de los Liquid Foundation Models, diseñada como punto de partida para crear inteligencias especializadas. A diferencia de modelos monolíticos grandes, LFM3 ofrece varios modelos de clase ~2B parámetros —texto, visión, audio, omni y decision— todos derivados de un único backbone base. El objetivo es permitirles a equipos y empresas adaptar y desplegar modelos eficientes en dispositivos locales, con ajuste fino en una sola GPU.
¿Qué trae de nuevo LFM3?
LFM3 introduce cuatro cambios clave respecto a la familia anterior (LFM2):
- Mayor capacidad por parámetro: una nueva arquitectura tri-híbrida y una receta de entrenamiento permiten que LFM3-1.7B supere a LFM2.5-2.6B usando 35% menos parámetros.
- Un backbone para todas las modalidades: seis modelos de clase 2B se entrenan desde LFM3-1.7B-Base (texto, visión, audio, omni y decision), incluyendo el primer modelo omni y entrada de video para visión.
- Diseñado para el edge: el modelo de texto cabe en alrededor de 1 GB en precisión 4-bit; nuevos encoders internos de visión y audio aceleran el procesamiento y la ventana de contexto de texto llega hasta 256K tokens para agentes on-device.
- Pensado para especialización: cada modelo se puede fine-tunear en una sola GPU para adaptarlo a datos, terminología y entornos de despliegue concretos.
Cómo se consiguió un backbone más expresivo
LFM2 demostró que una mezcla de convoluciones cortas y atención puede ejecutar rápido en dispositivos sin sacrificar calidad. Para LFM3 se aplicó una búsqueda de arquitectura con hardware en el lazo (hardware-in-the-loop) enfocada en casos agentivos que requieren más capacidad por parámetro y latencia baja con contextos largos.
La búsqueda abarcó 14 combinaciones de dispositivos y backends (desde teléfonos y Raspberry Pi 5 hasta laptops, CPUs en la nube, GPUs y el NPU Qualcomm Hexagon). El modelo base LFM3-1.7B tiene 24 capas y cuatro modificaciones principales:
- Tri-híbrido: 13 capas de convoluciones cortas con gating, 5 capas de atención con ventana deslizante (SWA) con ventana de 256 tokens y 6 capas de atención global.
- Head-wise gated attention: cada cabeza tiene una puerta sigmoide que puede atenuar su salida, útil para suprimir outliers de activación que complican la cuantización.
- Partial RoPE: en las capas de atención global solo se rotan las frecuencias más altas de cada cabeza; la mitad restante coincide por contenido sin importar la distancia. Las capas SWA conservan RoPE completo.
- Sandwich norm: cada bloque normaliza su entrada y su salida para mantener activaciones bien escaladas.
Estos cambios rinden especialmente en contextos largos: LFM3-1.7B iguala a LFM2-1.2B en prompts cortos y es aproximadamente 25% más rápido con contextos de 8K tokens en dispositivos edge.
Un backbone, seis modelos
Todos los modelos LFM3 derivan de LFM3-1.7B-Base. En vez de usar un único modelo general, la idea es elegir el modelo que más se ajuste a los inputs y pulirlo para su caso de uso:
-
LFM3-1.7B (texto): pensado para agentes locales, tool-calling y salidas estructuradas; fue post-entrenado para funcionar en harnesses agentivos como Hermes Agent, Pi y OpenClaw. Supera a LFM2.5-2.6B con 35% menos parámetros y muestra ganancias notables en tareas agentivas (ej. WebArena-Verified: 38.42 vs 3.02).
-
LFM3-VL-2B (visión y lenguaje): entiende texto e imágenes y ahora soporta video como entrada. Razona paso a paso, identifica objetos y su disposición —base útil para robótica—. Frente a LFM2.5-VL-3B reduce parámetros (1.9B vs 3.1B) y eleva el promedio en 62 benchmarks de visión de 57.6 a 71.4, acercándose a modelos mucho más grandes.
-
LFM3-Audio-2B: procesa texto y audio y genera texto o habla; incluye encoder de audio, decodificador y LiquidCodec.
-
LFM3-Omni-2B: combina visión y audio con texto y capacidad de salida de habla.
-
d1-2B y d1-omni-2B: versiones calibradas para respuestas y verificación, construidas sobre los modelos de visión y omni.
Encoders de visión y audio
LFM3 introduce dos encoders internos diseñados por el equipo:
-
Encoder de visión: mezcla convolución y atención y consume tres veces menos cómputo que el encoder SigLIP2 usado en versiones previas. Su encoder de 164M parámetros iguala en precisión al encoder de Qwen3.5-2B mientras requiere 2.2x menos FLOPs (mediciones hechas con el mismo backbone LFM2.5-230M).
-
Encoder de audio y LiquidCodec: el encoder de audio usa atención deslizante y convoluciones cortas, es totalmente causal para permitir prefill mientras el usuario habla, con tiempos de primer token tan bajos como 50 ms. LiquidCodec convierte tokens generados en audio a cerca de 87x tiempo real en un núcleo de CPU en Apple M4 Max y soporta decodificación en streaming.
Para video, el encoder embebe cada par de frames muestreados en una sola rebanada temporal, reduciendo a la mitad la longitud de la secuencia temporal.
Uso y ajuste fino
Los modelos LFM3 se ejecutan desde la librería transformers. Para LFM3-1.7B el procedimiento básico que figura en la documentación es instalar transformers y cargar el pipeline de generación de texto. Por ejemplo, la guía sugiere usar:
pip install -U transformers
Y luego cargar el modelo con el pipeline de generación de texto, ajustando parámetros como temperatura, top_k y max_new_tokens. Para escenarios agentivos locales, hay guías específicas sobre cómo integrarlos en harnesses de agentes.
Importante: cada modelo está pensado para fine-tuning en una sola GPU, facilitando la personalización por dominio y la adaptación a terminología y flujos locales.
¿Qué significa esto para América Latina?
LFM3 reduce la brecha técnica entre modelos potentes y despliegue práctico en entornos con recursos limitados. Al caber en dispositivos y permitir ajuste fino con una sola GPU, abre posibilidades para soluciones locales en atención al cliente, moderación de contenido, asistentes en retail o salud primaria y aplicaciones de robótica en industrias clave de la región.
Además, la combinación de visión, audio y texto en modelos optimizados facilita aplicaciones multicanal (ej. kioscos interactivos, inspección visual en manufactura, asistentes de campo que operan sin conectividad constante). El enfoque en latencia baja y eficiencia energética también es relevante para desplegar IA en dispositivos móviles y entornos con conectividad intermitente.
Conclusión
LFM3 propone una apuesta práctica: capacidades multimodales modernas en un formato que se puede especializar y ejecutar cerca del usuario. Para equipos en América Latina que buscan desplegar inteligencia aplicada sin depender exclusivamente de la nube, LFM3 ofrece una base prometedora para modelos especializados, eficientes y adaptables.
Si su organización considera llevar agentes o aplicaciones multimodales al edge, LFM3 merece evaluación como punto de partida y base para fine-tuning y despliegue local.
Fuente original: Hugging Face Blog