BotPsy: asistente personal on-device de 0.8B parámetros para flujos agenticos
BotPsy es un modelo pequeño (0.8B parámetros) diseñado para ejecutar asistentes personales on-device y flujos agenticos con uso de herramientas. Logra resultados SOTA en su categoría y reduce dependencia de LLMs en la nube.
Introducción
La dependencia de grandes modelos en la nube plantea costos operativos variables, riesgos de disponibilidad y limitaciones en personalización y privacidad. Frente a eso, surge una tendencia clara: modelos más pequeños y especializados, capaces de correr localmente y realizar tareas concretas con eficiencia y control de datos. BotPsy es una propuesta en esta dirección: un modelo de 0.8 mil millones de parámetros pensado para asistentes personales que ejecutan acciones mediante llamadas a herramientas (function calling) y flujos agenticos.
¿Qué es BotPsy y para qué fue creado?
BotPsy es un modelo desarrollado sobre Qwen3.5-0.8B y afinado para tareas de uso de herramientas y comportamiento agentico. Está pensado para correr on-device, lo que facilita implementaciones con menor costo operativo y mayor control sobre la privacidad de los datos. Su objetivo es actuar como un “asistente personal” capaz de apoyar en dominios cotidianos como búsqueda web, viajes y lifestyle, comercio y finanzas, operaciones de negocio y atención al cliente, control de dispositivos y vehículos, manejo de archivos y documentos, calendario, correo y mensajería.
Por su tamaño —0.8B parámetros— BotPsy está orientado a tareas de baja y media complejidad. No es un reemplazo para modelos frontier en aplicaciones de alta criticidad, pero sí ofrece una combinación atractiva de capacidad, eficiencia y seguridad para muchas cargas de trabajo rutinarias.
Rendimiento en benchmarks: sorprendente para su tamaño
BotPsy alcanza resultados de referencia (SOTA) dentro de su categoría de modelos hasta 1.2B parámetros, superando a varios competidores y, en muchos casos, incluso a un hermano mayor de 2.5× su tamaño (Qwen3.5-2B-Think). Algunos puntos destacados:
- Mejora significativa sobre su base: en BFCL v4 sube de 23.4 a 44.0; en ACEBench de 30.1 a 58.7; y en τ-bench (media de retail, telecom y banca) de 23.2 a 51.5.
- Lidera cinco de seis benchmarks tool-use y agenticos comparados (BFCL v4, ACEBench, τ-bench, ToolSandbox, BrowseComp-Plus y Claw-Eval), y frente a modelos de hasta 1.2B parámetros muestra mejor desempeño en todos ellos.
- Frente a Qwen3.5-2B-Think (2.5× su tamaño) obtiene la mayor puntuación en cinco de seis pruebas, por ejemplo BFCL v4 (44.0 vs 37.7), ACEBench (58.7 vs 55.4) y ToolSandbox (64.6 vs 41.2). En Claw-Eval Qwen3.5-2B-Think lidera (48.9 vs 46.5).
Además, BotPsy conserva y mejora conocimiento general respecto a modelos de tamaño similar, aunque la capacidad de conocimiento sigue escalando en general con el conteo de parámetros.
Capacidades prácticas y comportamientos relevantes
-
Flujos multi-turn más confiables: en escenarios donde el agente debe mantener conversaciones largas y seguir políticas estrictas, BotPsy obtiene puntuaciones notables —por ejemplo, en τ²-bench alcanza 82.5 en telecom, por encima de Qwen3.5-2B-Think (69.3). En tareas multi-turn de BFCL v4 sube de 7.5 a 46.1 frente a su base.
-
Saber cuándo no actuar: un buen agente debe también rechazar acciones inapropiadas. En pruebas de alucinación de BFCL v4, BotPsy logra 86.1, la más alta entre los modelos comparados. En ACEBench, donde las solicitudes pueden ser incompletas o inválidas, mejora desde 13.7 (base) a 51.3.
-
Instrucciones y conocimiento: BotPsy mejora notablemente en seguimiento de instrucciones; IFEval sube de 59.7 a 90.8, e IFBench de 22.0 a 55.9 (la mayor puntuación IFBench entre los modelos testeados de ≤1.2B). Su rendimiento en conocimiento general también asciende: GPQA Diamond pasa de 33.2 a 38.1 y MMLU-Pro de 41.6 a 48.9.
-
Eficiencia en razonamiento: cuando todos los modelos aciertan una pregunta, BotPsy requiere considerablemente menos tokens de razonamiento que su base: en GPQA Diamond usa ~3,690 tokens frente a 11,563, y en MMLU-Pro ~1,912 frente a 5,105.
Seguridad, robustez y límites
BotPsy reduce respuestas inseguras en red-teaming automatizado: produce respuestas inseguras el 21% del tiempo frente al 36% de su base, un mejor desempeño relativo frente a otros modelos de su rango (por ejemplo, LFM2.5-1.2B-Think 35% y MiniCPM5-1B-Think 47%). Bajo ataques de prompt-injection que afectan particularmente a agentes que leen salidas de herramientas no confiables, la tasa insegura baja de 46% (base) a 31%.
No obstante, BotPsy sigue siendo un modelo pequeño y comete errores; no está diseñado para aplicaciones de alto riesgo o decisiones críticas sin supervisión humana. Es importante revisar la sección de uso previsto y limitaciones antes de desplegarlo en operaciones sensibles.
Ventajas para organizaciones y contextos latinoamericanos
Para empresas y proyectos en América Latina, BotPsy ofrece varias ventajas prácticas:
-
Reducción de costos operativos: ejecutar asistentes y agentes en dispositivo puede bajar la factura de uso de APIs de LLM en la nube, especialmente relevante para servicios con volumen constante o presupuestos ajustados.
-
Privacidad y cumplimiento: el procesamiento local facilita el control de datos sensibles, algo valioso frente a marcos regulatorios y expectativas crecientes de privacidad en la región.
-
Personalización y latencia: modelos on-device permiten adaptar comportamientos a flujos locales (por ejemplo, atención al cliente en español latinoamericano) y reducir latencias en funciones críticas.
-
Accesibilidad técnica: al ser de bajo tamaño, BotPsy es viable en dispositivos con recursos limitados, lo que puede ampliar el acceso a soluciones de IA en mercados con infraestructura heterogénea.
Consideraciones para la adopción
Al evaluar BotPsy, las organizaciones deben equilibrar ventajas y limitaciones:
-
Identificar casos de uso adecuados: automatización de tareas rutinarias, asistentes de soporte, integraciones con sistemas internos y control de dispositivos son buenos candidatos.
-
Monitoreo y guardrails: incorporar supervisión humana y mecanismos de validación para acciones automatizadas reduce riesgos.
-
Localización y entrenamiento adicional: BotPsy tiene buen seguimiento de instrucciones, pero podría requerir afinamiento adicional para dialectos, jerga local o políticas corporativas específicas.
Conclusión
BotPsy representa una dirección clara en la evolución de modelos: mayor rendimiento por parámetro, enfoque en uso de herramientas y despliegue on-device con prioridades en privacidad y eficiencia. Para organizaciones latinoamericanas y equipos técnicos que buscan asistentes personales y agentes especializados, ofrece una alternativa interesante frente a depender exclusivamente de LLMs en la nube. Sin embargo, debido a su tamaño, debe emplearse en tareas de baja a media complejidad y con controles adecuados cuando las consecuencias sean significativas.
Si su proyecto necesita un asistente que ejecute flujos, maneje herramientas y opere con costes y datos bajo control, BotPsy merece evaluación práctica antes de decidir un despliegue a escala.
Fuente original: Hugging Face Blog