Por qué CyberSecQwen-4B demuestra que la ciberdefensa necesita modelos pequeños y ejecutables localmente

Resumen

En contextos de ciberseguridad, las soluciones basadas en grandes modelos generales presentan dos problemas clave: exponencia de costos y riesgo de exfiltración de datos al enviar material sensible a APIs externas. CyberSecQwen-4B es una apuesta distinta: un modelo especializado de 4 mil millones de parámetros afinado para tareas concretas de inteligencia de amenazas (CVE→CWE, clasificación CWE, preguntas y respuestas estructuradas de CTI) que puede ejecutarse localmente en una GPU de 12–16 GB o en una instancia de 192 GB AMD MI300X para entrenamiento. El equipo detrás del proyecto demuestra que, para tareas bien definidas, un modelo pequeño y acertadamente afinado puede igualar o superar a alternativas más grandes y ser mucho más práctico para despliegues reales.

¿Por qué importa ejecutar modelos localmente en ciberdefensa?

Hay razones técnicas, operativas y regulatorias que hacen que «local» deje de ser un lujo y pase a ser un requerimiento:

• Privacidad y cadena de custodia: un analista de SOC que está revisando volcados de credenciales, un ingeniero de malware analizando una muestra o un investigador de vulnerabilidades redactando un CVE no pueden confiar en servicios externos donde los datos sensibles salgan de la organización.
• Costos operativos: un SOC mediano procesa miles de alertas diarias. El costo por llamada a una API de modelo hospedado se acumula y puede convertir la automatización defensiva en un problema presupuestario.
• Realidades de infraestructura: en sectores como salud, gobierno o energía, los entornos son a menudo air-gapped o parcialmente conectados; las herramientas que no corren en una laptop o en una GPU local no se despliegan ahí.
• Ritmo adversario: grupos criminales ya automatizan ciertas fases de ataque (phishing multilingüe, fuzzing y explotación automatizada). La defensa necesita modelos que los equipos controlen y puedan ejecutar a la misma velocidad.

Por estas razones, la solución propuesta no es un gran modelo general que dependa de datacenters externos, sino un modelo especializado, pequeño y ejecutable on-prem.

¿Por qué un modelo pequeño y especializado en lugar de uno grande ejecutable localmente?

Un modelo «local» no basta por sí solo. Un modelo de 70B distribuido en varias GPUs puede considerarse local, pero no es práctico ni desplegable en muchos entornos. Por otro lado, un genérico de 4B que no esté adaptado a ciberseguridad puede quedarse corto en precisión para tareas críticas.

CyberSecQwen-4B se diseñó con la hipótesis de que, para tareas específicas de inteligencia de amenazas bien evaluadas, una afinación cuidadosa de un modelo 4B puede igualar o superar a un especialista de 8B, pero con requisitos de hardware mucho más modestos: cabe en una tarjeta de 12 GB y es viable para despliegues on-prem y en laptops potentes.

Resultados comparativos relevantes

El equipo comparó CyberSecQwen-4B con la mejor línea base pública disponible: Foundation-Sec-Instruct-8B de Cisco, usando el protocolo de evaluación publicado por Cisco sobre CTI-Bench. Algunos resultados clave (CTI-Bench, n=5, temperatura 0.3):

• CTI-MCQ (2,500 ítems): CyberSecQwen-4B = 0.5868 ± 0.0029; Foundation-Sec-Instruct-8B = 0.4996. Ventaja: +8.7 puntos porcentuales.
• CTI-RCM (1,000 CVE→CWE ítems): CyberSecQwen-4B = 0.6664 ± 0.0023; Foundation-Sec-Instruct-8B = 0.6850. Diferencia: −1.9 pp.
• Parámetros: 4B vs 8B (CyberSecQwen-4B tiene la mitad de parámetros).

En resumen: CyberSecQwen-4B retiene el 97.3% de la precisión de la línea base en CTI-RCM y supera a la línea base en CTI-MCQ por un margen significativo, pero con la mitad de parámetros. Para un defensor que prioriza despliegue, costo y privacidad, ese balance es decisivo.

Cómo se entrenó (resumen técnico)

• Hardware de entrenamiento: todo el pipeline se ejecutó de punta a punta en una única AMD Instinct MI300X con 192 GB de HBM3, aprovechando ROCm 7 y la pila vLLM. Este tamaño de memoria permitió evitar técnicas de cuantización o particionado del modelo durante el entrenamiento.
• Base: Qwen3-4B-Instruct-2507 (un modelo 4B ya instruccionado y con licencia Apache-2.0).
• Datos de entrenamiento: dos corpus liberados bajo Apache-2.0: (1) mapeos CVE→CWE de 2021 derivados de registros públicos de MITRE/NVD, con deduplicación frente a CTI-Bench para evitar contaminación; (2) preguntas y respuestas sintéticas de analista defensivo, generadas con un teacher más fuerte y licenciadas para redistribución.
• Estrategia: se afinó sobre el checkpoint instruccionado (no sobre el pre-entrenado puro) para mantener el formato de respuesta concisa que favorece pruebas tipo MCQ; la afinación recuperó y mejoró métricas que la pasada instrucción había erosionado.

Parámetros y receta de afinado (resumen)

• LoRA con r=64, alpha=64, dropout=0.05
• Learning rate: 5e-5 (cosine schedule, warmup 3%)
• Épocas: 10
• Precisión: bf16
• Atención: FlashAttention-2 (forward + backward)
• Longitud máxima: 4096
• Batch: 4 (sin acumulación)
• Optimizer: paged_adamw_8bit

Ese conjunto permitió un entrenamiento eficiente y, gracias a FlashAttention-2 y la arquitectura de la MI300X, tiempos de paso competitivos.

Portabilidad y consideraciones prácticas

Aunque la prueba de concepto se ejecutó en una MI300X de 192 GB, el script de entrenamiento es hardware-agnóstico: para GPUs de datacenter de 40 GB+ basta ajustar variables específicas de AMD y reinstalar las dependencias de flash-attn correspondientes. El equipo además entrenó una versión hermana en una pila distinta para verificar portabilidad.

Para organizaciones latinoamericanas esto significa que, aun sin acceso a infraestructura avanzada en la nube, es viable desplegar modelos especializados en servidores on-premises o en instancias de proveedores locales que ofrezcan GPUs compatibles. La posibilidad de correr en tarjetas de 12 GB reduce la barrera de entrada.

Qué implica para equipos y tomadores de decisión

• Ahorro y predictibilidad de costos: modelos pequeños y afinados evitan facturas recurrentes por llamadas a APIs externas y facilitan el dimensionamiento presupuestario.
• Cumplimiento y seguridad de datos: al mantener el procesamiento dentro del perímetro, se reduce la superficie de exposición de evidencia sensible.
• Velocidad operacional: despliegues locales permiten que la automatización defensiva opere al ritmo que exige la automatización adversaria.

Conclusión

CyberSecQwen-4B no busca reemplazar a los modelos de gran escala en cada papel, sino demostrar que, para tareas concretas de inteligencia de amenazas, un modelo de 4B afinado puede ofrecer un equilibrio superior entre rendimiento, privacidad, coste y facilidad de despliegue. Para organizaciones en América Latina —donde las restricciones de presupuesto y cumplimiento suelen ser más acuciantes—, este enfoque es especialmente relevante: permite llevar IA eficaz a operaciones reales de ciberdefensa sin sacrificar control sobre los datos ni incurrir en costos operativos desproporcionados.

Para equipos que gestionan SOCs, incidentes o investigación de vulnerabilidades, la lección es clara: no subestimen el valor de modelos especializados y ejecutables localmente. La capacidad de ejecutar, actualizar y auditar modelos dentro del perímetro puede ser tan importante como la métrica de precisión más alta en un benchmark público.