Nueva técnica detecta si un modelo de IA fue adaptado para generar CSAM sin crear imágenes

El problema: modelos abiertos y usos maliciosos

La popularidad de los modelos generativos ha impulsado un paisaje donde miles de variantes se publican cada mes. Muchas adaptaciones son legítimas —por ejemplo, para producir renderizados de productos en un estilo artístico— pero la misma facilidad de especialización ha permitido que actores malintencionados creen versiones capaces de generar contenido ilegal, incluyendo discurso de odio y material sexual infantil (CSAM).

El aumento es notable: el National Center for Missing and Exploited Children recibió más de 1.5 millones de reportes de CSAM generado por IA en 2025, frente a 67,000 en 2024. Esa escalada dibuja un desafío serio para plataformas, reguladores y equipos de seguridad: ¿cómo auditar modelos que podrían producir ese tipo de imágenes sin violar la ley ni expandir el daño?

En Estados Unidos y muchas jurisdicciones, generar CSAM es ilegal en cualquier circunstancia, lo que impide el enfoque estándar de seguridad —es decir, pedir al modelo que genere contenido y evaluar los resultados—. Además, exponer evaluadores humanos a ese material tiene costos psicológicos y éticos evidentes.

Un enfoque distinto: auditar adaptaciones internas

Un equipo del MIT —liderado por el estudiante de posgrado Vinith Suriyakumar y las profesoras Ashia Wilson y Marzyeh Ghassemi— en colaboración con la organización Thorn (una ONG dedicada a la protección infantil en el entorno digital), propuso una solución que evita por completo la generación de imágenes. En lugar de evaluar salidas, el método inspecciona cómo ha sido modificado el modelo durante la etapa de afinamiento.

La técnica se centra en adaptadores producidos por algoritmos de especialización eficientes, como LoRA (low-rank adaptation). LoRA permite adaptar un modelo grande a tareas concretas sin volver a entrenarlo desde cero, modificando parámetros internos mediante matrices de baja dimensión. Esos cambios —los adaptadores LoRA— contienen señales sobre la nueva capacidad del modelo.

Gaussian probing: sondear sin generar

Los investigadores desarrollaron lo que llaman “Gaussian probing”. En términos sencillos, alimentan al modelo con entradas aleatorias (muestras gaussianas) y observan cómo esas señales son transformadas a lo largo de las capas internas del modelo. Importante: no ejecutan el modelo hasta producir imágenes ni usan prompts que podrían derivar en contenido ilícito.

Al capturar las respuestas internas en múltiples puntos y promediar esas respuestas, el método resume cómo el adaptador ha alterado el cálculo del modelo. Esas huellas internas resultan ser un indicador fiable de si la adaptación habilita la generación de CSAM o de otro contenido dañino.

Resultados en pruebas reales

El equipo evaluó su técnica contra variantes de modelos que incluían adaptadores conocidos por producir CSAM, adaptadores diseñados para generar otro tipo de imágenes dañinas y adaptaciones seguras. Según el estudio, la auditoría identificó con 100% de precisión las variantes especializadas en generar CSAM.

Ese desempeño sugiere que una plataforma que aloja modelos podría aplicar esta auditoría para señalar versiones inseguras y bloquear o remover esas cargas antes de que se difundan. Además, al no depender de generar imágenes, la técnica evita violaciones legales y reduce el riesgo de exposición de evaluadores.

Ventajas prácticas: escalabilidad y robustez

Una de las fortalezas del método es su escalabilidad. Dado que la publicación de variantes de modelos es una actividad continua, las soluciones de seguridad deben ser rápidas y baratas para implementarse a gran escala. Gaussian probing cumple con esos requisitos porque no requiere el costoso proceso de evaluación manual con salidas humanas ni infraestructura para revisar imágenes.

Los autores también señalan que la técnica es más resistente frente a intentos de evasión que algunos enfoques basados en outputs. Aunque las adaptaciones malintencionadas podrían intentar ocultar su propósito cambiando prompts o filtros superficiales, las modificaciones internas capturadas por el sondeo ofrecen una señal más difícil de disfrazar.

Relevancia para América Latina

En la región, muchas plataformas y desarrolladores adoptan modelos open-source por su flexibilidad y costos. Eso facilita la creación de variantes locales que pueden mejorar productos y servicios, pero también abre la puerta al uso indebido. Tener herramientas que permitan auditar adaptaciones sin producir contenido ilegal es especialmente importante en países donde la regulación y los recursos de cumplimiento aún se están consolidando.

Organizaciones de la sociedad civil, proveedores de infraestructura y reguladores latinoamericanos pueden beneficiarse de una técnica que permita detectar y bloquear adaptaciones peligrosas de manera preventiva. Implementada por plataformas y marketplaces de modelos, la auditoría ayudaría a evitar que herramientas dañinas lleguen a usuarios finales o a actores criminales.

Límites y próximos pasos

Aunque los resultados son prometedores, la auditoría no es una solución única ni definitiva. El estudio se centró en adaptadores LoRA y en ciertos tipos de modelos; será necesario ampliar las pruebas a otros métodos de afinamiento y arquitecturas emergentes. También es clave que la comunidad investigadora colabore con plataformas y organismos de protección infantil para traducir esta técnica en políticas operativas y en herramientas de cumplimiento.

Los autores presentaron el trabajo en el taller “Trustworthy AI for Good” de la International Conference on Machine Learning, subrayando la urgencia de abordar este punto ciego en seguridad de IA. Como señaló Suriyakumar, la técnica “abre una nueva vía para que plataformas y fuerzas del orden comprueben si un modelo puede generar CSAM”. Por su parte, Wilson remarcó la dimensión humana del problema: hay “preocupaciones reales de seguridad infantil” que requieren soluciones técnicas prácticas.

Conclusión

Gaussian probing ofrece un enfoque innovador y legalmente seguro para detectar si adaptaciones a modelos generativos los han habilitado para producir CSAM, sin generar nunca imágenes. Su combinación de precisión, escalabilidad y menor riesgo para evaluadores humanos la convierte en una herramienta prometedora para plataformas y organizaciones que buscan frenar la proliferación de modelos dañinos. En América Latina, donde las variantes open-source son ampliamente usadas, adoptar auditorías de este tipo puede ser un paso crucial para proteger a menores y limitar el abuso de la tecnología.