Etica e IA 6 min lectura

Cómo los guardrails de IA están frenando a investigadores de ciberseguridad

Las grandes empresas de IA han aplicado programas vetados y límites estrictos para prevenir usos maliciosos. Pero esas mismas barreras están dificultando la detección y validación de vulnerabilidades por parte de equipos ofensivos y defensores.

Por Redaccion TD
Cómo los guardrails de IA están frenando a investigadores de ciberseguridad

Guardrails de IA: intención y efecto secundario

En los últimos meses las principales compañías de IA han implementado programas de acceso restringido y filtros de seguridad —los llamados guardrails— con el objetivo declarado de impedir que actores maliciosos usen modelos para diseñar ciberataques. Sin embargo, esa protección, en la práctica, está complicando el trabajo de quienes se dedican legítimamente a encontrar y demostrar vulnerabilidades para que sean corregidas.

Un ejemplo reciente puso el tema en el centro del debate: en junio, el gobierno de Estados Unidos impuso controles de exportación sobre los modelos Mythos y Fable de Anthropic. La medida se dio luego de informes que sugerían la posibilidad de evadir las protecciones del modelo para construir y ejecutar ataques. Posteriormente, Fable 5 volvió a acceso general el 1 de julio y Mythos 5 fue reintroducido sólo para organizaciones estadounidenses previamente verificadas mientras continúa la revisión gubernamental.

Programas vetados y acceso especial

Tanto Anthropic como OpenAI ofrecen vías de acceso para investigadores de seguridad: Anthropic tiene su Cyber Verification Program y OpenAI su Trusted Access for Cyber. Estos programas permiten que ciertos usuarios verificados utilicen modelos con restricciones más suaves. Aun así, muchos profesionales los consideran insuficientes o arbitrarios, porque la aprobación puede ser lenta, opaca o no estar disponible para organizaciones fuera de jurisdicciones privilegiadas.

Por qué los guardrails afectan a los defensores

Para expertos en seguridad ofensiva —aquellos que buscan proactivamente fallas para arreglarlas— pedirle a un modelo que intente explotar un bug o que explique cómo se vulnera una pieza de código es una etapa esencial para confirmar si una falla es real y priorizar su corrección. Cuando un modelo se niega de plano a responder por un guardrail, la verificación se vuelve más costosa y menos eficiente.

Quienes trabajan en análisis de vulnerabilidades señalan que la misma petición puede ser tanto una herramienta defensiva como un mapa de ataque: pedir “arregla este código” ayuda a reparar errores, pero también indica rutas para explotarlos. Separar ambos usos no es trivial y los límites impuestos por los proveedores terminan afectando ambas labores.

Estrategias alternativas: modelos open source y trabajo local

Ante bloqueos o respuestas inconsistentes, algunos equipos recurren a modelos de código abierto que no traen guardrails, ejecutados localmente para mantener el control sobre los datos sensibles. Esta práctica evita el riesgo de filtrar información de vulnerabilidades a la nube del proveedor o de que esos datos se incorporen en futuras rondas de entrenamiento del modelo.

Varios investigadores y empresas han confirmado que usan modelos comerciales de primer nivel sólo para tareas de ingeniería inversa o apoyo general, y reservan el análisis y la explotación de bugs para entornos locales con modelos sin restricciones. Esa elección no es necesariamente ideológica: se fundamenta en evitar la posible exposición de información exclusiva de vulnerabilidades a terceros.

Voces desde la comunidad de seguridad

Diversos profesionales expresaron su frustración con el modo en que las grandes empresas deciden qué es “seguro” y qué no. Un investigador veterano apuntó que no le resulta cómodo que empresas tecnológicas tomen decisiones arbitrarias sobre seguridad, dado que esas determinaciones afectan el trabajo de quienes deben descubrir y mitigar riesgos.

Otro experto en seguridad comparó la herramienta con un martillo: esencial para construir, pero también capaz de ser un arma. La dualidad entre uso ofensivo y defensivo hace que cualquier regla amplia sea problemática para quienes necesitan desarrollar y validar correcciones.

Algunos investigadores declaran que, pese a las limitaciones, utilizan la IA para acelerar tareas como entender código, generar herramientas auxiliares o automatizar pasos repetitivos, pero prefieren mantener la autoría del hallazgo y la explotación final en sus propias manos. En su visión, el modelo sirve para escalar la productividad, no para reemplazar la creatividad y el juicio humano en la búsqueda de vulnerabilidades.

Impacto en organizaciones fuera de Estados Unidos

Aunque gran parte del debate se centra en decisiones regulatorias y programas de compañías estadounidenses, las implicaciones alcanzan a la región latinoamericana. Equipos de seguridad en empresas y gobiernos de la región pueden ver su acceso limitado a modelos avanzados por razones regulatorias, comerciales o por falta de inclusión en programas vetados. Esto incrementa la brecha tecnológica entre organizaciones con acceso verificado y aquellas que dependen de alternativas menos controladas.

Esa dinámica tiene dos efectos concretos: primero, obliga a muchas organizaciones a invertir en infraestructura para correr modelos localmente; segundo, puede empujar a algunos a usar proveedores alternativos o versiones sin filtros, lo que plantea dilemas de seguridad y confianza.

Coste operativo y pérdida de tiempo

Otro problema reportado por profesionales del área es la inconsistencia de las respuestas de los modelos aún dentro de programas verificados. Los guardrails pueden intervenir de forma diferente en distintos momentos, obligando a los investigadores a “negociar” con el modelo en lugar de centrarse en el análisis técnico. Ese tiempo perdido disminuye la eficiencia de los equipos y retrasa la mitigación de riesgos reales.

Hacia un equilibrio: transparencia y accesos controlados

La tensión entre seguridad pública y la necesidad legítima de investigación plantea la urgencia de soluciones más matizadas. Proveedores y reguladores podrían explorar esquemas que permitan a investigadores acreditados realizar pruebas en entornos aislados, auditorías transparentes de decisiones de bloqueo y protocolos que minimicen la fuga de datos sensibles durante los análisis.

En paralelo, la adopción y maduración de modelos open source ejecutados localmente ofrecen una vía práctica para organizaciones que no pueden acceder a programas vetados. Para América Latina, esto implica una oportunidad y un reto: invertir en capacidades técnicas locales y definir políticas que permitan el uso responsable de estas herramientas sin sacrificar la seguridad.

Conclusión

Los guardrails en modelos de IA responden a un problema real: evitar usos maliciosos de tecnologías poderosas. Pero su implementación actual también está limitando la capacidad de defensores y de investigadores éticos para descubrir, reproducir y mitigar vulnerabilidades. Encontrar un punto medio que proteja al público sin sofocar el trabajo legítimo de la comunidad de seguridad será clave para reducir riesgos y fortalecer la ciberseguridad global, incluida la de América Latina.

Fuente original: TechCrunch AI