Etica e IA 6 min lectura

Reguladores alertan sobre brechas en la gobernanza de agentes de IA

La autoridad prudencial australiana (APRA) detectó importantes vacíos en la gestión de agentes de IA en grandes entidades financieras, desde la supervisión de modelos hasta riesgos de ciberseguridad y dependencia de proveedores. El informe subraya la necesidad de inventarios, responsables claros y controles para flujos autónomos.

Por Redaccion TD
Reguladores alertan sobre brechas en la gobernanza de agentes de IA

Resumen del hallazgo de APRA

La Australian Prudential Regulation Authority (APRA) realizó una revisión dirigida a finales de 2025 sobre la adopción de IA en un conjunto de grandes entidades reguladas. El resultado principal fue que, si bien todas las instituciones revisadas estaban usando alguna forma de IA, la madurez en la gestión de riesgos y la resiliencia operativa variaba ampliamente.

APRA detectó interés fuerte de los directorios en el potencial de la IA para elevar la productividad y la experiencia del cliente, pero también constató que muchos aún estaban construyendo marcos y prácticas para gestionar los riesgos asociados. En particular, la autoridad señaló una tendencia a apoyarse en presentaciones y resúmenes de proveedores, lo que puede dejar sin el debido escrutinio riesgos específicos de los modelos, como comportamientos impredecibles o el impacto de fallos en operaciones críticas.

Riesgos operativos y de gobernanza identificados

Entre las carencias más relevantes APRA destacó:

  • Falta de monitorización adecuada del comportamiento de modelos y de medidas específicas para detectar sesgos o respuestas inesperadas.
  • Debilidades en la gestión de cambios y en los procedimientos para dar de baja o desmantelar modelos y agentes.
  • Ausencia de inventarios completos de herramientas de IA y de un responsable designado por instancia o caso de uso (“named-person ownership”).
  • Tratamiento de riesgos de IA como si fueran riesgos tecnológicos tradicionales, sin considerar la naturaleza emergente de modelos y agentes.

Además, la autoridad recordó la necesidad explícita de mantener intervención humana en decisiones de alto riesgo, una salvaguarda clave para preservar el control y la responsabilidad.

Amenazas en ciberseguridad y gestión de identidades

APRA también llamó la atención sobre la evolución del panorama de amenazas al incorporar agentes de IA. Nuevos vectores, como la inyección de prompts o integraciones inseguras, amplían las superficies de ataque. En algunos casos, los controles de identidad y acceso no se habían adaptado para considerar elementos no humanos —por ejemplo, agentes automatizados con permisos— lo que deja huecos en el control de privilegios.

El volumen creciente de desarrollo asistido por IA pone presión sobre los procesos de cambio y liberación de software, y genera demanda por controles específicos en flujos agenticos o autónomos: gestión de accesos privilegiados, configuración segura, parcheo y pruebas de seguridad para código generado por IA, entre otros.

Dependencia de proveedores y riesgos de cadena de suministro

APRA observó que varias instituciones dependían de un único proveedor para múltiples instancias de IA y que pocas podían presentar un plan de salida o una estrategia de sustitución para esos proveedores. La autoridad también advirtió que la IA puede estar presente en dependencias upstream que las entidades no necesariamente reconocen, lo que incrementa el riesgo de contagio o de pérdida de control operacional.

Este punto es crítico para organizaciones que trabajan con proveedores globales de plataformas y servicios: es necesario mapear no solo los modelos y agentes propios, sino también los componentes externos que puedan incorporar capacidades de IA.

Desarrollo de estándares y trabajo del FIDO Alliance

En paralelo a estas preocupaciones, el FIDO Alliance ha formado un Agentic Authentication Technical Working Group para desarrollar especificaciones sobre comercio iniciado por agentes (agent-initiated commerce). FIDO reconoce que muchos modelos de autenticación y autorización actuales están diseñados para interacción humana y no contemplan acciones delegadas por software. Es decir, los proveedores de servicios requieren mecanismos para verificar quién o qué autoriza una acción y bajo qué condiciones.

Dentro del proceso, se han presentado soluciones para revisión, entre ellas el Agent Payments Protocol de Google y el marco Verifiable Intent de Mastercard. Estas propuestas se alinean con la necesidad de añadir controles formales para operaciones iniciadas por agentes y mitigar riesgos de autorización indebida.

Guías de seguridad y mapeo de controles

El Centre for Internet Security (CIS) ha publicado guías complementarias de seguridad para IA que mapean los CIS Controls v8.1 a entornos con grandes modelos de lenguaje (LLMs), agentes de IA y Model Context Protocol (MCP). La guía sobre LLM aborda temas como prompts y gestión de datos sensibles; la guía de MCP se centra en el acceso seguro por herramientas de software, identidades no humanas e interacciones de red.

Estas referencias ofrecen un punto de partida práctico para adaptar controles clásicos de ciberseguridad al contexto de agentes y modelos, y son herramientas útiles para equipos de riesgo y seguridad que deben actualizar marcos y procesos.

Qué deberían hacer los directorios y equipos en América Latina

Aunque el informe de APRA se refiere al sector financiero en Australia, sus hallazgos son relevantes para entidades en América Latina que ya están incorporando IA en operaciones internas y de cara al cliente:

  • Mapear el ecosistema de IA: elaborar un inventario exhaustivo de modelos, agentes, dependencias y proveedores es el primer paso para entender la exposición.
  • Designar responsables claros: asignar ownership por instancia o caso de uso facilita la rendición de cuentas y la gestión de incidentes.
  • Alinear la estrategia de IA con el apetito de riesgo: la gobernanza debe traducir la ambición tecnológica en límites operativos y protocolos de respuesta ante errores.
  • Implementar controles de identidad y acceso para seres no humanos: revisar IAM para incluir agentes y credenciales machine-to-machine con gestión de privilegios.
  • Evaluar dependencia de proveedores y preparar planes de sustitución: reducir el riesgo de lock-in exige pensar en portabilidad y opciones de contingencia.
  • Establecer humanos en el lazo para decisiones críticas: mantener intervención humana en decisiones de alto impacto operacional o reputacional.

Conclusión

La revisión de APRA destaca que la adopción de IA ya es generalizada en grandes instituciones, pero que la gobernanza y los controles no han evolucionado al mismo ritmo. Para evitar sorpresas operativas, problemas de seguridad o dependencia excesiva de proveedores, las organizaciones deben priorizar inventarios, responsabilidades claras, controles específicos para agentes y planes de contingencia.

Para América Latina, el llamado es doble: por un lado, aprovechar las oportunidades de eficiencia y servicio que ofrece la IA; por otro, invertir en gobernanza y seguridad desde las etapas tempranas de implementación. Las guías técnicas y el trabajo de estándares internacionales, como los del FIDO Alliance y el CIS, ofrecen marcos útiles que pueden adaptarse al contexto regional mientras los reguladores locales consideran sus propios requerimientos.

Fuente original: AI News