Anthropic propone ley que podría bloquear modelos de IA por riesgos catastróficos

Resumen ejecutivo

Anthropic, el laboratorio de inteligencia artificial, ha puesto sobre la mesa un borrador de ley sobre seguridad de IA que propone condiciones concretas para impedir la distribución de un modelo. Según reportes, el texto define un “riesgo catastrófico” como un escenario en el que más de 50 personas podrían morir o podría ocurrir más de mil millones de dólares en daños materiales, siempre que el riesgo sea “previsible e inminente”.

La iniciativa sugiere que evaluadores independientes —registrados ante el Departamento de Comercio de Estados Unidos— analicen los modelos y alerten al regulador cuando detecten peligro. Si confirman un riesgo inminente, tendrían 72 horas para notificar al departamento, que a su vez debería solicitar a un juez de Washington D.C. la suspensión del lanzamiento. El borrador también restringe a otras agencias federales de detener por su cuenta la distribución del modelo.

¿Qué escenarios contempla la propuesta?

El texto identifica explícitamente tres fuentes de riesgo catastrófico relacionadas con la creación o liberación de un modelo: la creación o liberación de un arma biológica, la capacidad del modelo para evadir los controles de su desarrollador y la materialización de un ciberataque. En esos casos, si el impacto proyectado alcanza los umbrales mencionados —más de 50 muertes o daños por encima de mil millones de dólares—, la distribución podría ser bloqueada.

Estos umbrales son análogos a los incluidos recientemente en una legislación aprobada en California, conocida como Senate Bill 53, que también clasifica escenarios con esas magnitudes como riesgos catastróficos. Anthropic confirma que el borrador refleja las propuestas de su “Advanced AI Framework” y que viene promoviendo estas ideas con legisladores federales y estatales.

Evaluadores independientes: ¿solución o conflicto de interés?

El borrador plantea la figura de “evaluadores independientes” registrados ante el Departamento de Comercio. Estos evaluadores podrían ser contratados por las propias empresas de IA para realizar pruebas y análisis, con la exigencia de que el pago no dependa del resultado de la evaluación.

La propuesta intenta combinar supervisión externa con la experiencia técnica de terceros. Sin embargo, según el informe original, no queda claro cómo se impediría que la relación contractual entre laboratorio y evaluador influya, de forma directa o indirecta, en los resultados. Ese punto suscita preguntas sobre la independencia real del mecanismo y la transparencia del proceso.

Proceso de bloqueo y rol del poder judicial

Si los evaluadores detectan un riesgo inminente y lo certifican, tienen 72 horas para informar al Departamento de Comercio. A partir de allí, el Departamento debe acudir a un juez en Washington D.C. para solicitar la paralización del lanzamiento del modelo.

La exigencia de que sea un juez quien autorice la suspensión introduce un control judicial explícito en el proceso, y la prohibición de que otras agencias federales actúen por su cuenta intenta centralizar la decisión en esa ruta legal. Este diseño podría buscar evitar decisiones administrativas arbitrarias, pero también podría alargar los tiempos en momentos críticos, dependiendo de la rapidez del sistema judicial.

Industria y opiniones contrapuestas

La aparición de este borrador se produce en un contexto en el que las grandes empresas de IA han alternado entre pedir autorregulación y resistirse a leyes obligatorias. Anthropic, en este caso, ha ido más allá de algunas propuestas del sector al presentar criterios concretos para impedir lanzamientos. No obstante, otras voces de la industria han mostrado una postura diferente: por ejemplo, líderes como el CEO de Nvidia han expresado que la industria no necesita nuevas leyes, una posición que contrasta con el enfoque de Anthropic.

Además, la propia industria ha impulsado iniciativas de supervisión interna, como la propuesta de evaluadores embebidos dentro de las organizaciones. Críticos advierten que esos mecanismos voluntarios pueden ser insuficientes para abordar riesgos sistémicos, mientras que los defensores sostienen que la complejidad técnica exige expertos con acceso a los modelos.

¿Qué relevancia tiene esto para América Latina?

Aunque el borrador de Anthropic fue pensado para el marco regulatorio de EE. UU., sus ideas pueden tener eco en América Latina por varias razones:

• Las decisiones regulatorias en Estados Unidos y California suelen marcar tendencias y marcos de referencia que gobiernos y reguladores latinoamericanos observan con atención.
• Empresas de la región que usan o despliegan modelos de proveedores globales deberán adaptar sus controles internos si surgen normas internacionales más estrictas o si proveedores restringen distribuciones según los umbrales propuestos.
• La propuesta resalta la tensión entre supervisión pública y mecanismos privados de control, una discusión que varios países latinoamericanos ya enfrentan en sectores regulados como finanzas y telecomunicaciones.

Para responsables de políticas públicas y líderes empresariales en la región, la discusión apunta a la necesidad de preparar capacidad técnica y marcos legales que permitan evaluar riesgos complejos sin paralizar beneficios legítimos de la IA.

Dilemas pendientes

El borrador de Anthropic intenta traducir preocupaciones abstractas sobre el futuro de la IA en criterios operativos concretos. Aun así, quedan preguntas abiertas:

• ¿Cómo se garantizará la verdadera independencia de los evaluadores si son contratados por los mismos laboratorios?
• ¿Son los umbrales de 50 muertes o mil millones de dólares los más adecuados para definir riesgo catastrófico en todos los contextos?
• ¿Puede el proceso judicial ser lo suficientemente ágil para impedir daños inminentes sin vulnerar derechos o dar lugar a bloqueos injustificados?

Resolver estas incógnitas exigirá debates técnicos, legales y públicos, en los que deberán participar autoridades, sociedad civil, academia y la propia industria.

Conclusión

El borrador de ley de Anthropic representa un intento de traducir la llamada a mayor seguridad en IA en reglas prácticas y cuantificables. Su propuesta de evaluadores independientes, umbrales explícitos y una vía judicial para detener lanzamientos marca una postura más intervencionista que otras voces del sector, aunque sin llegar a pedir supervisión estatal directa en todos los frentes. Para América Latina, la iniciativa sirve como un aviso: las decisiones regulatorias en los centros tecnológicos del mundo pueden repercutir en políticas locales y en las estrategias de adopción de IA. El desafío será construir marcos que protejan a las personas sin obstaculizar la innovación responsable.