Así funciona el ‘equipo rojo’ que prueba y rompe la IA de Microsoft antes de su lanzamiento
Microsoft mantiene desde 2018 un equipo interno —el llamado red team— que busca fallos y usos peligrosos de sus sistemas de IA antes de su despliegue. Compuesto por expertos de distintas disciplinas, tiene autoridad para frenar lanzamientos hasta mitigar riesgos severos.
Un equipo que busca el fallo antes que el adversario
Brad Smith, presidente de Microsoft, utiliza la metáfora de los «guardarraíles» para describir los límites que la compañía se impone al desarrollar inteligencia artificial. En su visión, esos principios no son ornamentales: definen cuándo conviene usar una tecnología y, sobre todo, cuándo no.
Ese enfoque práctico se materializa en el llamado “equipo rojo” o red team de Microsoft: un grupo cuya misión es romper deliberadamente los sistemas de IA antes de que lleguen a usuarios reales. La práctica, con orígenes militares y de ciberseguridad, busca simular ataques y usos indebidos para detectar vulnerabilidades y fallos que, de otro modo, podrían pasar desapercibidos.
Microsoft asegura que montó su primer red team focalizado en IA en 2018 y que desde entonces ese equipo ha analizado más de 100 productos. El objetivo esencial es responder a una pregunta sencilla pero profunda: «¿Cómo podría usarse este sistema de IA, para bien o para mal, dentro de meses o años?».
Fuente original: El Pais IA