Cuando las predicciones se vuelven poder: ética y riesgos de la IA

Una filósofa que vuelve a poner la estadística en el centro del debate

Carissa Véliz, la filósofa hispanomexicana que en 2020 ganó notoriedad con Privacidad es poder (Destino), regresa con un análisis crítico sobre el papel de la estadística y las predicciones en la era de la inteligencia artificial. Véliz, profesora de filosofía en la Universidad de Oxford, presenta en su nuevo libro Prophecy (Profecía, que saldrá en España en junio por Debate) una reflexión sobre cómo la cultura probabilística asociada al machine learning convierte estimaciones en afirmaciones con apariencia de certeza y cómo eso repercute en la vida social y política.

La entrevista que concedió a EL PAÍS desde Madrid sirve de punto de partida para repensar la relación entre datos, poder y responsabilidad. Para Véliz, no se trata solo de errores de cálculo o sesgos algorítmicos: las predicciones tienen un peso performativo que puede transformar lo que pretenden describir.

Predicciones: de descripción a mandato

Una de las ideas centrales que plantea Véliz es que las predicciones no son meras descripciones neutras del mundo. En la práctica, cuando una estimación se comunica como si fuera un hecho, condiciona expectativas y comportamientos. Esas expectativas, a su vez, influyen sobre las decisiones individuales y colectivas, y pueden contribuir a que la predicción se cumpla. En otras palabras, las predicciones pueden funcionar como órdenes disfrazadas de búsqueda de conocimiento.

Este efecto es particularmente relevante en contextos en los que las decisiones públicas y privadas dependen cada vez más de modelos predictivos: desde servicios financieros y seguros hasta políticas de seguridad y programas sociales. Cuando las predicciones determinan asignación de recursos, acceso a oportunidades o vigilancia, su carácter performativo adquiere consecuencias éticas profundas.

Una historia no neutral: probabilidades, censos y control social

Véliz propone remontarse a los orígenes de la estadística y la probabilidad para entender su carga política. Aunque las matemáticas tienen una historia milenaria, el tratamiento formal de la probabilidad es relativamente reciente y se difundió en paralelo con herramientas como los censos. Autores como Francis Galton jugaron un papel clave en la consolidación de técnicas estadísticas aplicadas a poblaciones humanas.

La aplicación de las distribuciones y medidas de tendencia central a asuntos sociales implicó también la imposición de normas sobre lo que se consideraba «normal» y lo que quedaba etiquetado como desviación. Esa normatividad estadística fue útil en proyectos coloniales y de control poblacional: categorizar, medir y gobernar poblaciones facilita la administración y, en muchos casos, la exclusión.

En la actualidad, la estadística y el machine learning heredan esas dinámicas. Modelos entrenados con datos históricos tienden a reproducir patrones de discriminación y a consolidar categorías que no respetan la complejidad individual. La consecuencia es una reducción de la idiosincrasia humana a números y etiquetas rígidas.

La burocracia de los números y la pérdida de rendición de cuentas

Otro aspecto que destaca Véliz es la confianza acrítica en los números como legitimadores. Tras la erosión de justificantes tradicionales del poder (por ejemplo, la autoridad religiosa o monárquica), los burócratas y administraciones han recurrido cada vez más a resultados cuantitativos para validar decisiones. Los procesos automatizados y modelos algorítmicos se presentan como impartiales, pero en realidad ocultan decisiones humanas previas: qué datos se usan, qué variables se seleccionan y qué objetivos persiguen.

Cuando una decisión se apoya en una supuesta objetividad estadística, la atribución de responsabilidades se diluye. Si algo sale mal, la explicación habitual es que «la máquina falló», y las personas que diseñaron o implementaron el sistema quedan fuera del primer plano. Ese efecto reduce la rendición de cuentas y transforma a los sistemas tecnológicos en agentes impersonales que empujan a la gente a comportarse según las categorías que ellos mismos definieron.

IA, categorización y erosión de la diversidad humana

Véliz observa que la categorización propia de la estadística puede convertir profesiones, identidades y trayectorias en casillas rígidas. Antes de la estandarización administrativa, muchas identidades laborales y sociales eran fluidas y mixtas; las categorías burocráticas homogeneizan esa diversidad. En la práctica, cuando los subsidios, beneficios o sanciones se atan a categorías predefinidas, quienes no encajan enfrentan desventajas.

La tecnología potenciada por IA amplifica esto: modelos que «leen» perfiles, clasifican comportamientos o estiman riesgos tienden a presionar a las personas para que se adapten a las categorías que los sistemas reconocen. Así, la estadística deja de ser una herramienta de conocimiento para convertirse en un mecanismo que configura realidades.

Implicaciones para América Latina

Aunque Véliz habla desde la experiencia europea y anglosajona, las observaciones tienen relevancia directa para América Latina. En la región, donde las desigualdades estructurales y la heterogeneidad social son marcadas, la adopción de sistemas predictivos sin un debate público amplio puede intensificar exclusiones preexistentes. Programas sociales, procesos de fiscalización, decisiones crediticias y herramientas de seguridad que recurren a modelos automatizados necesitan evaluaciones de impacto que consideren no solo la precisión técnica, sino también los efectos sociales y éticos.

Además, los procesos de digitalización estatal y la proliferación de datos administrativos requieren transparencia y mecanismos claros de rendición de cuentas para evitar que las herramientas diseñadas para mejorar eficiencia terminen reforzando sesgos históricos.

Hacia una ética de las predicciones

La reflexión de Véliz invita a repensar cómo comunicamos, diseñamos y usamos predicciones. No basta con mejorar algoritmos: hace falta entender que presentar probabilidades como certezas puede transformar comportamientos y consolidar desigualdades. La solución no es rechazar la estadística, sino plantear límites, controles democráticos y mayor responsabilidad sobre quién decide los objetivos detrás de los modelos.

Para tomadores de decisión, legisladores y líderes tecnológicos en América Latina, el desafío es doble: incorporar herramientas de datos que aporten valor sin perder de vista la dignidad individual, y construir marcos regulatorios y procedimientos de auditoría que preserven la rendición de cuentas cuando los números se convierten en decisiones.

Conclusión

El nuevo libro de Carissa Véliz plantea una advertencia clara: la cultura probabilística de la IA no es neutral y sus predicciones pueden funcionar como órdenes que moldean el futuro. Reconocer el poder performativo de las predicciones es el primer paso para diseñar políticas y tecnologías que respeten la diversidad humana y garanticen justicia y responsabilidad en la era digital.