Quién responde por las palabras: responsabilidad humana frente a la IA en la participación pública

El problema: palabras sin dueño en procesos cívicos

Cuando gobiernos y autoridades abren períodos de consulta pública, esperan recibir retroalimentación que refleje opiniones y experiencias de ciudadanos reales. Históricamente, los revisores aprendieron a detectar campañas masivas de mensajes falsos por patrones obvios. Pero la llegada de modelos de lenguaje avanzados cambió la ecuación: ahora es posible generar comentarios que parecen auténticos y distintos entre sí, complicando la identificación de qué opiniones tienen una persona real detrás.

Este riesgo es el centro de la reflexión de Deb Roy, profesor de media arts and sciences en MIT y director del MIT Center for Constructive Communication (CCC). En un ensayo reciente titulado “Who stands behind the words?” Roy advierte sobre la erosión de la legitimidad en canales de participación cuando surge un volumen importante de textos a los que nadie puede responsabilizar.

Por qué es distinto ahora: el impacto de los LLM

Roy señala que herramientas como ChatGPT marcaron un punto de inflexión. No solo mejoró la profundidad y alcance de los modelos, sino también la manera en que cualquier persona puede interactuar con ellos, haciendo más fácil generar textos largos, coherentes y variados. Eso borra las ‘huellas digitales’ que antes delataban comentarios automatizados —párrafos repetidos, plantillas— y deja a los revisores sin criterios sencillos para distinguir lo genuino de lo fabricado.

El ejemplo histórico que Roy menciona es el caso de la Comisión Federal de Comunicaciones de Estados Unidos en 2017, cuando recibió más de 22 millones de comentarios sobre la propuesta de derogar normas de neutralidad de la red; posteriormente se identificó que casi 18 millones de esos comentarios eran falsos. Esa falsificación pudo detectarse porque dejó patrones evidentes en los textos. Los modelos actuales eliminan esa ventaja detectiva.

Consecuencias para la democracia y la confianza pública

La participación pública es una pieza clave en la elaboración normativa: legitima decisiones y permite que la voz de la ciudadanía influya antes de que una regla se implemente. Si los procesos de consulta quedan inundados por palabras a las que nadie pueda responsabilizar, la confianza en esos canales se derrumba. Quienes dedican tiempo a expresarse pueden sentir que no son escuchados, y las instituciones pueden volverse cínicas ante la utilidad de la retroalimentación.

Roy teme que, con suficiente volumen de comentarios no atribuibles, los receptores terminen descontando automáticamente buena parte del feedback legítimo. Eso no solo afecta decisiones puntuales: erosiona la percepción de que las instituciones están abiertas a la participación ciudadana.

La propuesta central: standing, accountability y answerability

El núcleo de la argumentación de Roy es que la tecnología no puede ser el último responsable. Aunque un sistema de IA produzca un texto convincente, debe existir una persona u organización que tenga “standing” —es decir, legitimidad y responsabilidad— para sostener y responder por esas palabras.

En términos prácticos, esto exige mecanismos que permitan atribuir autoría o respaldo humano a los mensajes que participan de procesos públicos, y que garanticen que alguien pueda explicar, rectificar o asumir consecuencias por el contenido difundido. Sin ese nivel de “answerability”, la rendición de cuentas se pierde.

Cómo trabaja el MIT CCC y la importancia del diseño participativo

El MIT Center for Constructive Communication, junto con Cortico, la organización sin fines de lucro cofundada por Roy, han desarrollado prácticas para facilitar diálogos grupales en contextos diversos —reuniones cívicas, escuelas, asambleas deliberativas y organizaciones privadas— usando herramientas tecnológicas, incluida la IA. Pero un principio clave en su diseño es que la tecnología sirve para apoyar el proceso, no para reemplazar la responsabilidad humana.

En la práctica, eso significa que los participantes y facilitadores pueden revisar, corregir y anular los resultados que la IA proponga en cada paso relevante. La idea es mantener la capacidad humana de supervisión y toma de decisiones, asegurando que, al final, haya una persona que responda por cada comentario público.

Implicaciones para América Latina

Aunque el ensayo de Roy se basa en experiencias y preocupaciones surgidas en Estados Unidos, las dinámicas son relevantes para América Latina. En la región hay mecanismos de consulta pública, plataformas de participación ciudadana y procesos deliberativos cuyo equilibrio democrático puede verse afectado por la proliferación de texto generado por IA. La pérdida de confianza en estos canales podría agravar brechas existentes entre gobiernos y ciudadanos, y facilitar la manipulación de agendas públicas.

No todos los países de la región cuentan con marcos regulatorios o capacidades técnicas robustas para detectar ni responder a estas prácticas. Por eso es crucial que actores públicos y organizaciones de la sociedad civil anticipen riesgos y construyan salvaguardias adaptadas a sus realidades.

Medidas prácticas que plantea la discusión

A partir de los argumentos de Roy y de la experiencia del CCC, se pueden esbozar líneas de acción que no requieren tecnologías milagrosas, sino protocolos de diseño y gobernanza:

• Integrar transparencia sobre el uso de IA: que quede claro cuándo y cómo se usa IA en procesos de análisis de comentarios.
• Exigir atribución responsable: diseñar mecanismos para que exista una persona u organización que respalde o firme los insumos derivados de IA en procesos públicos.
• Mantener control humano en la cadena de decisión: permitir revisión y corrección humana de los resúmenes o clasificaciones que la IA genere.
• Implementar auditorías y trazabilidad: conservar registros que permitan auditar el origen y la validación de opiniones agregadas.
• Fortalecer alfabetización cívica y digital: preparar a funcionarios y ciudadanos para identificar riesgos y participar con criterios informados.

Estas medidas no eliminan el problema de un día para otro, pero contribuyen a preservar la legitimidad de procesos participativos y a que la tecnología complemente —no socave— la deliberación democrática.

Conclusión: responsabilidad humana como requisito mínimo

Los modelos de lenguaje traen enormes oportunidades para analizar grandes volúmenes de texto y facilitar diálogos. Sin embargo, según Deb Roy, su uso en espacios públicos exige que nunca se conviertan en un intermediario sin rostro. Para sostener la confianza en la participación ciudadana es imprescindible que exista responsabilidad humana por las palabras que circulan, procesos de diseño que permitan la supervisión y herramientas que hagan a la IA verificable y corregible.

Para gobiernos y organizaciones en América Latina, el reto es doble: aprovechar las capacidades de la IA para mejorar la participación y, al mismo tiempo, instituir normas y prácticas que preserven la rendición de cuentas y la legitimidad cívica.