99% IA en la novela premiada: qué revela el caso Pangram sobre detectores y confianza

El escándalo en resumidas cuentas

En julio, la novela ‘Donde el agua trabaja’ de David Silva Rojas se alzó con el primer Premio Internacional de Novela Breve Almadía Ventosa-Arrufat, dotado con 20.000 euros y seleccionado entre más de 2.200 obras llegadas de 22 países. Las bases del concurso eran claras: participar implicaba declarar que la obra no había sido escrita, ni parcial ni totalmente, con herramientas de inteligencia artificial; cualquier indicio conduciría a la descalificación.

Tras su publicación en septiembre y durante la presentación en España, El País informó que, al pasar el texto por Pangram —un detector comercial de contenido generado por IA—, el resultado arrojó que el 99% del libro habría sido generado por un modelo de lenguaje. La noticia encendió un debate que va más allá de un caso puntual: cuestiona la fiabilidad de los detectores y plantea dilemas sobre cómo probar la autoría en la era de las herramientas de escritura asistida.

¿Qué es Pangram y cómo dice funcionar?

Pangram es un clasificador de texto desarrollado por Pangram Labs que utiliza redes neuronales para estimar si un texto fue escrito por un humano o por un modelo de lenguaje. Su entrenamiento incorpora técnicas para reducir falsos positivos, afirma no discriminar a hablantes no nativos de inglés, emplea “prompts espejo” y realiza análisis por secciones del texto.

La propia compañía presenta tasas de error muy bajas: 0,0041% de falsos positivos y 0,34% de falsos negativos. Además, un estudio independiente de la Universidad de Chicago lo comparó con otros detectores comerciales y concluyó que Pangram es menos proclive a clasificar texto humano como generado por IA.

Sin embargo, Pangram Labs es también una interesada en que su detector resulte confiable, lo que exige considerar esos números con prudencia.

El experimento de El País y su método de control

El artículo que desató la polémica no se limitó al libro premiado: según relata Kiko Llaneras, se analizaron 175 éxitos editoriales con Pangram. Entre los hallazgos destacados está que 4 de cada 10 bestsellers autopublicados en Amazon mostraron al menos un 25% de texto identificado como generado por IA.

Para calibrar el detector, los investigadores usaron tres controles: 56 libros publicados entre 2019 y 2020 (antes del boom de ChatGPT), que dieron 0% IA; textos sintéticos creados con IA, que Pangram detectó como tal; y obras de autores consagrados como Javier Cercas, Isabel Allende y Antonio Muñoz Molina, que también arrojaron 0%.

Estos controles ayudan a sostener que el detector no está indiscriminadamente señalando como IA textos claramente humanos, pero no eliminan la posibilidad de errores puntuales ni de manipulaciones que alteren el resultado.

Límites comprobados: manipulación y muestras pequeñas

Varios investigadores y divulgadores han mostrado que los detectores no son infalibles. Por ejemplo, si un ensayo humano pasa por una IA comercial y se le aplican modificaciones sustanciales, Pangram clasificó esos textos como humanos en el 41% de los casos analizados. Esto demuestra que los modelos de consumo pueden enmascarar la huella de una IA o, alternativamente, introducir rasgos que confunden al detector.

Además, pruebas sencillas han demostrado que cambios mínimos —añadir un espacio, modificar dos frases o alterar pocas palabras— pueden cambiar drásticamente el veredicto. Experimentos públicos, como los de Pedro Torrijos y otros, muestran variaciones desde 100% humano a 100% IA con ediciones pequeñas del texto. También se recuerda la retirada del detector de OpenAI tras reconocer su baja tasa de acierto, un recordatorio de lo complejo que es resolver este problema.

¿Qué significa un 99% de contenido generado por IA?

Un porcentaje alto en un detector no equivale a una sentencia sobre autoría. Estas herramientas ofrecen estimaciones de probabilidad sobre si el lenguaje se asemeja a lo producido por modelos, pero no distinguen bien el rol exacto de la persona frente a la máquina. Diferentes escenarios son posibles:

• El autor pudo haber usado la IA para generar borradores o párrafos enteros.
• La IA pudo haber servido como correctora de estilo, reescritora o sugeridora de tramas.
• La IA pudo haber aportado ideas puntuales (personajes, giros) mientras el autor mantuvo la dirección creativa.

El porcentaje, por sí solo, no responde cuánto contribuyó cada parte. Por ello, cuando hay sospechas razonables, lo lógico es solicitar borradores, archivos de edición o históricos que permitan reconstruir el proceso creativo.

El artículo recuerda además un caso humano-humano: las memorias de Andre Agassi fueron escritas por el periodista J. R. Moehringer tras 250 horas de entrevistas. El hecho de que otro humano escriba la obra y que la firme otra persona es una analogía útil: la autoría puede ser compleja y no siempre binaria.

El problema ético y procesal para concursos y editoriales

El episodio tiene implicaciones claras para convocatorias, jurados y editoriales, también en América Latina. Las bases que prohíben el uso de IA son legítimas, pero su cumplimiento exige procesos justos y evidencias sólidas antes de castigar. Hay dos preocupaciones centrales:

• Un falso positivo puede arruinar reputaciones y carreras, especialmente para autores emergentes. La dependencia de un detector como única prueba plantea riesgos importantes.
• Un falso negativo, en cambio, beneficia inadvertidamente a quienes usan IA y no se detectan, con menos coste reputacional.

Que una IA determine si otra IA fue usada y que esa verificación tenga consecuencias disciplinarias es una mezcla de ironía y riesgo. Las instituciones culturales deben complementar estas herramientas con auditorías humanas, transparencia en los criterios y canales para que los acusados puedan aportar pruebas.

Relevancia para América Latina

El caso afecta de manera especial al panorama literario latinoamericano, donde concursos, premios y pequeñas editoriales son vías cruciales para la visibilidad de autores emergentes. Una acusación pública basada únicamente en un detector podría desalentar la participación o marginar voces que, por diversas razones, recurren a herramientas tecnológicas para pulir su prosa.

Además, las comunidades editoriales y académicas de la región deben prepararse para debates sobre regulación, políticas de verificación y capacitación en el uso responsable de asistentes de escritura. Mantener concursos claros y procedimientos de investigación será clave para preservar la confianza.

Recomendaciones prácticas

• No tomar el resultado de un detector como veredicto definitivo: usarlo como indicio para abrir una investigación.
• Solicitar borradores, archivos de edición y otros metadatos cuando exista sospecha razonable.
• Complementar detección automática con revisión humana experta y, si procede, con peritajes técnicos.
• Revisar las bases de concursos para incluir cláusulas sobre verificación y derechos de defensa del autor.
• Fomentar formación en uso ético de IA entre autores y jurados: saber cuándo una herramienta aporta valor y cuándo su uso contradice las reglas.

Conclusión

El caso de ‘Donde el agua trabaja’ pone en el centro un problema mayor que la sospecha sobre una sola novela: revela que la tecnología para detectar textos generados por IA mejora, pero no es infalible. Las decisiones que afectan carreras y reputaciones no deberían depender únicamente de una herramienta automática. Para proteger la integridad de la literatura y la justicia en concursos, hacen falta procesos transparentes, estándares claros y una combinación de verificaciones técnicas y humanas. En la región, esos mecanismos serán clave para adaptar prácticas editoriales y curatoriales a una realidad donde las herramientas de escritura asistida son cada vez más comunes.