Reproducibilidad a escala: lo que aprendimos al reproducir 2,200 papers de ICML

Introducción

La reproducibilidad en investigación en IA no es un problema nuevo, pero la escala del ecosistema actual lo ha vuelto más urgente. ICML 2026 recibió 23,918 envíos y se reportó la aceptación de alrededor de 6,352 artículos; los organizadores indexaron 6,341 aceptados para el desafío. Entre el 15 de julio y el 2 de agosto de 2026, la comunidad realizó un hackathon masivo que buscó aprovechar agentes de código (Claude Code, Codex, Cursor, OpenResearch orx, entre otros) para reproducir, claim por claim, una porción significativa de esa conferencia.

El objetivo no fue solo comprobar resultados aislados, sino explorar si la misma tecnología que acelera la investigación puede también ayudar a validarla a escala. El experimento genera lecciones prácticas para grupos de investigación, comités de revisión y empresas que dependen de resultados académicos confiables —lecciones particularmente relevantes para comunidades en América Latina que buscan mejorar prácticas científicas con recursos limitados.

Cómo funcionó el hackathon

El desafío se diseñó para ser comunitario y auditable:

• Se indexaron los papers aceptados y se extrajeron las afirmaciones científicas principales de cada uno, de modo que un agente pudiera comenzar desde objetivos concretos y verificables.
• Cualquier participante podía traer su propio agente y stack: los equipos usaron desde Claude Code hasta Codex, Cursor y orx. Los organizadores proveyeron una interfaz para que el agente obtuviera el paper, las claims y las instrucciones con un solo comando.
• Cada ejecución produjo un Trackio logbook: un Space estático en Hugging Face con el código, los artefactos y, opcionalmente, el rastro completo del agente subido como dataset.
• Un juez automático (un modelo de pesos abiertos GLM-5.2) volvió a leer cada logbook y emitió un veredicto por claim: verificado, falsificado, toy (evidencia a escala reducida) o inconcluso. El juez trató explícitamente la autoevaluación del autor del logbook como no confiable.
• Se proporcionaron $20 en créditos de cómputo de Hugging Face Jobs por participante; en total se lanzaron 2,962 jobs en la nube.
• Cuando no fue posible una reproducción completa (por ejemplo, datasets propietarios o checkpoints no publicados), se realizaron reproducciones toy con datos sintéticos que imitaran propiedades relevantes.

La comunidad produjo 6,816 logbooks y atacó 2,226 papers —aproximadamente un tercio de la conferencia— con 35,908 afirmaciones juzgadas y 274 datasets completos con trazas de agentes publicados.

Resultados clave

Al agregar los veredictos por paper se observaron patrones interesantes:

• 51% de los papers examinados (1,103) tuvieron al menos una afirmación verificada. De esos, 266 fueron reproducidos por completo (todas sus afirmaciones verificadas) y 632 más fueron parcialmente reproducidos sin que nada fuera falsado. En total se confirmaron 3,978 afirmaciones con experimentos reales.
• 23% de los papers examinados (496) tuvieron al menos una afirmación falsada o contestada. Dentro de este grupo hay 49 papers donde todas las afirmaciones fueron falsadas y nada pudo verificarse.
• 242 papers mostraron un resultado especialmente revelador: equipos independientes alcanzaron veredictos opuestos sobre la misma afirmación, lo que subraya que la reproducibilidad no es binaria y puede ser adversarial.
• El resto quedó en estados intermedios: 502 papers con evidencia solo a escala toy, y 280 donde no se pudo establecer nada por falta de artefactos o recursos.

Reproducciones ejemplares

Algunos trabajos resistieron la auditoría comunitaria de forma contundente. Por ejemplo:

• “Flat Minima and Generalization: Insights from Stochastic Convex Optimization” fue reproducido por 20 equipos independientes; 12 de ellos verificaron todas las afirmaciones. Uno de los logbooks incluso publicó la traza completa del agente.
• “A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness” tuvo 14 de 17 logbooks que verificaron sus afirmaciones, un caso curioso donde agentes basados en LLMs confirmaron un diagnóstico sobre la falibilidad de jueces LLM.

Estos casos muestran que cuando los artefactos son accesibles y las afirmaciones son operacionales, los agentes pueden producir reproducciones sólidas y repetibles.

Falsificaciones y verificación adversarial

El hallazgo de que casi una cuarta parte de los papers examinados contuvieron al menos una afirmación falsada o disputada es una llamada de atención. No significa que la investigación sea inútil, sino que la validación automatizada y comunitaria puede descubrir limitaciones, supuestos no declarados, dependencias de datos o errores en implementaciones.

Además, la existencia de 242 papers con veredictos contradictorios evidencia que reproducir no es siempre repetir: las diferencias en preprocesamiento, semillas aleatorias, prioridades de cómputo, interpretaciones de la metodología o incluso bugs sutiles en agentes pueden llevar a conclusiones distintas. Esto remarca la necesidad de trazabilidad, artefactos completos y estándares claros para compartir resultados.

Implicaciones para América Latina

Para investigadores y decisores en América Latina, el experimento ofrece varias lecciones prácticas:

• Escalar auditorías es posible con agentes: grupos académicos e industriales regionales pueden usar agentes para validar trabajos internos o colaboraciones con menos esfuerzo humano directo.
• La dependencia de artefactos públicos importa: cuando datasets o checkpoints no están disponibles, la reproducibilidad se detiene. Promover políticas de datos abiertos y repositorios locales puede elevar la calidad de la investigación regional.
• Formación y control humano siguen siendo clave: los agentes aceleran, pero no sustituyen la interpretación crítica. Equipos en LATAM pueden combinar agentes con revisiones humanas enfocadas para mejorar la fiabilidad.

Lecciones y próximos pasos

El hackathon muestra que la misma tecnología que acelera la publicación también permite auditorías masivas y recurrentes. Algunas recomendaciones prácticas que surgen del ejercicio:

• Publicar artefactos completos (código, seeds, checkpoints y scripts de evaluación) debe ser la norma para nuevos trabajos.
• Adoptar formatos de logbook auditable favorece la trazabilidad y reduce fricciones para revisiones externas.
• Combinar juicios automáticos con controles humanos y dialogar con autores cuando surjan contradicciones ayuda a resolver discrepancias técnicas.

Finalmente, la experiencia enfatiza que reproducibilidad no es una propiedad binaria: es un proceso que puede ser iterativo, colaborativo y, sí, a veces adversarial. Los agentes amplían la capacidad de la comunidad para hacer esa validación de forma más frecuente y amplia; la responsabilidad de interpretar resultados, mejorar prácticas y mantener estándares recae en humanos y organizaciones.

El hackathon de ICML 2026 es un hito: demuestra que es viable auditar una conferencia a gran escala y nos deja un catálogo de veredictos, herramientas y metodologías que pueden ayudar a elevar la confiabilidad de la investigación en IA en todas las regiones, incluida América Latina.