Por qué no conviene confiar siempre en LLMs como jueces: entender el sesgo en la evaluación automática

Introducción

La promesa de usar LLMs como “jueces” es clara: rapidez, bajo costo por unidad y escalabilidad. Por eso se los emplea para tareas que van desde calificar código de estudiantes hasta ordenar postulaciones o papers. Pero, como señaló un investigador en un taller reciente, “no pueden confiarse siempre como jueces”. Los modelos aprenden de texto humano en la web y de las preferencias de quienes los alinean, y con eso también absorben atajos y sesgos.

En la práctica, esos sesgos se vuelven críticos cuando las alternativas son muy parecidas en calidad. Si una respuesta es claramente superior, el sesgo no suele cambiar el resultado. El problema aparece en la normalidad: respuestas comparables donde el juez automático aplica sus priors y decide por factores irrelevantes.

Por qué los jueces automáticos son parciales

El origen común de los sesgos es que el modelo responde a partir de sus priors en vez de apoyarse estrictamente en la evidencia que se le presenta. Durante su entrenamiento, el modelo observó asociaciones como “respuesta larga = mayor esfuerzo”, “citas = rigor” o “consenso = correcto”. Además, en la fase de alineamiento, el aprendizaje reforzó lo que a humanos evaluadores les parecía bien: respuestas pulidas, confiadas y completas. El resultado: el modelo interpreta “esto parece bueno” como sinónimo de “esto es bueno”.

Tipos de sesgo que conviene conocer

A continuación, describo los sesgos más relevantes que aparecen cuando los LLMs actúan como evaluadores.

1. Sesgo de posición

Qué ocurre: el veredicto cambia según el lugar donde aparece una respuesta en el prompt (por ejemplo, si está en la posición A o B).

Por qué sucede: el modelo no procesa cada parte del input de la misma forma; suele privilegiar el inicio y el final porque el texto humano acostumbra a ubicar lo más fuerte al principio o al final. El modelo internalizó esa convención.

Impacto práctico: en comparaciones de dos opciones, muchos evaluadores automáticos apenas superan una moneda al aire si se reordenan las entradas. Con más candidatos (tres o cuatro), la inestabilidad aumenta y el ganador puede cambiar más de la mitad de las veces al reshuffle.

Cómo probarlo: presentar dos respuestas (A y B) y pedir solo “A” o “B”; luego invertir las etiquetas y repetir varias veces. Si el resultado varía significativamente según la posición, el juez tiene sesgo de posición.

2. Sesgo de verbosidad

Qué ocurre: entre dos respuestas correctas, la más larga suele puntuar mejor aun cuando el contenido adicional no aporta sustancia.

Por qué sucede: en la data de entrenamiento hubo una correlación real entre longitud y calidad, porque las respuestas extensas muchas veces indican esfuerzo. El problema es que esa correlación no distingue entre profundidad real y relleno.

Consecuencia: la evaluación se vuelve trivialmente vulnerable a padding: cualquiera puede inflar texto para subir su nota. Si esos puntajes alimentan sistemas de aprendizaje, se enseña a los modelos a divagar.

Cómo probarlo: presentar dos respuestas correctas de distinta extensión y pedir que el modelo elija la mejor; observar si favorece sistemáticamente la más larga.

3. Sesgo de autopercepción (self-preference)

Qué ocurre: un modelo tiende a puntuar mejor textos que coinciden estilísticamente con su propia manera de escribir; incluso eleva las respuestas que él mismo generó.

Observación relevante: en pruebas se encontró que la inflación de puntuación para textos generados por el mismo modelo puede llegar hasta aproximadamente 16% en algunos casos; los mejores modelos reportaron cifras cercanas al 1–2%.

Regla práctica: no utilicen el mismo modelo para generar las respuestas y para evaluarlas. Es una de las reglas más incumplidas por conveniencia, pero es la más efectiva para evitar autoinflación.

4. Sesgo por entidad y tono

Qué ocurre: una misma afirmación recibirá juicios distintos según el nombre de la entidad (país, marca, persona) que aparezca en el texto, o según el tono emocional.

Por qué sucede: el modelo adquirió asociaciones sentimentales y contextuales de la web, donde la cobertura sobre ciertos países, empresas o figuras suele estar cargada. Eso contamina una evaluación que debería ser exclusivamente factual.

Impacto: la evaluación objetiva de contenido técnico o científico puede verse distorsionada si el texto menciona entidades polémicas o nombres con fuerte carga mediática.

5. Otros sesgos relevantes

En la práctica aparecen más atajos: sesgo por identidad (juicios distintos según grupos sociales mencionados), sesgo de autoridad (valorar afirmaciones que citan fuentes reputadas aunque la evidencia sea débil), efecto bandwagon (seguir percepciones mayoritarias) y sesgo por distracción o por pasar por alto falacias lógicas. En todos los casos, la raíz es la misma: el juez apela a priors en vez de a la prueba presentada.

Cómo mitigar: “ground the judge”

La solución central es obligar al juez a fundamentar sus decisiones en evidencia verificable y en criterios explícitos. Algunas prácticas recomendadas:

• Requerir fundamento: pedir al modelo que explique por qué eligió una opción y que cite fragmentos de la entrada que prueben su veredicto.
• Rubricas claras y limitadas: usar criterios cuantificables y acotados para la evaluación en lugar de preguntas abiertas sobre “calidad”.
• Evaluación ciega: anonimizar y aleatorizar el orden de las opciones, y asegurar que el generador y el evaluador sean distintos.
• Ensembles y calibración: combinar múltiples jueces (humanos y modelos diferentes) y calibrar sus scores contra conjuntos de referencia (gold standards) validados por expertos humanos.
• Muestreo humano periódico: revisar aleatoriamente decisiones automáticas y ajustar el sistema cuando se detecten desviaciones sistemáticas.
• Penalizar relleno: diseñar rubricas que midan precisión y concisión para reducir la ventaja injusta de la verbosidad.

Consideraciones para América Latina

En educación, investigación y contratación pública de la región, las decisiones automatizadas influyen en oportunidades y recursos. Si un LLM evalúa trabajos académicos o postulaciones, cualquier sesgo puede reproducir desigualdades preexistentes (por ejemplo, favoreciendo estilo o referencias culturales dominantes). Al adoptar evaluadores automáticos, las instituciones latinoamericanas deberían priorizar auditorías locales, incluir evaluadores humanos conocedores del contexto y documentar el proceso de calibración.

Conclusión

Los LLMs pueden ser herramientas útiles para escalar la evaluación, pero no son árbitros neutrales por defecto. Sus juicios reflejan priors aprendidos de la web y de procesos de alineamiento humano. La recomendación práctica es no delegar ciegamente decisiones importantes a un único modelo: use rubricas explícitas, separación entre generador y evaluador, validación humana y estrategias de grounding para que las calificaciones se acerquen más a la evidencia y menos a los atajos del modelo.

Preguntas frecuentes breves

• ¿Es suficiente supervisión humana ocasional? No siempre; la supervisión debe ser sistemática y basada en muestreo estadístico para detectar sesgos que emergen solo en casos límites.

• ¿Puedo usar el mismo LLM si cambio el prompt? No es una solución segura: el sesgo de autopercepción y otros atajos persisten aunque varíen las instrucciones. Mejor usar evaluadores independientes.

• ¿Qué primer paso recomiendo implementar hoy? Aleatorizar y anonimizar entradas, separar generador y evaluador, y exigir justificación en la respuesta del juez.

Adoptar LLMs como jueces exige diseño cuidadoso: con medidas de grounding y auditoría se obtienen los beneficios de escala sin sacrificar equidad ni fiabilidad.