Filtrar alucinaciones: deje que el LLM escriba y que JEV verifique

Resumen

Los modelos de lenguaje (LLM) son excelentes para redactar respuestas abiertas, pero un solo resultado puede contener información no respaldada por la fuente. El enfoque que describimos combina la creatividad del LLM con un verificador especializado, JEV (de TypeSafe AI), que comprueba si cada respuesta está soportada por el texto fuente. Las respuestas validadas se envían; las dudosas se escalan y las incorrectas se descartan.

Por qué una única respuesta puede ser riesgosa

En configuraciones RAG (retrieval-augmented generation) se da al LLM un texto fuente para reducir alucinaciones, pero eso no las elimina. El estudio RAGTruth recopiló casi 18,000 respuestas y encontró muchas con datos incompletos o incorrectos pese a contar con un texto fuente. Esas fallas suelen ser sutiles: un número equivocado, una regla aplicada a un plan distinto, o una política mal citada. Con una sola respuesta, ese error llega directo al usuario.

La idea central aquí es simple: si el LLM genera varias versiones de la respuesta y cada una es verificada rápidamente por un modelo barato como JEV, podemos filtrar los fallos antes de que lleguen al usuario. Este principio ya ha mostrado eficacia en otras áreas (por ejemplo, verificación en preguntas de razonamiento), y aquí lo aplicamos explícitamente contra alucinaciones basadas en evidencia.

Roles en la canalización: quién hace qué

Cada herramienta cumple una función clara:

• LLM (generador): redacta respuestas abiertas y variadas a partir del texto fuente. Es el componente creativo.
• JEV (verificador): solo responde preguntas cortas tipo sí/no o probabilidades sobre si la respuesta está respaldada por la evidencia. No redacta explicaciones largas.
• Código/Reglas: construye reglas exactas y repetibles para combinar las comprobaciones de JEV en una decisión (puntuación, puertas lógicas).
• LLM mayor o humano: recibe los casos que JEV marca como ambiguos o de alto riesgo para revisión o reescritura.

La restricción clave de JEV —no generar explicaciones, solo verificar— es intencional: un verificador no debe introducir nuevo contenido que a su vez pueda alucinar.

Las cuatro comprobaciones que pedimos a JEV

En lugar de preguntarle a JEV «¿esta respuesta es buena?» (pregunta demasiado amplia), se lo interrogó con cuatro enunciados simples, que JEV evalúa con una probabilidad entre 0 y 1:

1. ¿Está cada hecho de la respuesta respaldado por la evidencia? (alta prioridad)
2. ¿Responde la respuesta directamente a la pregunta? (alta prioridad)
3. ¿Añade la respuesta algún dato que no aparezca en la evidencia? (queremos que sea baja)
4. ¿Alguna afirmación contradice la evidencia? (muy baja tolerancia)

El código toma estas probabilidades y aplica una puntuación compuesta y reglas de exclusión: si una verificación crítica falla, la respuesta se bloquea aunque otras sean positivas.

Implementación práctica: esquema de trabajo

El flujo operativo típico es:

1. Proveer al LLM la pregunta y el texto fuente.
2. Pedir al LLM que genere N variaciones (por ejemplo, cinco) de la respuesta.
3. Para cada variación, enviar a JEV la pregunta, la evidencia y la respuesta final.
4. Recibir de JEV las probabilidades para cada una de las cuatro comprobaciones.
5. Aplicar reglas: descartar respuestas con fallos críticos; entre las válidas, seleccionar la de mayor puntuación o combinar resultados.
6. Escalar los casos dudosos a un LLM más capaz o a un humano según la política de riesgo.

En pruebas prácticas descritas por terceros, la estrategia en cascada mostró beneficios de coste: un experimento de proveedor (OpenRouter) reportó que usando un modelo barato para generar borradores, JEV para validar, y un modelo caro solo cuando JEV fallaba, el sistema envió 0 errores en una prueba de 50 preguntas y costó alrededor del 7% de la alternativa que usaría siempre el modelo caro. Eso fue un test de proveedor y no debe tomarse como prueba concluyente, pero ilustra el potencial de ahorro.

Pruebas y control de calidad

En la experiencia práctica descrita, el autor creó casos de prueba donde, además de las respuestas generadas por el LLM, se integraron deliberadamente respuestas falsas (por ejemplo, cambiar un monto de $10,000 por $5,000) para comprobar que JEV detecta esos fallos. Esa técnica de “plantar” errores ayuda a garantizar que el verificador realmente esté filtrando y no que el LLM simplemente no haya alucinado en un conjunto de prueba pequeño.

Dónde encaja mejor este patrón

• Contenidos que deben estar directamente respaldados por un texto: políticas, extractos legales, fichas técnicas, documentación interna.
• Escenarios en los que el coste de consultar siempre un LLM caro es alto y conviene una primera capa barata de verificación.

No es ideal cuando la respuesta requiere razonamiento complejo o inferencias que no aparecen explícitamente en la evidencia: esos casos deben escalarse a un LLM mayor o a revisión humana.

Limitaciones y posibles fallas

• JEV no garantiza la ausencia de alucinaciones: es otro modelo y puede equivocarse.
• El verificador se basa en la calidad y completitud del texto fuente; si la evidencia es ambigua o incompleta, las comprobaciones serán limitadas.
• Preguntas mal planteadas o respuestas que requieren interpretación amplia pueden pasar filtros si las reglas no contemplan esos matices.
• Dependencia operacional: añadir más pasos (generación múltiple + verificación) requiere infraestructura, latencia aceptable y pipelines de escalamiento bien definidas.

Conclusión

Combinar la generación múltiple de respuestas con un verificador especializado como JEV es un patrón pragmático para reducir la transmisión de respuestas no respaldadas por la evidencia. No es una solución mágica: requiere reglas claras, pruebas con casos adversos y políticas de escalamiento para los escenarios de alto riesgo. Para organizaciones en América Latina que usan LLMs sobre documentos regulatorios, manuales o contratos, este enfoque ofrece una manera coste-efectiva de mejorar la confianza en las salidas automáticas.

Preguntas frecuentes (breves)

• ¿JEV elimina todas las alucinaciones? No. Puede reducir errores basados en evidencia, pero puede equivocarse y no sustituye la revisión humana en decisiones críticas.
• ¿Cuándo escalar a un LLM mayor? Cuando JEV marque ambigüedad en comprobaciones clave o cuando la decisión sea de alto riesgo.
• ¿Se necesita generar cinco respuestas sí o sí? El número puede ajustarse; la idea es tener diversidad suficiente para que el verificador pueda seleccionar o descartar con mayor eficacia.