Mejorando búsquedas con entrenamiento consciente de token pooling en embeddings multivector

Los modelos multivector ofrecen búsquedas más precisas pero generan millones de vectores por corpus. El entrenamiento consciente de pooling enseña al encoder a conservar lo esencial cuando los vectores se combinan, mejorando la recuperación con el mismo presupuesto de almacenamiento.

Por Redaccion TD
Mejorando búsquedas con entrenamiento consciente de token pooling en embeddings multivector

Introducción

Los modelos de embedding multivectoriales han cambiado la forma en que resolvemos búsquedas semánticas: en lugar de comprimir un documento entero en un solo vector, cada token del texto puede aportar su propio vector contextual, permitiendo que distintas partes de una consulta emparejen con diferentes secciones del documento. Esa expresividad mejora la calidad de recuperación, pero tiene un costo claro: el número de vectores por documento crece rápidamente, y con ello el espacio y la latencia.

Token pooling pretende reducir ese costo agrupando y comprimiendo vectores similares dentro de cada documento. El reto es hacerlo sin sacrificar la capacidad del modelo para recuperar resultados relevantes. El enfoque de pooling-aware training entrena el encoder teniendo en cuenta las futuras fusiones de vectores, de modo que la información que importa se preserve incluso después del pooling. El resultado: mejor rendimiento de búsqueda para el mismo presupuesto de vectores.

¿Por qué los modelos multivector requieren tantos vectores?

Un modelo de un solo vector resume todo el documento en una única representación; los modelos multivectoriales guardan en su lugar una colección de vectores por token. En la práctica esto significa que una consulta compleja —por ejemplo, «laptop con larga duración de batería»— puede ver cómo distintas partes de la consulta emparejan con distintos fragmentos del documento (uno relacionado con el equipo y otro con la batería), y esos emparejamientos se suman para decidir relevancia.

Esa suma de coincidencias (MaxSim) es poderosa, pero costosa: incluso usando cuantización eficiente (por ejemplo, residual quantization a 2 o 4 bits como soporta Fast-PLAID), cientos de vectores por documento multiplican espacio rápidamente. Por ejemplo, a 4 bits por coordenada residual, 200 vectores de 128 dimensiones requieren unos 12.8 KB de residuals por documento; en un millón de documentos eso corresponde a 12.8 GB. Si hacemos pooling y reducimos cada documento a 50 vectores, esa huella cae a 3.2 GB, manteniendo la misma dimensión y precisión.

¿Qué es token pooling y cómo funciona HierarchicalTokenPooling?

La observación clave es que muchos vectores de un documento son similares: varios tokens describen conceptos próximos y pueden representarse conjuntamente. HierarchicalTokenPooling utiliza agrupamiento jerárquico (método de Ward) para combinar vectores token parecidos. Parte de una partición donde cada token es su propio grupo y fusiona iterativamente los dos grupos cuya unión produce el menor aumento en la dispersión interna —medida por la suma de distancias cuadradas al centro del grupo—, favoreciendo así grupos compactos.

Al construir esta jerarquía se puede escoger un nivel de compresión acorde al presupuesto. Cada grupo se representa por la media de sus vectores y luego se normaliza para que los nuevos vectores resulten compatibles con scoring tipo MaxSim. Por defecto, el primer token suele protegerse de las fusiones y el pooling se aplica solo a embeddings de documentos, manteniendo las consultas sin alterar.

Un parámetro habitual es pool_factor. Por ejemplo, pool_factor=4 tiende a dejar aproximadamente una cuarta parte de los vectores originales, de modo que documentos más largos mantienen proporcionalmente más capacidad.

Cómo elegir un presupuesto de pooling

HierarchicalTokenPooling permite controlar la compresión de tres formas:

  • max_tokens=N: fija un máximo absoluto de vectores por documento, incluyendo tokens protegidos.
  • pool_factor=K: mantiene aproximadamente 1/K de los vectores originales por documento.
  • distance_threshold=τ: aplica un umbral global de distancia de Ward para decidir fusiones; el número de vectores puede variar según la geometría de embeddings.

La diferencia es importante cuando la longitud y la heterogeneidad de los documentos varía. pool_factor preserva proporcionalidad con la longitud (documentos largos retienen más vectores), mientras que distance_threshold permite que documentos con contenido más diverso conserven más vectores si lo requieren.

Calibración de pooling adaptativo

Pooling adaptativo usa un umbral de fusión compartido (distance_threshold) para aplicar pooling más agresivo en documentos redundantes y menos agresivo en documentos con contenido distintivo. En la práctica se calibra ese umbral sobre una muestra representativa del corpus: se generan embeddings de la muestra, se calcula el threshold que produce un promedio objetivo de vectores por documento (por ejemplo, 16) y luego se reutiliza ese umbral al indexar todo el corpus. Este enfoque facilita usar pooling sin elegir manualmente un valor de distancia.

En Sentence Transformers, por ejemplo, existen utilidades para calcular embeddings de documentos y una función de calibración que devuelve el umbral a usar para un objetivo de tokens promedio.

Pooling-aware training: enseñar al encoder a conservar lo esencial

El punto central de pooling-aware training es que, si el encoder se entrena sin conocer que sus salidas serán posteriormente fusionadas, puede distribuir información de manera frágil entre tokens que luego se pierda al agrupar. Entrenar con una pérdida que simula o incorpora el efecto del pooling hace que el encoder aprenda a colocar la información más importante en patrones que sobrevivan a la agrupación.

En experimentos reproducibles con Sentence Transformers, este enfoque demostró ganancias claras: con pool_factor=4, un modelo entrenado sin tener en cuenta el pooling retenía el 94.6% del nDCG@10 en NanoBEIR respecto a la versión sin pooling, mientras que el entrenamiento consciente de pooling elevó esa retención a 97.8% con el mismo presupuesto de vectores. Es decir, el mismo almacenamiento rinde más en calidad de búsqueda cuando el encoder fue ajustado para el pooling.

Estas ideas se apoyan en trabajos previos como “Learn to Pool” de Stefan Josef y en el estudio de LightOn sobre regularización de pooling, que también exploran variantes como presupuestos adaptativos y entrenamiento focalizado.

Implementación práctica con Sentence Transformers

Un flujo típico para aplicar estas técnicas incluye:

  1. Entrenar o adaptar un encoder de tipo multivector (por ejemplo, con Sentence Transformers).
  2. Decidir la política de pooling: pool_factor, max_tokens, o calibrar distance_threshold usando una muestra de documentos.
  3. Si aplica, recalibrar o entrenar el encoder con una pérdida que simule pooling para que aprenda a conservar información crítica tras las fusiones.
  4. Indexar documentos aplicando HierarchicalTokenPooling y generar las representaciones finales.
  5. Usar scoring MaxSim para las búsquedas.

Sentence Transformers ofrece módulos y utilidades para HierarchicalTokenPooling, calibración de umbrales y una API de MultiVectorEncoder que facilita integrar estos pasos en un pipeline reproducible. También existen aceleraciones opcionales (kernel acceleration) para hacer más eficiente el cálculo de similitudes en grandes índices multivector.

Evaluación y compromisos

Pooling reduce drásticamente los costos de almacenamiento —como en el ejemplo de 200 vectores a 50 vectores—, pero introducir compresión implica un riesgo de pérdida de información. La ventaja de pooling-aware training es que reduce esa pérdida, mejorando la retención de métricas de recuperación para un mismo presupuesto.

A la hora de decidir el nivel de pooling conviene probar en una muestra representativa del corpus y medir métricas de recuperación (por ejemplo, nDCG@10 en conjuntos de evaluación relevantes) mientras se varía pool_factor o el threshold calibrado.

Recomendaciones para equipos en América Latina

  • Calibren el pooling con una muestra representativa de su contenido en español o en la(s) variante(s) regional(es) que usen: la distribución léxica y la longitud de documentos (por ejemplo, manuales técnicos, artículos de noticias o chats) influye en cuántos vectores conservar.
  • Si operan con restricciones de almacenamiento o costos de nube, experimentar con pool_factor y pooling-aware training puede aumentar la eficiencia sin sacrificar demasiada calidad.
  • Consideren la latencia y la infraestructura: índices multivectoriales compactos reducen E/S y pueden bajar costos en redes y discos, algo relevante para despliegues regionales con presupuestos acotados.

Conclusión

Token pooling ofrece una vía práctica para escalar modelos de recuperación multivectoriales al reducir drásticamente la cantidad de vectores por documento. El mayor aporte del pooling-aware training es enseñar al encoder a producir representaciones que resistan esas fusiones, recuperando más relevancia por el mismo presupuesto de almacenamiento. Implementado con herramientas como Sentence Transformers y calibrado adecuadamente para el corpus, este enfoque permite equilibrar calidad y costo en sistemas de búsqueda semántica a gran escala.

Fuente original: Hugging Face Blog