Cómo preparar contenido web para Amazon Bedrock Knowledge Bases con Crawl4AI
Cuando la calidad de respuestas en aplicaciones RAG depende del contenido web ingerido, elegir la ruta correcta de ingestión es clave. Este artículo explica cuándo usar el conector de Amazon Bedrock Web Crawler y cuándo preparar páginas con Crawl4AI para obtener documentos limpios, metadata personalizada y mejor recuperación.
Por qué importa la preparación del contenido web
En aplicaciones de Retrieval Augmented Generation (RAG), la calidad de las respuestas está directamente ligada a la calidad de los datos que se ingieren. Amazon Bedrock Knowledge Bases ofrece una solución gestionada que maneja ingestion, almacenamiento, indexación y recuperación; esto libera al equipo de la operación de un vector store y usa modelos gestionados para embeddings y reranking por defecto.
Para contenido web público hay dos caminos principales: usar el Amazon Bedrock Web Crawler —el conector gestionado— o preparar páginas con Crawl4AI, un crawler open source en Python que produce Markdown y archivos de metadatos que luego se envían a Amazon S3 para ingestión. Saber elegir entre ambos reduce ruido, mejora la relevancia de las respuestas y facilita el cumplimiento de restricciones legales y operativas en cada país, incluido América Latina.
Cuándo usar el Amazon Bedrock Web Crawler
El conector de Amazon Bedrock Web Crawler es el punto de partida ideal cuando:
- Pueden rastrearse e indexarse directamente las páginas que necesitan.
- Se cuenta con permisos para las URLs o sitemaps proporcionados.
- Se requiere una solución sin infraestructura propia: no hay que construir ni alojar un crawler.
El crawler gestionado respeta robots.txt, soporta páginas que cargan contenido con JavaScript y puede sincronizarse de forma programada para capturar únicamente los cambios después de un primer rastreo completo. Para la mayoría de sitios públicos que no requieren un tratamiento fino del HTML, esta es la alternativa más simple y operativa.
Cuándo añadir una etapa de preparación con Crawl4AI
Existen casos en los que es necesario mayor control antes de que los documentos lleguen a la knowledge base. Use Crawl4AI cuando necesite uno o más de los siguientes requisitos:
- Preparación de Markdown estructurado: Crawl4AI puede generar Markdown limpio usando un generador que aplica un filtro de “pruning” para eliminar navegación y otros boilerplate manteniendo encabezados, listas y tablas. Este filtrado es heurístico, por lo que es recomendable revisar salida representativa del sitio.
- Extracción acotada y específica: si sólo interesa la región principal del contenido (por ejemplo, el artículo y no la barra lateral), se puede usar un selector CSS para extraer únicamente esa sección. Además, la exploración se puede acotar por origen, alcance de host/path, profundidad, y patrones de URL.
- Metadatos personalizados: Attachar atributos como la URL de origen, timestamp de crawl, tipo de contenido y metadatos propios permite filtrar resultados durante la recuperación y mejorar la relevancia.
La pipeline de Crawl4AI produce para cada página un archivo Markdown y un sidecar de metadatos que luego se suben a un bucket de Amazon S3. Amazon Bedrock Knowledge Bases ingiere ambos tipos de objetos a través de su data source S3.
Arquitectura y flujo de trabajo (resumen operativo)
El flujo mostrado en el ejemplo de referencia sigue estos pasos principales:
- Amazon EventBridge dispara una tarea de Amazon ECS sobre AWS Fargate en el horario programado.
- La tarea ejecuta Crawl4AI y prepara Markdown y sidecars de metadata por página.
- Los archivos preparados se suben al bucket de Amazon S3 enlazado como data source de la knowledge base.
- La tarea inicia un job de ingestión en Amazon Bedrock Knowledge Bases.
- Bedrock lee los objetos nuevos o modificados, los parsea, aplica la estrategia de chunking elegida, crea embeddings y los indexa en el vector store gestionado (en el caso de una knowledge base gestionada).
- La aplicación generativa consulta la knowledge base para obtener fragmentos relevantes o respuestas generadas con citas.
Detalles operativos relevantes: la tarea lee su configuración no secreta desde AWS Systems Manager Parameter Store al inicio. En el ejemplo la tarea Fargate corre en una subred pública para alcanzar las páginas a través de un Internet Gateway. El enfoque es de ingestión por lotes de propiedades web conocidas, no acceso web en tiempo real durante la inferencia (p. ej. no es Web Grounding con Amazon Nova).
Autenticación y sitios con acceso restringido
El flujo mostrado procesa solo páginas públicas y no implementa sesiones autenticadas. Para sitios que requieren inicio de sesión, Amazon Bedrock Web Crawler ofrece opciones de autenticación (basic, form-based y SAML) y es aconsejable evaluarlas antes de construir una solución propia. Extender el ejemplo con autenticación implica manejo de sesiones, credenciales en AWS Secrets Manager y una revisión de seguridad.
Diferencias entre knowledge bases gestionadas y autogestionadas
Tanto las knowledge bases gestionadas como las customer-managed soportan S3 como data source, por lo que la ruta de Crawl4AI funciona con ambos modelos. La diferencia principal es que en el servicio gestionado Amazon Bedrock administra el vector store y los embeddings; en una opción autogestionada, esos componentes quedan bajo la responsabilidad del cliente.
Recomendaciones prácticas para equipos en América Latina
- Comience por el Web Crawler gestionado cuando el contenido sea estándar y público; es la opción con menor trabajo operativo.
- Use Crawl4AI cuando necesite limpiar boilerplate, extraer regiones específicas o enriquecer documentos con metadata para filtrado y gobernanza.
- Revise salidas de pruning antes de configurar un pipeline completo: los filtros son heurísticos y varían según la plantilla HTML de cada sitio.
- Considere regulaciones locales sobre datos y derechos de autor antes de ingerir contenido web. Aunque la solución respeta robots.txt, la ingestión y uso de contenidos pueden requerir controles legales y de privacidad adicionales.
- Para sitios con autenticación, prefiera primero las opciones del Web Crawler gestionado y, si necesita personalización, planifique manejo de credenciales en Secrets Manager y auditoría de sesiones.
Conclusión
Preparar correctamente contenido web antes de ingresarlo en Amazon Bedrock Knowledge Bases mejora la calidad de la recuperación y, por ende, la utilidad de aplicaciones RAG. El conector gestionado es ideal para la mayoría de sitios públicos; Crawl4AI agrega control fino cuando se necesitan Markdown estructurado, extracción dirigida y metadata personalizada. La arquitectura presentada —crawler que escribe a S3 seguido de una ingestión gestionada— permite separar claramente la responsabilidad de preparación de la del propio motor de embeddings e indexado. Para equipos en América Latina, esta separación facilita cumplimiento operativo y la implementación incremental: probar primero la ruta gestionada y avanzar a Crawl4AI cuando los requisitos de calidad y gobernanza lo demanden.
Fuente original: AWS ML Blog