Cómo un servidor MCP serverless en ECS Fargate simplifica el acceso de agentes IA al data lake

Un enfoque basado en metadata y un servidor MCP serverless reducen la duplicación de lógica entre agentes LLM y garantizan control centralizado de permisos. AWS implementó esta solución sobre Amazon ECS Fargate para los equipos de planificación del NASC.

Por Redaccion TD
Cómo un servidor MCP serverless en ECS Fargate simplifica el acceso de agentes IA al data lake

Resumen ejecutivo

Equipos que desarrollan asistentes conversacionales y agentes impulsados por modelos de lenguaje enfrentan un problema recurrente: cómo dar acceso seguro y mantenible a un data lake corporativo sin replicar integración y control en cada agente. En respuesta, el equipo que apoya la red North America Sort Center (NASC) de Amazon construyó un servidor Model Context Protocol (MCP) serverless ejecutado en Amazon ECS con AWS Fargate. Este servidor actúa como gateway central, agent-agnostic, y permite exponer nuevos conjuntos de datos mediante un archivo de metadata, evitando code changes por dataset.

El problema: acceso fragmentado y onboarding costoso

En data lakes con miles de tablas y metadatos, es común que cada equipo o agente implemente su propia lógica: generación de SQL, conocimiento de esquemas y manejo de conexiones. Eso provoca tres problemas críticos:

  • Duplicación de código y esfuerzo cada vez que se agrega un dataset.
  • Control de acceso disperso y difícil de auditar, ya que cada agente aplica sus propias reglas.
  • Onboarding lento: exponer una nueva fuente suele consumir días por validación y despliegue.

Los objetivos de diseño fueron claros: acceso dirigido por configuración, interfaces independientes del agente, aplicación centralizada de permisos y una infraestructura elástica que soporte picos de carga de IA.

Arquitectura general: capas independientes y metadata como fuente de verdad

La solución separa responsabilidades en cuatro capas escalables de forma independiente: cliente, servidor MCP, herramientas (tool backends) y refresco del knowledge base. En el centro está un catálogo de metadata que describe esquemas, semántica a nivel columna y relaciones entre tablas. Los agentes obtienen conocimiento del esquema en tiempo de consulta desde ese catálogo, lo que elimina la necesidad de codificar estructuras en cada agente o redeploy cuando cambian los esquemas.

La ingestión y actualización del catálogo se realiza por una capa de refresh que indexa la metadata de los nuevos datasets a medida que llegan.

Flujo de petición y componentes clave

El recorrido típico de una consulta inicia en una aplicación cliente (chat web, Slack, plugin IDE, agente externo). La petición pasa por Amazon Route 53 y llega a un Application Load Balancer público protegido con HTTPS y AWS WAF. El ALB enruta a Amazon Cognito para autenticación y enriquecimiento del request. El tráfico autenticado entra a una subred privada donde corre un servicio cliente sobre Amazon ECS Fargate. Este servicio maneja estado de sesión en Amazon DynamoDB y, mediante una configuración de context mapping, determina a qué tablas debe estar acotada la consulta.

Desde allí, la petición se envía a través de un ALB interno hacia el servidor MCP, también desplegado en Amazon ECS Fargate. En la capa del MCP, un agente IA orquestado por Amazon Bedrock interactúa con herramientas construidas usando FastMCP (un framework Python para MCP servers). Amazon Bedrock Guardrails supervisa cada interacción con el modelo.

En la capa de datos, las herramientas ejecutan queries SQL mediante Amazon Athena y Amazon Redshift sobre el data lake en Amazon S3. Para capacidades semánticas y búsquedas RAG, la solución emplea Amazon Bedrock Knowledge Bases. La ingestión a S3 y la indexación en las knowledge bases son manejadas con AWS Lambda.

Capa cliente: autenticación y scoping de contexto

La capa cliente integra Cognito para autenticación JWT y DynamoDB para persistencia de sesiones. Una configuración de mapping de contexto permite “scopear” cada consulta solo a las tablas relevantes, reduciendo el espacio de búsqueda en el catálogo de metadata y mejorando latencia de extremo a extremo, que en las pruebas del equipo se mantuvo en el rango de 15–20 segundos.

Este scoping también simplifica cumplimiento y gobernanza: al limitar por contexto, las consultas quedan naturalmente acotadas a dominios de datos definidos.

Servidor MCP y herramientas: orquestación y enforcement centralizado

El servidor MCP actúa como gateway agnóstico a agentes: cualquier cliente compatible con MCP puede invocar las mismas herramientas. FastMCP facilita la construcción de esas herramientas, que a su vez ejecutan queries parametrizadas usando la metadata del catálogo. La política de permisos y el control de acceso se aplican en esta capa, proporcionando un único punto de auditoría y decisión para todas las solicitudes hacia el data lake.

Además, Amazon Bedrock Guardrails se aplica en cada interacción con los modelos para reforzar límites operativos y de seguridad.

Knowledge-base refresh: mantener el catálogo actualizado

Una capa dedicada indexa la metadata de nuevos datasets y actualiza el catálogo que consume el MCP. Gracias a esto, exponer un nuevo dataset no implica escribir código: basta con añadir un archivo JSON de metadata que será descubierto en la siguiente sincronización del pipeline de ingestión.

Beneficios operativos y de gobernanza

  • Menor tiempo de onboarding: publicar un dataset ya no requiere desarrollo por cada agente, lo que reduce considerablemente el esfuerzo operativo.
  • Consistencia en permisos: la aplicación centralizada de políticas en el servidor MCP evita la deriva en enforcement entre agentes.
  • Flexibilidad ante cambios de esquema: como los agentes consultan el catálogo en tiempo real, los cambios en tablas no obligan a redeploy.
  • Escalabilidad serverless: el uso de Amazon ECS con Fargate y componentes gestionados permite ajustar la capacidad frente a cargas variables propias de workloads de IA.

Relevancia para organizaciones en Latinoamérica

Muchas empresas en la región comienzan a adoptar agentes conversacionales sobre sus activos de datos. El patrón descrito —un gateway MCP serverless apoyado por un catálogo de metadata— es especialmente útil en entornos donde la gobernanza y la trazabilidad son requisitos regulatorios o comerciales. Centralizar el control y minimizar la duplicación técnica facilita cumplimiento con políticas internas y reduce el costo de operación al escalar proyectos de IA en múltiples equipos.

Consideraciones prácticas antes de implementar

  • Catálogo de metadata: invertir en buena calidad de metadata (descripciones, semántica de columnas, relaciones) es clave para que los agentes generen SQL confiable.
  • Diseño de context mapping: definir contextos de negocio claros permite scoping efectivo y cumplimiento.
  • Auditoría y registro: aprovechar el punto único de enforcement para llevar registros completos de acceso y consultas.
  • Supervisión de costos: workloads de IA pueden generar picos; monitorear consultas a Athena/Redshift y uso de Bedrock es necesario para optimizar costos.

Conclusión

Un servidor MCP serverless desplegado en Amazon ECS Fargate y respaldado por un catálogo de metadata resuelve los problemas de integración repetitiva, control de permisos fragmentado y onboarding lento que aparecen cuando se habilitan agentes LLM para consultar data lakes empresariales. Para organizaciones en Latinoamérica que buscan escalar asistentes conversacionales con control y seguridad, este patrón ofrece una vía práctica para centralizar acceso, reducir fricción operativa y mejorar gobernanza sin replicar lógica en cada agente.

Fuente original: AWS ML Blog