Cómo GS Caltex llevó modelos de SageMaker Canvas a MLOps de producción

GS Caltex separó el desarrollo y la operación de modelos entre ingenieros de proceso y ML engineers, reutilizando flujos de Data Wrangler y modelos validados para despliegues más rápidos. El resultado: despliegues en horas y batch inference cada 30 minutos que reducen costos.

Por Redaccion TD
Cómo GS Caltex llevó modelos de SageMaker Canvas a MLOps de producción

Introducción

La adopción de MLOps en empresas industriales requiere tanto el conocimiento del dominio como capacidades de ingeniería para convertir modelos validados en procesos repetibles y escalables. GS Caltex, compañía surcoreana del sector energético y químico, diseñó un flujo de trabajo que conecta SageMaker Canvas —la herramienta de Amazon para crear y validar modelos sin código— con SageMaker Pipelines, para llevar modelos desde la validación por ingenieros de proceso hasta la inferencia programada en producción.

Este artículo explica el enfoque de GS Caltex, cómo reutilizan activos creados en Canvas (como flujos de Data Wrangler y modelos registrados) y qué pasos técnicos se requieren para automatizar la transferencia entre equipos. También señalo consideraciones prácticas para equipos en América Latina interesados en replicar una solución similar.

El reto: separar roles y evitar retrabajo

GS Caltex organiza el ciclo de ML en dos roles complementarios: por un lado, los ingenieros de proceso, expertos en las variables y la lógica del proceso industrial; por otro, los ML engineers, responsables de la producción, versionado y operación de los modelos.

Los ingenieros de proceso utilizan SageMaker Canvas para preparar datos, diseñar flujos de Data Wrangler, entrenar y validar modelos sin necesidad de programar. Sin embargo, llevar esos activos a un pipeline de producción requería trabajo manual adicional por parte de los ML engineers: ajustar rutas de datos, configurar la entrada/salida en S3, ensamblar pasos de preprocesamiento y despliegue, y conectar la aprobación del modelo con la ejecución programada.

GS Caltex automatizó este traspaso para evitar reprocesos, mantener la trazabilidad y acelerar los despliegues.

Arquitectura general de la solución

La solución se estructura en dos caminos principales: (1) preparar una nueva versión de modelo para despliegue y (2) ejecutar inferencia por lotes (batch inference) con el modelo desplegado.

Flujo resumido:

  • Ingenieros de proceso crean y validan un flujo de Data Wrangler y entrenan un modelo en SageMaker Canvas. Desde Canvas pueden exportar los activos y registrar el modelo en SageMaker Model Registry.
  • ML engineers recuperan el .flow (archivo de Data Wrangler), la configuración del job de procesamiento y el modelo registrado, los revisan y aprueban en el Model Registry.
  • Una vez aprobado, SageMaker Pipelines ejecuta pasos que leen datos desde Amazon S3, ejecutan el flujo de preprocesamiento, aplican SageMaker Batch Transform para la inferencia y escriben los resultados en S3.
  • Amazon EventBridge programa la ejecución recurrente del pipeline, por ejemplo, cada 30 minutos para procesamiento por lotes.

Este enfoque reutiliza la lógica de preprocesamiento y el modelo validado en Canvas, pero añade la capa operacional necesaria para ejecutar y auditar ejecuciones en producción.

Componentes clave y responsabilidades

  • SageMaker Canvas: preparación visual de datos, creación de flujos Data Wrangler, entrenamiento y evaluación inicial del modelo.
  • Data Wrangler (.flow): captura las transformaciones validadas por el ingeniero de proceso; se exporta para su ejecución en SageMaker Processing.
  • SageMaker Model Registry: almacenamiento de versiones de modelos y estado de aprobación.
  • SageMaker Pipelines: orquestación de pasos de procesamiento, inferencia por lotes y almacenamiento de resultados.
  • Amazon S3: almacenamiento de datos de entrada, .flow y resultados.
  • Amazon EventBridge: programación de ejecuciones periódicas.
  • Amazon CloudWatch: monitoreo de estados de pasos y logs.

Implementación técnica: pasos esenciales

  1. Reusar el flujo de preprocesamiento de Data Wrangler

El archivo .flow exportado desde Canvas contiene las referencias de origen de datos y las transformaciones aplicadas. Para ejecutar ese flujo en producción se utiliza SageMaker Processing con la imagen de contenedor registrada en el job de exportación. Al exportar desde Canvas se deben registrar: URI de la imagen de contenedor, URI del .flow en S3, rol de ejecución y configuración de salida. En producción, los ML engineers ajustan rutas de entrada/salida y permisos del rol para que el job lea/escriba en las ubicaciones productivas.

  1. Registro y aprobación del modelo

Canvas permite registrar modelos validados en el Model Registry de SageMaker. El equipo de ML revisa los resultados de validación y, si corresponden, aprueba la versión en el registro. Esa aprobación actúa como gate para el pipeline de despliegue: solo modelos aprobados se ponen en producción.

  1. Construcción del pipeline de producción

SageMaker Pipelines se configura para ejecutar, en orden: preparación de datos desde S3, el paso de procesamiento que ejecuta el .flow, y un paso de SageMaker Batch Transform para la inferencia con el modelo aprobado. Los ML engineers determinan instancias y contadores según volumen de datos, y usan CloudWatch para registrar el historial de ejecución, resultados y fallos.

  1. Programación de inferencia por lotes

En lugar de mantener endpoints en línea continuamente (lo que puede resultar costoso), GS Caltex optó por ejecutar inferencia por lotes cada 30 minutos usando SageMaker Batch Transform, iniciada por reglas de Amazon EventBridge. Según GS Caltex, esta estrategia ha reducido significativamente los costos de inferencia.

Resultados reportados por GS Caltex

  • El tiempo para desplegar un modelo en producción se redujo de aproximadamente una semana a unas pocas horas, gracias a la automatización del traspaso entre Canvas y Pipelines.
  • La compañía ejecuta inferencia por lotes cada 30 minutos, reduciendo la necesidad de endpoints siempre activos y, en consecuencia, bajando costos de inferencia.

Estos beneficios muestran cómo una separación clara de responsabilidades y la reutilización de activos validados pueden acelerar la puesta en marcha y mejorar la eficiencia operativa.

Consideraciones prácticas para equipos en América Latina

  • Roles y colaboración: definir claramente qué hace cada equipo —ingenieros de proceso vs ML engineers— evita duplicar esfuerzos y facilita trazabilidad.
  • Gobernanza de datos: confirme que las rutas S3 y permisos de roles cumplen con políticas internas y normativas locales de protección de datos.
  • Costos y tamaño de datos: la decisión entre endpoints en línea y batch transform depende del SLA de inferencia y del volumen. Para procesos industriales con ventanas periódicas, la inferencia por lotes programada suele ser más coste-eficiente.
  • Reuso de artefactos: exportar y versionar flujos de Data Wrangler reduce errores y mantiene coherencia entre validación y producción.
  • Capacitación: herramientas no-code como Canvas acercan a expertos de dominio al ML, pero requieren capacitación para que las transformaciones sean auditables y reproducibles en producción.

Conclusión

El caso de GS Caltex ilustra un patrón práctico de MLOps: permitir que expertos de dominio construyan y validen modelos de forma accesible, y que los equipos de ingeniería conviertan esos activos en pipelines de producción automatizados. Reutilizar flujos de Data Wrangler y registrar modelos en Model Registry facilita trazabilidad, acelera despliegues y reduce costos operativos.

Empresas en América Latina que trabajen con procesos industriales o datos de operaciones pueden beneficiarse de un enfoque similar: separar responsabilidades, estandarizar artefactos y automatizar la transición a producción. GS Caltex también comparte una implementación de referencia en un repositorio de GitHub, útil como punto de partida técnico para adaptar la solución a su propio formato de entrada y salida.

Próximos pasos sugeridos: evaluar si su flujo de datos permite inferencia por lotes, definir políticas de versionado y aprobación, y probar la ejecución del .flow de Data Wrangler en un entorno de staging antes de pasar a producción.

Fuente original: AWS ML Blog