Cómo monitorear y depurar inferencia generativa con SageMaker e Insights en CloudWatch
Monitorear endpoints de modelos generativos a escala exige señales más profundas que los contadores agregados. SageMaker ahora publica métricas detalladas y un dashboard integrado en CloudWatch para diagnosticar latencias, uso de GPU, presión del KV cache y eventos de escalado.