Cómo Salesforce logró alta disponibilidad Multi-AZ con SageMaker Inference Components
Salesforce redujo 8x sus costos al co-hospedar modelos en GPUs compartidas con SageMaker Inference Components, pero enfrentó un reto de alta disponibilidad Multi-AZ. En este artículo explicamos cómo la nueva capacidad de placement (SchedulingConfig) resolvió el requisito de 2-AZ para producción.