PULSO AI · Nueva plataforma impulsada por TD
Amazon SageMaker ahora puede enrutar solicitudes que comparten el mismo inicio (prefijo) al mismo nodo, permitiendo que las cachés KV se mantengan calientes. Esto reduce significativamente el tiempo hasta el primer token (TTFT) en aplicaciones con prompts compartidos, como chatbots de soporte.
Salesforce redujo 8x sus costos al co-hospedar modelos en GPUs compartidas con SageMaker Inference Components, pero enfrentó un reto de alta disponibilidad Multi-AZ. En este artículo explicamos cómo la nueva capacidad de placement (SchedulingConfig) resolvió el requisito de 2-AZ para producción.
Amazon SageMaker Feature Store estrena dos APIs: BatchWriteRecord para agrupar hasta 25 registros por llamada y ListRecords para enumerar identificadores, incluso en el almacenamiento In-Memory. Estas mejoras reducen la sobrecarga en pipelines de alto rendimiento y permiten recuperar registros que antes eran inaccesibles.
Amazon anuncia nuevas capacidades que integran Ray con SageMaker HyperPod, permitiendo crear y operar clusters Ray desde SageMaker Studio. La integración reduce la carga operativa y habilita tolerancia a fallos y checkpointing por niveles para entrenamientos grandes.
NVIDIA Nemotron 3.5 Lightning llega a Amazon SageMaker JumpStart como un modelo abierto optimizado para pasos especializados y de alto volumen en flujos de agentes. Permite desplegar sin configurar la infraestructura de serving y promete hasta 4x de throughput y 30% menos en tiempo de tareas en cargas agenticas.
Kimi K3, el modelo MoE de 2.8T parámetros de Moonshot AI, ya está disponible con pesos abiertos. Este artículo explica los requisitos de infraestructura y las dos rutas recomendadas en AWS: SageMaker HyperPod y Amazon EKS.
Kimi K3 es un modelo Mixture of Experts de 2.8 billones de parámetros con pesos abiertos; exige infraestructura GPU especializada. Aquí explicamos opciones de despliegue en AWS (SageMaker HyperPod y EKS) y factores críticos para organizaciones latinoamericanas.
Presentamos una arquitectura multil‑torre que combina PyTorch y servicios de AWS para predecir el siguiente producto bancario más probable, entregando explicaciones por cliente mediante atención aprendida. El enfoque está pensado para llevar modelos desde la investigación hasta producción con trazabilidad y monitoreo.
Henry Schein One desarrolló Image Verify, una solución que evalúa la calidad de radiografías dentales en tiempo real usando Amazon SageMaker AI. La herramienta reduce retrabajos, mejora reclamaciones de seguros y ya se despliega en miles de consultorios.
Amazon SageMaker AI ahora permite personalizar sin servidor los modelos abiertos NVIDIA Nemotron 3 (Nano y Super) mediante SFT, RLVR y RLAIF. Esto facilita convertir modelos generales en activos propietarios que respetan datos sensibles y reducen costos operativos.
Hugging Face y Amazon SageMaker lanzaron una integración que lleva modelos descubiertos en Hugging Face directamente a SageMaker Studio con un solo clic, incluyendo permisos preconfigurados y visibilidad de cuota GPU. Esto acelera la experimentación y reduce la fricción para equipos que buscan ajustar o desplegar modelos en entornos controlados.
Entrenar agentes que actúen en múltiples turnos plantea desafíos distintos a respuestas únicas: el entorno, las herramientas y la señal de recompensa deben diseñarse con cuidado. Aquí repasamos prácticas recomendadas para crear entornos reproducibles, evaluar fuera del entrenamiento y monitorear métricas clave con ejemplos prácticos.
Monitorear endpoints de modelos generativos a escala exige señales más profundas que los contadores agregados. SageMaker ahora publica métricas detalladas y un dashboard integrado en CloudWatch para diagnosticar latencias, uso de GPU, presión del KV cache y eventos de escalado.
Amazon SageMaker AI Async Inference introduce soporte para enviar la carga útil directamente en la llamada InvokeEndpointAsync mediante el parámetro Body (máx. 128,000 bytes). Esto elimina el paso de subida a S3 y reduce latencia, costos y complejidad operativa.
Entrenar robots en simulación GPU acelera meses de experiencia real a horas, pero exige infraestructura robusta. Este artículo explica cómo combinar NVIDIA Isaac Lab con Amazon SageMaker AI para iterar rápidamente y ejecutar entrenamientos distribuidos y resilientes.
NEXUS es un modelo fundacional diseñado específicamente para datos tabulares y ya está disponible en Amazon SageMaker JumpStart. Permite generar predicciones reproducibles sobre datos estructurados con despliegue gestionado y una API compatible con scikit-learn.
Amazon SageMaker JumpStart ya ofrece Nemotron 3 Ultra con despliegue de un clic. El modelo, optimizado para cargas de trabajo agentic, promete inferencia hasta 5x más rápida y hasta 30% menos costo en tareas complejas.
Integrar MLflow en un portal interno permite a los equipos de ML acceder al tracking de experimentos mediante una única URL con SSO, sin presigned URLs ni acceso al AWS Console. Este artículo explica la arquitectura, el flujo de solicitudes y las consideraciones de seguridad para desplegar un frontend React con un proxy Flask que firma solicitudes con SigV4.
Desplegar LLMs en producción requiere observar tanto la infraestructura (GPU, CPU, latencia) como la calidad del output (precisión, seguridad, deriva). Este artículo explica una arquitectura basada en SageMaker AI, CloudWatch y Managed Grafana para obtener una visión integral.
Azercell trabajó con AWS para adaptar un modelo base a azerbaiyano, resolviendo retos de tokenización y uso eficiente de GPU. La solución combinó un tokenizador monolingüe, CPT sobre Llama 3.2 1B y fine-tuning con LoRA.
Amazon SageMaker AI habilitó una ruta compatible con la API de OpenAI para endpoints de inferencia en tiempo real, permitiendo usar clientes como el SDK de OpenAI, LangChain o Strands con solo cambiar la URL del endpoint. Además incluye tokens bearer temporales para autenticación sin firmados SigV4.
La demanda de GPUs para entrenamiento y finetuning supera la oferta, lo que complica pruebas y eventos de ML. Este artículo explica opciones en AWS: on-demand, spot, EC2 Capacity Blocks for ML y SageMaker training plans, y cómo elegir según duración, presupuesto y control operativo.
AWS integró SageMaker Unified Studio con buckets generales de S3 para facilitar el uso de datos no estructurados en ML. En este artículo explicamos cómo aprovechar esa integración para afinar Llama 3.2 11B Vision Instruct en una tarea de Visual Question Answering usando el dataset DocVQA.
SageMaker AI Training Plans permiten reservar capacidad de GPU p-family para cargas de inferencia con ventanas de tiempo definidas. Esto ayuda a equipos que deben evaluar modelos grandes sin depender de la capacidad on‑demand.
Nova Forge SDK simplifica la personalización de modelos de lenguaje y reduce la fricción técnica. En este artículo mostramos paso a paso cómo entrenar y afinar un modelo Nova usando SageMaker AI para clasificar preguntas de Stack Overflow.
Atos combinó e-learning, certificaciones y una competición práctica —AWS AI League— para entrenar a más de 400 participantes en fine-tuning de modelos con SageMaker. El enfoque gamificado elevó la adopción y la aplicación de IA en casos como sus soluciones para seguros.
