Inteligencia Artificial 6 min lectura
Batching en LLM: estático, dinámico y continuo explicado para decisores
El batching agrupa solicitudes para mejorar la utilización de GPUs en inferencia de LLMs. Aquí explicamos las diferencias entre batching estático, dinámico y continuo, y cuándo conviene cada uno.
