#inferencia-rapida

DSpark y DeepSpec: cómo la decodificación especulativa acelera LLMs en producción

DSpark aplica una versión semi-autoregresiva de la decodificación especulativa que acelera la generación de LLMs en producción. DeepSpec, el repo abierto, permite entrenar y evaluar modelos draft para reproducir estos resultados.