Herramientas y Reviews 6 min lectura
Transformers ahora soporta modelos GGUF para correr localmente
Hugging Face agregó soporte para cargar y ejecutar modelos GGUF dentro de transformers, aprovechando kernels de llama.cpp para mejorar rendimiento en laptops, especialmente Apple Silicon. Esto abre la puerta a ejecutar checkpoints cuantizados desde el Hub con la API conocida de transformers.