noun
La cuantización de modelos es un proceso que reduce la precisión de los valores numéricos de un modelo de IA, pasando por ejemplo de 32 bits en coma flotante a 8 bits enteros. Esto disminuye el tamaño del modelo y acelera su procesamiento, con una pérdida mínima de precisión.
Funciona aproximando los pesos y activaciones del modelo a formatos de menor precisión. Un modelo entrenado con 32 bits puede cuantizarse a 8 bits, reduciendo su uso de memoria en un 75 % y mejorando la velocidad de inferencia entre 2 y 5 veces en hardware compatible.
Para los desarrolladores, la cuantización reduce costos al disminuir los gastos en computación en la nube y permite ejecutar modelos de IA en dispositivos de bajo consumo, como smartphones. Sin embargo, puede requerir reentrenamiento o ajuste fino para mantener el rendimiento. Un ejemplo real es Llama 2 de Meta, que ofrece versiones cuantizadas optimizadas para GPUs de consumo.
Un desarrollador usa una versión cuantizada en 8 bits de un modelo de lenguaje para ejecutarlo en una Raspberry Pi, reduciendo el uso de memoria de 10 GB a 2,5 GB.