Cuantización de modelos

noun

La cuantización de modelos es un proceso que reduce la precisión de los valores numéricos de un modelo de IA, pasando por ejemplo de 32 bits en coma flotante a 8 bits enteros. Esto disminuye el tamaño del modelo y acelera su procesamiento, con una pérdida mínima de precisión.

Funciona aproximando los pesos y activaciones del modelo a formatos de menor precisión. Un modelo entrenado con 32 bits puede cuantizarse a 8 bits, reduciendo su uso de memoria en un 75 % y mejorando la velocidad de inferencia entre 2 y 5 veces en hardware compatible.

Para los desarrolladores, la cuantización reduce costos al disminuir los gastos en computación en la nube y permite ejecutar modelos de IA en dispositivos de bajo consumo, como smartphones. Sin embargo, puede requerir reentrenamiento o ajuste fino para mantener el rendimiento. Un ejemplo real es Llama 2 de Meta, que ofrece versiones cuantizadas optimizadas para GPUs de consumo.

Un desarrollador usa una versión cuantizada en 8 bits de un modelo de lenguaje para ejecutarlo en una Raspberry Pi, reduciendo el uso de memoria de 10 GB a 2,5 GB.

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.