Quantification de modèle

noun

La quantification de modèle consiste à réduire la précision des valeurs numériques d’un modèle d’IA, en passant par exemple de 32 bits en virgule flottante à 8 bits en entier. Cela diminue la taille du modèle et accélère son exécution, souvent avec une perte d’exactitude négligeable.

Cette méthode fonctionne en approximant les poids et les activations du modèle avec des formats moins précis. Un modèle entraîné avec des nombres à 32 bits peut ainsi être quantifié en 8 bits, réduisant son utilisation mémoire de 75 % et accélérant l’inférence de 2 à 5 fois sur des matériels compatibles.

Pour les développeurs, la quantification réduit les coûts en diminuant les dépenses de calcul cloud et permet d’exécuter des modèles d’IA sur des appareils embarqués comme les smartphones. Cependant, elle peut nécessiter un réentraînement ou un ajustement pour préserver les performances. Par exemple, Meta propose des versions quantifiées de Llama 2 adaptées aux GPU grand public.

Un développeur utilise une version quantifiée en 8 bits d’un modèle de langage pour l’exécuter sur un Raspberry Pi, réduisant l’utilisation mémoire de 10 Go à 2,5 Go.

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.