Modellquantisierung

noun

Modellquantisierung ist ein Prozess, der die Genauigkeit der numerischen Werte in einem KI-Modell reduziert, typischerweise von 32-Bit-Gleitkommazahlen auf 8-Bit-Ganzzahlen. Dadurch wird das Modell kleiner und schneller, oft mit minimalem Genauigkeitsverlust.

Die Quantisierung funktioniert, indem die Gewichte und Aktivierungen des Modells auf weniger präzise Formate angenähert werden. Ein Modell, das mit 32-Bit-Gleitkommazahlen trainiert wurde, kann auf 8-Bit-Ganzzahlen quantisiert werden, wodurch der Speicherbedarf um 75 % sinkt und die Inferenzgeschwindigkeit auf kompatiblen Hardware um das 2- bis 5-fache steigt.

Für Entwickler senkt die Quantisierung die Kosten, indem sie die Cloud-Computing-Ausgaben reduziert und es ermöglicht, KI-Modelle auf Edge-Geräten wie Smartphones auszuführen. Allerdings kann sie ein erneutes Training oder Feinabstimmung erfordern, um die Leistung zu erhalten. Ein reales Beispiel ist Meta’s Llama 2, das quantisierte Versionen bietet, die auf Consumer-GPUs laufen.

Ein Entwickler nutzt eine 8-Bit-quantisierte Version eines Sprachmodells, um es auf einem Raspberry Pi auszuführen, wodurch der Speicherbedarf von 10 GB auf 2,5 GB reduziert wird.

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.