abbreviation LoRA
low-rank adaptation
Die Low-Rank-Adaption (LoRA) ist eine Technik, die große KI-Modelle, wie solche für Text- oder Bildgenerierung, durch Anpassung nur eines kleinen Teils ihrer Parameter modifiziert. Dadurch entfällt die Notwendigkeit, das gesamte Modell neu zu trainieren, was Zeit und Ressourcen spart.
Sie funktioniert, indem kleine, trainierbare Matrizen zu den bestehenden Schichten des Modells hinzugefügt werden, die neues Wissen erfassen, ohne die ursprünglichen Gewichte zu verändern. Dadurch wird die Anpassung von Modellen für spezifische Aufgaben deutlich günstiger, wie z. B. die Anpassung eines Bildgenerators an einen bestimmten Kunststil.
Für Nutzer verändert LoRA die Spielregeln, indem es die Modellanpassung für Einzelpersonen oder kleine Teams zugänglich macht. Statt teurer Hardware oder großer Datensätze benötigt man nur eine einzelne GPU oder einen leistungsstarken Laptop. Beispielsweise könnte ein digitaler Künstler eine LoRA-Variante von Stable Diffusion trainieren, um seinen einzigartigen Stil mit nur 50-100 Beispielbildern nachzubilden, was nur wenige Dollar an Cloud-Computing-Kosten kostet.
Ein Fotograf nutzt LoRA, um ein Text-zu-Bild-Modell so anzupassen, dass es seine Beleuchtungstechniken besser versteht, wodurch manuelle Nachbearbeitungen reduziert werden.
In anderen Sprachen
Siehe auch: fine-tuning