abbreviation LoRA
low-rank adaptation
L’adaptation de rang faible (LoRA) est une méthode qui modifie des grands modèles d’IA, comme ceux utilisés pour la génération de texte ou d’images, en ajustant seulement une petite partie de leurs paramètres. Cela évite de devoir réentraîner le modèle entier, économisant ainsi du temps et des ressources.
Elle fonctionne en ajoutant de petites matrices entraînables aux couches existantes du modèle, captant de nouvelles connaissances sans altérer les poids d’origine. Cela rend l’adaptation des modèles pour des tâches spécifiques beaucoup moins coûteuse, comme personnaliser un générateur d’images pour un style artistique particulier.
Pour les utilisateurs, LoRA change la donne en rendant la personnalisation des modèles accessible aux particuliers ou aux petites équipes. Au lieu de nécessiter un matériel coûteux ou de vastes jeux de données, on peut affiner un modèle sur un seul GPU, voire un ordinateur portable performant. Par exemple, un artiste numérique pourrait entraîner une variante LoRA de Stable Diffusion pour imiter son style unique avec seulement 50 à 100 images d’exemple, pour quelques dollars de frais de calcul en cloud.
Un photographe utilise LoRA pour adapter un modèle de génération d'images afin qu'il comprenne mieux ses techniques d'éclairage, réduisant ainsi les retouches manuelles.
Dans les autres langues
Voir aussi : fine-tuning