noun
La normalisation de couche est une méthode utilisée en intelligence artificielle pour standardiser les entrées de chaque couche d’un réseau de neurones, garantissant des performances cohérentes quelle que soit la taille ou la distribution des données d’entrée.
Elle fonctionne en calculant la moyenne et la variance des activations au sein d’une seule couche, puis en les redimensionnant et en les décalant pour maintenir une plage stable. Cela aide les modèles à s’entraîner plus rapidement et à éviter des problèmes comme la disparition ou l’explosion des gradients.
Pour les développeurs, la normalisation de couche simplifie l’ajustement des modèles en réduisant la sensibilité à l’initialisation et aux hyperparamètres. Elle est particulièrement utile dans les grands modèles de langage, où elle aide à maintenir la cohérence sur de longues séquences. Par exemple, dans un modèle comme BERT, la normalisation de couche permet un traitement du texte stable même avec des longueurs de phrases variables, améliorant la précision de 5 % dans certains cas.
Lors de l'affinement d'un chatbot, la normalisation de couche permet des réponses cohérentes à différentes longueurs de requêtes sans réentraînement.
Dans les autres langues
Voir aussi : Attention mechanism