noun
Un hyperparamètre est une valeur de configuration qui influence la façon dont un modèle d’apprentissage automatique s’entraîne, comme le taux d’apprentissage ou la taille des lots. Contrairement aux paramètres classiques (par exemple, les poids d’un réseau de neurones), les hyperparamètres sont définis avant l’entraînement et ne sont pas appris à partir des données.
Ils proviennent d’expérimentations, de règles empiriques ou de techniques d’optimisation comme la recherche en grille. Par exemple, dans un modèle de langage, le taux d’apprentissage détermine à quel point le modèle ajuste ses poids après chaque étape d’entraînement. Un taux trop élevé peut faire diverger l’entraînement, tandis qu’un taux trop bas le ralentit.
Pour les développeurs, les hyperparamètres sont cruciaux car ils influencent directement les performances du modèle. Un mauvais choix (par exemple, 0,1 au lieu de 0,001) peut faire échouer l’entraînement, tandis que des valeurs optimales (comme 0,0001 pour certains modèles) accélèrent la convergence. Ils impactent aussi les coûts de calcul : des lots plus grands accélèrent l’entraînement mais nécessitent plus de mémoire.
Lors de l'ajustement d'un modèle de génération de texte, réduire le taux d'apprentissage de 0,001 à 0,0001 a diminué le surapprentissage de 15 %.
Dans les autres langues
Voir aussi : Model training