noun
Le mécanisme d’auto-attention est un composant essentiel des modèles d’IA modernes, notamment des grands modèles de langage, qui leur permet d’évaluer l’importance relative des différentes parties des données d’entrée.
Il fonctionne en calculant les relations entre chaque élément de l’entrée, permettant au modèle de mettre l’accent sur les informations pertinentes. Par exemple, dans une phrase, il peut accorder plus d’importance au verbe qu’à un adjectif isolé.
Pour les développeurs, l’auto-attention améliore la précision mais augmente les coûts de calcul. Un modèle comme GPT-3 utilise l’auto-attention pour gérer 175 milliards de paramètres, ce qui le rend puissant mais gourmand en ressources, obligeant à des compromis entre performance et efficacité.
Lors de la rédaction d'un résumé, un modèle utilisant l'auto-attention met en avant les détails clés tout en éliminant les mots superflus.
Dans les autres langues
Voir aussi : Attention mechanism