noun
Un mécanisme d’attention est un composant des modèles d’IA, notamment des grands modèles de langage, qui permet au système d’évaluer l’importance des différentes entrées lors de la génération d’une réponse. Il imite la façon dont les humains se concentrent sur les informations pertinentes tout en ignorant les distractions.
Il fonctionne en attribuant des scores à différentes parties des données d’entrée, déterminant quels éléments sont les plus pertinents pour la tâche. Par exemple, lors d’une traduction, il pourrait privilégier certains mots d’une phrase plutôt que d’autres pour produire une traduction plus précise.
Pour les utilisateurs, cela signifie que l’IA peut gérer des tâches plus complexes, comme la synthèse de longs documents ou la réponse à des questions nuancées, avec une meilleure précision. Cependant, cela nécessite également plus de puissance de calcul, ce qui peut augmenter les coûts. Un exemple concret est Google BERT, qui utilise l’attention pour comprendre le contexte dans les requêtes de recherche, améliorant les résultats de recherche de 10 % dans certains cas.
Lorsqu'on demande à une IA de résumer un rapport de 500 pages, le mécanisme d'attention l'aide à se concentrer sur les sections clés plutôt que de tout lire de manière égale.