noun
L’attention croisée est un mécanisme des modèles d’IA qui leur permet de relier et de combiner des informations provenant de deux sources distinctes, comme du texte et une image. Elle fonctionne en permettant à une partie du modèle de se concentrer sur des éléments pertinents d’une autre entrée tout en traitant la sienne.
Par exemple, dans la génération d’images, un modèle texte-image utilise l’attention croisée pour associer les mots d’une consigne (comme ‘un chat rouge’) aux caractéristiques visuelles de l’image. Cela garantit que l’image générée correspond à la description.
Pour les utilisateurs, l’attention croisée améliore la précision et la cohérence des sorties d’IA, mais elle peut aussi augmenter les coûts de calcul. Un modèle comme Stable Diffusion utilise l’attention croisée pour fusionner les consignes textuelles avec les détails de l’image, rendant les images générées plus précises mais nécessitant plus de puissance de traitement.
Lorsque vous tapez 'une ville futuriste au coucher du soleil' dans un générateur d'images IA, l'attention croisée aide le modèle à associer 'futuriste' aux gratte-ciel et 'coucher du soleil' aux couleurs du ciel.
Dans les autres langues
Voir aussi : Attention mechanism · prompt engineering