noun
Un modèle Transformer est une architecture de réseau de neurones conçue pour traiter des données séquentielles, comme le texte ou l’audio, en utilisant des mécanismes d’attention pour évaluer l’importance des différentes parties de l’entrée.
Introduit en 2017, il a révolutionné le traitement automatique du langage en remplaçant les modèles récurrents (RNN) grâce à une meilleure gestion des dépendances à long terme.
Pour les développeurs, les transformers permettent des applications puissantes comme la traduction instantanée ou la génération d’images, mais ils nécessitent d’importantes ressources informatiques et des données d’entraînement massives. Par exemple, l’entraînement d’un grand modèle comme GPT-3 peut coûter plus d’un million de dollars en frais de cloud computing.
Un modèle Transformer peut transformer une phrase en anglais en une image correspondante, comme 'un chat rouge dormant sur un canapé' en une illustration réaliste.
Dans les autres langues
Voir aussi : Neural network · Attention mechanism