Fenêtre de contexte

noun

La fenêtre de contexte est la portion de texte ou de conversation antérieure qu’un modèle de langage peut utiliser pour produire sa réponse suivante. Elle agit comme une mémoire à court terme, influençant la cohérence, la capacité à répondre à des questions complémentaires ou à suivre des instructions complexes.

La plupart des modèles grand public, comme ceux des chatbots ou des générateurs d’images, ont une fenêtre de contexte fixe (par exemple, 4 096 tokens, soit environ 3 000 mots). Si la conversation dépasse cette limite, le modèle peut oublier les détails initiaux, entraînant des erreurs ou des réponses hors sujet. Certains modèles avancés ajustent dynamiquement la fenêtre, mais cela augmente le coût de calcul.

Pour les utilisateurs, cela signifie garder les interactions concises ou résumer les points clés pour rester dans la limite. Pour les développeurs, cela implique d’optimiser les requêtes et de gérer l’utilisation de la mémoire. Par exemple, demander à un IA de résumer un document de 10 000 mots nécessiterait de le diviser en parties, car le modèle pourrait perdre le fil des sections précédentes si le texte dépasse sa fenêtre.

Si vous demandez à une IA d'analyser un rapport de 5 000 mots, elle ne traitera peut-être que les 3 000 derniers mots si sa fenêtre de contexte est de 4 096 tokens.

Dans les autres langues

Voir aussi : Token · Attention mechanism

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.