noun
La tokenisation consiste à transformer le texte en tokens, des unités plus petites comme des mots, des parties de mots ou des caractères. Les modèles d’IA, notamment les grands modèles de langage, traitent le texte sous forme de séquences de tokens plutôt que de texte brut.
La plupart des systèmes de tokenisation divisent le texte en unités sous-mot (par exemple, ‘courir’ → ‘cour’, ‘##ir’) pour gérer les mots rares ou inconnus. Par exemple, le modèle GPT-4 utilise un tokeniseur qui divise généralement les mots en 1,5 tokens par mot, ce qui signifie qu’une entrée de 50 mots pourrait devenir 75 tokens.
La tokenisation influence la manière dont les modèles d’IA traitent les entrées et les sorties. Elle limite la longueur du texte qu’un modèle peut traiter en une seule fois (par exemple, 4 096 tokens pour GPT-4), ce qui peut nécessiter de tronquer ou de résumer les textes longs. Elle impacte également les coûts, car certains services d’IA facturent par token utilisé.
Lorsque vous demandez à une IA de résumer un article de 1 000 mots, le système tokenise d'abord le texte, ce qui peut donner 1 500 tokens, puis le traite par morceaux pour ne pas dépasser la limite de tokens du modèle.
Dans les autres langues
Voir aussi : prompt engineering