noun
Tokenisierung wandelt Text in Tokens um, also kleinere Einheiten wie Wörter, Wortteile oder Zeichen. KI-Modelle, insbesondere große Sprachmodelle, verarbeiten Text als Sequenzen von Tokens statt als Rohtext.
Die meisten Tokenisierungssysteme teilen Text in Subwort-Einheiten auf (z. B. ‚laufen‘ → ‚lauf‘, ‚##en‘), um seltene oder unbekannte Wörter zu verarbeiten. Zum Beispiel verwendet das GPT-4-Modell einen Tokenizer, der Wörter typischerweise in 1,5 Tokens pro Wort aufteilt, was bedeutet, dass eine Eingabe von 50 Wörtern zu 75 Tokens werden könnte.
Tokenisierung beeinflusst, wie KI-Modelle Eingaben und Ausgaben verarbeiten. Sie begrenzt die Textlänge, die ein Modell auf einmal verarbeiten kann (z. B. 4.096 Tokens für GPT-4), was das Kürzen oder Zusammenfassen langer Texte erfordern kann. Sie wirkt sich auch auf die Kosten aus, da einige KI-Dienste pro Token berechnen.
Wenn Sie eine KI bitten, einen 1.000-Wörter-Artikel zusammenzufassen, tokenisiert das System zunächst den Text, was typischerweise 1.500 Tokens ergeben könnte, und verarbeitet ihn dann in Abschnitten, um die Token-Grenze des Modells nicht zu überschreiten.
In anderen Sprachen
- EN Tokenization
- FR Tokenisation
- ES Tokenización
Siehe auch: prompt engineering