Tokenisierung

noun

Tokenisierung wandelt Text in Tokens um, also kleinere Einheiten wie Wörter, Wortteile oder Zeichen. KI-Modelle, insbesondere große Sprachmodelle, verarbeiten Text als Sequenzen von Tokens statt als Rohtext.

Die meisten Tokenisierungssysteme teilen Text in Subwort-Einheiten auf (z. B. ‚laufen‘ → ‚lauf‘, ‚##en‘), um seltene oder unbekannte Wörter zu verarbeiten. Zum Beispiel verwendet das GPT-4-Modell einen Tokenizer, der Wörter typischerweise in 1,5 Tokens pro Wort aufteilt, was bedeutet, dass eine Eingabe von 50 Wörtern zu 75 Tokens werden könnte.

Tokenisierung beeinflusst, wie KI-Modelle Eingaben und Ausgaben verarbeiten. Sie begrenzt die Textlänge, die ein Modell auf einmal verarbeiten kann (z. B. 4.096 Tokens für GPT-4), was das Kürzen oder Zusammenfassen langer Texte erfordern kann. Sie wirkt sich auch auf die Kosten aus, da einige KI-Dienste pro Token berechnen.

Wenn Sie eine KI bitten, einen 1.000-Wörter-Artikel zusammenzufassen, tokenisiert das System zunächst den Text, was typischerweise 1.500 Tokens ergeben könnte, und verarbeitet ihn dann in Abschnitten, um die Token-Grenze des Modells nicht zu überschreiten.

In anderen Sprachen

Siehe auch: prompt engineering

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.