noun
Ein Token ist ein Textfragment (Wort, Wortteil oder Symbol), das KI-Modelle verwenden, um Eingaben zu analysieren und Antworten zu generieren. Im Gegensatz zu herkömmlichen Wörtern kann ein Token ein Teil eines Wortes oder ein Satzzeichen sein.
Tokens entstehen durch die Zerlegung von Text in kleinere Einheiten. Zum Beispiel könnte das Wort ‚chat‘ ein Token sein, während ‚chatting‘ in ‚chatt‘ und ‚ing‘ aufgeteilt werden könnte. Dadurch können Modelle verschiedene Sprachen und Formate effizienter verarbeiten.
Für Nutzer sind Tokens wichtig, weil die meisten KI-Dienste nach der Anzahl der verwendeten Tokens berechnen. Eine typische Unterhaltung könnte etwa 0,002 € pro 1.000 Tokens kosten, was bedeutet, dass ein Austausch von 500 Wörtern etwa 0,001 € kosten könnte. Dieses Preismodell fördert präzise Interaktionen und beeinflusst, wie Nutzer ihre Anfragen formulieren.
Wenn man eine KI bittet, einen 1.000 Wörter langen Artikel zusammenzufassen, könnte das System je nach Modell etwa 150 Tokens verwenden.