Kontextfenster

noun

Ein Kontextfenster ist der Teil des vorherigen Textes oder Gesprächs, den ein Sprachmodell nutzen kann, um seine nächste Ausgabe zu erstellen. Es fungiert als das Kurzzeitgedächtnis des Modells und bestimmt, wie viel vorherige Information es nutzen kann, um Kohärenz zu wahren, auf Nachfragen zu antworten oder komplexe Anweisungen zu befolgen.

Die meisten Konsumentenmodelle, wie Chatbots oder Bildgeneratoren, haben ein festes Kontextfenster (z. B. 4.096 Tokens, etwa 3.000 Wörter). Überschreitet die Interaktion diese Grenze, kann das Modell frühere Details vergessen, was zu Fehlern oder irrelevanten Antworten führt. Einige fortschrittliche Modelle passen das Fenster dynamisch an, aber das erhöht die Rechenkosten.

Für Nutzer bedeutet das, Interaktionen knapp zu halten oder wichtige Punkte zusammenzufassen, um innerhalb des Fensters zu bleiben. Für Entwickler erfordert es, Prompts zu optimieren und den Speicherverbrauch zu verwalten. Beispielsweise müsste man einen 10.000-Wörter-Dokumenten für eine Zusammenfassung in Abschnitte teilen, da das Modell sonst den Überblick über frühere Teile verlieren könnte, wenn der Text das Fenster überschreitet.

Wenn Sie eine KI bitten, einen 5.000-Wörter-Bericht zu analysieren, verarbeitet sie möglicherweise nur die letzten 3.000 Wörter, wenn ihr Kontextfenster 4.096 Tokens beträgt.

Siehe auch: Token · Attention mechanism

Découvrez nos autres services

ElpisIA, c’est tout un univers — explorez nos autres services.