Das Arbeitsgedächtnis: Kontextfenster
Ein Modell überblickt nur eine begrenzte Menge Text auf einmal. Was nicht mehr hineinpasst, ist weg — und das erklärt, warum lange Chats schlechter werden.
Sie arbeiten seit einer Stunde in einem Chat an einem Angebot. Am Anfang haben Sie gesagt: „Bitte immer in der Sie-Form, und keine Preise nennen." Inzwischen duzt die KI den Kunden und schreibt Beträge hinein. Sie hat Ihre Anweisung nicht „vergessen" wie ein Mensch — sie sieht sie nicht mehr.
Token: die Wortstücke
Ein Sprachmodell rechnet nicht mit Wörtern, sondern mit Token — Wortstücken. Häufige kurze Wörter sind ein einziges Token, lange oder seltene werden zerlegt: „Angebotsanfrage" etwa in „Angebot", „s" und „anfrage". Ein deutsches Wort besteht meist aus einem bis vier Token. Token sind die Einheit, in der Anbieter Preise und Grenzen angeben.
Das Kontextfenster
Das Kontextfenster ist die Menge Token, die das Modell bei einer Antwort auf einmal überblickt — sein Arbeitsgedächtnis. Hinein gehört alles: die Grundanweisungen des Anbieters, Ihre eigenen Anweisungen, der gesamte bisherige Chat mit allen Antworten, angehängte Dateien — und die Antwort, die gerade entsteht.
Das Bild zeigt ein Fenster fester Breite, durch das ein Gesprächsverlauf läuft. Mit jeder Frage und jeder Antwort kommt hinten Text hinzu. Ist das Fenster voll, fällt vorne Text heraus — oder der Dienst ersetzt den Anfang durch eine kurze Zusammenfassung, in der Einzelheiten fehlen. Ihre erste Anweisung steht ganz vorne. Sie geht als Erstes verloren.
Warum sehr lange Chats schlechter werden
| Ursache | Was Sie bemerken |
|---|---|
| Frühe Anweisungen fallen heraus oder werden zusammengefasst | Ton, Form oder Verbote vom Anfang gelten plötzlich nicht mehr |
| Alte Entwürfe und verworfene Ideen stehen noch im Fenster | Die KI greift Dinge auf, die Sie längst gestrichen haben |
| Sehr viel Text verteilt die Aufmerksamkeit | Antworten werden allgemeiner, Einzelheiten aus der Mitte des Chats werden übersehen |
| Ein Missverständnis vom Anfang steht weiter im Verlauf | Korrekturen helfen nur kurz, der Fehler kehrt zurück |
Übung: Zusammenfassung zum Mitnehmen
Nehmen Sie einen längeren Chat, den Sie schon geführt haben, oder führen Sie zehn Minuten lang einen an einer echten Aufgabe. Schreiben Sie dann:
Fasse unser bisheriges Gespräch für einen Neuanfang zusammen, höchstens zehn Zeilen: 1. Das Ziel der Aufgabe 2. Was wir entschieden haben 3. Welche Vorgaben gelten (Ton, Form, Verbote) 4. Was noch offen ist 5. In welcher Form ich das Ergebnis brauche Schreibe es so, dass ich es in einen neuen Chat kopieren kann und du dort ohne Rückfrage weiterarbeiten kannst.
Kopieren Sie die Zusammenfassung in einen neuen Chat, prüfen Sie sie kurz, und arbeiten Sie dort weiter. Vergleichen Sie die nächste Antwort mit den letzten im alten Chat.
- Zeichen, dass ein neuer Chat fällig ist
WarumWarum die Mitte eines langen Textes schlechter beachtet wird
Ein Kontextfenster von einigen Hunderttausend Token heißt nicht, dass das Modell alle diese Token gleich gut beachtet. Eine viel zitierte Untersuchung von Liu und anderen (Stanford University u. a., 2023) mit dem Titel „Lost in the Middle" hat gezeigt: Modelle finden eine gesuchte Angabe am zuverlässigsten, wenn sie am Anfang oder am Ende eines langen Textes steht, und deutlich schlechter, wenn sie in der Mitte liegt.
Neuere Modelle sind darin besser geworden, und die Anbieter werben mit Tests, in denen eine Angabe in einem sehr langen Text wiedergefunden wird. Ein einzelnes Wiederfinden ist aber leichter als das, was im Alltag verlangt wird: viele verstreute Angaben gleichzeitig berücksichtigen, abwägen, verbinden. Hier zeigt sich die Schwäche weiterhin.
Was Sie daraus machen:
Stellen Sie das Wichtigste an den Anfang oder ans Ende Ihres Auftrags — nicht in die Mitte nach einem langen Dokument. Bei langen Dokumenten hilft es, die Frage nach dem Dokument noch einmal zu wiederholen. Und geben Sie lieber die drei relevanten Seiten mit als das ganze Handbuch: weniger Text, besser beachtet.
TiefeWas „zusammenfassen" im Hintergrund heißt
Wenn ein Chat das Kontextfenster füllt, gehen die Dienste unterschiedlich vor. Manche schneiden den Anfang einfach ab. Andere lassen das Modell den älteren Teil des Gesprächs zusammenfassen und ersetzen ihn durch diese Zusammenfassung. Wieder andere warnen und bitten, einen neuen Chat zu beginnen.
Die Zusammenfassung klingt nach der besten Lösung und hat eine Tücke: Sie ist selbst ein erzeugter Text. Was das Modell beim Zusammenfassen für unwichtig hielt, ist danach weg — und das kann genau Ihre Vorgabe „keine Preise nennen" sein. Sie erfahren davon meistens nichts. Die selbst verlangte Zusammenfassung aus der Übung hat den Vorteil, dass Sie sie lesen und korrigieren, bevor Sie weiterarbeiten.