Das nächste Wort
Ihr Telefon schlägt beim Tippen das nächste Wort vor. Ein Sprachmodell tut im Kern dasselbe — nur mit unvorstellbar viel mehr gelesenem Text dahinter.
Wenn Sie auf dem Telefon „Ich komme etwas" tippen, schlägt die Tastatur „später" vor. Sie hat nicht verstanden, dass Sie im Stau stehen. Sie hat gelernt, dass auf „Ich komme etwas" sehr oft „später" folgt. Ein Sprachmodell arbeitet nach demselben Grundsatz. Der Unterschied liegt in der Größe: Es hat nicht Ihre Nachrichten gelesen, sondern einen erheblichen Teil allen verfügbaren Textes — und es berücksichtigt nicht die letzten zwei Wörter, sondern Seiten davon.
Das Bild zeigt den Satzanfang „Vielen Dank für Ihre Anfrage. Gern senden wir Ihnen ein …". Darunter stehen mögliche nächste Wörter mit Balken für ihre Wahrscheinlichkeit: „Angebot" weit vorn, dahinter „Muster" und „Exemplar", dann „Prospekt", ganz hinten Wörter wie „Kuchen", die fast nie folgen. Das Modell wählt eines, hängt es an — und beginnt von vorn, jetzt mit einem Wort mehr. So entsteht eine Antwort: Wortstück für Wortstück, jedes Mal neu gerechnet.
Was daraus folgt
| Eigenschaft | Warum | Was es für Sie heißt |
|---|---|---|
| Es klingt immer flüssig | Flüssiger Text ist genau das, was wahrscheinlich ist. | Gute Sprache ist kein Zeichen für richtige Inhalte. |
| Es schlägt nichts nach | Es gibt keine Datenbank im Modell, nur gelernte Muster. (Manche Dienste suchen zusätzlich im Netz — dann steht eine Quelle dabei.) | Fakten, Zahlen und Quellen müssen Sie prüfen — Station 03. |
| Es ist stark bei Häufigem | Was in Texten oft vorkommt — Geschäftsbriefe, Zusammenfassungen, gängige Fachsprache —, hat es oft gesehen. | Für Entwürfe, Umformulierungen, Gliederungen ist es sehr gut. |
| Ihr Text verschiebt die Wahrscheinlichkeiten | Alles, was im Chat steht, fließt in die Rechnung für das nächste Wort ein. | Ein guter Auftrag mit Hintergrund und Beispielen ändert das Ergebnis wirklich — Station 02. |
Übung: Sehen Sie den Wahrscheinlichkeiten zu
Öffnen Sie ein Chatfenster
Welches, ist gleich: ChatGPT, Claude, Gemini, Microsoft Copilot oder Le Chat. Kopieren Sie diesen Auftrag hinein:
Setze den folgenden Satzanfang auf fünf verschiedene Arten fort, jeweils nur mit einem einzigen Wort. Ordne die fünf danach, wie naheliegend sie dir erscheinen, und begründe die Reihenfolge in je einem Satz. Satzanfang: „Vielen Dank für Ihre Anfrage. Gern senden wir Ihnen ein …"
Ändern Sie den Zusammenhang
Schreiben Sie im selben Chat:
Jetzt dieselbe Aufgabe, aber der Satz steht in einer Mail einer Bäckerei an einen Kindergarten, der für ein Sommerfest angefragt hat.
Achten Sie darauf, wie sich die Reihenfolge verschiebt. Genau das passiert in jeder Antwort: Der Zusammenhang, den Sie geben, ändert, was wahrscheinlich ist.
Ziehen Sie den Schluss
Das Modell hat nicht „nachgedacht, was Bäckereien versenden". Ihr Zusatz hat andere Fortsetzungen wahrscheinlicher gemacht. Das ist die Grundlage von allem, was in Station 02 über gute Aufträge steht.
- Was Sie mitnehmen
WarumWarum „nur das nächste Wort" wie Verstehen aussieht
„Es sagt doch nur das nächste Wort voraus" ist richtig und führt trotzdem in die Irre. Denn um bei sehr vielen und sehr verschiedenen Texten das nächste Wort gut vorherzusagen, muss ein Modell vieles mitlernen, was nach Verstehen aussieht.
Ein Beispiel: Um in einem Kriminalroman auf „Der Täter war …" den richtigen Namen fortzusetzen, muss man die Handlung verfolgt haben. Um in einer Rechnung auf „Gesamtbetrag:" eine passende Zahl folgen zu lassen, muss man die Posten zusammenzählen können. Um eine Mail auf Englisch fortzusetzen, die auf Deutsch begann, muss man übersetzen können. Nichts davon wurde dem Modell beigebracht. Es ist ein Nebenprodukt der einen Aufgabe „sag das nächste Wort gut voraus", geübt an sehr viel Text.
Ob das „echtes" Verstehen ist, ist eine offene Frage, über die Fachleute ernsthaft streiten. Für die Arbeit ist sie weniger wichtig als eine praktische Beobachtung: Das Modell verhält sich in vielen Situationen so, als ob es verstünde — und in manchen, erstaunlich einfachen, plötzlich nicht. Diese Mischung ist genau das, was Station 03 die „zerklüftete Grenze" nennt.
Die nützliche Haltung liegt zwischen den beiden Lagern: Nicht „es versteht nichts, also ist es wertlos" und nicht „es versteht alles, also kann ich ihm vertrauen", sondern „es kann erstaunlich viel, und ich weiß, woran ich die Ausnahmen erkenne".
TiefeWas genau eine „Wahrscheinlichkeit für das nächste Wort" ist
Das Modell kennt einen festen Wortschatz von Token — bei Llama 3 laut Meta (2024) rund 128.000 verschiedene. Bei jedem Schritt rechnet es für jedes dieser Token eine Zahl aus, wie gut es als Fortsetzung passt. Diese Zahlen werden in Wahrscheinlichkeiten umgerechnet, die sich zu 100 % aufaddieren. Fast alle sind winzig; ein paar Dutzend haben eine nennenswerte Chance.
Dann wird eines gezogen — nicht zwingend das wahrscheinlichste (Phase „zufall"). Es wird an den Text angehängt, und die ganze Rechnung beginnt neu, jetzt mit einem Token mehr. Eine Antwort von 300 Wörtern bedeutet also einige Hundert vollständige Durchläufe durch das Modell. Das erklärt, warum lange Antworten länger dauern — und warum Anbieter die Ausgabe teurer berechnen als die Eingabe.