Warum ein Wissenssystem leise versagt
Die These dieses Kurses. Sie erklärt, warum das Messen aus Station 07 nicht Kür ist, sondern die Voraussetzung dafür, überhaupt etwas behaupten zu dürfen.
Der zweite Satz ist der wichtigere, und er ist der Unterschied zu fast allem, was zu diesem Thema geschrieben wird. Machen Sie sich den Mechanismus einmal ganz klar:
Der Ablauf eines leisen Fehlers
Die Frage passt zu keinem Ausschnitt
Das Wissen dazu steht nicht in der Ablage, oder es wurde beim Zerlegen zerschnitten, oder das Dokument ist gar nicht eingelesen worden.
Die Suche liefert trotzdem fünf Treffer
Eine Ähnlichkeitssuche liefert immer die ähnlichsten Ausschnitte. „Ähnlich genug" ist kein Kriterium, das sie kennt — sie sortiert nur.
Das Modell formuliert daraus eine Antwort
Es bekommt fünf Ausschnitte und eine Frage. Seine Aufgabe ist, daraus einen Text zu machen — und das kann es gut. Der Text ist flüssig, zusammenhängend und plausibel.
Niemand hat einen Anlass zu zweifeln
Es steht keine Fehlermeldung da. Es steht kein „unsicher" da. Es steht eine Antwort da, so wie bei den vierzig Fragen davor, die richtig waren.
Was daraus folgt — für den ganzen Kurs
| Folgerung | Wo sie eingelöst wird |
|---|---|
| Was hineinkommt, entscheidet mehr als jedes Modell | Station 02 |
| Wie zerlegt wird, entscheidet mehr als die Ablage | Station 03 |
| Jede Antwort braucht eine Fundstelle — sonst ist sie nicht prüfbar | Station 05 |
| Es muss „ich weiß es nicht" sagen dürfen | Station 05 |
| Ohne Messung ist jede Aussage über die Güte eine Vermutung | Station 07 |
WarumWarum ein besseres Modell den leisen Fehler nicht behebt
Die naheliegende Hoffnung: Wenn das Modell besser wird, merkt es selbst, dass die Ausschnitte nicht passen, und sagt das. Diese Hoffnung ist nur zur Hälfte begründet, und die andere Hälfte ist die gefährliche.
Was ein besseres Modell tatsächlich besser kann: Es hält sich zuverlässiger an die Anweisung, nur aus den übergebenen Ausschnitten zu antworten. Es erfindet seltener Fundstellen. Es erkennt häufiger, wenn ein Ausschnitt eine Einschränkung enthält, die in die Antwort gehört. Das ist echter Fortschritt, und er ist an Kennzahl 3 messbar.
Was es nicht besser kann: Es sieht nur die fünf Ausschnitte, die ihm übergeben wurden. Ob der richtige darunter ist, entscheidet die Suche — und die entscheidet es, bevor das Modell überhaupt gefragt wird. Ein Modell kann nicht bemerken, dass ihm die entscheidende Stelle fehlt, weil es nicht weiß, dass es sie gibt.
Die Kennzahlen 1 und 2 aus Station 07 sind deshalb modellunabhängig. Sie messen, was vor dem Modell geschieht. Ein Modellwechsel bewegt sie nicht — und wenn doch, war die Messung falsch aufgesetzt.
Die unangenehme Seite des Fortschritts: Ein besseres Modell formuliert aus schlechten Ausschnitten eine bessere Antwort. Sie ist flüssiger, wirkt kompetenter und ist genauso falsch. Der leise Fehler wird nicht seltener, sondern schwerer zu bemerken.