Die Familien — und wie man wählt, ohne der Rangliste zu folgen
Konkrete Namen mit Datum, damit dieser Kurs nicht im Ungefähren bleibt. Und drei Kriterien, die noch gelten, wenn die Namen veraltet sind.
| Familie | Woher | Wofür sie im Ruf steht | Lizenzart |
|---|---|---|---|
| Qwen | Alibaba | Breite Größenauswahl von sehr klein bis Serverklasse, gute Mehrsprachigkeit, ordentliches Deutsch. | meist Apache 2.0 — echte freie Lizenz |
| Llama | Meta | Sehr verbreitet, viele Anleitungen und Werkzeuge darum herum. | eigene Gemeinschaftslizenz mit Bedingungen |
| Mistral | Mistral AI (Frankreich) | Effizient bei kleiner Größe, europäischer Anbieter. | je Modell verschieden — nachsehen |
| Gemma | Klein und sparsam, für schwache Maschinen geeignet. | eigene Nutzungsbedingungen | |
| Phi | Microsoft | Sehr klein bei erstaunlicher Leistung in engen Aufgaben. | meist MIT — echte freie Lizenz |
Die drei Kriterien, die nicht altern
Passt es auf die Maschine, die Sie haben oder kaufen wollen?
Das ist die harte Grenze und schlägt jedes Qualitätsargument. Ein Modell, das nicht hineinpasst, ist nicht langsam — es ist unbrauchbar. Die Rechnung steht in Station 02.
Erlaubt die Lizenz, was Sie vorhaben?
„Herunterladbar" heißt nicht „frei verwendbar". Häufig stehen darin: eine Nutzerobergrenze, eine Nennungspflicht, eine Liste verbotener Verwendungen. Die drei Lizenzarten und was zu prüfen ist, stehen vollständig im Kurs ki-anwendung, Station 01.
Besteht es Ihre eigene Prüfbank?
Das einzige Kriterium, das für Ihre Aufgabe gilt. Zwanzig eigene Fragen sagen mehr als jede öffentliche Rangliste — denn die misst fremde Aufgaben in fremder Sprache. Station 07.
WarumWarum öffentliche Ranglisten systematisch etwas anderes messen als Ihre Arbeit
Ranglisten sind das erste, was man findet, und der schlechteste Ratgeber, den man haben kann. Nicht weil sie falsch wären — sondern weil sie eine andere Frage beantworten als die, die Sie stellen.
Erstens: die Sprache. Der überwiegende Teil der verbreiteten Vergleiche läuft auf Englisch. Modelle unterscheiden sich im Deutschen deutlich stärker als im Englischen, und die Reihenfolge kann sich dabei umkehren — besonders bei kleinen Modellen, bei denen deutscher Text im Training seltener vorkam.
Zweitens: die Aufgabenart. Gemessen werden gern Prüfungsfragen, Programmieraufgaben und Denksportaufgaben. Ihre Aufgabe ist mit einiger Wahrscheinlichkeit „diese Kundennachricht einer von vier Sorten zuordnen". Dass ein Modell Mathematikaufgaben besser löst, sagt darüber wenig.
Drittens: die Sättigung. Wenn eine Prüfung lange genug bekannt ist, fließen ihre Aufgaben und ähnliche Aufgaben in das Training der nächsten Modelle ein. Die Zahlen steigen dann, ohne dass die Fähigkeit im selben Maß steigt. Das ist kein Betrug, sondern ein Nebeneffekt — er macht Vergleiche über die Zeit trotzdem unbrauchbar.
Viertens: die Quantisierung fehlt. Gemessen wird meistens die volle Fassung. Sie werden eine Fassung mit 4 Bit betreiben. Der Unterschied ist klein, aber er ist da — und er trifft die kleinen Modelle stärker als die großen.
Wofür Ranglisten taugen: zwei oder drei Namen daraus mitzunehmen, die überhaupt in Frage kommen. Die Entscheidung fällt danach mit zwanzig eigenen Fragen. Das ist kein Misstrauen gegen die Vergleiche, sondern die Einsicht, dass „gut" nur in Bezug auf eine Aufgabe eine Bedeutung hat.