Station 01/Einen Modellnamen lesen·Vorschau
Station 01 · Was sich überhaupt lokal installieren lässt/Phase 2

Einen Modellnamen lesen

Vier Angaben stecken in einer Zeile wie „qwen3:8b-instruct-q4_K_M". Wer sie lesen kann, braucht keine Empfehlungsliste mehr.

Modellnamen sehen abschreckend aus und sind es nicht. Sie enthalten in fester Reihenfolge vier Angaben, und drei davon entscheiden darüber, ob das Modell auf Ihrer Maschine läuft.

Anatomie eines ModellnamensFamilie · Größe · Zurichtung · Quantisierung
EINEN MODELLNAMEN LESEN — VIER ANGABEN IN EINER ZEILEqwen3 : 8b - instruct - q4_K_Mqwen3Die FamilieWer es gebaut hat und inwelcher Ausgabe. BestimmtSprachqualität und Lizenz.8bDie Größe8 Milliarden Parameter.Bestimmt, wie viel Speichernötig ist — Station 02.instructDie ZurichtungAuf Anweisungen trainiert.Ohne diesen Zusatz setzt esnur Text fort. Wichtig.q4_K_MDie Quantisierung4 Bit statt 16 je Gewicht.Viermal kleiner, kaumschlechter — Station 02.Ohne Angabe heißt nicht „ohne Wirkung".Wer nur „qwen3" schreibt, bekommt die Voreinstellung des Anbieters —eine bestimmte Größe und Quantisierung, die sich mit dem nächsten Zug ändern kann. In Anwendungen gehört der volle Name hin.

Die Angabe, die am häufigsten fehlt und am meisten anrichtet

„instruct" (oder „chat", „it") ist keine Feinheit. Ein Modell ohne diese Zurichtung ist ein Basismodell: Es setzt Text fort, statt Anweisungen zu befolgen. Fragen Sie es „Fasse das zusammen", schreibt es womöglich weitere Aufgabenstellungen dazu. Für Arbeit brauchen Sie immer die zugerichtete Fassung.

Zwei weitere Zusätze, die Ihnen begegnen

ZusatzWas er bedeutetWann er wichtig ist
-thinking, -reasoningDas Modell denkt sichtbar vor, bevor es antwortet. Deutlich langsamer, bei mehrschrittigen Aufgaben besser.Wenn Aufgaben mehrere Schritte haben. Für Umformulieren: unnötige Wartezeit.
-vl, -visionKann zusätzlich Bilder ansehen — Rechnungen, Zeichnungen, Fotos.Wenn Unterlagen als Bild vorliegen. Kostet mehr Speicher.
-coderAuf Programmtext zugerichtet.Für Programmierarbeit. Für deutschen Fließtext eher schlechter.
MoE, a3bVon vielen Parametern rechnet nur ein Teil je Anfrage mit. Schneller, aber der ganze Satz muss trotzdem in den Speicher.Vorsicht bei der Speicherrechnung — Station 02.
Der Fallstrick bei „MoE": Ein Modell mit der Angabe „30b-a3b" rechnet je Anfrage nur mit etwa 3 Milliarden Parametern — es ist also schnell wie ein kleines. Für den Speicher zählt aber die große Zahl. Wer nach der kleinen rechnet, kauft zu wenig Arbeitsspeicher.
  • Bevor Sie ein Modell holen — vier Fragen an den Namen
Zugang erhalten
Fortschritt merken?Mit Zugang bleiben Häkchen und erledigte Phasen am Konto — auf jedem Gerät.