Skip to main content
§ Video

Lokale KI entschlüsselt: Was 14B, INT8, Q6 und GGUF wirklich bedeuten

Auf YouTube ansehen ↗

Laden Sie ein lokales KI-Modell herunter, und Sie treffen sofort auf Namen wie Q4_K_M, INT8, 27B, GGUF und TurboQuant. Das liest sich weniger wie künstliche Intelligenz und mehr wie ein WLAN-Passwort.

Jedes dieser Etiketten beantwortet eine praktische Frage: Passt das auf meine Maschine — und was habe ich geopfert, damit es passt? Hier ist das Vokabular, der Reihe nach.


Was „lokal“ Ihnen bringt

Lokal bedeutet: Das Modell läuft auf Ihrem eigenen PC oder Ihrer Workstation. Es lebt auf Ihrer Hardware, nicht in der Cloud eines anderen. Sie besitzen die Rechenleistung, und Sie besitzen die Daten.

Der größte Anreiz ist Datenschutz. Ihre Prompts verlassen nie den Raum, und niemand liest sie mit, um sein nächstes Modell zu verbessern. Für sensible Arbeit — Recht, Medizin, unveröffentlichter Code, personenbezogene Daten — ist das eine Form von Souveränität, der die Cloud strukturell nicht entsprechen kann, und es umgeht die gesamte Frage, welchem Recht Ihr Anbieter unterliegt. Es funktioniert auch offline, und nach der Hardware gibt es keine Kosten pro Token.

Die Kompromisse sind real. Sie zahlen die Hardware im Voraus, und eine gute GPU ist nicht billig. Sie sind der Administrator: Updates, Treiberkonflikte und Optimierung liegen bei Ihnen. Und lokale Modelle liegen in der rohen Allround-Fähigkeit im Allgemeinen eine Stufe hinter den größten Cloud-Systemen.

Eine Warnung, die klar gesagt gehören: Lokal bedeutet nicht automatisch sicher. Sie müssen weiterhin Ihren Modellquellen und Ihrer Laufzeitumgebung vertrauen, und beide brauchen Patches wie jede andere Software.


Parameter: Milliarden von Reglern

Modelle werden in B gemessen — Milliarden von Parametern. Parameter sind einstellbare Zahlen, die während des Trainings gelernt werden. Sie sind keine gespeicherten Fakten und keine einzelnen Neuronen; sie sind mathematische Gewichte. Denken Sie an sie als Milliarden winziger Regler, von denen jeder beeinflusst, wie das Modell reagiert.

27B heißt: 27 Milliarden Regler. Mehr Parameter bedeuten im Allgemeinen mehr Fähigkeit — aber größer ist nicht automatisch besser. Wie diese Regler organisiert sind — die Architektur — zählt genauso wie ihre Anzahl, und Architektur plus Qualität der Trainingsdaten lassen ein kleineres Modell regelmäßig weit über seine Gewichtsklasse hinausboxen.

Etiketten im Netz machen das nicht besser, sondern schlimmer. Eine Zahl im Namen eines Modells kann sich auf die Gesamtzahl der Parameter, die aktiven Parameter oder die Dateigröße beziehen. Prüfen Sie immer die Model Card.

Am meisten zählt diese Unterscheidung bei Mixture-of-Experts-Modellen. In einem Dense-Modell wird jeder Parameter für jedes erzeugte Token verwendet — umfassend und ressourcenintensiv. Ein MoE-Modell hat eine sehr hohe Gesamtzahl an Parametern, aktiviert aber pro Token nur einen Bruchteil: eine riesige Bibliothek, in der immer nur ein Buch geöffnet wird. Ein Modell kann daher ein Billionen-Etikett tragen und pro Token trotzdem nur eine viel kleinere Zahl aktiver Parameter nutzen. Die Wahl zwischen beiden hat reale Konsequenzen — und es ist nicht die, die die meisten Menschen annehmen.


Präzision und Quantisierung

Jede gelernte Zahl lässt sich mit mehr oder weniger Stellen schreiben. Das ist Präzision: FP16, BF16, INT8 und so weiter. Geringere Präzision bedeutet kleinere Dateien und schnellere Arithmetik — aber, wie ein Foto in geringerer Auflösung, ein weniger exaktes Modell. Sie tauschen etwas Genauigkeit gegen viel Geschwindigkeit und Speicherplatz.

INT8 speichert Werte in acht Bits und halbiert damit den Gewichts-Speicher gegenüber 16 Bit grob. Der Laufzeitspeicher besteht aber nicht nur aus den Gewichten — der Kontext-Cache und der Software-Overhead kommen obendrauf.

Quantisierung ist der Prozess, diese Gewichte in geringere Präzision zu überführen: den Koffer enger zu packen. Höhere Zahlen bleiben näher am Original. Q8 ist nahezu verlustfrei; Q4 ist häufig der Sweet Spot; Q2 komprimiert so aggressiv, dass das Modell Fehler zu machen beginnt — die Schuhe bleiben liegen, um Platz zu sparen.

Die Methode zählt genauso wie die Zahl. Ein hochwertiger Q4_K_M-Build ist nicht einfach „4 Bit, also schlecht“. Das Quantisierungsschema ist ein echter Teil der Qualität.

Und dann gibt es GGUF: das Standard-Containerformat für den lokalen Einsatz. Es ist die Schachtel, in der das komprimierte Modell ankommt — robust, breit unterstützt, und selbst nicht die Intelligenz.


Wo das Modell Platz nehmen muss

VRAM ist die schnelle Werkbank direkt neben Ihrer GPU. System-RAM ist der Lagerraum am Ende des Flurs. Passt ein Modell nicht ins VRAM, werden Schichten in den System-RAM ausgelagert — technisch ein Sieg, gefühlt eine Katastrophe, weil jedes Wort Sekunden braucht, um zu erscheinen.

Moderne Macs nutzen Unified Memory, einen gemeinsamen Speicherpool für CPU und GPU, was die Rechnerei vereinfacht — aber Sie müssen trotzdem Platz für das Betriebssystem lassen.

Und jedes Gespräch braucht ein Notizbuch: Ihren Kontext und KV-Cache, den Arbeitsspeicher des Modells. Längerer Kontext heißt größeres Notizbuch. Das ist die Falle, die Menschen erwischt: Ein Modell, das in einem kurzen Chat bequem passt, kann bei einer langen Dokumentanalyse den Speicher ausgehen — weil das Notizbuch gewachsen ist, nicht das Modell.

Aggressive KV-Cache-Komprimierung (vermarktet unter Namen wie TurboQuant) kann dieses Notizbuch auf zwei oder drei Bits zusammendrücken. Das spart sehr viel Platz, aber die Unterstützung hängt von der Hardware ab und ist noch experimentell. Betrachten Sie es als Option für Fortgeschrittene, nicht als Standard.


Die Wahl nach Hardware

Das Video durchläuft eine Entscheidungsleiter von 8 GB bis 128 GB und darüber hinaus, mit konkreten Modellvorschlägen auf jeder Stufe — kleine Dense-Modelle wie Qwen3.8-27B im Mittelfeld und große Mixture-of-Experts-Builds wie Qwen3.8-2.4T-A95B nur dort, wo der Speicher vorhanden ist, um das gesamte Modell zu halten. Diese Vorschläge sind ausdrücklich eine Momentaufnahme — Bert datiert sie auf den Tag der Aufnahme, weil die Software und die Modellverfügbarkeit im lokalen KI-Bereich so schnell wandeln, dass jede Liste in Wochen altert.

Beständig ist die Form der Leiter. Am unteren Ende bleiben Sie bei kleinen Modellen und bescheidenem Kontext. In der Mitte gewinnen Sie Spielraum für mittelgroße Modelle bei Q4. Am oberen Ende können Sie große Modelle bei höherer Präzision betreiben, und nur an der Spitze passen überhaupt die wirklich enormen — wo die Bandbreite, nicht die Kapazität, zum Limit wird.

Für den ersten Lauf: Starten Sie mit einem gut unterstützten GGUF-Modell in einer Q4_K_M-Quantisierung, setzen Sie den Kontext auf bescheidene 8K, und testen Sie zuerst die Geschwindigkeit, bevor Sie irgendetwas anderes tun. Steigen Sie erst auf, wenn Sie sicher sind.


Jagen Sie nicht der größten Zahl hinterher. Das beste Modell ist das stärkste, das vollständig auf Ihre Werkbank passt — mit Spielraum für den Kontext und dafür, dass die Maschine weiterläuft.

Die Modellvorschläge im Video sind eine Momentaufnahme vom 29. August 2026. Speicherbedarf und Leistung variieren je nach Modell, Quantisierungsformat, Kontextlänge, Laufzeit und Hardware — prüfen Sie immer die Model Card und messen Sie auf Ihrer eigenen Maschine.