MoE oder Dense? Die lokale KI-Entscheidung, die die meisten Menschen falsch herum treffen
Eine leise architektonische Debatte zieht sich durch die Welt der lokalen KI: Dense-Modelle gegen Mixture-of-Experts. Das eine ist ein zuverlässiges Arbeitstier, das andere ein Spezialistenteam. Beide haben ihren Platz — aber nur eines davon gehört auf eine bestimmte Maschine, und der Grund ist nicht der, den die meisten erwarten.
Die Unterscheidung
Ein Dense-Modell ist ein Unternehmen, in dem jeder Mitarbeiter an jeder Besprechung teilnimmt. Ob globale Strategie oder wer den Joghurt aufgegessen hat — die gesamte Belegschaft wird mobilisiert. Jeder Parameter wird für jedes erzeugte Token verwendet.
Ein Mixture-of-Experts-Modell ist ein Konzern mit spezialisierten Abteilungen. Ein Router am Empfang liest die Aufgabe und schickt sie an ein paar relevante Abteilungen; der Rest bleibt unbeschäftigt. Weit weniger aktive Parameter pro Token — nur ein Bruchteil des Netzwerks wacht auf.
Die Folge ist Geschwindigkeit. Weniger Arithmetik pro Token bedeutet hohen Durchsatz, und auf der richtigen Hardware fühlt sich MoE dramatisch schneller an.
Der Haken, an dem alle hängen bleiben
Hier ist das Missverständnis, das die meisten schlechten Hardware-Entscheidungen antreibt:
Das Gebäude wird nicht kleiner, nur weil die meisten Mitarbeiter unbeschäftigt sind.
Auch wenn nur wenige Experten aktiv sind, muss das gesamte Modell weiterhin in den Speicher passen. MoE spart Rechenzyklen. Es spart keinen Speicher und keinen RAM. Die gesamte Modelldatei muss jederzeit in Ihrem VRAM oder System-RAM liegen — und wenn der Platz fehlt, erscheinen die Spezialisten nie zur Arbeit.
Also: MoE spart Rechenleistung, nicht Speicherbedarf. Jede andere Entscheidung folgt daraus, dass Sie diese Unterscheidung klar halten.
Was das für Ihre Maschine bedeutet
Es macht Dense-Modelle zur sichereren Wahl auf speicherbegrenzten Laptops. Sie sind einfach und vorhersehbar, ohne die Routing-Logik, die Overhead verursachen kann.
Und es macht MoE attraktiv auf Macs und Workstations mit viel Speicher — Maschinen mit reichlich RAM und einem Bedarf an Durchsatz. Wenn Sie Coding-Agenten oder Arbeit betreiben, die auf tiefes Schlussfolgern setzt, ist MoE häufig die bessere Leistung.
Das Muster, das MoE am oberen Ende so überzeugend macht, ist ein Modell mit einer sehr hohen Gesamtzahl an Parametern, das pro Token nur einen kleinen Bruchteil aktiviert — Qwen3.8-2.4T-A95B ist das Beispiel aus dem Video: Fähigkeiten auf Server-Niveau bei Desktop-Generierungsgeschwindigkeit, sofern Sie den Speicher haben, das Ganze zu halten. Und manche Modelle sind schlicht servergroß, egal welche Architektur — keine Quantisierung macht sie zu einer Desktop-Option, und es ist verlorene Mühe, es zu erzwingen.
Wie bei der Quantisierungsleiter sind auch die konkreten Modellnamen im Video eine datierte Momentaufnahme. Die Auswahlregel ist es nicht: Es gibt kein universell bestes Modell, nur das beste Modell für Ihre konkrete Hardware.
Einstellungen, die sich zu ändern lohnen (und solche, die Sie in Ruhe lassen)
Die Standardwerte in Tools wie LM Studio sind sichere Ausgangspunkte. Sie sind nicht automatisch optimal für jedes Modell, jede Maschine und jede Aufgabe.
In Ruhe lassen: das Chat-Template auf Auto, GPU-Offload und Flash Attention auf Auto. Diese vermeiden Kompatibilitätsprobleme, und sie zu überschreiben kostet in der Regel mehr, als es bringt.
Bewusst wählen:
- Instruct- oder Chat-Builds, niemals Base-Modelle — Base-Modelle sind für die Forschung da, nicht für Gespräche.
- Q4 als Standard-Quantisierung, Q5, wenn es passt. Vermeiden Sie Q2 und Q3; sie verlieren zu viel Nuance.
- Kontext von 8–16K für den Alltag, 32K nur für lange Dokumente. Hoher Kontext verbraucht VRAM schnell, und zu viel davon zuzuweisen ist das häufigste selbst verursachte Speicherproblem.
- 8-Bit-KV-Cache, wenn der Speicher bei langen Gesprächen knapp wird.
- Temperatur 0,2–0,5 für faktische Arbeit und Code, 0,6–0,8 für natürliches Gespräch — aber halten Sie sich zuerst an die Model Card.
- Reasoning-Effort niedrig für einfache Zusammenfassungen, mittel oder hoch für schwierigen Code, Planung oder Mathematik. Verschwenden Sie keine Rechenleistung an leichte Aufgaben.
- Output-Limits, passend zur Aufgabe dimensioniert, damit das Modell nicht ausufert.
Und eine Regel, die mehr zählt als jede einzelne Einstellung: ändern Sie exakt eine Sache nach der anderen, und testen Sie dann Qualität und Geschwindigkeit. Sonst lernen Sie nichts darüber, welche Änderung geholfen hat.
Wenn Sie auf Apple Silicon arbeiten: Laden Sie die eigenen Generierungs-Standards des Modells — sie existieren aus einem Grund —, bleiben Sie bei einem oder zwei gleichzeitigen Anfragen und setzen Sie für gelegentlich genutzte Modelle eine Time-to-Live, damit sie Speicher freigeben.
Verlangen Sie für riskante Werkzeugaktionen immer eine Bestätigung. Ein Modell, das eine Funktion aufruft, ist weiterhin Software, die eine Entscheidung trifft.
Die Entscheidungsregel
Es läuft auf zwei Fragen hinaus, in dieser Reihenfolge.
Erstens: Passt das Modell bequem — mit Spielraum für den Kontext und Spielraum für Ihr Betriebssystem? Wenn nicht: Halt. Wählen Sie ein kleineres Modell oder eine stärkere Quantisierung. Kein anderes Tuning rettet ein Modell, das nicht passt.
Zweitens: Begrenzter Speicher bedeutet Dense. Reichlich Speicher plus Bedarf an Durchsatz bedeutet: Probieren Sie MoE aus — und messen Sie es auf Ihrer eigenen Hardware, statt irgendeiner Tabelle zu vertrauen, auch dieser hier.
Das beste lokale Modell ist nicht das größte. Es ist das kleinste, das Ihre Aufgabe korrekt, schnell und zuverlässig erledigt. Effizienz ist der Flex.
Die Modellvorschläge im Video sind eine Momentaufnahme vom 29. August 2026. Die Werkzeuge im Bereich der lokalen KI entwickeln sich schnell — prüfen Sie die Model Card und messen Sie auf Ihrer eigenen Hardware.


