Skip to main content
§ Video

MoE of dense? De lokale-AI-keuze die de meesten achterstevoren maken

Bekijk op YouTube ↗

Er loopt een stille architectuurdispuut door de wereld van lokale AI: dense modellen tegenover mixture-of-experts. De ene is een betrouwbaar werkpaard, de andere een gespecialiseerd team. Beide hebben hun plaats — maar op elke gegeven machine hoort er maar één thuis, en de reden is niet de reden die de meeste mensen verwachten.


Het onderscheid

Een dense model is een bedrijf waar elke werknemer elke vergadering bijwoont. Wereldstrategie of wie de yoghurt heeft leeggegeten, het hele personeel wordt gemobiliseerd. Elke parameter wordt gebruikt voor elke gegenereerde token.

Een mixture-of-experts-model is een conglomeraat met gespecialiseerde departementen. Een router aan de onthaalbalie leest de taak en stuurt ze naar een paar relevante departementen; de rest blijft inactief. Veel minder actieve parameters per token — slechts een fractie van het netwerk wordt wakker.

Het gevolg is snelheid. Minder rekenwerk per token betekent een hoge doorvoer, en op de juiste hardware voelt MoE dramatisch sneller aan.


Het addertje dat iedereen struikelt

Dit is het misverstand dat de meeste slechte hardwarebeslissingen aanstuurt:

Het gebouw wordt niet kleiner omdat het meeste personeel niets doet.

Zelfs wanneer slechts een paar experts actief zijn, moet het hele model nog steeds in het geheugen passen. MoE spaart rekencycli. Het spaart geen opslag en geen RAM. Dat volledige modelbestand moet te allen tijde in uw VRAM of systeemgeheugen zitten — en als de ruimte er niet is, komen de specialisten nooit opdagen.

Dus: MoE gaat over het sparen van rekenkracht, niet over de geheugenvoetafdruk. Elke andere beslissing volgt uit het helder houden van dat onderscheid.


Wat dat voor uw machine betekent

Het maakt dense modellen de veiligere keuze op geheugenbeperkte laptops. Ze zijn eenvoudig en voorspelbaar, zonder de routinglogica die overhead kan introduceren.

Het maakt MoE aantrekkelijk op Macs en workstations met veel geheugen — machines met ruim geheugen en een behoefte aan doorvoer. Draait u codingagents of werk dat op diepe redenering steunt, dan presteert MoE vaak beter.

Het patroon dat MoE aan de top overtuigend maakt, is een model met een zeer groot totaal aantal parameters dat per token slechts een kleine fractie activeert — Qwen3.8-2.4T-A95B is het voorbeeld uit de video: servergrade capaciteit op desktopgeneratiesnelheden, op voorwaarde dat u het geheugen hebt om het geheel te herbergen. En sommige modellen zijn simpelweg op serverschaal, ongeacht de architectuur — geen kwantisatie maakt er een desktoppropositie van, en forceren is verspilde moeite.

Zoals bij de kwantisatieladder zijn de specifieke modelnamen in de video een gedateerde momentopname. De selectieregel is dat niet: er bestaat geen universeel best model, alleen het beste model voor uw specifieke hardware.


Instellingen die de moeite lonen (en die u met rust moet laten)

De standaardwaarden in tools zoals LM Studio zijn veilige vertrekpunten. Ze zijn niet automatisch optimaal voor elk model, elke machine of elke taak.

Met rust laten: het chattemplate op auto, GPU-offload en flash attention op auto. Deze vermijden compatibiliteitsproblemen, en ze overschrijven kost doorgaans meer dan het oplevert.

Bewust kiezen:

  • Instruct- of chat-builds, nooit basemodellen — basemodellen zijn voor onderzoek, niet voor conversatie.
  • Q4 als standaardkwantisatie, Q5 als die past. Vermijd Q2 en Q3; die verliezen te veel nuance.
  • Context van 8–16K voor dagelijks gebruik, 32K alleen voor lange documenten. Hoge context verbruikt snel VRAM, en er te veel van toewijzen is het meest voorkomende zelftoegebrachte geheugenprobleem.
  • 8-bits KV-cache wanneer het geheugen krap wordt tijdens lange gesprekken.
  • Temperatuur 0,2–0,5 voor feitelijk werk en code, 0,6–0,8 voor natuurlijke conversatie — maar volg eerst de modelkaart.
  • Redeneringsinspanning laag voor eenvoudige samenvattingen, medium of hoog voor moeilijke code, planning of wiskunde. Geef geen rekenkracht uit aan gemakkelijke taken.
  • Outputlimieten afgestemd op de taak, om te voorkomen dat het model blijft doorratelen.

En één regel die zwaarder weegt dan elke afzonderlijke instelling: verander precies één ding per keer, en test daarna kwaliteit en snelheid. Anders leert u niets over welke verandering hielp.

Werkt u op Apple Silicon, laad dan de eigen generatiestandaarden van het model — die bestaan met reden — houd het bij één of twee gelijktijdige verzoeken, en stel een time-to-live in op incidentele modellen zodat ze geheugen vrijgeven.

Vraag altijd bevestiging voor riskante toolacties. Een model dat een functie aanroept, is nog steeds software die een keuze maakt.


De beslissingsregel

Het komt neer op twee vragen, in volgorde.

Eerst: past het model comfortabel, met ruimte voor context én ruimte voor uw besturingssysteem? Zo niet, stop dan. Kies een kleiner model of een sterkere kwantisatie. Niets wat u verder bijstelt, redt een model dat niet past.

Tweede: beperkt geheugen betekent dense. Ruim geheugen plus een behoefte aan doorvoer betekent MoE proberen — en benchmark op uw eigen hardware in plaats van op de tabel van wie dan ook te vertrouwen, deze inbegrepen.

Het beste lokale model is niet het grootste. Het is het kleinste dat uw taak correct, snel en betrouwbaar uitvoert. Efficiëntie is de flex.


Modelaanbevelingen in de video zijn een momentopname van 29 augustus 2026. Lokale-AI-tooling evolueert snel — controleer de modelkaart en benchmark op uw eigen hardware.