Download een lokaal AI-model en u staat meteen oog in oog met namen als Q4_K_M, INT8, 27B, GGUF en TurboQuant. Het leest eerder als een wifi-wachtwoord dan als artificiële intelligentie.
Elk van die labels beantwoordt een praktische vraag: past dit op mijn machine, en wat heb ik ervoor ingeleverd? Hier is de woordenschat, in volgorde.
Wat "lokaal" u oplevert
Lokaal betekent dat het model op uw eigen pc of workstation draait. Het woont op uw hardware, niet in de cloud van iemand anders. U bezit de rekenkracht en u bezit de data.
De grootste trekker is privacy. Uw prompts verlaten nooit de kamer en niemand leest ze om zijn volgende model te verbeteren. Voor gevoelig werk — juridisch, medisch, niet-uitgebrachte code, persoonsgegevens — is dat een vorm van soevereiniteit die de cloud structureel niet kan evenaren, en het omzeilt de hele vraag welke wet over uw provider gaat. Het werkt ook offline, en na de hardware zijn er geen rekeningen per token.
De afwegingen zijn echt. U betaalt de hardware vooraf, en een goede GPU is niet goedkoop. U bent de beheerder: updates, driverconflicten en optimalisatie zijn uw zaak. En lokale modellen liggen in ruwe algemene capaciteit doorgaans een stap achter op de grootste cloudsystemen.
Eén nuance die eruit mag zonder omwegen: lokaal betekent niet automatisch veilig. U moet nog steeds uw modelbronnen en uw runtime vertrouwen, en beide hebben patching nodig als elke andere software.
Parameters: miljarden wijzers
Modellen worden gemeten in B — miljarden parameters. Parameters zijn instelbare getallen die tijdens de training worden geleerd. Het zijn geen opgeslagen feiten en geen individuele neuronen; het zijn wiskundige weights. Zie ze als miljarden minieme wijzers, die elk beïnvloeden hoe het model reageert.
27B betekent 27 miljard wijzers. Meer parameters betekenen doorgaans meer capaciteit — maar groter is niet automatisch beter. Hoe die wijzers georganiseerd zijn, de architectuur, telt even zwaar als het aantal, en architectuur plus de kwaliteit van de trainingsdata laten een kleiner model regelmatig ver boven zijn gewichtsklasse presteren.
Labels online maken het erger, niet beter. Een getal in de naam van een model kan slaan op het totaal aan parameters, de actieve parameters of de bestandsgrootte. Controleer altijd de modelkaart.
Die onderscheiding weegt het zwaarst bij mixture-of-experts-modellen. In een dense model wordt elke parameter gebruikt voor elke gegenereerde token — grondig, en zwaar voor de middelen. Een MoE-model heeft een zeer totaal aantal parameters, maar activeert per token slechts een fractie: een enorme bibliotheek waar telkens maar één boek wordt opengeslagen. Een model kan dus een label op triljoenschaal dragen terwijl het per token een veel kleiner aantal actieve parameters gebruikt. De keuze tussen beide heeft reële gevolgen, en het is niet de keuze die de meeste mensen verwachten.
Precisie en kwantisatie
Elk geleerd getal kan met meer of minder cijfers worden geschreven. Dat is precisie: FP16, BF16, INT8 enzovoort. Lagere precisie betekent kleinere bestanden en snellere rekenkunst — maar, zoals een foto met een lagere resolutie, een minder exact model. U ruilt wat nauwkeurigheid in voor veel snelheid en ruimte.
INT8 slaat waarden op in acht bits, wat het weightgeheugen ruwweg halveert ten opzichte van 16 bits. Het runtimegeheugen is meer dan de weights alleen — de contextcache en software-overhead komen daar nog bovenop.
Kwantisatie is het proces van die weights naar lagere precisie omzetten: de koffer steviger inpakken. Hogere getallen blijven dichter bij het origineel. Q8 is bijna verliesvrij; Q4 is vaak de sweet spot; Q2 comprimeert zo agressief dat het model fouten begint te maken — de schoenen achterlaten om ruimte te sparen.
De methode telt even zwaar als het getal. Een hoogwaardige Q4_K_M-build is niet simpelweg "4 bits, dus slecht". Het kwantisatieschema is een reëel onderdeel van de kwaliteit.
Dan is er GGUF: het standaardcontainerformaat voor lokaal gebruik. Het is de doos waarin het gecomprimeerde model arriveert — robuust, breed ondersteund, en op zichzelf niet de intelligentie.
Waar het model moet zitten
VRAM is het snelle werkblad naast uw GPU. Systeem-RAM is de opslagruimte verderop in de gang. Past een model niet in VRAM, dan worden lagen naar systeem-RAM overgeheveld — technisch een overwinning, in de praktijk een ramp, want elk woord heeft seconden nodig om te verschijnen.
Moderne Macs gebruiken unified memory, één gedeelde geheugenpool voor CPU en GPU, wat de rekenkunst vereenvoudigt — maar u moet nog steeds ruimte voor het besturingssysteem laten.
En elk gesprek heeft een notitieboek nodig: uw context en KV-cache, het werkgeheugen van het model. Langere context betekent een dikker notitieboek. Dit is de valstrik die mensen verstrikken — een model dat tijdens een kort gesprek comfortabel past, kan tijdens een lange documentanalyse zonder geheugen komen te zitten, omdat het notitieboek groeide, niet het model.
Agressieve KV-cachecompressie (op de markt gebracht onder namen als TurboQuant) kan dat notitieboek tot twee of drie bits samendrukken. Het bespaart veel ruimte, maar de ondersteuning hangt af van de hardware en is nog experimenteel. Behandel het als een geavanceerde optie, niet als een standaard.
Kiezen op basis van hardware
De video loopt een beslissingsladder af van 8 GB tot 128 GB en verder, met concrete modelsuggesties per trede — kleine dense modellen zoals Qwen3.8-27B in het middensegment, en grote mixture-of-experts-builds zoals Qwen3.8-2.4T-A95B alleen waar het geheugen bestaat om het hele model te herbergen. Die suggesties zijn expliciet een momentopname — Bert dateert ze op de dag van de opname, want lokale-AI-software en modelbeschikbaarheid evolueren snel genoeg dat elke lijst in weken veroudert.
De vorm van de ladder is het duurzame deel. Onderaan blijft u bij kleine modellen en bescheiden context. In het midden wint u speelruimte voor middelgrote modellen op Q4. Bovenaan kunt u grote modellen op hogere precisie draaien, en pas helemaal bovenin passen de werkelijk gigantische — waar bandbreedte, niet capaciteit, de limiet wordt.
Voor een eerste run: begin met een goed ondersteund GGUF-model in een Q4_K_M-kwantisatie, zet de context op een bescheiden 8K en test de snelheid voordat u iets anders doet. Schaal pas op als u zeker bent.
Jacht niet op het grootste getal. Het beste model is het sterkste dat volledig op uw werkblad past, met ruimte over voor context en voor de machine om door te werken.
Modelaanbevelingen in de video zijn een momentopname van 29 augustus 2026. Geheugengebruik en prestaties variëren per model, kwantisatieformaat, contextlengte, runtime en hardware — controleer altijd de modelkaart en benchmark op uw eigen machine.


