Skip to main content
§ Vidéo

L'IA locale, décodée : ce que 14B, INT8, Q6 et GGUF signifient vraiment

Regarder sur YouTube ↗

Téléchargez un modèle d'IA local et vous voilà immédiatement confronté à des noms comme Q4_K_M, INT8, 27B, GGUF et TurboQuant. On se croirait moins devant de l'intelligence artificielle que devant un mot de passe Wi-Fi.

Chacune de ces étiquettes répond à une question pratique : cela tiendra-t-il sur ma machine, et qu'ai-je sacrifié pour que ça tienne ? Voici le vocabulaire, dans l'ordre.


Ce que « local » vous apporte

Local signifie que le modèle tourne sur votre propre PC ou poste de travail. Il vit sur votre matériel, pas dans le cloud de quelqu'un d'autre. Vous possédez la puissance de calcul et vous possédez les données.

L'attrait principal, c'est la confidentialité. Vos invites ne quittent jamais la pièce et personne ne les lit pour améliorer son prochain modèle. Pour un travail sensible — juridique, médical, code non publié, données personnelles — c'est une forme de souveraineté que le cloud ne peut structurellement pas égaler, et cela contourne entièrement la question de la loi qui régit votre fournisseur. Cela fonctionne aussi hors ligne et, une fois le matériel amorti, il n'y a plus de facturation au jeton.

Les compromis sont réels. Vous payez le matériel d'avance, et un bon GPU n'est pas bon marché. Vous êtes l'administrateur : les mises à jour, les conflits de pilotes et l'optimisation sont à votre charge. Et les modèles locaux sont généralement d'un cran derrière les plus grands systèmes cloud en capacité générale brute.

Une mise en garde qui mérite d'être dite clairement : local ne signifie pas automatiquement sécurisé. Vous devez toujours pouvoir faire confiance à vos sources de modèles et à votre environnement d'exécution, et les deux ont besoin de correctifs comme n'importe quel logiciel.


Les paramètres : des milliards de curseurs

Les modèles se mesurent en B — des milliards de paramètres. Les paramètres sont des nombres ajustables appris pendant l'entraînement. Ce ne sont ni des faits stockés ni des neurones individuels ; ce sont des poids mathématiques. Imaginez des milliards de minuscules curseurs, dont chacun influence la réponse du modèle.

27B signifie 27 milliards de curseurs. Plus de paramètres signifient généralement plus de capacité — mais plus gros n'est pas automatiquement meilleur. La manière dont ces curseurs sont organisés, l'architecture, compte autant que leur nombre, et l'architecture combinée à la qualité des données d'entraînement permet régulièrement à un modèle plus petit de frapper bien au-dessus de sa catégorie.

Les étiquettes en ligne empirent les choses au lieu de les éclaircir. Un nombre dans le nom d'un modèle peut désigner les paramètres totaux, les paramètres actifs ou la taille du fichier. Vérifiez toujours la fiche du modèle.

Cette distinction compte le plus pour les modèles mixture-of-experts. Dans un modèle dense, chaque paramètre est utilisé pour chaque jeton généré — exhaustif, et gourmand en ressources. Un modèle MoE affiche un nombre total de paramètres très élevé mais n'en active qu'une fraction par jeton : une immense bibliothèque où un seul livre est ouvert à la fois. Un modèle peut donc arborer une étiquette à l'échelle du trillion tout en utilisant un nombre d'actifs par jeton bien plus modeste. Le choix entre les deux a de vraies conséquences, et ce n'est pas celui que la plupart des gens supposent.


Précision et quantification

Chaque nombre appris peut être écrit avec plus ou moins de chiffres. C'est la précision : FP16, BF16, INT8 et ainsi de suite. Une précision plus basse signifie des fichiers plus petits et des calculs plus rapides — mais, comme une photo en plus basse résolution, un modèle moins exact. Vous échangez un peu d'exactitude contre beaucoup de vitesse et d'espace.

L'INT8 stocke les valeurs sur huit bits, réduisant grossièrement de moitié la mémoire des poids par rapport à 16 bits. La mémoire à l'exécution ne se réduit toutefois pas aux poids — le cache de contexte et la surcharge logicielle s'ajoutent.

La quantification est le processus qui convertit ces poids vers une précision plus basse : compresser davantage la valise. Les niveaux élevés restent plus proches de l'original. Q8 est quasi sans perte ; Q4 est souvent le meilleur compromis ; Q2 compresse si agressivement que le modèle commence à se tromper — laisser les chaussures derrière soi pour gagner de la place.

La méthode compte autant que le nombre. Un build Q4_K_M de haute qualité n'est pas simplement « 4 bits, donc mauvais ». Le schéma de quantification est une composante réelle de la qualité.

Puis il y a GGUF : le format conteneur standard pour l'usage local. C'est la boîte dans laquelle arrive le modèle compressé — robuste, largement pris en charge, et qui n'est pas lui-même l'intelligence.


Où le modèle doit s'asseoir

La VRAM est l'établi rapide à côté de votre GPU. La RAM système est la salle de rangement au bout du couloir. Quand un modèle ne tient pas dans la VRAM, des couches sont déchargées vers la RAM système — techniquement une victoire, en pratique un désastre, car chaque mot met des secondes à apparaître.

Les Mac modernes utilisent une mémoire unifiée, partageant un même bassin entre CPU et GPU, ce qui simplifie le calcul — mais vous devez quand même laisser de la place au système d'exploitation.

Et chaque conversation a besoin d'un carnet : votre contexte et cache KV, la mémoire de travail du modèle. Un contexte plus long signifie un carnet plus grand. C'est le piège qui surprend — un modèle qui tient à l'aise pendant une conversation courte peut manquer de mémoire pendant l'analyse d'un long document, parce que le carnet a grossi, pas le modèle.

Une compression agressive du cache KV (commercialisée sous des noms comme TurboQuant) peut réduire ce carnet à deux ou trois bits. Elle économise beaucoup de place, mais sa prise en charge dépend du matériel et reste expérimentale. Traitez-la comme une option avancée, pas comme un défaut.


Choisir selon le matériel

La vidéo parcourt un escalier de décision de 8 Go à 128 Go et au-delà, avec des suggestions de modèles précises à chaque palier — de petits modèles denses comme Qwen3.8-27B dans le milieu de gamme, et de grands builds mixture-of-experts comme Qwen3.8-2.4T-A95B uniquement là où la mémoire suffit à contenir le modèle entier. Ces suggestions sont explicitement un instantané — Bert les date du jour de l'enregistrement, car les logiciels d'IA locale et la disponibilité des modèles évoluent si vite qu'une liste vieille en quelques semaines.

La forme de l'escalier, elle, est durable. En bas, on s'en tient aux petits modèles et à un contexte modeste. Au milieu, on gagne la marge pour des modèles de taille intermédiaire en Q4. En haut, on peut faire tourner de grands modèles à plus haute précision, et seulement au sommet les modèles véritablement énormes tiennent — là où c'est la bande passante, et non la capacité, qui devient la limite.

Pour une première exécution : commencez avec un modèle GGUF bien pris en charge en quantification Q4_K_M, réglez le contexte sur un modeste 8K, et testez la vitesse avant toute autre chose. Ne montez que lorsque vous êtes sûr.


Ne courez pas après le plus grand nombre. Le meilleur modèle est le plus puissant qui tient entièrement sur votre établi, avec de la place pour le contexte et pour que la machine continue de tourner.

Les recommandations de modèles dans la vidéo sont un instantané daté du 29 août 2026. L'usage mémoire et les performances varient selon le modèle, le format de quantification, la longueur du contexte, l'environnement d'exécution et le matériel — vérifiez toujours la fiche du modèle et faites vos propres bancs d'essai sur votre machine.