Skip to main content
§ Vidéo

Comment ChatGPT fonctionne vraiment, sans les maths

Regarder sur YouTube ↗

Il n'y a pas de petit expert derrière la boîte de dialogue, ni une bibliothèque de réponses toutes faites attendant d'être récupérées. Sous le capot se trouve une très grande collection de nombres qui exécutent encore et toujours le même mouvement de base.

Cela vaut la peine d'être compris pour une raison pratique, pas académique. Dès que vous voyez le mécanisme, les défaillances caractéristiques du modèle cessent d'être mystérieuses et deviennent prévisibles — c'est toute la différence entre espérer qu'un système d'IA se comporte bien et pouvoir concevoir des mesures autour de lui.

Suivons donc une invite de bout en bout. (Cela décrit l'architecture générale des modèles décodeurs de type GPT ; l'ingénierie interne d'un produit commercial particulier n'est pas intégralement publique.)


Le texte devient des jetons

Bien avant que vous ne tapiez quoi que ce soit, le modèle est entraîné sur d'énormes collections de texte — sites web, livres, articles, documentations, conversations, code — filtrées, nettoyées et largement dédupliquées. Mais le modèle ne peut pas avaler des paragraphes. Le texte est d'abord converti en jetons.

Un jeton peut être un mot entier, une partie de mot, un signe de ponctuation, ou une espace accompagnée de lettres voisines. Un mot courant peut tenir en un jeton ; un nom inhabituel peut être découpé en plusieurs. C'est pourquoi les modèles peuvent être étrangement mauvais pour compter des lettres ou gérer des graphies rares — ils ne voient pas le texte comme vous. Ils voient une séquence d'identifiants de jetons, qui ne sont que des nombres issus d'un vocabulaire.


Les nombres deviennent du sens

Un identifiant de jeton n'est qu'une étiquette. Le jeton 8 421 n'est pas intrinsèquement plus avisé que le jeton 8 420. Chaque jeton est donc associé à un plongement : une longue liste de caractéristiques numériques apprises, que vous pouvez imaginer comme une coordonnée de départ sur une carte gigantesque.

Ces coordonnées acquièrent une structure pendant l'entraînement. « Roi » finit plus proche de « reine » que de « micro-ondes ». L'ordre compte aussi — le chien a chassé le chat n'est pas le chat a chassé le chien — les transformers encodent donc la position en plus de l'identité, au moyen de plongements positionnels ou d'informations de position rotatives.

De manière cruciale, ces représentations deviennent contextuelles à mesure qu'elles traversent le réseau. « Bank » dans « river bank » (la berge de la rivière) se développe différemment de « bank » dans « bank account » (le compte bancaire). Le sens n'est pas extrait d'une entrée de dictionnaire permanente ; il se construit à partir du texte environnant.


L'attention : ce qui compte à cet instant

Le transformer contient de nombreux blocs répétés. Chacun laisse l'information circuler entre les jetons, puis la transforme davantage. La partie célèbre, c'est l'auto-attention.

Prenez la phrase : « Le trophée ne rentrait pas dans la valise parce qu'elle était trop grande. » Qu'est-ce qui était trop grand ? Pour résoudre « elle », le modèle a besoin du contexte antérieur. Dans un modèle causal de type GPT, chaque position peut s'utiliser elle-même et les positions qui la précèdent, mais ne peut pas regarder les jetons futurs pendant la génération.

Au sein de l'attention, chaque position produit trois projections — une requête, une clé et une valeur. La requête représente ce dont la position actuelle a besoin ; les clés décrivent sur quoi les autres positions peuvent correspondre ; les valeurs portent l'information qu'elles contribuent. Le modèle compare les requêtes aux clés, transforme les correspondances en intensités d'attention et mélange les valeurs correspondantes.

De multiples têtes d'attention tournent en parallèle et peuvent saisir des relations différentes — la grammaire voisine, les références lointaines, les motifs dans le code. Il est tentant d'imaginer chaque tête avec un rôle net et lisible. Les réseaux de neurones s'organisent rarement avec tant de politesse.

Chaque bloc associe l'attention (qui rassemble le contexte) à un réseau feed-forward (qui transforme ce que chaque position a appris), et des connexions résiduelles aident l'information initiale à survivre au voyage à travers de nombreuses couches. Répétez le bloc suffisamment de fois et les simples représentations de jetons deviennent des représentations contextuelles bien plus riches.


L'entraînement n'est pas le téléversement d'une encyclopédie

Pendant le pré-entraînement, le modèle joue en boucle au jeu de la prédiction du jeton suivant. Donnez-lui « La capitale de la France est » et demandez ce qui vient ensuite. Au début, un modèle non entraîné devine pour ainsi dire — il pourrait choisir « banane ».

Le système compare ses prédictions aux jetons réellement suivants et calcule une perte : un nombre représentant à quel point il s'est trompé. La rétropropagation remonte le calcul pour déterminer la contribution de chaque paramètre ajustable à l'erreur, et un optimiseur ajuste ces paramètres dans des directions censées réduire la perte future. Puis tout recommence, sur davantage de texte. Prédire, mesurer, remonter, ajuster.

Ces paramètres sont les poids — des milliards, chacun n'étant qu'un nombre. Aucun poids isolé ne contient un fait ni une compétence. Les motifs utiles se répartissent sur de nombreux paramètres ; le savoir est distribué. Les poids sont un modèle statistique compressé des motifs appris, y compris les lacunes, les contradictions et les biais des données. Les modèles ne sont pas des copies interrogeables de leurs jeux de données.

Le pré-entraînement produit un prédicteur de texte capable, pas un assistant utile. Le post-entraînement s'en charge : des exemples d'instructions et de bonnes réponses, puis un retour humain ou du modèle et une optimisation des préférences pour rendre les réponses souhaitables plus probables. Le pré-entraînement apprend des motifs ; le post-entraînement apprend au modèle à ne pas se comporter comme l'autocomplétion revêche d'un forum.


L'inférence : un jeton à la fois

Quand vous utilisez réellement le modèle, les curseurs cessent de bouger. Les poids restent figés.

Votre invite devient des jetons, traverse les couches, et le modèle produit un score — un logit — pour chaque jeton de son vocabulaire. Une stratégie de décodage en choisit un, l'ajoute, et tout le processus recommence. La réponse est générée jeton par jeton.

Tout ce que le modèle peut utiliser doit tenir dans son contexte actif : votre invite, les messages précédents, les instructions système, les résultats d'outils. Le contexte est un matériau de travail temporaire — ni les poids entraînés, ni une mémoire permanente.

Parce que la génération est séquentielle, retraiter une longue conversation à chaque nouveau jeton serait du gaspillage. D'où l'un des noms les moins glamour de l'IA : le cache KV. Quand les jetons antérieurs sont traités, leurs vecteurs de clé et de valeur sont stockés et réutilisés, de sorte que seuls la nouvelle requête, clé et valeur doivent être calculés. Cela accélère considérablement la génération et consomme une mémoire substantielle — un tas de notes coûteux, pas un journal intime.

Enfin, l'échantillonnage. Choisir toujours le jeton au score le plus élevé rend la production rigide et répétitive ; l'échantillonnage autorise donc de la variation. La température redimensionne les logits : une température plus élevée aplatit la distribution et donne plus d'opportunités aux candidats moins probables. Elle influence la variation, pas le savoir — la baisser ne rend pas un modèle mieux informé.


Pourquoi des modèles fluides hallucinent

Maintenant, le mécanisme explique la défaillance. Le pré-entraînement minimise la perte de prédiction. Il ne vérifie pas directement si une affirmation est vraie.

Si les motifs appris soutiennent une réponse qui sonne de manière convaincante, le modèle peut la générer même quand l'affirmation est fausse. Il peut mélanger des faits, inventer une référence ou décrire avec une confiance totale quelque chose qui n'a jamais existé. La recherche, la récupération et l'usage d'outils peuvent améliorer l'ancrage dans les faits — mais ils attachent des preuves à un système qui, à la base, n'a jamais été optimisé pour la vérité.

L'aisance prouve que le modèle est doué pour le langage. Elle ne prouve pas que la réalité a donné son accord.

Cette distinction fonde entièrement le traitement de la vérification comme une mesure opérationnelle plutôt que comme un raffinement — c'est précisément ce que vise l'obligation de maîtrise de l'IA du règlement sur l'IA.


Et comment tout cela tient sur du matériel plus modeste

Les poids sont stockés à une précision numérique choisie. Utiliser moins de bits réduit à la fois la mémoire qu'ils occupent et les données que le matériel doit déplacer. Imaginez enregistrer chaque curseur avec une précision extrêmement fine, puis décider que moins de positions suffisent.

En ignorant la surcharge : 70 milliards de poids exigent environ 140 Go à 16 bits, mais environ 35 Go à 4 bits. C'est la quantification, et c'est un véritable arbitrage d'ingénierie — le sujet de l'article sur l'IA locale.


Le voyage complet

Le texte devient des jetons. Les jetons deviennent des représentations numériques. Les transformers construisent le contexte. L'entraînement ajuste les poids. Le post-entraînement façonne l'assistant. Pendant l'inférence, des poids figés génèrent un jeton à la fois, la fenêtre de contexte fournit l'information de travail temporaire, et le cache KV évite de refaire le travail d'attention.

Aucune de ces pièces n'est magique en soi. Le comportement remarquable naît de leur échelle et de leur interaction. Ce avec quoi vous travaillez est un système de prédiction entraîné : puissant, imparfait, et parfaitement capable de dire « certainement » juste avant de vous gâcher l'après-midi.