Skip to main content
§ Video

Wie ChatGPT wirklich funktioniert, ganz ohne Mathe

Auf YouTube ansehen ↗

Es gibt keinen kleinen Experten hinter dem Chatfenster und keine Bibliothek fertiger Antworten, die darauf wartet, abgerufen zu werden. Darunter liegt eine sehr große Ansammlung von Zahlen, die immer und immer wieder dieselbe Grundbewegung ausführt.

Das zu verstehen lohnt sich aus einem praktischen Grund, nicht aus einem akademischen. Sobald Sie den Mechanismus erkennen, hören die typischen Fehler des Modells auf, rätselhaft zu sein, und werden vorhersagbar — und das ist der Unterschied zwischen der Hoffnung, dass sich ein KI-System korrekt verhält, und der Fähigkeit, Maßnahmen darum herum zu konzipieren.

Also begleiten wir einen Prompt einmal von Anfang bis Ende. (Das beschreibt die allgemeine Architektur von GPT-artigen Decoder-Modellen; das interne Engineering eines bestimmten kommerziellen Produkts ist nicht vollständig öffentlich.)


Text wird zu Tokens

Lange bevor Sie irgendetwas eintippen, wird das Modell auf enormen Textmengen trainiert — Websites, Bücher, Artikel, Dokumentation, Gespräche, Code — gefiltert, bereinigt und weitgehend dedupliziert. Aber das Modell kann keine Absätze als Ganzes verarbeiten. Text wird zunächst in Tokens zerlegt.

Ein Token kann ein ganzes Wort, ein Wortteil, ein Satzzeichen oder ein Leerzeichen plus benachbarte Buchstaben sein. Ein häufiges Wort kann ein Token sein; ein ungewöhnlicher Name wird womöglich in mehrere zerlegt. Deshalb können Modelle seltsam schlecht darin sein, Buchstaben zu zählen oder seltene Schreibweisen zu handhaben — sie sehen Text nicht so wie Sie. Sie sehen eine Abfolge von Token-IDs, und das sind schlicht Zahlen aus einem Vokabular.


Zahlen werden zu Bedeutung

Eine Token-ID ist nur ein Etikett. Token 8.421 ist nicht von Natur aus weiser als Token 8.420. Jedes Token wird daher auf ein Embedding abgebildet: eine lange Liste gelernter numerischer Merkmale, die man sich als Startkoordinate auf einer enormen Landkarte vorstellen kann.

Diese Koordinaten erhalten während des Trainings Struktur. „King“ liegt am Ende näher an „queen“ als an „microwave“. Auch die Reihenfolge zählt — the dog chased the cat ist nicht the cat chased the dog — weshalb Transformer neben der Identität auch die Position kodieren, über Positions-Embeddings oder rotierende Positionsinformation.

Entscheidend ist: Diese Repräsentationen werden, während sie durch das Netzwerk wandern, kontextabhängig. „Bank“ in „river bank“ entwickelt sich anders als „Bank“ in „bank account“. Bedeutung wird nicht aus einem permanenten Wörterbucheintrag geholt; sie wird aus dem umgebenden Text konstruiert.


Attention: was gerade zählt

Der Transformer besteht aus vielen wiederholten Blöcken. Jeder Block lässt Informationen zwischen den Tokens fließen und transformiert sie anschließend weiter. Der berühmte Teil ist Self-Attention.

Nehmen Sie den Satz: „The trophy did not fit inside the suitcase because it was too large.“ Was war zu groß? Um „it“ aufzulösen, braucht das Modell den früheren Kontext. In einem kausalen GPT-Modell kann jede Position ihre selbst und die Positionen davor nutzen, aber während der Generierung nicht auf zukünftige Tokens vorausblicken.

Innerhalb der Attention erzeugt jede Position drei Projektionen — einen Query, einen Key und einen Value. Der Query repräsentiert, was die aktuelle Position braucht; die Keys beschreiben, worauf andere Positionen passen können; die Values tragen die Information bei, die sie beisteuern. Das Modell vergleicht Queries mit Keys, macht aus den Übereinstimmungen Aufmerksamkeitsstärken und mischt die zugehörigen Values.

Mehrere Attention-Köpfe laufen parallel und können verschiedene Beziehungen erfassen — nahe Grammatik, entfernte Verweise, Muster in Code. Es ist verlockend, sich für jeden Kopf eine ordentliche, menschenlesbare Aufgabe vorzustellen. Neuronale Netze organisieren sich selten so höflich.

Jeder Block koppelt Attention (Kontext sammeln) mit einem Feedforward-Netz (das Gelernte jeder Position weiterverarbeiten), und Residual-Verbindungen helfen früheren Informationen, die Reise durch viele Schichten zu überstehen. Wiederholt man den Block oft genug, werden einfache Token-Repräsentationen zu deutlich reichhaltigeren kontextuellen.


Training ist keine Enzyklopädie

Beim Pre-Training spielt das Modell immer wieder ein Next-Token-Spiel. Man gibt ihm „The capital of France is“ und fragt, was als Nächstes kommt. Anfangs rät ein untrainiertes Modell praktisch — es könnte „banana“ wählen.

Das System vergleicht die Vorhersagen mit den tatsächlichen nächsten Tokens und berechnet einen Loss: eine Zahl, die ausdrückt, wie falsch es lag. Die Backpropagation arbeitet sich rückwärts durch die Berechnung, um zu bestimmen, wie jeder einstellbare Parameter zum Fehler beigetragen hat, und ein Optimierer bewegt die Parameter in Richtungen, die den künftigen Loss voraussichtlich senken. Dann wiederholt sich das, mit mehr Text. Vorhersagen, messen, rückwärts rechnen, anpassen.

Diese Parameter sind die Gewichte — Milliarden davon, jede nur eine Zahl. Kein einzelnes Gewicht enthält eine Tatsache oder eine Fähigkeit. Nützliche Muster verteilen sich über viele Parameter; Wissen ist verteilt. Die Gewichte sind ein komprimiertes statistisches Modell gelernter Muster, inklusive der Lücken, Widersprüche und Verzerrungen der Daten. Modelle sind keine durchsuchbaren Kopien ihrer Datensätze.

Das Pre-Training erzeugt einen fähigen Textvorhersager, keinen hilfreichen Assistenten. Das erledigt das Post-Training: Beispiele für Anweisungen und gute Antworten, anschließend menschliches oder modellbasiertes Feedback und Präferenzoptimierung, um wünschenswerte Antworten wahrscheinlicher zu machen. Das Pre-Training lernt Muster; das Post-Training bringt dem Modell bei, sich nicht wie eine unkooperative Internet-Autofill-Funktion zu verhalten.


Inferenz: ein Token nach dem anderen

Wenn Sie das Modell tatsächlich nutzen, bewegen sich die Regler nicht mehr. Die Gewichte bleiben fixiert.

Ihr Prompt wird zu Tokens, durchläuft die Schichten, und das Modell erzeugt für jedes Token seines Vokabulars einen Wert — einen Logit. Eine Dekodierungsstrategie wählt eines aus, hängt es an, und der ganze Prozess läuft erneut. Die Antwort entsteht Token für Token.

Alles, was das Modell dafür verwenden kann, muss in seinem aktiven Kontext liegen: Ihr Prompt, frühere Nachrichten, Systemanweisungen, Werkzeugergebnisse. Der Kontext ist temporäres Arbeitsmaterial — nicht die trainierten Gewichte und kein dauerhaftes Gedächtnis.

Weil die Generierung sequenziell verläuft, wäre es Verschwendung, ein langes Gespräch für jedes neue Token erneut zu verarbeiten. Daher stammt einer der unglamouresärtesten Namen der KI: der KV-Cache. Wenn frühere Tokens verarbeitet wurden, werden ihre Key- und Value-Vektoren gespeichert und wiederverwendet, sodass nur der neue Query, Key und Value berechnet werden müssen. Das macht die Generierung deutlich schneller und verbraucht beträchtlichen Speicher — ein teurer Zettelschuppen, kein Tagebuch.

Zuletzt: das Sampling. Wählt man immer das Token mit der höchsten Wertung, wird die Ausgabe starr und repetitiv — Sampling erlaubt daher Variation. Die Temperatur skaliert die Logits um: Eine höhere Temperatur flacht die Verteilung ab und gibt unwahrscheinlicheren Kandidaten mehr Gelegenheit. Sie beeinflusst die Variation, nicht das Wissen — ein Herunterdrehen macht ein Modell nicht besser informiert.


Warum flüssige Modelle halluzinieren

Jetzt erklärt der Mechanismus den Fehler. Das Pre-Training minimiert den Vorhersage-Loss. Es prüft nicht unmittelbar, ob eine Aussage wahr ist.

Wenn gelernte Muster eine Antwort tragen, die überzeugend klingt, kann das Modell sie auch dann erzeugen, wenn die Aussage falsch ist. Es kann Fakten vermischen, ein Zitat erfinden oder etwas, das nie existiert hat, mit vollkommener Sicherheit beschreiben. Suche, Retrieval und Werkzeugnutzung können das Grounding verbessern — aber sie hängen Nachweise an ein System, das von vornherein nie auf Wahrheit optimiert wurde.

Flüssigkeit ist der Nachweis dafür, dass das Modell gut mit Sprache umgeht. Sie ist kein Nachweis dafür, dass die Realität zugestimmt hat.

Diese Unterscheidung ist die gesamte Grundlage dafür, Prüfung als operative Maßnahme zu behandeln statt als nette Geste — genau das, worauf die KI-Kompetenz-Pflicht der KI-Verordnung hinauswill.


Und wie das auf kleinere Hardware passt

Gewichte werden mit einer gewählten numerischen Präzision gespeichert. Weniger Bits reduzieren sowohl den Speicherplatz, den sie belegen, als auch die Datenmengen, die die Hardware bewegen muss. Stellen Sie sich vor, Sie würden jeden Regler mit extrem feiner Genauigkeit aufzeichnen — und dann entscheiden, dass weniger Nachkommastellen genau genug sind.

Ohne Overhead gerechnet: 70 Milliarden Gewichte benötigen bei 16 Bit rund 140 GB, bei 4 Bit aber etwa 35 GB. Das ist Quantisierung — und sie ist ein echter Engineering-Kompromiss, das Thema von dem Artikel zu lokaler KI.


Die ganze Reise

Text wird zu Tokens. Tokens werden zu numerischen Repräsentationen. Transformer bauen Kontext auf. Das Training justiert die Gewichte. Das Post-Training formt den Assistenten. Während der Inferenz erzeugen die eingefrorenen Gewichte ein Token nach dem anderen, das Kontextfenster liefert temporäre Arbeitsinformationen, und der KV-Cache vermeidet es, die Attention-Arbeit zu wiederholen.

Keiner dieser Bausteine ist für sich genommen Magie. Das bemerkenswerte Verhalten entsteht aus ihrem Maßstab und ihrem Zusammenspiel. Sie arbeiten mit einem trainierten Vorhersagesystem: leistungsfähig, unvollkommen — und völlig dazu in der Lage, „selbstverständlich“ zu sagen, unmittelbar bevor es Ihren Nachmittag ruiniert.