Skip to main content
§ Video

Ihre KI-Einführung scheitert ohne Schulung — und die KI-Verordnung sagt das inzwischen selbst

Auf YouTube ansehen ↗

KI-Werkzeuge breiten sich in jeder Abteilung jeder Organisation aus. Das sieht nach Fortschritt aus. Es ist aber auch der Weg, auf dem Organisationen eine Risikokategorie erwerben, die sie nie bewertet haben — durch Software, die niemand genehmigt hat, mit Ausgaben, die niemand überprüft hat.

Das Unbequeme daran: Das ist keine Schulungslücke im weichen Sinne. Seit Februar 2025 ist es eine rechtliche Pflicht.


Die Ausstrahlung ist kein Nachweis

Die wichtigste Eigenschaft eines großen Sprachmodells ist, dass es keine Fakten nachschlägt. Es sagt das nächste wahrscheinlichste Token voraus, auf Grundlage von Mustern, die aus einem enormen Textvolumen gelernt wurden. Das bedeutet: Es kann eine flüssige, gut strukturierte, völlig selbstsichere Antwort hervorbringen, die vollständig falsch ist — und es lügt nicht, denn es besitzt keinen Mechanismus, um einen wahren Satz von einem plausibel klingenden zu unterscheiden.

Flüssigkeit im Ton ist kein Nachweis für Richtigkeit. Sie ist der Nachweis dafür, dass das Modell gut mit Sprache umgeht.

Und es handelt sich dabei nicht um eine seltene Panne, die auf ein Update wartet. Unabhängige Benchmarks sind sich darin einig. Die auf der ACL 2025 vorgestellte HALoGEN-Studie testete 14 führende Modelle über rund 150.000 Generierungen und fand Halluzinationsraten von bis zu 86 Prozent in einzelnen Fachgebieten. Das DefAn-Benchmark maß faktische Halluzinationen zwischen 59 und 82 Prozent über sechs große Modelle. Das sind strukturelle Folgen der Funktionsweise dieser Systeme, keine Fehler, die das nächste Release behebt.


Was es kostet, wenn niemand prüft

Im Jahr 2023 reichten Anwälte in Mata v. Avianca beim Southern District of New York eine Schrift ein, die sechs von ChatGPT erzeugte Urteilszitate enthielt. Jedes einzelne war erfunden — komplett mit plausiblen Namen, Gerichten und Daten. Das Gericht verhängte ein Bußgeld von 5.000 US-Dollar.

Was den Fall lehrreich macht, ist nicht, dass das Modell versagte. Es ist, dass das Modell kein Signal gab, dass es versagt hatte. Das Ergebnis sah exakt wie echte juristische Recherche aus. Und ein geschulter Profi hätte alle sechs mit einem einzigen Prüfschritt entdeckt.

Es gibt einen zweiten, unabhängigen Fehlermodus: Die Trainingsdaten selbst können falsch sein. Amazon baute ein internes Rekrutierungswerkzeug, das mit Jahren der eigenen Einstellungsgeschichte trainiert wurde. Diese Geschichte spiegelte eine Voreingenenheit zugunsten männlicher Bewerber wider — also lernte das Modell, Lebensläufe mit dem Wort „women's“ systematisch abzuwerten. Amazon verwarf das Werkzeug. Voreingenommene, unvollständige oder veraltete Daten kündigen sich nicht an — das Modell reproduziert den Mangel still, im großen Maßstab und mit voller Sicherheit.


Der Schaden entsteht nach der Inbetriebnahme

Die AI Incident Database, ein öffentliches Verzeichnis realer KI-Fehlschläge, das vom Responsible AI Collaborative gepflegt wird, hat weit über tausend dokumentierte Vorfälle katalogisiert — und ihre eigenen Analysen zeigen, dass die meisten Schäden erst auftreten, wenn ein System produktiv genutzt wird, nicht während der Entwicklung oder des Testens.

Liest man diese beiden Zahlen zusammen, lässt sich die Schlussfolgerung kaum vermeiden: Modellrisiko wird über die Art und Weise, wie Menschen das Modell nutzen, zu einem Schaden für die Organisation. Das rückt menschliches Verhalten, Aufsicht und Prüfung in jedes ernsthafte KI-Risikoprogramm — und die Mitarbeiterschulung genau dorthin, wo sich die Risikoexposition senken lässt.


Artikel 4 und 26

Die Verordnung (EU) 2024/1689 — die KI-Verordnung — begründet zwei Pflichten, die unmittelbar hierauf einwirken.

Artikel 4 verpflichtet Anbieter und Betreiber, ein ausreichendes Maß an KI-Kompetenz bei den Mitarbeitenden sicherzustellen, die mit dem Betrieb und der Nutzung von KI-Systemen befasst sind. Er ist seit Februar 2025 anwendbar. Beachten Sie das Wort Betreiber: Das ist keine Pflicht, die nur die Unternehmen trifft, die Modelle bauen.

Artikel 26 verlangt, dass die menschliche Aufsicht über Hochrisiko-KI-Systeme Personen übertragen wird, die über die nötige Kompetenz, Schulung und Befugnis verfügen. Mehrere Einsatzfälle in Beschäftigung und Bildung fallen in die Hochrisiko-Kategorie. Zugehörige Betreiberpflichten ziehen Sanktionen von bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Umsatzes nach sich.

Und die Aufsichtsbehörden warten nicht zwangsläufig auf einen nachgewiesenen Schaden. Am 30. März 2023 verhängte der italienische Garante eine sofortige vorläufige Beschränkung der Verarbeitung personenbezogener Daten italienischer Bürger über ChatGPT. OpenAI sperrte den Zugang in Italien und hatte 20 Tage Zeit, Korrekturmaßnahmen zu melden; der Dienst wurde am 28. April nach Behebung wiederhergestellt. Die Maßnahme war präventiv. „Es ist ja noch nichts schiefgegangen“ ist keine Verteidigung.


Schatten-KI schließt die Schleife

Hier ist die Falle. Mitarbeitende nutzen KI-Werkzeuge ohne Genehmigung oder Aufsicht — Schatten-KI — und die Sequenz schreibt sich selbst. Ein ungenehmigtes Werkzeug erzeugt ungeprüfte Ausgaben. Diese Ausgaben landen in einer Kundenantwort oder einem Compliance-Dokument. In dem Moment, in dem sie das Gebäude verlassen, haftet die Organisation — ob sie das Werkzeug je genehmigt hat oder nicht.

„Wir wussten nicht, was unsere Mitarbeitenden tun“ ist im europäischen Rahmen keine Verteidigung. Es ist der Nachweis eines Governance-Versagens.


Vier Maßnahmen, die funktionieren

Keine davon ist kompliziert, und keine erfordert neue Software.

Menschliche Prüfung, bevor eine KI-Ausgabe in eine Entscheidung einfließt oder das Unternehmen verlässt.

Keine Quelle, keine Entscheidung. Was sich nicht verifizieren lässt, zählt nicht. Diese eine Regel hätte Mata v. Avianca vollständig abgefangen.

Dokumentierte Governance, die festlegt, was KI autonom erzeugen darf und was nicht — dokumentiert, weil Dokumentation genau das ist, was man Ihnen als Nachweis abverlangen wird.

Schulung, die Skepsis zur Gewohnheit macht, sodass jede Mitarbeiterin und jeder Mitarbeiter weiß, dass Flüssigkeit keine Richtigkeit ist — und wie man prüft.


Wo das auf den Rest Ihrer Compliance-Arbeit trifft

Wenn Ihre Organisation bereits unter NIS2 fällt, wird Ihnen dieses Muster vertraut sein: Die Pflicht besteht nicht darin, eine Richtlinie zu haben, sondern nachzuweisen, dass eine Maßnahme wirksam ist. Bei der KI-Kompetenz ist es nicht anders. Anwesenheitslisten, bestätigte Richtlinien und definierte Aufsichtsrollen sind die Nachweise — und wie jede andere Maßnahme müssen sie existieren, bevor jemand danach fragt, statt in zwei Wochen Panik zusammengestellt zu werden. Über diesen Wandel haben wir in warum NIS2-Compliance kein Audit-Moment mehr ist geschrieben.

Die Frage ist nicht, ob Ihre Mitarbeitenden KI nutzen. Sie tun es, gerade jetzt, mit oder ohne Genehmigung. Die Frage ist, ob sie gelernt haben, sie sicher zu nutzen.


Euraika GRC erfasst Nachweise zu Maßnahmen — einschließlich Schulungs- und Aufsichtszuweisungen — kontinuierlich statt erst zum Audit-Zeitpunkt. Sehen Sie sich an, wie das funktioniert, oder prüfen Sie Ihre NIS2-Position mit dem Selbsttest.

Pädagogischer Inhalt, keine Rechtsberatung. Wesentliche Quellen: Verordnung (EU) 2024/1689, Artikel 4 und 26; HALoGEN, ACL 2025; DefAn, arXiv:2406.09155; AI Incident Database (incidentdatabase.ai); Mata v. Avianca, S.D.N.Y., 2023; Italienischer Garante, Maßnahmen vom 30. März und 28. April 2023.