Wie KI-Modelle in die Irre führen können

Falle Nr. 1: Korrelation ist nicht Kausalität

Die Daten haben ein Muster aufgezeigt, das in Wirklichkeit gar nicht existiert.

Hier ein plakatives Beispiel: Der Eisverkauf und die Zahl der Haiangriffe nehmen jedes Jahr zeitgleich zu. Überträgt man die Daten in ein Diagramm, verlaufen die Kurven fast synchron. Die Korrelation ist stark. Aber ein Verbot von Eiscreme würde nicht die Haiangriffe verhindern. Beide Phänomene nehmen aufgrund des warmen Wetters zu. Diese verborgene Variable erklärt den Zusammenhang.

Auch wenn Eiscreme und Haie im Geschäftsalltag eher selten vorkommen, fallen Teams im Umgang mit Geschäftsdaten auf ganz ähnliche Muster herein. Beispielsweise steigen parallel zu einer Werbeschaltung die Umsatzzahlen. Es ist verlockend, daraus zu schließen, dass die Kampagne das Wachstum ausgelöst hat – doch was hat sich sonst noch verändert? Saisonale Effekte, der Rückzug eines Wettbewerbers vom Markt oder eine Preisanpassung könnten denselben Trend erklären. Dass sich zwei Kennzahlen synchron entwickeln, ist noch kein Beweis dafür, dass die eine die Ursache für die andere ist.

Wenn Korrelation mit Kausalität gleichgesetzt wird, kann es dazu führen, dass Unternehmen Initiativen ausweiten, die eigentlich gar keine Ergebnisse liefern. Stattdessen werden Investitionen gestrichen, die zielführender wären.

Worauf man achten sollte: Bevor man sagt „X hat Y verursacht“, sollte überlegt werden: Welche anderen Variablen haben sich gleichzeitig verändert? Könnte ein dritter Faktor beides erklären? Bleibt der Effekt bestehen, wenn man saisonale Schwankungen herausrechnet?

Falle Nr. 2: Die Erklärbarkeitslücke

Das KI-Modell liefert zwar eine Antwort, aber der Analyseweg ist nicht nachvollziehbar.

Beispielsweise kennzeichnet das Modell eine Transaktion als Betrug, lehnt einen Kreditantrag ab oder filtert einen Kandidaten aus dem Bewerbungsprozess heraus. Dann fragt jemand: Warum hat es diese Entscheidung getroffen?

Wenn die beste Antwort dann lautet: „Das Modell hat es so gesagt“, gibt es ein Vertrauensproblem. Die EU-KI-Verordnung (EU AI Act) fordert bereits die Erklärbarkeit von Hochrisikoanwendungen. 

Aufsichtsbehörden, Prüfer und alle von diesen Entscheidungen Betroffenen stellen die Frage: Wie ist man zu diesem Ergebnis gekommen? Dies ist die sogenannte Erklärbarkeitslücke. Die meisten Modelle sind auf Genauigkeit und nicht auf Transparenz optimiert. Sie liefern also eine Vorhersage, ohne die Begründung dafür offenzulegen. Die Lösung besteht nicht darin, auf KI zu verzichten. Vielmehr geht es darum, Systeme zu entwickeln, in denen jeder Schritt sichtbar ist, in denen man auf jeden Teil des Prozesses klicken und sehen kann, welche Daten eingegeben wurden, welche Logik angewendet wurde und wie das Ergebnis erzeugt wurde. Wenn der Prüfer fragt: „Wie?“, sollten ihm der gesamten Weg von der Eingabe bis zur Entscheidung aufgezeigt werden können.

Worauf man achten sollte: Wenn jemand fragt, warum das Modell eine bestimmte Entscheidung getroffen hat, und man erst im Code nachsehen oder raten muss, ist das ein Zeichen dafür, dass der Prozess mehr Transparenz benötigt, bevor er für echte Entscheidungen bereit ist.

Falle Nr. 3: „Overfitting“

Das Modell erreicht bei den Testdaten eine Genauigkeit von 98 % – alle jubeln. Aber sobald es live geht, sind die Vorhersagen in der Hälfte der Fälle falsch.

Dieses Phänomen wird als „Overfitting“ (Überanpassung) bezeichnet: Das Modell hat die Trainingsdaten lediglich auswendig gelernt, anstatt die darin enthaltenen tatsächlichen Muster zu erfassen. Jede Eigenheit, jeder Ausreißer und jeder Zufall aus dem Datensatz wird fest in das Modell integriert. Dadurch wirkt es im Nachhinein zwar brillant, ist aber nicht in der Lage, mit neuen Daten umzugehen.