Künstliche Intelligenz
Wie KI-Modelle in die Irre führen können
Die gefährlichsten Fehler bei der Arbeit mit Daten und KI sind diejenigen, die jedes Meeting und alle Überprüfungen unbeschadet überstehen – nur um Monate später ans Licht zu kommen, weil eine auf diesen Ergebnissen basierende Entscheidung in sich zusammenbricht. Die Daten- und KI-Experten von Knime zeigen drei Fallen bei der Arbeit mit Daten- und KI-Modellen auf und erklären, wie man sie erkennt.
Ein Vergleich wäre eine Strategie zur Verhinderung von Kundenabwanderung. Diese funktioniert bei den aktuellen Kunden im Heimatmarkt hervorragend, aber beim Eintritt in einen neuen Markt versagt sie. Überträgt man dies auf ein KI-Modell, dann hätte dieses nicht gelernt, „was zur Abwanderung von Kunden führt“, sondern, „was in diesem speziellen Quartal bei genau diesen Personen zur Abwanderung geführt hat“ – und das ist nicht dasselbe.
Das Tückische daran ist, dass sich Overfitting nicht ankündigt. Die Kennzahlen sehen hervorragend aus und die Grafiken wirken sauber. Alles scheint in Ordnung zu sein, bis das Modell auf reale Daten trifft, die nicht mit dem Trainingsdatensatz übereinstimmen.
Worauf man achten sollte: Wenn die Leistung des Modells bei Tests mit bisher unbekannten Daten deutlich abfällt, hat es Rauschen statt des eigentlichen Signals gelernt. Dann muss das Modell stets anhand von Holdout-Daten validiert werden und es ist wichtig, bei Ergebnissen, die zu gut erscheinen, skeptisch zu bleiben.
Alle drei „Fallen“ haben eines gemeinsam: Das Ergebnis, das das Daten- und KI-Modell liefert, sieht auf den ersten Blick korrekt aus. Das Dashboard ist grün und der Genauigkeitswert hoch. Nichts an den oberflächlichen Ergebnissen deutet auf ein Problem hin. Das eigentliche Problem liegt nicht in der Antwort selbst, sondern in der Art und Weise, wie sie erzielt wurde und wie transparent und nachvollziehbar dieser Weg ist.
„Teams, die ihre Analysen in sichtbaren und nachvollziehbaren Schritten aufbauen, erkennen solche Probleme meist frühzeitig. Wer sich hingegen auf „Black-Box“-Ergebnisse verlässt, bemerkt Fehler oft erst, nachdem bereits eine Fehlentscheidung getroffen wurde“, erklärt Christian Birkhold, VP Products bei Knime. „Der Unterschied zwischen „Unser Modell klappt“ gegenüber „Unser Modell klappt – und wir können die Entscheidungsfindung jederzeit belegen“ macht den Unterschied zwischen einer guten Demo und einem vertrauenswürdigen System aus.“
Weitere Tipps und Praxisbeispiele zum Umgang mit Daten und KI: The Data Drop
Bilder
