Stabiler Betrieb von KI-Agenten

Die Gründe dafür sind vielfältig: Oft wird der Aufwand unterschätzt, existierende Prozesse komplett auf den Prüfstand zu stellen. Hinzu kommt die Sorge, dass Agenten mit Zugriff auf alle Unternehmensdaten diese zu freizügig teilen könnten. Eines der größten Probleme ist jedoch ein eigentlich altbekanntes: Wie stellt man sicher, dass Agenten, die sich im produktiven Einsatz befinden, leicht erweitert, überwacht und bei Bedarf neu aufgesetzt werden können? Die großen Ähnlichkeiten zu Machine Learning Operations (MLOps), dem produktiven Betrieb von Machine-Learning-Modellen, sind nicht zufällig. Am Ende geht es in beiden Fällen darum, Agenten oder Modelle kontinuierlich zu überprüfen und bei Abweichungen anzupassen. Datenspezialist Michael Berthold von Knime zeigt häufige Ursachen für den Bruch zwischen Agenten und der Überführung in die Praxis auf und erläutert, welche Rolle AgentOps für eine erfolgreiche Umsetzung spielen kann. Damit KI-Agenten zuverlässig produktiv genutzt werden können, reicht es längst nicht mehr aus, Agenten zu entwickeln und diese in einer Laborumgebung zu testen. Der eigentliche Wert entsteht erst, wenn diese Agenten zuverlässig und nachhaltig in der Praxis eingesetzt werden können.  

Übliche Umsetzungspraktiken und Problematiken

Viele Methoden der Agentenentwicklung sind schon aus MLOps bekannt. Die Unterschiede liegen eher im Detail: Statt Modelle zu trainieren, werden bei Agenten Prompts geschrieben (oder automatisch optimiert). Statt Datenvorverarbeitungsprozesse anzupassen, werden Tools ausgetauscht oder neue hinzugefügt und dem Agenten zur Verfügung gestellt. Daher greifen viele Unternehmen auf drei bekannte MLOps-Vorgehensweisen zurück jeweils mit ihren eigenen Schwachstellen: 

Die Wildwest-Methode: Experten aus verschiedenen Abteilungen implementieren Agenten und Tools eigenständig. Das führt meist zu Insellösungen, und auch die Wartbarkeit bleibt auf der Strecke. Bereits nach wenigen Monaten versteht niemand mehr die Agenten und sie sind in der Praxis faktisch nicht mehr verwendbar. 

Die Wasserfall-Methode: Hier wird ein Agent komplett beispielsweise vom Data-Science-Team an die IT übergeben, die ihn eigenständig in die Produktion bringen soll. Früher wurden Modelle dabei häufig sogar in andere Sprachen übersetzt, bevor es in Produktion geht. Bei Agenten reicht jedoch oft schon der Austausch (oder ein Upgrade) der zugrundeliegenden KI, um die Qualität drastisch zu reduzieren. So oder so führt dies zu extrem starren Prozessen, oftmals langen Wartezeiten und verringert die Agilität, die gerade im Bereich der Agentischen KI absolut notwendig ist. 

Die klassische Software-Methode: klassische Software-Entwicklungsmethoden werden hier direkt auf Agenten angewandt. Dies ignoriert jedoch, wie oben angesprochen, dass Agenten-Deployments andere Anforderungen an Überwachung, Validierung und Rekonfiguration stellen. 

Die beschriebenen Vorgehensweisen sind also entweder nicht nachhaltig oder nicht flexibel genug. Genau hier setzt AgentOps an. 

Agenten nicht nur starten, sondern dauerhaft nutzen 

In vielen Unternehmen konzentriert man sich also darauf, Agenten und zahlreiche Tools zu entwickeln und ihre Funktionen im Testumfeld auszuprobieren. Was danach passiert, rückt dagegen oft in den Hintergrund. Die eigentliche Herausforderung beginnt jedoch genau an diesem Punkt: Agenten müssen nicht nur einmal eingerichtet, sondern dauerhaft zuverlässig betrieben und verbessert werden. Dazu gehört, dass sie über definierte Deployments in die IT-Systeme integriert und im laufenden Betrieb kontinuierlich überwacht werden. Wenn sich Datenquellen ändern, Rahmenbedingungen verschieben oder unerwartete Abweichungen auftreten, sollten die Agenten im Idealfall automatisch angepasst werden. Und wenn die Abweichungen zu groß sind, sollte – ebenfalls automatisch – das Team informiert werden, damit Experten die Probleme beheben können. 

AgentOps hilft dabei sicherzustellen, dass Agenten zuverlässig arbeiten und ihre Potentiale wirklich ausschöpfen. Sie umfassen die Prozesse, durch die Agenten in die Produktionsumgebung überführt, kontinuierlich überwacht und auf Basis aktueller Informationen gepflegt werden. Nur so bleiben Leistung und Qualität langfristig erhalten. 

Auf den ersten Blick erinnert dieser Prozess an klassische CI/CD-Workflows aus der Softwareentwicklung, bei denen Anwendungen regelmäßig weiterentwickelt und ausgerollt werden. Entscheidend ist jedoch ein Unterschied: Ein AgentOps-Deployment umfasst in der Regel ein komplexes „Production Package“. Dieses beinhaltet nicht nur den Agenten selbst, sondern auch viele Abhängigkeiten zu Tools, die der Agent verwendet. Einige dieser Tools arbeiten direkt mit Unternehmensdaten und enthalten trainierte Modelle samt Datenaufbereitung, gegebenenfalls sogar mit automatischem Feature Engineering. Hinzu kommt, dass Agenten auf Änderungen in ihrer Umgebung reagieren. Daten, Märkte, Nutzerverhalten oder externe Systeme verändern sich fortlaufend – und ohne Anpassungen wird die Qualität und Zuverlässigkeit des Agenten schnell abnehmen. Deshalb geht es bei Agenten im Betrieb nicht nur um die technische Funktion, sondern auch um die kontinuierliche Sicherstellung der inhaltlichen Qualität ihrer Entscheidungen und Handlungen. 

Damit wird deutlich: Wie schon bei ML-Modellen erfordert auch AgentOps eine enge Zusammenarbeit von Data-Science-, KI- und IT-Teams. Eine bloße Übergabe an die IT oder der Fokus auf technische Stabilität allein reicht nicht aus. 

Die drei Kernpfeiler erfolgreicher AgentOps 

Um die zuvor beschriebenen Herausforderungen zu meistern und die Zusammenarbeit effektiv zu gestalten, stützt sich AgentOps auf drei zentrale Säulen:  

1. Datenqualität Agenten sind nur so gut wie die Tools und die Daten, mit denen sie arbeiten. Deshalb müssen sie kontinuierlich mit aktuellen und aussagekräftigen Informationen versorgt werden. Wenn Tools dazukommen, Datenquellen sich ändern oder neue Informationen hinzukommen, darf das die Entscheidungen der Agenten nicht unbemerkt beeinflussen. 
2. Versionierung Es muss klar nachvollziehbar sein, wann ein Agent, seine Tools oder die genutzten Daten angepasst wurden. So lässt sich jederzeit prüfen, welche Änderungen vorgenommen wurden und ob bestimmte Daten oder Entscheidungen im Laufe der Zeit an Aussagekraft verloren haben. Diese Transparenz macht den Betrieb berechenbar und erleichtert spätere Anpassungen. 
3. Monitoring Nur wer seine Agenten ständig im Blick behält, erkennt frühzeitig, wenn etwas schiefläuft – sei es durch Bias, Qualitätsverluste oder veränderte Rahmenbedingungen. Regelmäßige – idealerweise natürlich automatische – Kontrollen sorgen dafür, dass Agenten zuverlässig und stabil handeln.