Warum scheitern so viele Projekte mit KI-Agenten bereits bei der Umsetzung? Datenspezialist Michael Berthold zeigt häufige Ursachen für den Bruch zwischen Agenten und der Überführung in die Praxis auf und erläutert, welche Rolle AgentOps für eine erfolgreiche Umsetzung spielen kann.

Autonome KI-Systeme sind dabei, den Unternehmensalltag grundlegend zu verändern. Immer mehr Unternehmen testen und pilotieren KI-Agenten. Die ersten setzen sie produktiv ein – vom Absatzforecast bis zur Betrugserkennung. Diese intelligenten Systeme führen eigenständig Aufgaben aus, treffen Entscheidungen und interagieren mit anderen Anwendungen oder Datenquellen. Ihr Potenzial ist enorm: Sie können Prozesse beschleunigen, Routinearbeiten übernehmen und Entscheidungen datenbasiert unterstützen. Allerdings scheitern viele Projekte bereits bei der Überführung in die Praxis. Es zeigt sich immer deutlicher: echte Produktivitätsgewinne entstehen nur, wenn solche Agenten langfristig betrieben werden. Denn es reicht nicht, sie einmal zu entwickeln. Sie müssen dauerhaft überwacht, gesteuert und weiterentwickelt werden.

Anders als herkömmliche Software oder klassische KI-Modelle agieren KI-Agenten dynamisch, arbeiten autonom und verknüpfen mehrere Aufgaben miteinander. Das macht ihren Betrieb komplex und erfordert damit neue Ansätze im Management. Hier kommt AgentOps ins Spiel – kurz für Agent Operations. AgentOps baut auf den Erfahrungen aus DevOps und MLOps auf, überträgt deren Prinzipien jedoch auf die spezifischen Anforderungen agentischer Systeme. Doch wie wird AgentOps erfolgreich etabliert, und welche Anforderungen müssen die dafür notwendigen KI-Plattformen leisten?

So funktioniert AgentOps

AgentOps sorgt dafür, dass Agenten automatisch auf Veränderungen in Daten, Märkten oder Rahmenbedingungen reagieren können. Wenn Abweichungen auftreten, sollen Systeme entweder selbst Anpassungen vornehmen oder das verantwortliche Team informieren. Nur durch diesen geschlossenen Zyklus bleibt die Qualität erhalten – sowohl technisch als auch inhaltlich.

Auf den ersten Blick erinnert das an klassische CI/CD-Workflows aus der Softwareentwicklung, bei denen Anwendungen regelmäßig weiterentwickelt und automatisiert ausgerollt werden. Doch es gibt einen entscheidenden Unterschied: Ein AgentOps-Deployment umfasst in der Regel ein komplexes Production Package. Dieses besteht nicht nur aus dem Agenten selbst, sondern auch aus zahlreichen Abhängigkeiten – etwa Tools, Datenpipelines oder trainierten Modellen inklusive Datenaufbereitung und Feature Engineering.

Ein praktisches Beispiel: Ein KI-Agent optimiert in Echtzeit die Lieferketten eines Unternehmens. Entscheidungen, die früher Stunden oder Tage gedauert hätten, werden nun innerhalb von Minuten getroffen. Damit der Agent zuverlässig agiert, ist kontinuierliches Monitoring unerlässlich – sowohl was die die technische Stabilität betrifft als auch für die Qualität der Entscheidungen. Nur so können Unternehmen sicherstellen, dass ihre Agenten auch unter veränderten Bedingungen vertrauenswürdig, nachvollziehbar und regelkonform handeln.

Die drei Kernpfeiler erfolgreicher AgentOps

Um die zuvor beschriebenen Herausforderungen zu meistern und die Zusammenarbeit effektiv zu gestalten, stützt sich AgentOps auf drei zentrale Säulen:

Datenqualität: Agenten sind nur so gut wie die Tools und die Daten, mit denen sie arbeiten. Deshalb müssen sie kontinuierlich mit aktuellen und aussagekräftigen Informationen versorgt werden. Wenn Tools dazukommen, Datenquellen sich ändern oder neue Informationen hinzukommen, darf das die Entscheidungen der Agenten nicht unbemerkt beeinflussen.
Transparenz (Versionierung): Es muss klar nachvollziehbar sein, wann ein Agent, seine Tools oder die genutzten Daten angepasst wurden. So lässt sich jederzeit prüfen, welche Änderungen vorgenommen wurden und ob bestimmte Daten oder Entscheidungen im Laufe der Zeit an Aussagekraft verloren haben. Diese Transparenz macht den Betrieb berechenbar und erleichtert spätere Anpassungen.
Monitoring: Nur wer seine Agenten ständig im Blick behält, erkennt frühzeitig, wenn etwas schiefläuft – sei es durch Bias, Qualitätsverluste oder veränderte Rahmenbedingungen. Regelmäßige Kontrollen – idealerweise natürlich automatisiert – sorgen dafür, dass Agenten zuverlässig und stabil handeln.

Wenn diese drei Säulen konsequent umgesetzt werden, können Agenten zuverlässig arbeiten und ihren Nutzen voll entfalten.

Data-Analytics-Plattform als Infrastruktur für AgentOps

Um diese Kernpfeiler im Alltag umzusetzen, benötigen Unternehmen eine geeignete technische Basis – etwa moderne Data-Analytics-Plattformen wie KNIME mit visuellen Workflows. Eine solche Plattform sorgt nicht nur dafür, dass Daten, Tools und Prozesse miteinander verbunden sind – sie macht den gesamten Lebenszyklus von Agenten auch steuerbar und transparent. Zentrale Funktionen umfassen dabei:

Datenintegration: Agenten müssen auf verschiedene interne und externe Datenquellen zugreifen können. Geeignete Data Analytics Plattformen stellen sicher, dass diese Daten konsistent, sauber und aktuell verfügbar sind. Ohne diese zentrale Integration könnten Agenten auf fragmentierte oder veraltete Daten zugreifen.
Workflow-Orchestrierung: Agenten nutzen oft mehrere Tools und Teilsysteme gleichzeitig. Hier helfen visuelle Workflows. Sie dokumentieren jeden Schritt. Von der Datenerhebung über die Verarbeitung bis zur Ausgabe bilden sie den kompletten Prozess ab und machen ihn für die Mitarbeitenden erklärbar, wiederholbar und automatisierbar. Workflows schaffen also das, was vielen KI-Systemen bisher fehlt: Sie geben Einblick in die Black Box.
Tool-Management: Plattformen bündeln die Tools, die Agenten benötigen – z.B. Analyse-Module, Modelle oder Schnittstellen. Sie stellen Versionen bereit, dokumentieren Änderungen und machen Abhängigkeiten transparent, sodass der Betrieb reproduzierbar bleibt und wiederverwendbar ist.
Monitoring & Governance: Moderne Data-Analytics-Plattformen ermöglichen nicht nur die Ausführung von Agenten, sondern auch deren kontinuierliche Überwachung. Monitoring stellt sicher, dass Agenten zuverlässig arbeiten, mögliche Fehler oder Qualitätsverluste frühzeitig erkannt werden und Entscheidungen nachvollziehbar bleiben. Governance-Funktionen sorgen dafür, dass Agenten nur auf autorisierte Daten zugreifen, Informationen korrekt kombinieren und innerhalb der definierten Regeln handeln. So bleibt der Betrieb sicher und regelkonform – auch bei komplexen, autonomen Prozessen.

Resümee: Selbst der beste KI-Agent wird schnell unübersichtlich, wenn Entscheidungen nicht nachvollziehbar bleiben und Unternehmen ihre autonomen Systeme nicht zuverlässig steuern können. AgentOps schafft dafür die notwendigen Strukturen – und moderne Data- und Analytics-Plattformen bilden die technische Basis. So wird aus einem autonomen Agenten ein kontrollierbares System, das Unternehmen dauerhaft unterstützt.

Ein Beitrag von Michael Berthold.

Michael Berthold ist ein deutscher Informatiker, Unternehmer, Akademiker und Autor. Er ist Mitbegründer von KNIME und seit 2017 als CEO tätig. Berthold ist Autor von über 250 Publikationen und konzentriert sich in seiner Forschung auf den Einsatz von Methoden des maschinellen Lernens für die interaktive Analyse großer Informationsspeicher. Er ist Herausgeber und Mitautor zahlreicher Lehrbücher, Fellow des Institute of Electrical and Electronics Engineers (IEEE), ehemaliger Präsident der North American Fuzzy Information Processing Society und ehemaliger Präsident der IEEE Systems, Man, and Cybernetics Society.

Weitere Informationen zu KNIME finden Sie hier.