KI-bezogene Vorfälle beschäftigen zunehmend die Führungsetagen europäischer Unternehmen. Laut einer aktuellen IBM-Studie erreichte bei 80 Prozent der befragten Unternehmen in EMEA innerhalb eines Jahres mindestens ein KI-Vorfall die Vorstands- oder Geschäftsleitungsebene. Dennoch haben nur 40 Prozent ihre Governance-Regeln angepasst. Mit dem zunehmenden Einsatz autonomer KI-Agenten wächst der Handlungsbedarf insbesondere bei Verantwortlichkeiten, Haftungsfragen und der Kontrolle finanzieller Risiken.

Der Einsatz Künstlicher Intelligenz schreitet in Unternehmen schneller voran als die Entwicklung entsprechender Kontrollmechanismen. Das zeigt eine von IBM veröffentlichte Studie unter 3.221 Führungskräften aus acht Ländern Europas und des Nahen Ostens. Demnach berichten 80 Prozent der Befragten in EMEA, dass im vergangenen Jahr mindestens ein KI-bezogener Vorfall bis auf Vorstands- oder Geschäftsleitungsebene eskaliert wurde. In Deutschland liegt der Anteil bei 82 Prozent.

Zu den Vorfällen zählen unter anderem Fehlentscheidungen KI-gestützter Systeme, Datenoffenlegungen, Sicherheitsverletzungen und das Fehlverhalten von KI-Agenten. Konsequenzen für die internen Regelwerke bleiben jedoch häufig aus: Lediglich 40 Prozent der Unternehmen in EMEA und 39 Prozent in Deutschland haben ihre KI-Governance anschließend angepasst.

Auch bei der Einführung neuer KI-Anwendungen zeigt sich ein Spannungsverhältnis zwischen Innovation und Kontrolle. Während 56 Prozent der befragten Unternehmen in EMEA ihre KI-Projekte innerhalb vereinbarter Risikogrenzen fortsetzen und Governance-Vorgaben parallel weiterentwickeln, liegt dieser Anteil in Deutschland bei 64 Prozent. Nur 23 Prozent der deutschen Befragten verschieben die Einführung, bis entsprechende Rahmenbedingungen geschaffen sind.

Autonome KI-Agenten erhöhen die Anforderungen

Besonders deutlich werden die Herausforderungen beim Einsatz agentischer KI. Diese Systeme können eigenständig Aufgaben ausführen und Entscheidungen treffen, ohne dass jeder einzelne Schritt menschlich freigegeben werden muss.

Bereits 35 Prozent der befragten Unternehmen in EMEA setzen agentische KI produktiv ein. In Deutschland sind es 19 Prozent. Gleichzeitig erwarten 75 Prozent der Befragten in EMEA, dass KI-Agenten bis 2027 über eine gewisse Entscheidungsautonomie verfügen werden. In Deutschland teilen 62 Prozent diese Einschätzung.

Auf diese Entwicklung sehen sich viele Unternehmen organisatorisch nicht ausreichend vorbereitet. Nur 37 Prozent in EMEA und 38 Prozent in Deutschland geben an, dass ihre bestehenden Governance-Systeme für eine Skalierung agentischer KI ausgelegt sind.

Ana Paula Assis, IBM Senior Vice President and Chair, EMEA and APAC, erklärt:

„Die Debatte rund um KI hat sich von der Einführung hin zu Governance und Verantwortlichkeit verlagert. Wenn Unternehmen von KI-Assistenten zu autonomen Agenten wechseln, kann Governance nicht länger nur als Compliance-Thema betrachtet werden. Sie ist zu einer geschäftlichen Notwendigkeit und einem Wertschöpfungsmotor geworden.

Die Unternehmen, die KI verantwortungsvoll und vertrauenswürdig skalieren können, werden den größten geschäftlichen Nutzen erzielen. Das bedeutet, dass Governance direkt in die Arbeitsweise von KI-Agenten integriert werden muss – mit klaren Grenzen für ihre Handlungsmöglichkeiten, klar geregelten Verantwortlichkeiten für Fehlerfälle und Kontrollmechanismen in Echtzeit.“

Verantwortlichkeiten und Haftung bleiben ungeklärt

Obwohl 98 Prozent der befragten Unternehmen in EMEA die Verantwortung für KI-Risiken formal auf Vorstandsebene verankert haben, fehlt häufig eine eindeutige Zuständigkeit für Schäden durch autonome Systeme. In Deutschland liegt der Anteil der Unternehmen mit entsprechender Vorstandsverantwortung bei 95 Prozent.

Auf die Frage nach der Verantwortung für negative Folgen durch KI-Agenten nennen lediglich 17 Prozent der Befragten den CIO oder CTO als zuständige Instanz. Auch bei der rechtlichen Haftung gehen die Einschätzungen auseinander.

Für die Steuerung autonomer KI-Agenten halten die Befragten insbesondere verbindliche Haftungsregelungen, definierte Eskalationsschwellen, Echtzeitüberwachung und die Möglichkeit zum sofortigen Stopp von Agentenaktivitäten für erforderlich.

Finanzielle Risiken und Drittanbieter im Blick

Eine weitere Schwachstelle betrifft die wirtschaftliche Bewertung von KI-Risiken. Nur 37 Prozent der Unternehmen in EMEA verfügen über eine formale, vom Vorstand überprüfte Quantifizierung finanzieller Risiken durch Governance-Lücken. In Deutschland sind es 38 Prozent.

Hinzu kommen Risiken durch externe KI-Anbieter. Mehr als die Hälfte der Befragten in EMEA sieht Einschränkungen bei der Governance von KI-Systemen und Modellen aus der Lieferkette. Lediglich 21 Prozent überwachen Risiken durch Drittanbieter-KI kontinuierlich. In Deutschland liegt dieser Anteil bei 18 Prozent.

Auch regulatorische Anforderungen beeinflussen die Investitionsplanung. In der EU beschleunigen 41 Prozent der befragten Führungskräfte ihre Governance-Investitionen im Vorfeld der Anforderungen des EU AI Act für Hochrisiko-Anwendungen ab Dezember 2027. In Deutschland sind es 50 Prozent.

Die Ergebnisse verdeutlichen eine zentrale Herausforderung: Während KI-Systeme zunehmend eigenständig handeln, müssen Unternehmen ihre Kontrollmechanismen, Zuständigkeiten und Verfahren zur Risikobewertung entsprechend weiterentwickeln. Die formale Verankerung von KI-Verantwortung auf Vorstandsebene allein reicht dafür offenbar nicht aus.

Weitere Informationen zu IBM finden Sie hier.