Agentische KI hält zunehmend Einzug in produktive Unternehmensprozesse. Während viele Unternehmen neue Anwendungsfälle entwickeln oder KI-Agenten tief in bestehende Workflows integrieren, verändert sich im Hintergrund bereits das Betriebsmodell der IT und die Art, wie KI-Nutzung abgerechnet wird. Die intensive Nutzung großer Sprachmodelle durch agentische KI treibt den Ressourcenverbrauch in die Höhe. KI-Anbieter reagieren darauf mit der Umstellung auf nutzungsabhängige Preismodelle. Damit geraten Tokens – bislang vor allem Entwicklern ein Begriff – zunehmend in den Fokus von IT-Verantwortlichen. – Ein Beitrag von Verena Deller, Vorständin bei der codecentric AG.

Noch vor wenigen Jahren wurden viele KI-Dienste über Flatrates oder feste Lizenzen angeboten. Inzwischen rechnen Anbieter ihre Leistungen zunehmend nach tatsächlicher Nutzung ab. Anthropic hat die Flatrate-Nutzung für externe KI-Agenten-Frameworks eingestellt, Microsoft führt für GitHub Copilot eine Token basierte Abrechnung ein. Der Grund: Mit der Verbreitung agentenbasierter KI steigt die Zahl der Anfragen an Sprachmodelle massiv. Wenn ein Mensch in etwa 10 Prompts formuliert, erzeugen autonome Agenten in derselben Zeit oft Hunderte oder Tausende Modellaufrufe für eine einzige Aufgabe. Entsprechend wachsen Infrastruktur- und Energiekosten.

Für Unternehmen bedeutet das eine grundlegende Veränderung ihrer Budgetplanung: So orientieren sich klassische IT-Kosten vor allem an Lizenzen oder Nutzerzahlen und sind vergleichsweise gut planbar. Bei KI hängen die Kosten dagegen vom tatsächlichen Nutzungsvolumen ab. Entscheidend sind Anzahl und Komplexität der Anfragen, die die Menge der verarbeiteten Tokens und damit die Kosten bestimmen.

Tokens werden zur Steuerungsgröße

Ein Token ist dabei die kleinste Dateneinheit, mit der ein Sprachmodell Texte verarbeitet. Eingaben und Ausgaben werden in Tokens zerlegt und bilden die Grundlage der Abrechnung vieler KI-Dienste.

Bei einfachen Anwendungen oder wenn Menschen prompten spielt das kaum eine Rolle. KI-Agenten können aber innerhalb kurzer Zeit Tausende oder Millionen Tokens verarbeiten, etwa wenn sie Dokumente analysieren, Datenbanken durchsuchen oder weitere Prozesse anstoßen. Arbeiten mehrere Modelle oder Agenten zusammen, steigt der Ressourcen- oder Tokenverbrauch rasant.

Für IT-Abteilungen wird es dadurch schwierig, Nutzung und Kosten nachzuvollziehen. Ohne saubere Kostenzuordnung und modernes Monitoring bleibt oft unklar, welche Anwendungen besonders ressourcenintensiv sind.

Mehr Transparenz statt Blackbox

Mit der Einführung agentischer KI benötigen Unternehmen daher ein Monitoring, das über klassische Infrastrukturkennzahlen hinausgeht. Gefragt sind Transparenz über Nutzungsmuster, eine verursachergerechte Zuordnung der Kosten sowie Kennzahlen, die wirtschaftlichen Nutzen und Ressourcenverbrauch gegenüberstellen wie beispielsweise einen Return on Token, also die Relation des erzielten Geschäftswertes und der dafür verbrauchten Token oder die Kosten pro KI-Transaktion.

Ebenso wichtig ist eine belastbare Governance. Denn KI wird häufig dezentral genutzt. Ohne klare Regeln entsteht schnell Schatten-IT, das heißt Workarounds mit inoffiziellen Tools, deren Kosten und Risiken kaum nachvollziehbar sind.

AI Gateways schaffen Kontrolle

Eine Möglichkeit, Transparenz über den Token-Verbrauch zu schaffen, bieten AI Gateways. Sie fungieren als Vermittlungsinstanz zwischen Unternehmensanwendungen und Sprachmodellen. Nutzung, Kosten und Auslastung lassen sich damit zentral überwachen. Darüber hinaus können Budgets festgelegt, Anfragen intelligent auf unterschiedliche Modelle verteilt oder wiederkehrende Anfragen zwischengespeichert werden. Wirtschaftliche Leitplanken werden so direkt in die technische Infrastruktur integriert.

Technologie allein reicht nicht aus

Mit der zunehmenden Verbreitung generativer KI verändern sich auch die Anforderungen an Mitarbeitende. Entscheidend ist, KI effizient einzusetzen und unnötigen Token-Verbrauch zu vermeiden. Präzise formulierte Anforderungen, qualitativ hochwertige Daten und ein gutes Verständnis der Geschäftsprozesse helfen dabei. Ebenso wichtig ist die Frage, für welche Aufgaben generative KI tatsächlich den größten Mehrwert bietet und wo andere, einfachere Lösungen ausreichen.

KI braucht Governance und nicht nur Rechenleistung

Mit der zunehmenden Integration agentischer KI in Unternehmensprozesse verändern sich auch die Anforderungen an den IT-Betrieb. Tokens entwickeln sich von einer technischen Kenngröße zu einem relevanten Steuerungsinstrument. Unternehmen benötigen deshalb mehr Transparenz über KI-Nutzung und -Kosten sowie Governance-Modelle, die mit dynamischen KI-Anwendungen Schritt halten. Wer agentische KI dauerhaft wirtschaftlich betreiben möchte, muss ihre Nutzung ebenso systematisch überwachen wie klassische IT-Infrastruktur oder Cloud-Ressourcen. Denn langfristig entscheiden nicht allein der Umfang des KI-Einsatzes und das richtige Prompting über den Erfolg, sondern die Fähigkeit, Technologie, Prozesse und Kosten gleichermaßen im Blick zu behalten. AI Gateways können dabei wirksam unterstützen, indem sie nicht nur Zugriffe kontrollieren, sondern auch Anfragen automatisch an das passendste und kostengünstigste Modell routen.

Verena Deller verantwortet als Vorständin bei codecentric die Bereiche Menschen und Kommunikation. Sie verfügt über mehr als 20 Jahre internationale Beratungserfahrung und treibt die Entwicklung vielfältiger Teams sowie die Kommunikation mit Talenten, Kunden und Partnern voran. Ein besonderes Anliegen ist ihr die Förderung von Frauen im Consulting.

Weitere Informationen zur codecentric AG finden Sie hier.