KI-Strategie: Ohne genaue Evaluation bleibt der KI-Erfolg aus

KI ist auf dem Vormarsch – und wird es wohl auch bleiben. Insbesondere generative KI-Modelle sind im Berufsalltag angekommen und können an vielen Stellen Workflows erleichtern und die Effizienz steigern. Für Entscheider wird die Wahl für Softwarestack und Betriebsmodell jedoch oft zur Herausforderung, denn sie müssen aus allen Varianten die auswählen, die nicht nur zum Unternehmen passt, sondern auch einen konkreten Mehrwert bietet. Was sie nun brauchen, ist eine Strategie, mit der sich der Evaluierungsprozess rationalisieren und vereinfachen lässt.

Die Veröffentlichung von ChatGPT hat das Thema generative KI und deren Einsatz an die Spitze etlicher Meeting-Agendas befördert. Doch mit der Entscheidung, GenAI einsetzen zu wollen, ist es noch lange nicht getan – denn wer auf Pauschallösungen setzt, wird nicht immer glücklich auf seiner KI-Reise. Das Management muss viel mehr in enger Abstimmung mit den einzelnen Abteilungen und vor allem dem IT-Team wichtige Eckpunkte definieren, um den spezifischen Anforderungen des Unternehmens gerecht zu werden. Dazu gehört unter anderem die Entscheidung, ob sie Open-Source-Software oder proprietäre Tools einsetzen und eine Standard-Lösung oder einen individuellen Stack implementieren wollen. Auch die Frage nach dem Installationsort müssen sich Entwicklerteam und Managementboard stellen.

Sind diese Themen geklärt, geht es als nächstes um die Datenverfügbarkeit, denn ohne Daten läuft kein generatives KI-Modell. Voraussetzung ist jedoch nicht nur ein möglichst umfangreiches Datenvolumen, sondern auch eine hohe Qualität. Zu geringe Datenmengen oder qualitativ minderwertiger Input bringen Entwickler beim Training einer künstlichen Intelligenz nicht weiter. Ein wichtiger Arbeitsschritt ist, diese Daten aus den verfügbaren Datenbanken und möglicherweise sogar vorhandenen Data Lakes zu extrahieren und aufzubereiten. Mit sogenanntem Data Scraping, also dem Auslesen von Informationen aus dem Inter- oder Intranet, kann das Training im Bedarfsfall noch angereichert und verfeinert werden.

Auf die Erwägungen im Hinblick auf das Datenmanagement folgt die Entscheidung, welche KI-Lösungen das Unternehmen einsetzen möchte. Allem voran steht die Wahl zwischen bereits existierender Lösung oder auf eine Homebrew-Alternative zu setzen, also das KI-Tool in Marke Eigenbau zu erstellen – Letzterem stehen allerdings in der Regel operative und finanzielle Gründe im Weg. Zwar sind individuell entwickelte KI-Modelle natürlich perfekt auf die Anforderungen des unternehmensspezifischen Einsatzzweckes abgestimmt. Allerdings sind die in diesem Zusammenhang entstehenden Kosten und der organisatorische Overhead eine ausreichende Rechtfertigung für den leicht höheren Mehrwert. Lediglich in speziellen Branchen, für deren Einsatzzwecke herkömmliche KI-Modelle nicht sinnvoll einsetzbar sind, könnte eine Eigenentwicklung in Frage kommen – etwa in der Luft- und Raumfahrt oder anderen hochspezialisierten Industriezweigen.

On-premises oder in der Cloud?

Es ist kein Geheimnis, dass viele KI-Tools und deren datenintensive Workloads die meisten klassischen IT-Infrastrukturen an die Grenzen der Belastbarkeit bringen. Da Neural Processing Units (NPUs) noch nicht weit verbreitet sind, tragen die GPUs (Graphics Processing Units) von Servern die Hauptlast. Unternehmen, die ihre Systeme auf KI-Prozesse auslegen möchten, müssen demnach tief in die Tasche greifen. Eine beliebte Alternative zu On-Premises-Szenarien sind daher Pay-per-Use-Modelle in der Cloud. Wer sich nicht gänzlich von Cloud-Anbietern abhängig machen und auch scharfe Compliance-Richtlinien oder bestimmte SLAs erfüllen muss, sollte daher auf Hybrid-Cloud-Umgebungen setzen. So können sensible Daten im eigenen Rechenzentrum und generische Daten in der Cloud verarbeitet werden. Das Training der KI-Modelle sollte jedoch bestenfalls mit anonymisierten, pseudonymisierten oder synthetischen Daten in der Cloud durchgeführt werden.

Quelloffen oder proprietär: Beides hat Vor- und Nachteile

Wie immer stellt sich früher oder später die Frage, ob ein Open-Source-Modell oder ein Produkt mit proprietärer Lizenz zum Einsatz kommen soll. Dafür müssen Unternehmen die Vor- und Nachteile beider Alternativen anhand ihrer individuellen Anwendungsfälle abwägen. Proprietäre KI-Modelle gibt es in Form von Microsoft Azure OpenAI sowie Anthropic Claude via AWS und Google Cloud. Im europäischen Raum gibt es noch das Unternehmen Aleph Alpha, das digitale Souveränität verspricht. Vorteil dieser Modelle ist die Nutzbarkeit, da sie in der Regel eine Benutzeroberfläche bieten, mit der Entwickler die Trainingsdaten auf einfache Art einlesen können. Open-Source-Modelle stellen gewöhnlich nur Code bereit.

Entscheidender Vorteil von quelloffenen Lösungen wie Llama 2 ist allerdings die große Community, die an dem Projekt mitarbeitet und viele Weiterentwicklungen schneller als bei Lizenzprodukten umsetzt. Open-Source-Modelle erlauben Unternehmen darüber hinaus, unabhängig zu bleiben und sich ihre Gestaltungsfreiheit beim Einsatz von KI zu bewahren. Ein Nachteil sind die Kosten – allerdings nicht im Hinblick auf das Modell selbst, sondern auf dessen Betrieb, denn dafür sind eigene Server fällig.

Grundsätzlich sollten Unternehmen, die mit ihrem KI-Modell proprietären und vertraulichen Code erstellen wollen, auf Open-Source-Anwendungen zurückgreifen. Ist das Ziel eher, einen einfachen Chatbot für den First-Level-Support zu erstellen, können sie getrost ein Pay-per-use-Modell in der Cloud nutzen.

Powered by RAG: LLMs mit externen Daten trainieren

Large Language Models (LLMs) sind aktuell die Basis der dominantesten KI-Tools (etwa ChatGPT). Durch das Training mit großen Datenmengen sind sie extrem leistungsstark und verfügen über ein großes Allgemeinwissen. Grenzen tun sich dann auf, wenn Nutzer Antworten auf Prompts verlangen, die nicht von den Trainingsdaten abgedeckt werden. Halluzinationen, also objektiv falsche Antworten der künstlichen Intelligenz, sind dann oft die Folge. RAG (Retrieval-Augmented Generation) vermeidet dies, indem sie LLMs zusätzliche Informationen zur Verfügung stellt – etwa aus Vektordatenbanken oder anderen externen Wissensquellen. Die so generierten Antworten sind exakter und kontextbezogener, während Halluzinationen zwar nicht ausgeschlossen, wohl aber reduziert werden können.

Vorausschauend planen vermeidet Enttäuschungen

Um das Maximum aus dem KI-Einsatz herauszuholen, sollten Unternehmen niemals einfach kopflos durchstarten. Eine klare Roadmap und vor allem eine Vision sollten jeglichen Implementierungen vorausgehen. Die zentrale Frage muss sein: Was wollen wir durch KI erreichen und welche Prozesse müssen wir dafür etablieren oder optimieren? GenAI-basierte Chatbots sind aktuell der Renner, aber nur der Beginn dessen, was in Zukunft möglich sein wird. Daher gilt es auch, die Entwicklungen zu beobachten und sich im Zweifel externe Hilfe bei der Einschätzung zu holen, welche KI-Evolution gegebenenfalls speziell im eigenen Unternehmenskontext relevant sein könnten. Denn eines ist sicher: der Markt für KI wird von großen Konzernen wie Google und Microsoft aber auch von kleinen unabhängigen Anbietern in den kommenden Jahren deutlich vorangetrieben.

Das alles bedeutet jedoch nicht, dass Unternehmen grundsätzlich zu Early Adoptern, also Nutzern der ersten Stunde werden müssen. Nicht jedes Tool und nicht jedes Modell setzen sich durch und ergeben für spezielle Anwendungsfälle Sinn. Wichtig ist, dass Unternehmen möglichst die Zukunftssicherheit, Unabhängigkeit und Flexibilität im Blick haben, wenn sie ihre KI-Reise beginnen. Architekturen, die einen Austausch von Modellen ermöglichen, sind daher langfristig vermutlich die bessere Wahl. Ein gutes Beispiel dafür ist das RAG-Konzept. Durch die Speicherung von Daten in einer Vektordatenbank ist das darüber liegende Modell jederzeit austauschbar – und somit maximal flexibel und nach aktuellem Stand der Technologie zukunftssicher.

Ein Beitrag von Niklas Bläsing, Director Consulting Services, Data, Automation & AI Lead bei CGI in Deutschland.

Hier finden Sie weitere Informationen zu CGI.