Generative KI ist ein ebenso mächtiges wie kritisches Werkzeug. Fragen der Datensicherheit und der Datensouveränität werden dabei durch die proprietäre Bereitstellung von Large Language Models konterkariert. Doch es gibt Alternativen.
Large Language Models (LLMs) sind das Herzstück generativer KI-Anwendungen. Allerdings sind sie oft nur exklusiv über die Plattform eines bestimmten Anbieters verfügbar, ChatGPT beispielsweise ausschließlich auf der Azure-Plattform. Dieser proprietäre Ansatz ist gleich mehrfach riskant. Einerseits durch die Gefahr des Vendor-Lock-in, also der Abhängigkeit von einem bestimmten Anbieter, andererseits aber auch durch den intransparenten Umgang mit den dort verarbeiteten Daten, der kritische Fragen nach Datensouveränität, Rechtssicherheit und Compliance-Konformität aufwirft.
Das Prinzip lokaler KI
Was dabei häufig übersehen wird, ist die Tatsache, dass es Alternativen bei der Bereitstellung von LLMs gibt. Sie können einerseits als „as-a-Service“ genutzt werden, Training und Betrieb der Modelle erfolgen also in den Grenzen der eigenen IT. Andererseits ist es auch möglich, sie in abgespeckter Form auf die eigene Infrastruktur herunterzuladen. Dafür stehen Open-Source-Tools zur Verfügung, wie beispielsweise Intel OpenVINO. Damit sind die Daten, mit denen ein LLM trainiert wird, dem Zugriff des Hyperscalers entzogen. Diese dezentrale Nutzung hat zudem noch den Vorteil, dass für das Training der Modelle die lokale Wissensbasis genutzt werden kann. Die richtigen Daten sind für die LLM-Optimierung essenziell. Mit der eigenen Knowledge Base statt Big Data können die Modelle gezielter, praxisnäher und anwendungsspezifischer trainiert werden. Eine zusätzliche Optimierungsoption ergibt sich aus der Indizierung der Datenbestände. Abfragen erfolgen dabei nicht mehr auf den gesamten Datenbestand, sondern auf die Indizes. Damit werden Schnelligkeit, Verfügbarkeit und Treffergenauigkeit erhöht.
Zero-Trust-Architekturen
Aus Gründen der Datensicherheit ist zudem ein dezentrales Daten-Handling empfehlenswert. Statt zentrale Datenbanken zu nutzen, werden die Daten auf verschiedene Rechenzentren verteilt und durch Replikation miteinander abgeglichen. Diese verteilte Datenhaltung ist ein wesentlicher Teil von Zero-Trust-Architekturen, die das Konzept von Local AI zu Confidential AI erweitern. Dahinter steht das Zero Trust Onion Principle (zTOP), bei dem alle wichtigen Layer einer IT-Architektur gesondert geschützt werden. Die jeweiligen Schutzmechanismen reichen von der Hardware-Ebene (Prozessoren, Server und Rechenzentren), über die Middleware, Virtualisierungsschicht und Datenbanken bis zum Directory- und Identity-Management sowie den Applikationen. Auf der Applikationsebene kommt dann auch wieder die Anreicherung mit generativer KI ins Spiel, etwa in Form von Chatbots oder von KI-Assistenten. Die dezentrale Nutzung von LLMs für Anwendungen ist damit gleichzeitig die Umsetzung des zTOP am Frontend einer Zero-Trust-Architektur.
Die Autorin Andrea Wörrlein ist Geschäftsführerin von VNC in Berlin und Verwaltungsrätin der VNC AG in Zug.
Hier finden Sie weitere Informationen zu VNC.
Quelle: VNC