Kubermatic hat mit Kubermatic AI eine Kubernetes-native Plattform für den Betrieb von Enterprise-KI vorgestellt. Unternehmen sollen damit vorhandene GPU- und Cluster-Ressourcen effizienter einsetzen und Modelle zentral für mehrere Teams bereitstellen können. Mandantenfähigkeit, Governance und sichere API-Zugriffe sollen dabei den gemeinsamen Zugriff auf dieselbe Modellinstanz ermöglichen. Die Plattform lässt sich On-Premises, in der Cloud, hybrid oder in souveränen Umgebungen betreiben.

Kubermatic hat in Hamburg eine neue Plattform für den Aufbau und Betrieb von KI-Infrastrukturen in Unternehmen vorgestellt. Kubermatic AI ist Kubernetes-nativ ausgelegt und soll insbesondere Unternehmen dabei unterstützen, vorhandene GPU- und Cluster-Kapazitäten effizienter zu nutzen. Als Einsatzfelder nennt der Anbieter interne KI-Plattformen, Neoclouds sowie Umgebungen, in denen bereits vorhandene GPU-Ressourcen wirtschaftlicher betrieben werden sollen.

Im Mittelpunkt steht dabei die Auslastung der kostenintensiven GPU-Infrastruktur. Nach Angaben aus der Pressemitteilung liegt die GPU-Auslastung in vielen Unternehmen Branchenanalysen zufolge lediglich bei rund fünf Prozent. Gleichzeitig würden Unternehmen zusätzliche Hardware beschaffen, obwohl bestehende Kapazitäten teilweise ungenutzt bleiben. Kubermatic AI soll deshalb die vorhandenen Ressourcen stärker bündeln und für unterschiedliche Nutzergruppen verfügbar machen.

Sebastian Scheele, Mitbegründer und CEO von Kubermatic.

„Wir beobachten, wie Unternehmen ihre GPUs in das teuerste Brachland der Tech-Branche verwandeln. Genau das wollen wir mit Kubermatic AI ändern“, erklärt Sebastian Scheele, Mitgründer und CEO von Kubermatic.

Gemeinsame Modelle für mehrere Teams

Ein Ansatzpunkt ist die bislang häufig getrennte Bereitstellung von KI-Modellen innerhalb einzelner Teams oder Fachabteilungen. Werden Modelle mehrfach als eigene Instanzen betrieben, beanspruchen sie jeweils GPU-Speicher und Rechenleistung – auch dann, wenn aktuell keine Anfragen verarbeitet werden. Gleichzeitig können dadurch Ressourcen gebunden sein, die an anderer Stelle benötigt werden.

Kubermatic AI sieht stattdessen eine zentrale Modellbereitstellung vor. Ein Modell wird einmal bereitgestellt und kann anschließend von mehreren Teams genutzt werden. Die integrierte Mandantenfähigkeit soll dafür sorgen, dass die Zugriffe dennoch voneinander getrennt bleiben. Teams erhalten isolierte API-Zugänge, eigene Kontingente und Budgets sowie separate Governance-Richtlinien. Die Modellinstanz im Hintergrund bleibt gemeinsam genutzt.

Damit zielt die Plattform darauf, redundante Deployments zu vermeiden. Unternehmen müssen Modelle nicht für jede Nutzergruppe separat betreiben, sondern können Infrastruktur gemeinsam bereitstellen und den Zugriff zugleich organisatorisch und technisch steuern.

LLMs zentral als Service bereitstellen

Mit Kubermatic AI lassen sich Large Language Models (LLMs) als zentraler Service für Entwicklerteams bereitstellen. Der Zugriff erfolgt über sichere APIs. Ein einzelnes Deployment kann mehrere Teams bedienen, sodass zusätzliche Modellbereitstellungen für einzelne Nutzergruppen entfallen können.

Neben einer höheren GPU-Auslastung soll dies vor allem die zentrale Steuerung vereinfachen. Richtlinien, Kontingente und Sicherheitsvorgaben werden über eine gemeinsame Plattform verwaltet. Beim Betriebsmodell legt sich Kubermatic AI nicht auf eine einzelne Infrastruktur fest: Nach Angaben des Anbieters kann die Lösung On-Premises, in der Cloud, in hybriden Architekturen oder in souveränen Umgebungen eingesetzt werden.

Für Entwickler soll sich der Zugang in bestehende Arbeitsabläufe integrieren lassen, ohne dass dafür eine neue Oberfläche erforderlich ist. Über die integrierte Unterstützung des Model Context Protocol (MCP) kann Kubermatic AI zudem in bestehende agentenbasierte Workflows eingebunden werden.

Open-Source-Komponenten als technische Basis

Technisch baut Kubermatic AI auf mehreren Open-Source-Komponenten auf, die auch für den Betrieb von Kubernetes-Umgebungen eingesetzt werden. Dazu gehören:

Kubermatic Kubernetes Platform (KKP): Lifecycle-Management für Multi-Cluster-Umgebungen
Kubermatic Developer Platform (KDP): Self-Service-Erfahrung für Entwicklerteams
KubeOne: Kubernetes-Lifecycle-Management
KubeLB: KI-fähiges Netzwerk-Management
SecureGuard: Secrets Management
KServe und llm-d: Kubernetes-native Frameworks für das Model Serving

Kubermatic führt diese Komponenten in einer gemeinsamen Plattform zusammen. Anstelle mehrerer separat miteinander verbundener Werkzeuge soll damit eine einheitliche Umgebung entstehen, über die Unternehmen ihre KI-Infrastruktur, die Modellbereitstellung und den Zugriff verschiedener Teams verwalten können.

Hier finden Sie weitere Informationen zur Kubermatic GmbH.