Datenintegration wird in hybriden IT-Landschaften immer komplexer. Gleichzeitig steigen die Anforderungen an Qualitätssicherung und Testautomatisierung in ETL-Projekten. Der mip Profiler unterstützt Unternehmen dabei, ETL-Prozesse zu analysieren, Testfälle zu generieren und die Qualitätssicherung zu verbessern. Wir sprachen mit Jörg Kremer, Head of Consulting/Delivery Manager bei mip, über die Einsatzmöglichkeiten der Lösung und aktuelle Entwicklungen im Umfeld moderner Datenintegration.
Wir wollen über Ihr neues Tool mip Profiler sprechen. Handelt es sich hierbei um eine Alternative zu IBM DataStage?
Nein, so würde ich das nicht sagen. Vielmehr sehen wir das als Add-on für verschiedene Enterprise-ETL-Tools, wie beispielsweise DataStage, das aus unserer langjährigen Erfahrung in zahlreichen Datenintegrationsprojekten heraus von uns entwickelt wurde. Das Tool unterstützt uns dabei, komplexe Mappings und Workflows schnell und strukturiert zu analysieren. Darüber hinaus ermöglicht es die effiziente Generierung von Testdaten sowie die Erstellung von Testfällen. Dadurch können insbesondere Regressions-Tests zu einem großen Teil automatisiert werden und sich deutlich effizienter durchführen lassen.
Was ist watsonx.data Integration?
Prägnant gesagt: Es soll helfen, Daten aus verschiedenen Quellen schneller und verlässlicher für Analytics und KI bereitzustellen — über Batch, Streaming, Replikation, unstrukturierte Daten und Data Observability hinweg. IBM positioniert es als eine Art einheitliche Steuerungsebene für Datenpipelines, zunehmend mit AI/agentic Funktionen, also z. B. Pipeline-Erstellung per natürlicher Sprache.
Wichtig: Es ist nicht dasselbe wie watsonx.data selbst. watsonx.data ist eher die Lakehouse-/Data-Plattform während watsonx.data integration sich darum kümmert, Daten dorthin oder zwischen Systemen zu bewegen, aufzubereiten und zu überwachen. In IBM-Sprache ersetzt beziehungsweise modernisiert es im Prinzip Teile der klassischen Data-Integration-Welt wie ETL/ELT, Realtime Integration, Replication, Observability und KI-gestützte Pipeline-Erstellung.
Ersetzt watsonx.data integration klassische Spezialwerkzeuge vollständig?
Nein, nicht vollständig. watsonx.data integration bündelt viele klassische Disziplinen in einer Plattform. IBM positioniert es als Mittel gegen Tool-Sprawl. Aber Spezialwerkzeuge bleiben sinnvoll, wenn es um sehr spezifische Anforderungen geht, wie beispielsweise komplexe CDC-Szenarien, Spezialkonnektoren, bestehende Control-M/Airflow/dbt-Landschaften oder stark optimierte Legacy-ETL-Strecken. Kurz gesagt, es kann viele Spezialtools konsolidieren, ersetzt sie aber nicht automatisch in jeder Enterprise-Architektur.
Welche Rolle spielt mip Profiler künftig in hybriden Datenarchitekturen?
Das Tool können wir flexibel in unterschiedlichen IT-Landschaften einsetzen, sowohl in klassischen On-Premises-Umgebungen als auch in modernen Cloud-Architekturen oder in hybriden Infrastrukturen, die beide Welten miteinander verbinden. Durch diese vielseitige Einsetzbarkeit gelingt es uns, eine typische Schwachstelle vieler klassischer ETL-Tools gezielt zu adressieren und zu schließen. Dabei dreht es sich um das häufig nur unzureichend unterstützte, teilautomatisierte und automatisierte Testen sowie das effiziente Debugging von Datenprozessen.
Wie funktioniert das genau bzw. wie lassen sich dadurch Risiken bei Änderungen an ETL-Prozessen frühzeitig erkennen?
Das Tool parst die xml- oder JSON-Files des ETL-Tools und übersetzt die gesamte Logik in Python. Es ist danach möglich außerhalb des ETL-Tools die Logik zu analysieren und Testdaten und Testfälle für jede Transformation zu generieren. Der Test kann dann innerhalb von Python ausgeführt werden und schließlich lässt man den originalen Job im ETL-Tool mit den Testdaten laufen
Warum ist das für Enterprise-Kunden interessant?
Das Tool verbessert die Qualitätssicherung in der ETL-Entwicklung, indem es Unit-Tests stärker formalisiert und automatisiert und auch für eine Vollständigkeit der Tests sorgt. Dadurch reduzieren sich die Entwicklungsaufwände sehr stark. In der klassischen Datenintegrations-Entwicklung sind entfallen mindestens 30 % des Aufwandes in das Testen, zudem ist ohne eine Formalisierung und Automatisierung die Rate an unentdeckten Fehlern sehr hoch. Mit dem mip Profiler können Aufwände entsprechend stark reduziert werden.
In welchen Schritten sollte ich vorgehen, wenn ich den mip Profiler in meinem Unternehmen einführe?
Wie so oft beginnt der Prozess am besten mit einer gründlichen Bestandsaufnahme. In einem ersten Beratungsgespräch wird daher zunächst die bestehende Infrastruktur gemeinsam betrachtet und analysiert. Aufbauend darauf wird anschließend Schritt für Schritt definiert, wie der mip Profiler optimal eingesetzt werden kann und an welchen Stellen er den größten Mehrwert liefert. Da das Tool als Docker-Container bereitgestellt wird, lässt es sich vergleichsweise unkompliziert in gängige IT-Landschaften integrieren und fügt sich flexibel in bestehende Systemumgebungen ein.
Würden Sie der Aussage zustimmen, dass ETL-Tests in großen Unternehmen immer komplexer werden?
Ich würde eher sagen, dass ETL-Tests schon immer sehr komplex waren und die Enterprise Tools klassisch keine guten Testwerkzeuge integriert haben. Mit Hilfe des mip Profilers ist es aber nun möglich DEVOps auch in diesem Umfeld zu etablieren.
Kann man nicht mit einem Python-Mock echte ETL-Läufe ersetzen?
Nein, es sei denn, man nutzt das Tool um klassische ETL-Strecken in Python ETL (z. B. Databricks) umzubauen. Aber selbst dann ist zusätzliche Arbeit notwendig. Der generierte Code ist grundsätzlich lauffähig aber sollte noch optimiert werden. Grund hierfür ist, dass ETL-Tools teilweise mehr Einzelschritte machen, als man es in einem Python-Programm tun würde und daher der automatisch generierte Code oft komplexer ist, als er sein müsste.
Seit wann bieten Sie das Tool an? Wie viele Kunden konnten Sie bereits überzeugen?
Das Tool ist seit 2025 verfügbar und bereits in einem großen Automotive-Unternehmen produktiv im Einsatz. Darüber hinaus zeichnet sich ab, dass es in naher Zukunft voraussichtlich auch bei einem Versicherungsunternehmen eingeführt wird und dort zur Unterstützung entsprechender Prozesse beitragen soll. So werden wir den Kundenkreis Zug um Zug erweitern.
Vielen Dank für diesen Einblick, Herr Kremer.
Quelle: mip GmbHWeitere Informationen zu mip Profiler finden Sie hier.
Gezeigt wird diese Lösung auch anlässlich der POW3R digital am 25. Juni um 11.45 Uhr.