IBM DB2 Web Query for i DataMigrator ETL Extension ist das neueste Mitglied der DB2 Web Query-Familie. Das Produkt bietet Möglichkeiten zum Extrahieren, Transformieren und Laden von Daten. Damit können auch Prozesse wie das Konsolidieren, Bereinigen, Übertragen und Umsetzen von Daten für Reporting-Aufgaben zeitgesteuert definiert und angestoßen werden. So soll erreicht werden, dass die Belastung von Produktionssystemen für das Erstellen von Datenspeichern oder eines Data Warehouse reduziert und von den analytischen und auswertungsspezifischen Prozessen isoliert wird.

 

Produktbeschreibung

DataMigrator for i (diese abgekürzte Schreibweise verwende ich ab sofort) ist ein neues Mitglied der DB2 Web Query Produkt-Familie. Es unterstützt das Erstellen, das Einpflegen und das Verwalten von Datenbank-Tabellen mit Hilfe von einer oder mehreren Datenquellen. DataMigrator for i verfügt über Lösungen zum Extrahieren, Transformieren und Laden von Daten auf der IBM i (ETL = Extract Transform Load). Der Einsatz von DataMigrator for i ist für Kunden vorgesehen, die ihre Daten für das Auswerten und Analysieren konsolidieren möchten. Oder auch für das Erstellen einer optimalen Berichtsumgebung, die unabhängig von einer bestehenden Produktions-Umgebung ist. Sie können Daten in einer einzigen Umgebung organisieren und konsolidieren, die für das Berichtswesen, für BI (Business Intelligence) und für Analysen optimiert ist.

Die allgemeine Verfügbarkeit (GA = General Availability) von DataMigrator for i ist der 27. März 2015.

DataMigrator for i wird als Produkt 5733-WQM bei IBM bestellt. Es ist ein Add-On-Produkt für DB2 Web Query for i V2.1 Express oder Standard. Für die Bestellung von DataMigrator for i ist eines der beiden Produkte DB2 Web Query Express (5733-WQE) oder Standard (5733-WQS) Voraussetzung. Die Bestellung kann direkt über IBM oder einen Business Partner erfolgen.

Beachten Sie:

DataMigrator for i ist ein kostenpflichtiges Feature zu DB2 Web Query. Die Berechnung erfolgt pro Core. Es wird von allen i OS-Releases unterstützt, die auch DB2 Web Query V2.1 unterstützen,

Die Bestellung von DataMigrator for i erfolgt anhand der Produkt-Nummer 5733-WQM. Die eigentliche Software für DataMigrator for i wird mit dem Produkt 5733-WQX ausgeliefert. Die Produktaktivierung erfolgt über die ursprünglich reservierte Option 8 (#5108) von 5733-WQX.

Quelle: Theo Bär

Abbildung 1: Übersicht über die Optionen von DB2 Web Query und DataMigrator

 

Quelle: Theo Bär

Abbildung 2: Lizenzinformationen DataMigrator (1)

 

Quelle: Theo Bär

Abbildung 3: Lizenzinformationen DataMigrator (2)

 

Produktübersicht

DataMigrator for i besteht aus einer Gruppe von Software-Komponenten, welche die Ausführung von Prozessen wie Extrahieren, Transformieren und Laden von Daten (ETL = Extract Transform Load) automatisieren.

Mit DataMigrator ist es möglich:

  • auf Daten von Datenbanken und Flat-Files (IFS) zuzugreifen. Beide werden in Form von Datenquellen hinterlegt.
  • mehrere Datenquellen in einem Set von Zieltabellen in Form eines Data Warehouse zu integrieren.
  • Umformungsmechanismen zum Bereinigen und Konvertieren von Daten in  die gewünschten Datentypen.
  • Daten zu aggregieren, um dadurch das Erstellen von Reports zu erleichtern.
  • Zeitpläne anzupassen, um dadurch Datenquellen zu synchronisieren.

DataMigrator for i besteht aus zwei Hauptkomponenten:

  • Data Management Console (DMC)
  • Data Migrator Server

 

Data Management Console (DMC)

Die DMC ist eine Windows-Anwendung mit einer grafische Oberfläche. Sie kann zum einen wie die Developer Workbench für das Bearbeiten von Synonymen verwendet werden (siehe folgende Abbildung).

Quelle: Theo Bär

Abbildung 4: Die DMC beim Bearbeiten eines Synonyms in der Modell-Ansicht

 

Zum anderen wird die DMC für das Definieren von Datenbewegungen und Transformationen in Form eines Datenflusses (Data Flow) mit Hilfe von mehreren Drag-and-Drop-Informationen verwendet. Mit Hilfe der grafischen Oberfläche werden die Abläufe wie Datenfluss und Transformation von der Quelle bis zum Ziel visualisiert.

Die DMC wird auch für die zeitliche Planung von Datenflüssen, für die Definition von E-Mail-Benachrichtigungen über das Ergebnis von Datenflüssen und für  das Anzeigen von Protokollen und  Berichtsstatistiken verwendet.

 

Data Migrator Server

Aufgabe des Data Migrator Server ist es, die mit der DMC definierten Datenflüsse zu speichern und auszuführen. Dazu werden auch die bereits definierten Zeitpläne eingesetzt. Wegen der Integration mit DB2 Web Query läuft der DataMigrator Server in derselben Instanz wie der Web Query-Server auf der IBM i.

Die folgende Abbildung zeigt die gesamte Architektur von DataMigrator for i:

Quelle: Theo Bär

Abbildng 5: Architektur von DataMigrator

 

Wie bereits oben erwähnt, kann der Datentransport und die Datenumsetzung mit Hilfe der DMC einfach durch mehrere Drag-and-Drop-Aktionen definiert werden. Die grafische Darstellung erfolgr wiederum mit der DMC, wie in der folgenden Abbildung dargestellt:

Quelle: Theo Bär

Abbildng 6: Grafische Sicht eines Datenflusses

 

Der ETL-Prozeß und der Datenfluss

Datenfluss (Data Flow)

Für die Definition  eines ETL-Flusses muß ein Datenfluss (Data Flow) erstellt werden. Ein Datenfluss definiert, woher die Daten kommen, wie sie umgesetzt werden sollen und in welche Dateien die Ergebnisdaten geladen werden sollen. Ein Datenfluss kann unmittelbar nach der Erstellung oder zeitgesteuert einmal oder mehrmals ausgeführt werden. Es können mehrere Datenflüsse erstellt werden, so viele, wie eben fürden ETL-Prozeß erforderlich sind.

Prozeß-Ablaufplan (Process Flow)

jeder Datenfluß wird durch einen Prozeß-Ablaufplan gesteuert. Ein Prozeß-Ablaufplan kontrolliert, wie ein Datenfluss abläuft.

Datenquelle (Data Source) und Datenziel (Data Target)

Jeder Datenfluss hat mindestens eine Datenquelle und ein Datenziel. Beide sind im Sprachgebrauch von DB2 Web Query Synonyme bzw. Metadaten, die für die eigentlichen Dateien stehen.

Ein Datenziel ist eine Datenbankdatei. In den meisten Fällen besteht das Datenziel aus einer oder mehreren Datenbankdateien, die sich auf dem System befinden, auf dem der DataMigrator installiert ist und läuft.

Wird der DataMigrator mit der Standard-Edition von DB2 Web Query installiert,  kann als Datenquelle auch Microsoft SQL Server für den ETL-Prozess verwendet werden. Weiterhin kann auch der Adapter für Oracle JDEdwards hinzugefügt und damit auch als Datenquelle für DataMigrator verwendet werden.

 

Infos zu DataMigrator for i von Doug Mack (IBM Labor Rochester)

DataMigrator is new to the DB2 Web Query product set, but its not new. Its been availble from Information Builders for years, and is quite mature. The version we brought into the web query family doesn’t support all the adapters (data sources and targets) and is only available to run in IBM i. But the product has been around, and used in i shops as well. Having said that, we certainly did our own testing and beta programs around it, and its in our best interest to make sure you are happy with it too. So if you are going to evaluate it under the 70 day trial, we’d love to hear from you if you run into roadblocks or have general questions about it – but prefer to have you do that through our QU2@us.ibm.com email structure as that goes to our development team. 

 If you have any questions you can also reach me at mackd@us.ibm.com. My team is considering using it as part of our PowerSC Security and Compliance Reporting solution (prior to DataMigrator being available we wrote custom ETL code to contain the security information data mart that is the source for the dashboards and reports in this solution). 

 Doug

 

 

Vorschau:

Im nächsten Artikel werde ich Ihnen weitere Neuerungen von DB2 Web Query vorstellen. Erscheinungstermin 5.10.2020.

Bis dahin wünsche ich Ihnen weiterhin viel Spaß beim Vermehren Ihrer Fertigkeiten.

 

Den Autor Theo Bär erreichen Sie unter EDV-Beratung Theo Bär – Ringmauerweg 1 – 69250 Schönau – Tel. (+49) 6228 912 630 – e-Mail info@edv-baer.com