ETL & EAI Layer der Business Intelligence


Der ETL und EAI Layer sorgt dafür, dass die notwendigen Daten aus den Quellsystemen in die DWH's geladen werden. Hierbei gibt es mehrere Möglichkeiten/Methoden, die hier vorgestellt werden.

Applikation-to-Applikation (A2A)

Bei der Applikation to Applikation Anbindung wird zu jeder transaktionaler Quellapplikation eine Schnittstelle mit einem definierten Inhalt (kontextbezogen) aufgebaut. Der Kontext bezieht sich auf einen definierten Verwendungszweck in der Business Intelligence. Dieses Konzept der Anbindung von Quellsystemen sollte der aktuelle Standard in der Praxis von Unternehmen sein.
  • Vorteile: Durch die kontextbezogene auf einen Verwendungszweck ausgerichtete Schnittstellenarchitektur kann die Basis und Grundvoraussetzung für eine hohe Datenqualität geschaffen werden.
  • Nachteile: Die Nachteile liegen bei dieser Integrationsform sehr nahe. Die Schnittstellen werden kontextbezogen auf den Verwendungszweck ausgerichtet. Die Business Intelligence ist aber aus der Natur heraus auf einen Multi-Verwendungszweck ausgerichtet. D.h. jeder zusätzliche Verwendungszweck muss auf den Kontext der Daten geprüft werden. Dies führt auf jeden Fall zur Nachdokumetation der IT-Spezifikationsdokumente, insbesondere die Metdaten. Diese Notwendigkeit der Nachdokumentation führt zur Reduktion der Flexibilität. Ein weiterer nachteil ist, dass zusätzliche Verwendungszwecke für die Daten häufig zu Anpassungsbedarf führt. Wenn das der Fall ist muß entschieden werden, inwieweit eine neue Schnittele gebaut werden muss, oder aber die bestehende Schnittstelle angepasst wird, was wiederum Auswirkungen auf die bestehende Business Intelligence Funktionalität hat. Genau diese gerade beschriebene Tatsache ist die Hauptursache für die Komplexitätsfalle der Business Intelligence.

Die Jäger und Sammler Methode

Bei dieser Methode werden alle Quelldaten die verfügbar sind in das DWH kopiert. Hierbei sind die fachlichen Inhalte irrelevant. Wichtiger ist der Umfang bzw. die Vollständigkeit der Daten. Technologisch kann diese Methode vielfältig realisiert werden, über Datenbanklinks, Datenbankreplikationen, Applikation-to-Applikation Anbindung aber auch durch ETL-Technologie. Diese Methode hat durchaus Vorteile aber auch Nachteile.
  • Vorteile: Durch den großen Datenumfang der im DWH angelegt wird, können sowohl umfangreiche Analysen als auch sehr schnell neue Auswertungen/Reports generiert werden. Bei der fachlichen Anforderung und Spezifikation fallen keine großen Kosten an.
  • Nachteile: Änderungen der Datenstrukturen müssen immer im DWH nachgezogen werden. Je größer der Quelldatenhaushalt ist desto häufiger gibt es Änderungsbedarf. Dies ist aus Entwicklungskostensicht dauerhaft sehr teuer. Weiterhin führen große Datenmengen zu höhen Betriebskosten für Speichermedien. Zu allerletzt muß auch noch erwähnt werden, dass durch diese Jäger & Sammler Mentalität die Fachlichkeit auf der Strecke bleibt. Da die die kopierten Daten zumeist nicht alle im Data Warehouse fachlich beschrieben werden, hängt die Qualität der Analysen und Reports im DWH vom Know How des Analysten über die Quellsystem-Prozesse ab.

Extract Transform Load (ETL)

Unter ETL versteht man die Methode Daten aus einem oder mehreren System / Datenbanken (z.B. transaktionale Informationssystem) zu extrahieren, zu transformieren und dann das Ergebnis in ein System / Datenbank (z.B. ein DWH oder Analytisches Informationssystem) einzuspielen / laden. Im Gegensatz zur Jäger- & Sammlermethode müsssen bei dieser Methode die Quelldaten die extrahiert werden sollen fachlich spezifiziert werden. Die extrahierten Daten werden dann sowohl synatktisch/technisch als auch semantisch/fachlich transformiert. Unter Transformation versteht man u.a. folgende Prozesse:
  • Zusammenführen von Daten (Join)
  • Mapping Quell-Datenmodell in Zieldatenmodell
  • Anreicherung von Informationen
  • Aggregation von Daten
  • Formatierung von Datenfeldern
  • Pseudonymisierung und Anonymisierung von Daten
  • ...
Das Ergebnis wird nach der Transformation in das Ziel-Datenmodell eines DWH eingespielt. Die Vorteile und Nachteile der ETL-Methode sind folgende:
  • Vorteile: Mittels dieser mächtigen ETL-Methode bzw.ETL-Tools können die Daten aus den Quellsystemen in ein Zielsystem geladen werden. Wird diese Methode in voller Funktionalität eingesetzt, kann man sich den Staging-Layer im Data Warehouse sparen.
  • Nachteile: Die Nachteile dieser Methode liegt in der Transformation: Durch die Transformation werden die Quelldatenmodelle hart mit dem Zieldatenmodell verbunden. Ändert nur eines der Quellsysteme Bestandteile des Datenmodells, können größere Redesigns der Transformationen notwendig sein. Dies führt zu einer hohen Abhängigkeit zum ETL-Tool-Integrator. Weiterhin verliert man durch eine zu frühe Transformation (vor dem DWH) den fachlichen und prozessualen Kontext (der tranaktionalen Quellsysteme) im DWH und den analytischen Informationssystemen. Dies ist insbesondere dann ein Nachteil, wenn die Informationen aus der Business Intelligence in die operativen Prozesse zurückgespielt werden, z.B. aufgrund von Erkenntnissen aus der Vertriebssteuerung oder aus dem dispostiven Kampagnenmanagement. Dann muß der Kontext zu den Daten aus Quellsystemen wieder hergestellt werden, um das Unternehmen ganzheitlich zu steuern. Ein weiterer Nachteil der Transformation im ETL-Tool ist, dass man Datenqualitätsvergleiche vor und nach der ETL-Verarbeitung sehr schwer oder gar nicht möglich sind. Dies kann zum vertrauensverlust der Daten in der Business Intelligence führen.
Selbstverständlich kann man den Teil 'Transformation' weglassen, aber dann entspricht dieses Konzept dem Applikation-to-Applikation-Konzept.

Enterprise Applikation Integration (EAI)

EAI ist das Konzept zur Integration von Prozessen, Anwendungen und Daten. Dieses Konzept beinhaltet ein standardisierten Austausch von Daten in und über Anwendungen hinweg um Prozesse anwendungsübergreifend nahtlos zu unterstützen. Der Datenaustauch erfolgt dabei über eine Integrationsplattform bzw. einen Business Hub. Die Anwendungen bzw. einzelne Funktionen von Anwendungen werden über standardisierte Adapter angebunden, die sowohl Daten senden als auch empfangen können. Besitzt ein Unternehmen eine solche Integrationsplattform, ist die Anbindung von DWH's über EAI eine sinnvolle Alternative um Daten aus den transaktionalen Systemen über diesen Business Hub zu empfangen.
  • Vorteile: Der Vorteil des Einsatzes von EAI ist, dass die Business Intelligence über die selben Informationsquellen angebunden wird, wie die andere transaktionale Systeme auch. Hierdurch bekommt man die Informationen aus erster Hand mit einem geringen Risiko der falschen fachlichen Interpretation der Daten. Weiterhin kann man sich Aufwände für die Spezifikation und Realisation von Applikation to Applikation (A2A) Schnittstellen sparen.
  • Nachteile: Wenn im Unternehmen eine solche Integrationsplattform nicht zum Einsatz kommt, macht es aus Kosten/Nutzen-Sicht kaum Sinn eine solche Integrationsplattform nur zur Anbindung für der Business Intelligence einzuführen.