Business Intelligence Datenqualität (BI-DQ)

Trusted Data - Datenqualität in der BI

Die Datenqualität der Daten in den BI-Systemen (DWH's) ist eine Voraussetzung für den Nutzen der Business Intelligence. Zusätzlich zur objektiven messbaren Datenqualität gibt es noch die gefühlte subjektive Datenqualität. Beide Bereiche zusammen beeinflussen das Vertrauen in die Informationen (Trusted Data) der BI-Systeme (DWH's). Es gibt viele Faktoren die auf die Datenqualität einzahlen, die in diesem Bereich des BI-Wiki-Portals erklärt werden.

Faktoren der Datenqualität der Business Intelligence

Zu den Faktoren der Datenqualität in der Business Intelligence zählen:
  • semantische und syntaktische Datenqualität der transaktionsorientierten Quellsysteme (CRM, ERP, Billing, Logistik, ...)
  • Integrationsfähigkeit der transaktionsorientierten Systemlandschaft (z.B. übergreifende technische und fachliche Identifier)
  • semantische und syntaktische Datenqualität im Enterprise Data Warehouse  und den Analytischen Informationssystemen (AIS).
    • korrekte fachliche Interpretation der Daten aus den transaktionsorientierten Quellsysteme
    • korrekte fachliche Transformation der Daten zu Informationen in den BI-Systemen
    • korrekte Interpretation der Informationen in den BI-Systemen
  • Datenkonsistenz
  • Vollständigkeit
  • Datenverfügbarkeit
    • Systemverfügbarkeit,
    • fachliche und technische Bereitstellungszeitpunkte der Daten und Informationen
  • Datenschutz
  • Datensicherheit
  • Transparenz zur messbaren Datenqualität

Verbesserung der Datenqualität

Für die Verbesserung der Datenqualität muss die Datenqualität erst einmal gemessen werden. Anhand dieser Messung kann erst festgestellt werden inwieweit eine Verbesserung überhaupt notwendig oder auch möglich ist.  Bzgl. der Messung der Datenqualität muss eine Referenz (Datenmaster) herangezogen gegen die die Daten der BI-Systeme gemessen werden.
Befinden wir uns in der unteren Ebene der BI-Systeme, d.h. in der Ebene der Staging Area kann dieser Datenmasten in den Quellsystemen gesucht werden. In den obereren Ebenen der Business Intelligence kann die Referenz meistens nur noch die verschriftlichte Erwartungshaltung der Fachseiten (z.B. Kennzahlendefinition) sein. Folgende Massnahmen können zur Verbesserung der Datenqualität durchgeführt werden:
  • E2E-Monitoring der Datenverarbeitung von der Datenentstehung in den transaktioinsorientierten Systemen (TIS) bis in den Presentation Layer der Business Intelligence
  • E2E-Monitoring der operativen Prozesse
  • E2E-Monitoring der dispositiven Prozesse
  • E2E-Incident & Problemmanagement Management (systemübergreifend) z.B. nach der ITIL-Methode
  • Behebung von Datenqualitätsproblemen an der Verusachungsstelle (meistens in den Quellsystemen) anstatt überschreiben von Daten in den BI-Systemen (patchen)
  • Implementierung von Qualitätschecks sowohl syntaktisch als auch semantisch (z.B. Festlegung von Pflichteingaben, syntaktische Formatvorgaben, semantische Checks wie referentielle Integritität) sowohl in den Systemen der Datenentstehung als auch in den BI-Systemen
  • Schaffung der Transparenz der messbaren Datenqualität in Form eines Datenqualität-Dashboard
  • Schaffung von Datenqualitätsverantwortungen auf der Ebene Datenobjekte (und nicht Systeme)
  • Maßnahmen zur Sicherstellung der Datensicherheit und Datenschutz
  • Schaffung der Transparenz der erwarteten geschaffen Fachlichkeit (Definition von Kennzahlen, KPI's, Dimensionen und Verwendungszwecke) in den BI-Systemen, z.B. mittels Metadatenmanagement