Intelligent Quality Monitoring for Heterogeneous Data (IQM4HD)


Motivation

Daten und daraus abgeleitete Informationen gewinnen in Unternehmen zunehmend an Bedeutung, denn auf Basis von Daten werden kurz- und langfristige Unternehmensentscheidungen getroffen und operative Prozesse gesteuert. Zusätzlich zu den schon länger existierenden Daten aus den innerbetrieblichen relationalen Datenbanken gewinnen unstrukturierte oder semi-strukturierte Datenquellen wie z.B. Weblogs, Daten aus sozialen Netzwerken oder RFID-Daten stark an Bedeutung. Die Überwachung der Qualität dieser Daten wird zunehmend wichtiger, um nicht den Unternehmenserfolg durch fehlerhafte Analysen und Entscheidungen zu gefährden.


Ziele und Vorgehen

Gegenstand dieses Verbundprojektes ist die Erforschung von fortgeschrittenen Konzepten zur Datenqualitätsüberwachung. Die Konzepte sollen in einem Werkzeug zur Datenqualitätsanalyse prototypisch umgesetzt werden. Dieses Werkzeug wird im Wesentlichen aus Komponenten zur semi-automatisierten Erkennung von Datenqualitätsregeln sowie zur automatisierten Überwachung dieser Regeln bestehen.

Besondere Bedeutung kommt dabei dem Bereich der Erkennung und Ableitung der Datenqualitätsregeln zu. Es sollen hier automatisiert aus den Daten auch komplexe statistische Zusammenhänge erkannt und als Regel vorschlagen werden. Zudem werden diese Regeln in der im Rahmen des Verbundprojektes zu definierenden Regelsprache formalisiert und dem Datenqualitätsmanager als Vorschläge unterbreitet. Diese Rückkopplung findet statt, um die automatisierte Regelerkennung kontinuierlich zu verbessern.

Neben den aus der semi-automatisierten Regelerkennung in das zentrale Datenqualitätsrepository übernommenen Regeln können weitere Regeln durch den Domänenexperten manuell hinzugefügt werden.

Das permanente Data Quality Monitoring greift dann auf diese Regeln zurück und überprüft regelmäßig die neu hinzukommenden Daten auf ihre Übereinstimmung mit diesen Regeln. Abweichungen werden berichtet.


Konsortium









Thomas Vozdanszky
Projektleitung
SHS VIVEON AG
Cecilienallee 7
40474 Düsseldorf, Deutschland
thomas.vozdanszky@shs-viveon.com
Prof. Dr. Felix Heine
Hochschule Hannover
University of Applied Sciences and Arts
Faculty IV, Dept. of Computer Science
Ricklinger Stadtweg 120
30459 Hannover, Deutschland
felix.heine@hs-hannover.de
Prof. Dr. Carsten Kleiner
Hochschule Hannover
University of Applied Sciences and Arts
Faculty IV, Dept. of Computer Science
Ricklinger Stadtweg 120
30459 Hannover, Deutschland
carsten.kleiner@hs-hannover.de