IT-Trends-Blog

IT-Trends-Blog

Opinions expressed on this blog reflect the writer’s views and not the position of the Capgemini Group

Allzweckwaffe Data Vault: Macht ihr Einsatz wirklich agil?

Kategorie: Digitale Trends

Keine Konferenz im Bereich Data Warehouse (DWH) kommt derzeit ohne Data Vault aus. Auch nicht die Oracle DWH Konferenz im März 2016, wo ich ebenfalls von meinen Erfahrungen mit der sagenumwobenen Modellierungstechnik berichtete. Data Vault wird mit vielerlei Attributen beworben, die Bahnbrechendes vermuten lassen. „Data Vault macht Ihr DWH viel flexibler, Ihre BI-Projekte laufen viel schneller, endlich können Sie agil arbeiten“, so die Verfechter des Ansatzes. Und so entsteht der Eindruck, es handele sich um eine neue Allzweckwaffe, die sämtliche Schwierigkeiten beiseite fegt und die Welt, wie wir sie kennen, auf links dreht – Big Data mal außer Acht gelassen. Aber handelt es sich hier wirklich um einen Siebenmeilenstiefel?

Alleine an der Datenmodellierungsmethodik – dem Kernstück und Ursprung von Data Vault – kann es ja nicht liegen, so dachte ich mir zunächst. Die Grundidee von Data Vault ist, alle Daten in einem sehr generischen Modell abzulegen, alle Entitäten lediglich mit N:M Verknüpfungen zu verbinden und sämtliche Attribute zu historisieren. Doch bei genauerer Betrachtung entspringen die allermeisten Argumente für den Einsatz von Data Vault eben genau diesem Nukleus.

Bei aller verhaltenen Kritik: Data Vault erlaubt durch sein einfaches und klares, aber striktes Regelwerk tatsächlich den schnellen Aufbau eines integrierten Datenpools, der ebenso einfach erweiterbar ist. Der Nachteil: Im Vergleich zum klassischen DWH ist die nachgelagerte Verwendung der Daten deutlich schwieriger. Hier muss viel Energie investiert werden, wenn auch bereits Konzepte, wie beispielsweise der „Business Data Vault“, bereitstehen.

Dennoch sind gerade zu diesem Thema während der Arbeit mit Data Vault im Projekt an folgenden Stellen Fragen aufgetaucht:

  • Muss ich bei der Integration der Daten wirklich so flexibel sein? Ja, wenn ich viele Merger vor mir habe, ständig neue IoT-Produkte launche deren Daten ich ins DWH integrieren will, sich mein Geschäftsmodell alle naselang ändert, oder ich tatsächlich nicht weiß, wie meine Daten zusammenhängen. Klingt nicht gerade nach einer Standardanforderung.
  • Wenn ich schon die komplette Historie speichere und der Zugriff darauf kompliziert ist – warum setze ich nicht auf eine Big-Data-Lösung?
  • Ist es erforderlich, die volle Historie zu speichern? Bei regulatorischen Anforderungen – auf jeden Fall. Auch dann, wenn Sie Ihre Daten zum Asset machen und in Wert setzen wollen. Oder wenn Sie die vorliegende Historie mit dem hochflexiblen Datenmodell für die Bewertung alternativer Geschäftsmodelle verwenden wollen, um verschiedene strategische Optionen zu prüfen.

 

Data Vault ist nicht gleich Automatisierung

Jetzt sind Ihre Daten also schnell integriert, das Datenmodell erlaubt ständige Erweiterung und flexible Nutzung. Fehlt also nur noch ein Weg, sie einfach zu verwenden. Doch die einfache Anwendung technischer Konzepte greift zu kurz. Meiner Meinung nach braucht es mehr, um die wesentlichen Vorteile von Data Vault ausspielen zu können.

Eine dieser Voraussetzungen heißt Automatisierung. Sie ist für die hohe Flexibilität unabdingbar. Bei der Verwendung von Data Vault werden Sie sofort dazu übergehen, die Generierung des Datenmodells und der Integrationsprozesse zu automatisieren. Doch wie steht es um Ihre Fähigkeiten im weiteren Umfeld des DWHs? Bei automatisiertem Testing und Deployment, dem automatischen Auf- und Abbau von Umgebungen? Derlei Prozesse im Lebenszyklus der DWH/BI-Umgebung wollen alsbald implementiert werden, um das Potential von Data Vault zu heben. Doch Automatisierung bedeutet nicht Data Vault. Agilität ist der übergreifende Aspekt der Automatisierung. Mit automatisierten und stabilen Prozessen haben Sie schon einen großen Schritt hin zu agilen Vorgehensweisen geschaffen. Weitere Schritte dabei wären:

  • Klare, einfache und detaillierte Architekturvorgaben, die auch durchgesetzt werden. Dazu gehören auch Versionsverwaltung und Build-Prozesse.
  • Das Etablieren agiler Vorgehensweisen im Team. Sind Ihre Leute überhaupt darauf vorbereitet? Sind Grundkonzepte wie das „selbstorganisierende Team“, die Priorität von Software über Dokumentation und das Verfeinern von Anforderungen in User Stories  bekannt und werden auch gelebt?
  • Seien Sie darauf vorbereitet, dass sich einzelne Aufgabenspektren ändern. Viel Manuelles wird abgeschafft und durch geskriptete Prozesse ersetzt werden. Das Denken in Meta-Strukturen wird hier sehr wichtig.

Auf dieser Basis können Sie von den Versprechen von Data Vault höchstwahrscheinlich profitieren. Hat man als Anwender jedoch seine Hausaufgaben gemacht und Entwicklungs- wie Betriebsprozesse automatisiert, sein Team auf ein neues Level gehoben und agile Vorgehensweisen etabliert, stellt Data Vault nur noch eine mögliche Lösung dar. Vielleicht brauchen Sie es dann ja gar nicht mehr. We’ll cross the bridge when we come to it.

Über den Autor

Alexander Mendle
Alexander Mendle
Agile BI, DWH Automation, sowie innovative Ansätze wie Data Vault sind mein Steckenpferd. Als Architekt und Scrum-Master setze ich solche Konzepte für unsere Kunden in Wert.
2 Kommentare Kommentar hinterlassen
Hallo Alexander, zunächst einmal muss ich Dir zustimmen, daß Data Vault, wie jedes andere Konzept (also auch andere Big Data Konzepte und Lösungen) keine Allzweckwaffe sind ("there is no silver bullet"). Daneben habe ich dann doch einige Kommentare. Du schreibst: "Im Vergleich zum klassischen DWH ist die nachgelagerte Verwendung der Daten deutlich schwieriger. Hier muss viel Energie investiert werden, wenn auch bereits Konzepte, wie beispielsweise der „Business Data Vault“, bereitstehen." Nicht ganz. Der Aufwand wird nur nach hinten ("downstream") verlagert. Dadurch steigt der Aufwand in der Realität nicht, es sinken stattdessen die Abhängigkeiten bei einer Änderung. "Muss ich bei der Integration der Daten wirklich so flexibel sein? [...] Klingt nicht gerade nach einer Standardanforderung." - Dann weiß ich nicht genau wie Eure Projekte derzeitig aussehen...oder in Zukunft aussehen werden. Meine Vermutung ist: es wird sich genau zu diesen Anforderungen ändern und dann ist ein DV ready auch diese Anforderungen aufzunehmen. "warum setze ich nicht auf eine Big-Data-Lösung" - Data Vault ist eine Big Data Lösung, folgt den gleichen Konzepten und ist daher mit anderen Komponenten aus dem Ecosystem (e.g. Apache) kompatibel. "Data Vault ist nicht gleich Automatisierung" - DV ermöglicht die automatische Erstellung von DDL & ETL Strukturen. Mit Deployment hat das erstmal nichts zu tun, es ermöglicht jedoch auch Continuous Delivery & Continuous Deployment Ansätze ("Zero Change Impact", "Zero Maintenance"). "stellt Data Vault nur noch eine mögliche Lösung dar." richtig. Aber auch hier wieder: DV integriert diese Lösungen. Und auch andere "Big Data" Konzepte sind kein Heilmittel. Auch hier muss ich Strukturen definieren, extrahieren, Business Logik anwenden (übrigens auch erst downstream (structure on read) ...wie gesagt, gleiche Konzepte). Deswegen ist das ja auch so kompatibel zueinander. Just my 2 cents. Viele Grüße Michael
Hallo Michael, Vielen Dank für Deinen Kommentar. Ohne auf jeden der Punkte einzugehen -- genau das ist die Richtung, in die eine Diskussion über Data Vault gehen muss. Sind meine Datenquellen volatil? -- Wie Du schreibst, die Tendenz geht dorthin. Ist die Modellierung nun komplizierter oder nicht? -- Wichtig ist, dass die Kundenorganisation am Ende des Tages damit arbeiten kann. Automatisierung und DevOps? -- Wenn das betrieben werden kann, gerne. Unstrittig sind meiner Meinung nach insbesondere die Vorteile durch Flexibilität und Skalierbarkeit. Wichtig ist es, eine für den Kunden passende Lösung zu finden. Da lohnt sich ein kritischer Blick auf alle Eigenheiten der möglichen Lösungen und eine genaue Beleuchtung aller Implikationen. Und die diskutieren wir gerne intensiv, das zeigt ja letztlich auch mein - zugegeben sehr kritisch formulierter - Beitrag hier. Gerne können wir uns auch persönlich dazu austauschen, beispielsweise bei einem TDWI-Roundtable. Viele Grüße, Alexander Mendle

Kommentar hinterlassen

Ihre E-Mail-Adresse wird nicht veröffentlicht. Pflichtfelder sind mit einem * gekennzeichnet.