Wertschöpfung durch dezentrale Datenarchitekturen Wie Unternehmen durch Selbstbedienungs-Datenarchitekturen profitieren

Anbieter zum Thema

QUNIS GmbH

Dataiku GmbH

diconium GmbH

INFOMOTION GmbH

Data Mesh ist eine Kombination aus ausgewählten Technologien und ein Datenbetriebsmodell. Jeder Nutzer muss es für sich selbst konfigurieren. Wertschöpfung durch Datenprodukte steht im Mittelpunkt einer Self-Service-Architektur mit Domänen, und diese Wertschöpfung besteht zunehmend in KI-orientierten Prozessen.

Zhamak Deghani von Thoughtworks schuf den Begriff „Data Mesh“ schon 2019: „Data Mesh ist nicht nur eine Architektur, es ist nicht nur eine Technologie, es ist nicht nur eine organisatorische Veränderung, es ist all das. Es ist ein Paradigmenwechsel in der Art und Weise, wie wir Big Data auf verschiedenen Ebenen verwalten.“ Seitdem hat sich das Konzept beträchtlich verbreitet und weiterentwickelt. Es eignet sich nicht für jedes Unternehmen, setzt es doch ein hohes Maß an Fachkenntnissen und den Willen zur organisatorischen Umgestaltung und umfassender Governance voraus.

„Wir sehen Data Mesh nicht nur als ein Architekturmuster, sondern als ein umfassendes Betriebsmodell, das Dezentralisierung, Domain-Eigentum und die Demokratisierung der Datenanalyse in den Vordergrund stellt“, sagt Kurt Muehmel, Leiter für KI-Strategie bei Dataiku. „Wir können den Wechsel zu Data Mesh als eine Entwicklung von zentralisierten Datenverwaltungsmodellen à la Data Hub hin zu einem Modell beschreiben, bei dem jeder Unternehmensbereich die volle Verantwortung für die Erstellung, Verwaltung und den Betrieb seiner eigenen Datenprodukte übernimmt.“

Der Schwerpunkt liege darauf, Teams in die Lage zu versetzen, die Verantwortung für Daten zu übernehmen, während gleichzeitig sichergestellt wird, dass Governance und Infrastrukturunterstützung zentral ausgerichtet sind, um Standards im gesamten Unternehmen zu erhalten.

Dataiku verfolge das Prinzip, dass Datenprodukte als langfristige Verantwortung und nicht als einmalige Projekte behandelt werden sollten. In diesem Sinne führe ein Data Mesh auch ein „Qualitätsabkommen” ein: Die Nutzer der Daten können sicher sein, dass das, was sie verwenden, korrekt ist, sodass sie es vertrauensvoll nutzen können.

Muehmel weiter: „Die Dataiku-Plattform vereinfacht die Erstellung, das Management und die Operationalisierung dieser Datenprodukte, indem sie die Komplexität abstrahiert und es den Teams leicht macht, mit Daten in großem Umfang zu arbeiten. Die Plattform von Dataiku lässt sich in verschiedene Infrastrukturen integrieren und fördert einen Self-Service-Ansatz, der mit der dezentralen, domänenorientierten Struktur von Data Mesh übereinstimmt.“

Kundenbeispiel

„Wir können dies anhand eines Kundenbeispiels erläutern“, fährt Muehmel fort. „Ein großer internationaler Online-Händler, dessen zentrales Team mit einer überwältigenden Nachfrage konfrontiert war, kämpfte damit, einen Self-Service-Data-Lake zu schaffen. In diesem Fall konnte das Unternehmen mithilfe der Plattform von Dataiku ein Datennetz entwickeln, das die technische Infrastruktur mit dem kulturellen Wandel in Einklang brachte, der für eine dezentrale, bereichsspezifische Datenverwaltung erforderlich ist.“

Erkenntnisse und Tipps

„Das Wichtigste dabei ist, dass der Erfolg eines Datennetzes nicht nur von der Technologie abhängt, sondern auch von der kulturellen Veränderung innerhalb des Unternehmens“, resümiert Muehmel. „Die Datenvernetzung erfordert eine Verlagerung hin zur Befähigung von Fachexperten, Datenprodukte selbst zu erstellen und in ihrem eigenen Tempo Werte zu schaffen, was mit dem Schwerpunkt von Dataiku auf der Eigenverantwortung der Fachbereiche und der Befähigung von Teams zusammenhängt.“

Die Messung des Erfolgs eines Data Mesh sei ebenfalls von entscheidender Bedeutung, und die Verfolgung von Kennzahlen wie aktive Datenprodukten Nutzerbeteiligung und Aktualisierungen helfe dabei, den Zustand des Ökosystems zu erhalten. „In einem gut verwalteten Datennetz nimmt das zentrale Team eine unterstützende Rolle ein und konzentriert sich auf Governance, Infrastruktur und strategische Entscheidungen, während die Domänenteams die Autonomie haben, ihre eigenen Datenprodukte zu entwickeln und zu verwalten.“

Der oben erwähnte Online-Händler nutzte beispielsweise Metriken, um die Aktivität und den Wert jedes Datenprodukts zu messen, und förderte so die Transparenz und eine Kultur der kontinuierlichen Verbesserung.“ Dieser Ansatz verhindere, dass das Data Mesh mit überflüssigen oder veralteten Produkten überschwemmt werde, so Muehmel.

Datenmengen praxisnah strukturieren und nutzen

Steffen Vierkorn, Geschäftsführer der Qunis GmbH, nennt weitere Gründe für die Nutzung dieser IT-Architektur. „Data Mesh stellt die Daten als Wertschöpfungsfaktor in den Mittelpunkt der Architekturkonzeption. Daten sollen als ‚Datenprodukte‘ prozess- und systemübergreifend im Unternehmen zur Verfügung gestellt werden. Die Grundidee besteht darin, Daten als Asset für die Organisation zu begreifen und Business Usern hochwertige Datenprodukte für ihre Zwecke zugänglich zu machen, damit sie diese optimal nutzen können.“

Alexander Czernay, Senior Director bei Diconium, fügt hinzu: „Wie gut dieses Konzept in der täglichen Praxis performen kann, zeigen zahlreiche Beispiele aus der Praxis: Viele erfolgreiche Unternehmen wie HelloFresh, Zalando, Adidas und Delivery Hero setzen längst auf Data Mesh als effizientes Fundament ihres Datenmanagements.“

Kommentar von Alexander Czernay, Diconium

Data Mesh – 4 Prinzipien für mehr Effizienz im Datenmanagement

Einer der wichtigsten Vorteile des Data-Mesh-Ansatzes besteht in spezialisierten domänenorientierten Teams. Diese kennen die Daten und Datenquellen ihrer jeweiligen Domäne sowohl technisch als auch geschäftlich und können dadurch neue Daten oder Strukturänderungen schneller integrieren und im Unternehmen bereitstellen. Da die einzelnen Teams weitgehend unabhängig voneinander agieren, werden die typischen Engpässe einer zentralen Datenorganisation, die auf Data Lake und Data Hubs basiert, vermieden. In der Folge steigt die Datenagilität im Unternehmen, und die Datennutzer werden schneller mit relevanten Daten versorgt. Das steigert wiederum die Business-Agilität und verkürzt die Time-to-value insgesamt.

Die Prinzipien des Data Mesh

Die Definition von Zhamak Deghani umfasst die folgenden vier Prinzipien: Domain Ownership; Data-as-a-Product, Self-Service-Datenplattform und Federated Governance. „Domain-Ownership“ bedeutet, dass das Datenmanagement nach fachlichen Geschäftsbereichen aufgeteilt wird, für die jeweils ein spezialisiertes Datenteam verantwortlich ist. So kann es besser auf die Anforderungen eingehen und neue Datenquellen zügiger integrieren. Da das Team über das notwendige Fachwissen verfügt, ist es außerdem in der Lage, schneller auf Veränderungen zu reagieren – zum Beispiel dann, wenn externe Daten zugekauft werden.

Gemäß dem Prinzip „Data-as-a-Product“ erstellen die Domänenteams Datenprodukte, auf die andere Teams einfach zugreifen können. Hierzu müssen die Daten gut dokumentiert und leicht zu finden sein, einfache Zugriffsmöglichkeiten bieten, hohe Qualität haben und sich an den Anforderungen der Nutzer orientieren. Kurz: Das Team entwickelt und pflegt sein Datenprodukt wie ein reales Produkt.

Die „Self-Service-Plattform“ beschreibt die zugrunde liegende IT-Plattform, die einheitliche, domänenunabhängige Werkzeuge zur Verfügung stellen sollte, mit denen die Domänenteams eigenständig ihre Datenprodukte erstellen, pflegen, und anbieten können. Diese sollten bedienerfreundlich sein und wenige oder keine hoch spezialisierten Kenntnisse erfordern. Denn nur so können die Kosten und die Komplexität der Prozesse zur Erstellung der Datenprodukte reduziert werden.

Standards für Governance und Sicherheit global definieren und verteilen

Unter „Federated Governance“ versteht man domänenübergreifende Vereinbarungen, die Standards für Governance und Sicherheit global definieren und anschließend lokal in den einzelnen Domänen umsetzen – zum Beispiel durch Zugriffskontrollen, Data Masking oder andere Methoden. Zudem müssen Qualität, Austauschbarkeit und Integrierbarkeit, also die Interoperabilität, der Datenprodukte gewährleistet sein. So wird sichergestellt, dass alle Domänen einheitliche Qualitätsstandards einhalten und ihre Datenprodukte übergreifend nutzbar sind.

„Die verteilte Governance ist in diesem Kontext der wesentliche Erfolgsfaktor für die Etablierung von Data Mesh“, meint Steffen Vierkorn von Qunis. „Im Rahmen der Governance legen die beteiligten Teams gemeinsame Standards und Regeln fest, um ihre Zusammenarbeit, die Harmonisierung der Daten und Sicherheitsanforderungen zu gewährleisten.“

Ein Data Lakehouse, wie es etwa von SAP, Databricks oder Snowflake angeboten wird, unterstützt die dezentrale Arbeit mit Datenprodukten. Durch die Trennung von Storage und Computing bietet es eine hohe Flexibilität zur Einrichtung verschiedener Domänen mit jeweils eigenen Datenprodukten auf einem gemeinsamen Datenlayer. Ein heterogener Technologie-Stack greift dabei über Open-Table-Formate auf Daten aus verschiedenen Quellen zu und bereitet sie für Use Cases wie BI, ML, Data Science oder Data Engineering in diversen Domänen auf.

Verantwortlichkeiten müssen hier klar geregelt sein

„Aufgaben wie das Qualitätsmanagement und die Klassifikation von Daten, Security, Schnittstellen-Verwaltung oder die Definition und Verwaltung von Datenprodukten sind über die gesamte Organisation verteilt. Die Verantwortlichkeiten müssen hier klar geregelt sein“, mahnt Vierkorn. Seine Firma Qunis habe dafür ein dezidiertes Rollenmodell entwickelt, das sich seit Jahren in Data-&-Analytics-Projekten bewähre.

Das Rollenmodell legt unter anderem das Ownership für Domänen, Datenprodukte oder Datenobjekte wie „Kunden“, „Artikel“ oder „Partner“ fest. Datenexperten wie Data Owner, Data Steward und das Data Governance Board arbeiten dabei mit Funktionen eines BI- oder erweiterten Analytics-Rollenmodells zusammen. Dazu gehören zum Beispiel die Rollen End User, Power User, Solution Architect, Data Engineer mit DataOps, Data Architect sowie Data Scientist mit MLOps.

Wichtig sei dabei, dass sich die vier Prinzipien gegenseitig ergänzen. Data-as-a-Product und Federated Governance seien ausschlaggebend dafür, dass Domänen nicht zu Datensilos werden. „Federated Governance stellt zudem die Qualität der Datenprodukte sicher und definiert ein einheitliches Regelwerk, innerhalb dessen die Domänen autonom, aber nicht unkontrolliert agieren können. Die Self-Service-Datenplattform wiederum muss funktional mächtig, aber auch einfach zu benutzen sein, damit die Domänen ihre Datenprodukte sowohl eigenständig als auch kostengünstig produzieren können.“

Unternehmerischen Mehrwert generieren

Eine Data-Mesh-Plattform ist demnach eine bewusst konzipierte verteilte Datenarchitektur unter zentraler Steuerung und Standardisierung für Interoperabilität, die durch eine gemeinsame und harmonisierte Self-Service-Dateninfrastruktur ermöglicht wird – also keine Landschaft aus fragmentierten Silos mehr mit unzugänglichen Daten, sondern vielmehr genau das Gegenteil. Die Besonderheit des Data Mesh liegt darin, dass es eine neue Perspektive ermöglicht: Je mehr Datenquellen und Datenkonsumenten es gibt, desto besser funktioniert es – und je intensiver rund um die Daten zusammengearbeitet wird, desto mehr unternehmerischer Mehrwert wird generiert.

eBook

Data Mesh: So können Unternehmen Datenschätze heben

„Gestartet wird typischerweise mit einem Data Maturity Framework, um die Ausgangslage des Unternehmens zu bewerten“, berichtet Czernay von Diconium abschließend. „Dieses Framework umfasst die Datenstrategie sowie die organisatorische und kulturelle, architektonische und technische Bewertung. Diese Einschätzungen dienen als Grundlage, um effektiv in ein Data Mesh-Projekt einzusteigen und sicherzustellen, dass die Strategie auf die spezifischen Bedürfnisse und Ziele des Unternehmens abgestimmt ist.“

(ID:50500037)