Dezentrales Datenmanagement Data Mesh – ein alternatives Modell, um Datenpotenziale voll auszuschöpfen

Anbieter zum Thema

QUNIS GmbH

Confluent Germany GmbH

Fivetran Germany GmbH

Snowflake Computing GmbH

Mit der fortschreitenden Digitalisierung der Unternehmenswelt werden immer größere Datenmengen gesammelt. Dafür werden oft zentrale Lösungen verwendet, die sich allerdings negativ auf Agilität und Qualität der Daten auswirken. Eine Alternative bietet das Data-Mesh-Konzept.

Vom Onlineshop über Social Media bis hin zu IoT-Geräten: Jedes Gerät und System generiert neue Daten, die ausgewertet, analysiert und genutzt werden wollen. Auch innerhalb der modernen, vernetzten Fabrik werden angesichts unterschiedlichster Daten- und Informationsebenen Transparenz und automatisierte Prozesse immer wichtiger, um Kosten zu senken und die Produktivität zu steigern. Denn nur, wer schnell auf neue Entwicklungen reagieren kann, wird auch in der Lage sein, größere Störungen zu vermeiden, und sich dadurch auch auf lange Sicht auf dem Markt behaupten.

Data-Warehouse- oder Data-Lake-Technologien galten lange als die Lösung, wenn es darum ging, sämtliche Daten eines Unternehmens zu speichern und allen Bereichen zur Verfügung zu stellen. Viele Firmen implementierten entsprechende zentralisierte Plattformen – in der Hoffnung, Silobildung zu vermeiden und den größtmöglichen Mehrwert aus ihren verfügbaren Daten herauszuholen. Das erwies sich jedoch vielfach als Trugschluss: Das liegt in der Regel am zentralen Datenteam, das zwischen den vielen Datenquellen auf der einen und der ständig wachsenden Zahl der Datenkonsumenten auf der anderen Seite steht. Es soll zwar alle Datenströme in einem zentralen Depot integrieren, verfügt häufig jedoch nicht über ausreichendes Wissen hinsichtlich des fachlichen Inhalts und der geforderten Struktur. Das hat zur Folge, dass nicht nur die Integration sehr lange dauert, sondern auch Datenagilität und -qualität leiden.

Datenmengen praxisnah strukturieren und besser nutzbar machen

Eine Lösung bietet das Data-Mesh-Konzept, das auf bewährten Software-Engineering-Prinzipien aufbaut. Es verbindet sie mit dezentralen Ansätzen aus der modernen Softwareentwicklung – Domain-driven Design (DDD), produktorientiertes Denken, Self-Service-Infrastrukturplattformen und Federated Governance – und wendet sie auf Daten an. Das Konzept, das 2019 von Zhamak Deghani, Director Emerging Technologies bei Thoughtworks North America, vorgestellt wurde, fordert einen organisatorischen Transformationsprozess von einem zentralisierten zu einem dezentralen Ansatz, bei dem große Datenvolumen praxistauglich als vermaschtes Netz oder Data Mesh strukturiert und nutzbar gemacht werden.

Einer der wichtigsten Vorteile des Data-Mesh-Ansatzes besteht in spezialisierten domänenorientierten Teams. Diese kennen die Daten und Datenquellen ihrer jeweiligen Domäne sowohl technisch als auch geschäftlich und können dadurch neue Daten oder Strukturänderungen schneller integrieren und im Unternehmen bereitstellen. Da die einzelnen Teams weitgehend unabhängig voneinander agieren, werden die typischen Engpässe einer zentralen Datenorganisation vermieden. In der Folge steigt die Datenagilität im Unternehmen und die Datennutzer werden schneller mit relevanten Daten versorgt. Das steigert wiederum die Business-Agilität und verkürzt die Time-to-value insgesamt.

Die Prinzipien des Data Mesh

Die Definition von Zhamak Dehghani umfasst die folgenden vier Prinzipien:

• Domain Ownership

• Data-as-a-Product

• Self-Service-Datenplattform

• Federated Governance

Domain-Ownership bedeutet, dass das Datenmanagement nach fachlichen Geschäftsbereichen aufgeteilt wird, für die jeweils ein spezialisiertes Datenteam verantwortlich ist. So kann es besser auf die Anforderungen eingehen und neue Datenquellen zügiger integrieren. Da das Team über das notwendige Fachwissen verfügt, ist es außerdem in der Lage, schneller auf Veränderungen zu reagieren – zum Beispiel dann, wenn externe Daten zugekauft werden.

Gemäß dem Prinzip Data-as-a-Product erstellen die Domänenteams Datenprodukte, auf die andere Teams einfach zugreifen können. Hierzu müssen die Daten gut dokumentiert und leicht zu finden sein, einfache Zugriffsmöglichkeiten bieten, hohe Qualität haben und sich an den Anforderungen der Nutzer orientieren. Kurz: Das Team entwickelt und pflegt sein Datenprodukt wie ein reales Produkt.

Die Self-Service-Plattform beschreibt die zugrunde liegende IT-Plattform, die einheitliche, domänenunabhängige Werkzeuge zur Verfügung stellen sollte, mit denen die Domänenteams eigenständig ihre Datenprodukte erstellen, pflegen, und anbieten können. Diese sollten bedienerfreundlich sein und wenige oder keine hoch spezialisierten Kenntnisse erfordern. Denn nur so können die Kosten und die Komplexität der Prozesse zur Erstellung der Datenprodukte reduziert werden.

Unter Federated Governance versteht man domänenübergreifende Vereinbarungen, die Standards für Governance und Sicherheit global definieren und anschließend lokal in den einzelnen Domänen umsetzen – zum Beispiel durch Zugriffskontrollen, Data Masking oder andere Methoden. Zudem müssen Qualität, Austauschbarkeit und Integrierbarkeit, also die Interoperabilität, der Datenprodukte gewährleistet sein. So wird sichergestellt, dass alle Domänen einheitliche Qualitätsstandards einhalten und ihre Datenprodukte übergreifend nutzbar sind.

Wichtig ist dabei, dass sich die vier Prinzipien gegenseitig ergänzen. Data-as-a-Product und Federated Governance sind ausschlaggebend dafür, dass Domänen nicht zu Datensilos werden. Federated Governance stellt zudem die Qualität der Datenprodukte sicher und definiert ein einheitliches Regelwerk, innerhalb dessen die Domänen autonom, aber nicht unkontrolliert agieren können. Die Self-Service-Datenplattform wiederum muss funktional mächtig, aber auch einfach zu benutzen sein, damit die Domänen ihre Datenprodukte sowohl eigenständig als auch kostengünstig produzieren können.

Unternehmerischen Mehrwert generieren

Eine Data-Mesh-Plattform ist demnach eine bewusst konzipierte verteilte Datenarchitektur unter zentraler Steuerung und Standardisierung für Interoperabilität, die durch eine gemeinsame und harmonisierte Self-Service-Dateninfrastruktur ermöglicht wird – also keine Landschaft aus fragmentierten Silos mehr mit unzugänglichen Daten, sondern vielmehr genau das Gegenteil. Die Besonderheit des Data Mesh liegt darin, dass es eine neue Perspektive ermöglicht: Je mehr Datenquellen und Datenkonsumenten es gibt, desto besser funktioniert es – und je intensiver rund um die Daten zusammengearbeitet wird, desto mehr unternehmerischer Mehrwert wird generiert.

Die Einführung eines Data Mesh muss nicht für jedes Unternehmen die richtige Lösung sein, um eine nachhaltige Architektur für die Nutzung seiner Daten zu etablieren. Richtig umgesetzt, ermöglicht das Modell jedoch eine qualitativ hochwertigere Datennutzung und dadurch auch bessere Ergebnisse.

Dieser Artikel stammt von unserem Partnerportal Industry of Things.

* Arjan van Staveren arbeitet als Country Manager Germany bei Snowflake.

(ID:48486909)