Kommentar von Alexey Utkin, DataArt Data Mesh, ein strategischer Vorteil für das Datenmanagement

Anbieter zum Thema

QUNIS GmbH

Sinequa

Fivetran Germany GmbH

DataArt

Mit dem Data-as-a-Product-Ansatz trägt Data Mesh dazu bei, die Qualität, Zugänglichkeit, Interoperabilität und Nutzbarkeit von Daten zu verbessern und damit eine datengesteuerte Organisation zu ermöglichen.

Daten können enorme Möglichkeiten bieten, wenn sie richtig genutzt werden. Viele Unternehmen sehen sich heute jedoch mit einer Vielzahl von Quellen und einer großen Menge und Art von Daten mit einer komplexen, zentralisierten Struktur konfrontiert, die ein Problem für ein effizientes Informationsmanagement darstellen kann.

Data Mesh hilft dabei, die Fähigkeit eines Unternehmens zu skalieren, mit einer schnell wachsenden Anzahl von Datenquellen zu arbeiten, verschiedene neue Anwendungsfälle im Bereich Daten und Analysen schnell zu implementieren und eine ständig wachsende Zahl von Verbrauchern zu unterstützen.

Aber zunächst zu den Grundlagen: Obwohl Data Mesh cool und relativ neu ist, ist das Konzept nicht für jeden geeignet. Je nach Umfang und Zielsetzung kann es durchaus sein, dass ein Cloud Data Warehouse, ein Data Lake, ein Lakehouse oder eine andere Architektur die richtige Wahl für ein Unternehmen ist – heute oder morgen.

Data Mesh behebt die Mängel von zentralisierten Architekturen

Das Data-Mesh-Paradigma zielt darauf ab, mehrere Mängel dieser zentralisierten Architekturen und der damit verbundenen Implementierungs- und Betriebsansätze zu beheben, die manchmal unter mangelnder Skalierbarkeit und Agilität bei der Umsetzung der wachsenden Zahl von analytischen Anwendungsfällen leiden, die von einer wachsenden Vielfalt von Datenquellen abhängen. Für einige Unternehmen sind diese Einschränkungen theoretischer Natur oder werden erst in ferner Zukunft auftreten.

Dennoch lohnt es sich, einige der Prinzipien und zugrundeliegenden Triebkräfte für Ihr Unternehmen in Betracht zu ziehen, insbesondere die Orientierung an der Geschäftsdomäne und die Domänenverantwortung für Daten und Daten als Produkt, auch wenn Sie heute noch nicht auf eine vollständige Data-Mesh-Plattform abzielen. Sie werden feststellen, dass Ihr Unternehmen eher früher als später einen weitaus größeren Nutzen aus qualitativ hochwertigeren, leichter auffindbaren und zugänglichen Datenprodukten zieht. Während Sie sich vielleicht dazu entschließen, sich an diesen neuen Prinzipien zu orientieren, die heute einen Mehrwert bringen, z .B. die Art und Weise, wie Sie Datenproduktteams und Dateneigentum organisieren, kann Ihre Dateninfrastruktur die Form eines Cloud Data Warehouse oder eines Lakehouse annehmen.

Es gibt zwei Möglichkeiten, wie bestehende Datenarchitekturen mit dem Data-Mesh-Konzept kombiniert werden können. Erstens beginnen die meisten Unternehmen nicht mit einem unbeschriebenen Blatt. Sie verfügen bereits über eine oder mehrere Datenplattformen, meist in Form von Data Warehouses, Data Lakes oder Lakehouses. Data Mesh ist kein spezielles Technologie- oder Infrastrukturprodukt, sondern erfordert eine zugrunde liegende Infrastruktur und Plattformkapazitäten. Unternehmen, die sich auf diesen Weg begeben, entscheiden sich häufig dafür, ihre bestehende Dateninfrastruktur zunächst beizubehalten und sie im Laufe der Zeit auf die Data-Mesh-Funktionen zu erweitern und weiterzuentwickeln.

Zweitens wird das Data-Mesh-Konzept für Datenprodukte und -pipelines innerhalb von Teams empfohlen, die nach Geschäftsbereichen organisiert sind. Diese Domänen-Datenprodukte erfordern eine Infrastruktur zur Speicherung, Verarbeitung und Bereitstellung von Daten. Das bedeutet, dass bestehende Datenarchitekturen, wie Data Warehouses und Data Lakes, gegebenenfalls zur Infrastruktur für bestimmte Domaindatenprodukte werden können. In anderen Fällen können sie zu Knotenpunkten werden.

Vorteile von Data Mesh im Datenmanagement

Unabhängig davon, welchen Weg Sie wählen, einige der wichtigsten Vorteile des Data-Mesh-Konzepts sind Dezentralisierung und Domänenorientierung. Es entspricht der grundlegend dezentralen und allgegenwärtigen Natur von Daten und beseitigt die üblichen Reibungsverluste, die mit zentralisierten Datenteams verbunden sind und die früher oder später zu einem Engpass auf dem Weg zu einer datengesteuerten Organisation werden. Dadurch wird sichergestellt, dass die Personen, die die Domaindaten verwalten und die Domaindatenprodukte erstellen, die Geschäftsdomäne tatsächlich verstehen und wissen, woher die Daten kommen, was sie bedeuten, wer sie nutzt und wie. Diese Mitarbeiter sind besser in der Lage, Daten aus operativen Quellsystemen mit den analytischen Anforderungen der Benutzer zu verbinden. Dies führt zu wertvolleren Datenprodukten und Datenverwendungen für ein Unternehmen. Darüber hinaus hebt das Konzept „Daten als Produkt“ die oft mühsamen organisatorischen Bemühungen, Daten zu verwalten, ihre Qualität zu gewährleisten und sie leicht auffindbar, verständlich und konsumierbar zu machen, auf ein neues Niveau, indem die Verantwortung für diese Angelegenheiten auf die Geschäftsbereiche übertragen wird.

Weitere wichtige Vorteile ergeben sich aus den Selbstbedienungsfunktionen der Plattform. Data Mesh bedeutet, dass die organisatorische Datenlandschaft in ein Ökosystem von bereichsorientierten Datenprodukten umgewandelt wird, die von den Datenteams der Bereiche eigenständig erstellt werden. Diese Vision muss durch grundlegende Infrastrukturfunktionen unterstützt werden, um die Reibungsverluste zu beseitigen, die mit dem Aufbau und der Weiterentwicklung der bereichsspezifischen Datenprodukte verbunden sind. Diese Plattformfunktionen müssen auch sicherstellen, dass die Daten auffindbar, kontrollierbar, interoperabel und auf globaler Ebene nutzbar sind.

Diese Liste von Fähigkeiten ist nicht nur bei Data Mesh zu finden, sondern ist Bestandteil jeder Datenarchitektur, die ich als modern bezeichnen würde, einschließlich Data Warehousing, Data Lakes und Lakehouses. Sie umfasst zum Beispiel polyglotte Datenspeicherung, Implementierung und Orchestrierung von Datenpipelines, Erkennung von Datenprodukten, Zugriffskontrolle, Datenkatalogisierung und -abfolge, Überwachung und Alarmierung sowie Datenqualitätsmanagement. Bei Data Mesh liegt der Schwerpunkt jedoch auf der Bereitstellung dieser Funktionen für die Datenproduktteams der Domäne auf einer Self-Service-Plattform-Ebene, anstatt dass diese selbst Zeit und Mühe aufwenden müssen.

Die Herausforderungen von Data Mesh

Auf dem Weg zu Data Mesh stehen Unternehmen vor verschiedenen Herausforderungen. Erstens ist es noch ein relativ neues Konzept. Führende Unternehmen haben in den letzten Jahren damit begonnen, damit zu experimentieren. Es gibt immer noch viele Diskussionen darüber, wie einige seiner Prinzipien am besten in der Praxis angewandt werden können, und aufgrund seiner Neuartigkeit gibt es noch nicht viele solide Erfahrungen. Unternehmen nutzen die Data-Mesh-Konzepte oft als eine Richtung, in die sich ihre Technologie entwickeln kann, aber das ist ein langer Weg und braucht Zeit.

Eine andere Art von Herausforderung sind Veränderungen in der Organisation, den Rollen, der Teamzusammensetzung und den Fähigkeiten. Die Abkehr von zentralisierten Teams und einer zentralisierten Architektur, die Neuausrichtung von Datenteams auf Domaindatenprodukte und Datenplattformen, die Annahme des Produktdenkens und des Ansatzes „Daten als Produkt“, das Aufbrechen historischer Technologiespezialisierungen und das Erlernen neuer Fähigkeiten und Tools – all das erfordert Zeit und organisatorischen Willen.

Eine dritte Herausforderung ist die Technologie. Seit wir Anfang der 2000er-Jahre das Wort „Big Data“ hörten, haben sich die Datentechnologien in einem immer schnelleren Tempo weiterentwickelt. Fortschritte bei Open-Source- und Cloud-Datentechnologien haben in den vergangenen Jahren eine Verlagerung hin zu modernen Datenplattformen bewirkt. Die Landschaft der Datentechnologien ist jedoch sehr vielfältig. Die meisten Funktionen der Data-Mesh-Plattform existieren zwar, aber als separate Technologien, separate Bausteine, und einige von ihnen sind noch nicht sehr ausgereift. Es gibt zwar Brancheninitiativen zur Standardisierung bestimmter Datenfunktionen, wie z. B. Standard-Metadatenformate und Austauschschnittstellen, aber diese sind noch nicht weit verbreitet. Heutzutage erfordert die Integration dieser Dinge in eine konkurrenzfähige Data-Mesh-Plattform Geschick, Mühe und eine Menge Denkarbeit, während Ihre Teams sich verpflichten müssen, sich weiterzubilden und umzuschulen.

Im Laufe der Zeit, wenn immer mehr Unternehmen Data Mesh einsetzen, werden all diese Technologien, Standards und Ansätze ausgereift sein, und wir werden sehen, wie es sich aus der frühen Phase der Einführung in den Mainstream bewegt.

(ID:48663826)