Kommentar von Anja Schröder, Turbine Kreuzberg Das sind die wichtigsten Komponenten einer modernen Datenarchitektur

Anbieter zum Thema

Disy Informationssysteme GmbH

INFOMOTION GmbH

QUNIS GmbH

Unternehmen wollen effiziente Prozesse und die neuesten Technologien Gewinn bringend einsetzen. So werden immer wieder neue Tools und Software-Lösungen eingekauft, eine richtige Effizienzsteigerung lässt sich so jedoch nicht immer erzielen. Das Problem: Damit diese Tools auch funktionieren, müssen sie mit Unternehmensdaten gefüttert werden. Oft sind diese Daten zwar im Unternehmen vorhanden, doch sie liegen überall verteilt und in den unterschiedlichsten Formaten gespeichert brach. Verantwortung für die Speicherung und Konsolidierung der Daten übernimmt niemand, eine integrierte Datenstrategie gibt es nicht.

Dabei liegt in der effektiven Nutzung von Unternehmensdaten ein riesiges Potenzial. Sie ermöglichen eine breite Palette von datengesteuerten Anwendungsfällen, einschließlich Kundensegmentierung, Personalisierung und E-Commerce-Leistungsberichte. Die Vorteile liegen auf der Hand – doch wie sieht eigentlich eine moderne Datenarchitektur aus?

Moderne Architekturen sind dynamische Systeme, die neueste Technologien und Prozesse zusammenführen, um Daten zu sammeln, zu verwalten, auszuwerten und die Erkenntnisse daraus effektiv aufzubereiten. Klar – die tatsächlichen Elemente eines Daten-Frameworks variieren je nach individuellen Bedürfnissen und Unternehmenszielen. Dennoch lassen sich einige allgemeine Bausteine und Funktionen herausstellen.

Grob unterteilt besteht eine moderne Datenarchitektur aus den Bestandteilen Datenerfassung; Datenspeicherung und Transformation; Datenkatalog oder Metric Store; Data Analytics und Datenaktivierung; Data Governance und Monitoring der Datenqualität; sowie Data Orchestration. Schauen wir uns diese Punkte doch mal genauer an:

Datenerfassung

Die Methoden der Datenerfassung, auch Data Ingestion genannt, können stark variieren. Unternehmen haben je nach Business Case unterschiedliche Anforderungen an ihre Daten, entsprechend werden sie unterschiedlich erhoben und eingepflegt. Im Allgemeinen können Daten auf drei unterschiedlichen Weisen extrahiert und in ein zentrales Repository geladen werden:

Custom-Code-Lösungen: Konnektoren zu den Interfaces können manuell als Code geschrieben werden. Das ermöglicht den höchsten Grad an Flexibilität, da die Integrations-Pipelines genau an die jeweilige Datenquelle angepasst werden können. Dafür ist jedoch ein hohes Maß an technischem Fachwissen erforderlich, da alle Integrationen von Grund auf neu kodiert werden müssen. Darüber hinaus ist die Pflege der Integrationen mit einem erheblichen Aufwand verbunden, da alle Änderungen der Datenquellen auch Änderungen im Quellcode nach sich ziehen.

No/Low-Code-Lösungen: No- oder Low-Code-Lösungen können bei der Generierung von Konnektoren helfen. Der Code wird automatisch über eine grafische Benutzeroberfläche generiert, tief gehende Programmierkenntnisse werden nicht benötigt. Das vereinfacht die Integration von Datenquellen, da kein umfangreiches technisches Know-how erforderlich ist. Allerdings ist ein Verständnis des verwendeten Integrations-Tools erforderlich. Zudem kann es zu größeren Wartungsarbeiten kommen, wenn sich Datenquellen oder Ziele ändern.

As-a-Service-Lösungen: Am Markt gibt es verschiedene Standardlösungen, die eine einfache Plug-and-play-Datenintegration ohne laufenden Wartungsbedarf ermöglichen. Diese sind jedoch nur auf die häufigsten Arten von Datenquellen eingerichtet und möglicherweise nicht für spezielle Anwendungsfälle geeignet. Neben dieser begrenzten Flexibilität bedeuten sie darüber hinaus auch oft hohe Investitionskosten.

Datenspeicherung und Transformation

Die erhobenen Daten müssen jedoch auch irgendwo gespeichert werden. Daher ist die Kernkomponente einer modernen Datenarchitektur in aller Regel ein Cloud-basiertes Data Warehouse oder ein Data Lakehouse. Diese Plattformen bilden die Grundlage für eine skalierbare, leistungsstarke und kosteneffiziente Dateninfrastruktur.

Sobald Daten in das Data Warehouse oder Lakehouse geladen werden, kann ein Transformationsprozess erfolgen. Dieser wandelt die Rohdaten in ein einheitliches, weiter nutzbares Format. Nach dieser Umwandlung können die Daten nun in weiteren Prozessschritten genutzt werden, bspw. der Entwicklung von Datenmodellen, die die Visualisierung und Strukturierung der Daten umfasst.

Datenkatalog und Metrik-Speicher

Um wertvolle Datenbestände effizient zu managen, wurden moderne Technologien wie Datenkataloge entwickelt. Solche Tools ermöglichen es, relevante Daten zu suchen und schneller zu finden. Diese Komponente ist daher für die Verbesserung der Zugänglichkeit und der Datenexploration im gesamten Unternehmen von entscheidender Bedeutung.

Ein Datenkatalog kann durch die Einbeziehung eines Metrik-Speichers erweitert werden, der als eine Art Zwischenschicht zwischen Data Warehouse/Lakehouse und nachgelagerten Geschäftsanwendungen dient. Im Gegensatz zu vielen herkömmlichen Reporting-Tools entkoppelt ein Metrik-Speicher die definierten Metriken vom Reporting und/oder den Visualisierungen. Das heißt, die genutzten Daten und die darauf angewendeten Metriken werden separat gehandhabt. Das ermöglicht die Wiederverwendung von Metriken über verschiedene Business Intelligence und Automatisierungs-Tools sowie verschiedenen Geschäftsabläufen hinweg. Das hilft Unternehmen, ihre Datenanalyse- und Reporting-Prozesse zu verbessern. Diese Technologie wird auch als „Metrik-Plattform“, „Headless BI“, „Metrikschicht“ oder eben als „Metrik-Speicher“ bezeichnet. Alle Begriffe beschreiben im Wesentlichen jedoch das gleiche Konzept.

Data Analytics / Data Activation

Unternehmen, die ihre Geschicke immer noch über Bauchgefühl organisieren, werden früher oder später vor großen Herausforderungen stehen. Nur mit daten-gestützter Entscheidungsfindung können Unternehmen die richtigen strategischen Entschlüsse ziehen. Bei der Datenanalyse unterscheidet man zwischen zwei unterschiedlichen Szenarien: Data Analytics und Data Activation.

Als Data Analytics bezeichnet man die Bereitstellung von hochwertigen Daten für Business Intelligence Tools. Diese nutzen die Daten bspw. um auf Dashboards Visualisierungen für einzelne Geschäftsbereiche aufzuzeigen. So kann der Sales-Bereich sich beispielsweise die Umsatzerlöse, Lead-to-Customer-Ratio, durchschnittliches Geschäftsvolumen oder die Vertriebskapazitäten anzeigen lassen. Technische Bereiche bspw. Network Uptime, Exchange Server Availability oder Service Desk Time to Resolve.

Daten können für die Analyse jedoch auch Gewinn bringend angereichert werden, die sogenannte Data Activation. Benutzerdefinierte Code-Tools oder auch „As a Service“ Reverse-ETL (Extract Transform Load)-Tools ermöglichen die Integration von Daten direkt in die vom Unternehmen genutzten Systeme, bspw. Plattformen wie CRM-Systeme oder Werbe-Tools. Das ermöglicht die Nutzung von angereicherten Daten zur automatisierten Aktivierung, beispielsweise in Hinblick auf die Conversion Rate oder das Engagement.

Data Governance und die Überwachung der Datenqualität

Letztlich benötigt eine datengestützte Entscheidungsfindung ein hohes Vertrauen in die erhobenen und analysierten Daten. Dafür müssen sie von hervorragender Qualität sein. Sonst läuft man Gefahr, Fehlentscheidungen zu treffen oder, durch fehlendes Vertrauen, wieder in Bauchentscheidungen abzudriften. Tools zur Überwachung der Datenqualität und -beobachtung gewinnen deshalb immer mehr an Bedeutung. Sie helfen bei der Bewertung zum Zustand und zur Qualität von Daten. Monitoring-Tools für die Datenqualität können wertvolle Einblicke geben , z. B. warum ein Bericht nicht aktualisiert werden konnte oder warum in einer Datenpipeline Probleme aufgetreten sind. Laufen Daten auch an die richtigen Stellen? Gelangen falsche Daten in das Warehouse?

Durch die proaktive Überwachung der Daten und die Erstellung von Berichten reduzieren sich „Datenausfallzeiten“. Auch wird der Aufwand für die Identifizierung und Behebung von Daten-bezogenen Problemen erheblich verringert. Dadurch bleiben die Unternehmensdaten zuverlässig und vertrauenswürdig für die Entscheidungsfindung. Darüber hinaus gibt es gesetzliche und häufig auch zusätzlich interne Datenrichtlinien, die gewährleistet werden müssen. Hier helfen ebenfalls Tools, bzw. durch eine strukturierte Datenarchitektur fällt die Nachvollziehbarkeit der Datenströme deutlich leichter.

Daten-Orchestrierung

All die vorgenannten Prozessschritte und Strukturen machen den Aufbau und die Verwaltung einer modernen Datenarchitektur durchaus komplex. Dabei helfen Frameworks zur Orchestrierung. Sie gewährleisten eine nahtlose Koordination aller Komponenten. Solche Frameworks können sicherstellen, dass die Daten zum richtigen Zeitpunkt an den richtigen Ort geliefert werden. Dadurch lässt sich die Komplexität moderner Daten-Workflows einfacher bewältigen. Schließlich muss eine Vielzahl an Aufgaben, Abhängigkeiten und Datenquellen in Einklang gebracht werden.

Verifizierte, harmonisierte und strukturierte Daten bieten Unternehmen enormes Potenzial, sei es zur Prozessoptimierung, Entscheidungsfindung oder Absatzsteigerung. Doch viele Unternehmen behandeln das Thema jedoch weiterhin stiefmütterlich. Um auch in Zukunft wettbewerbsfähig zu sein, müssen sie auf eine moderne Datenarchitektur setzen. Dieser erste Einblick in die verschiedenen Komponenten kann dabei nur ein Anfang sein. Um das beschriebene Ökosystem unterschiedlicher Technologien auch effektiv zu verwalten, gilt es, fachspezifische Ressourcen aufzubauen. Ein dediziertes Team bestehend aus Datenarchitekten, Ingenieuren und Analysten kann solch eine Datenarchitektur implementieren – und langfristig Verantwortung für Daten im Unternehmen übernehmen.

(ID:49966511)