Datenintegration mit unübertroffener Interoperabilität und Flexibilität Ab in die Zukunft mit modernem Data Lake Setup

Anbieter zum Thema

Fivetran Germany GmbH

Board Deutschland GmbH

INFOMOTION GmbH

QUNIS GmbH

Wie überwindet man Datensilos? Oft lautet die Antwort: Data Lakes! Sie können strukturierte sowie unstrukturierte Daten aufnehmen, sind gut zugänglich und schnell zu aktualisieren. Diese Vorteile können in der datengetriebenen Welt mit unzähligen Datenquellen entscheidend sein.

Die digitale Transformation birgt noch immer viele Herausforderungen. Denn Unternehmen sollten idealerweise von der einfachen und reaktiven Nutzung von Daten, z. B. in Form von beschreibenden Analysen, wegkommen. Nur innovative Nutzungsarten bieten einen echten Mehrwert: Die Möglichkeit von Predictive Analytics und generativer KI sind Beispiele, die in Zukunft Vorteile gegenüber der Konkurrenz bieten werden und als Widerstand gegen makroökonomischen Gegenwind nötig sind. Dazu kommen die Herausforderungen bezüglich Ressourcenmangel und Governance: IT-Verantwortliche müssen immer mehr Aufgaben mit weniger Personen und Budget stemmen. Gleichzeitig erlassen Regierungen zunehmend strengere Vorschriften und auch Verbraucher erwarten ein höheres Maß an Personalisierung und Sicherheit.

Ein erfolgsversprechender Fahrplan in Richtung digitale Wende benötigt vier entscheidende Etappen: Zentralisierung von Daten, Modernisierung der Infrastruktur, Demokratisierung von Daten und die Entwicklung von Data Solutions. Alles beginnt mit der Zentralisierung von Daten, also dem klassischen Anwendungsfall der Datenintegration. Während Unternehmen mit immer weiteren verschiedenen Anwendungen und Betriebssystemen arbeiten, müssen sie auf einen reibungslosen Datenzugriff achten. Eine umfassende Übersicht über den Betrieb, die Kunden und das Angebot eines Unternehmens bildet die Grundlage für alle analytischen und betrieblichen Nutzungsarten von Daten. Und hier kommen Data Lakes ins Spiel: Sie dienen als kostengünstige, skalierbare Speicherorte für alle Arten von Daten und spielen eine zentrale Rolle in der Datenanalyse.

Data Lake oder Data Warehouse?

Ähnlich wie Data Warehouses fungieren Data Lakes als zentrale Repositories für Unternehmensdaten, die analysiert werden können, um Geschäftsentscheidungen zu unterstützen. Data Warehouses basieren auf der Annahme, dass wichtige Unternehmensdaten strukturiert sind. Strukturierte Daten folgen vorhersehbaren Formaten, sind maschinenlesbar und können in relationalen Datenbanken gespeichert werden. Im Gegensatz dazu sind Data Lakes Objekt- oder Datei-Speicher, die problemlos große Mengen unstrukturierter Rohdaten wie Freitext, Bilder, Videos und andere Medien sowie strukturierte, relationale Daten in Tabellenform aufnehmen können.

Die Entwicklung der Data Lakes

Data Lakes entstanden etwa zeitgleich mit dem Begriff „Big Data“ und wurden in den frühen 2010er-Jahren erstmals eingesetzt. Damals erkannte man schnell, dass relationale Speicher nicht flexibel genug waren, um komplexe Analysen und tiefgehende Data Science zu unterstützen. Dies gilt insbesondere für Anwendungen, die große Datenmengen, unstrukturierte Daten oder Streaming-Daten nutzen.

Nutzung eines Data Lakes

Data Lakes wurden in der Vergangenheit hauptsächlich genutzt, um große Datenmengen komplett zu speichern, bevor diese dann modelliert und in ein Data Warehouse geladen wurden. Der Data Lake diente dabei als ELT-Staging-Bereich (Extract, Load, Transform). Zudem wurden Data Lakes häufig als spezialisierte Zielsysteme für Anwendungen eingesetzt, die unstrukturierte oder Streaming-Daten benötigten. Unternehmen, die heterogene und komplexe Anforderungen an ihre Datennutzung hatten, mussten daher oft getrennte Datenarchitekturen für Analyse- und Betriebszwecke pflegen.

Mit der Einführung offener Tabellenformate wie Delta Lake und Iceberg sowie der Integration von Datenkatalogen wie Unity Catalog und Purview hat sich dieses Vorgehen jedoch geändert. Reglementierte Data Lakes, auch bekannt als „Data Lakehouses“, kombinieren die Skalierbarkeit und Flexibilität von Data Lakes mit der analytischen Nutzbarkeit von Data Warehouses. Dank ACID-Transaktionen (Atomicity, Consistency, Isolation, Durability) und Schema-Enforcement ist es mittlerweile praktikabel, Data Lakes als zentrale Datenquelle für analytische und operative Zwecke einzusetzen.

Anstelle eines Data Lakes als reine Zwischenstation für ein Data Warehouse können Datenteams Datendesignmuster (Medaillon-Architektur: Bronze, Silber und Gold) innerhalb des Data Lakes verwenden. So kann man Daten für die Analyse entsprechend vorbereiten. Gleichzeitig ermöglichen Data Lakes die Integration großer Datenmengen und von Streaming-Daten. Durch die modulare Architektur können Organisationen zudem Rechen- und Speicherressourcen flexibel kombinieren und anpassen.

Das ist bei der Nutzung eines Daten-Lakes zu vermeiden

Die größte potenzielle Herausforderung bei der Nutzung eines Data Lakes ist die Unübersichtlichkeit. Ohne robuste Data Governance können Data Lakes leicht zu „Daten-Sümpfen“ werden, in denen unbrauchbare Daten mit wertvollen Daten vermischt werden. Dies macht die Plattform schwer durchsuchbar und navigierbar. Darüber hinaus können Datensätze in Data Lakes ohne offene Tabellenformate nicht einfach mit SQL oder den meisten Business-Intelligence-Plattformen abgerufen werden. Daher sind Data Lakes für Business Intelligence und Reporting im Allgemeinen ungeeignet.

Falls die Analyseanforderungen eines Unternehmens ausschließlich auf moderaten Mengen relationaler Daten beruhen und keine Streaming-Anwendungen oder generative KI-Anwendungsfälle vorgesehen sind, könnte die Nutzung eines Data Warehouses (vorerst) sinnvoller sein. Andernfalls könnte ein reglementierter Data Lake oder ein Data Lakehouse die bessere Wahl sein.

Die Zukunft der reglementierten Data Lakes

Unabhängig davon, ob der reglementierte Data Lake derzeit die beste Lösung für die Anforderungen darstellt, lohnt es sich, die Weiterentwicklung dieser Technologie im Auge zu behalten. Sobald es um allgemeine Analyseanwendungen ging, wurden Data Lakes skeptisch betrachtet. Inzwischen haben sich aber professionelle Lösungen im Bereich Datenintegration etabliert. So bietet etwa Fivetran, der weltweit führende Anbieter für Data Movement, einen speziellen Data-Lake-Service, der die Extraktion, das Laden und die Transformation von Daten aus mehr als 700 Quellen in Data-Lake-Ziele automatisiert. Denn es gibt mehrere Gründe, warum die Zukunft reglementierter Data Lakes vielversprechend ist:

• Die Anforderungen an Daten nehmen in Bezug auf Skalierung, Volumen und Komplexität weiter zu. Daher werden die Kostenvorteile und die Flexibilität von Data Lakes immer relevanter.

• Data Lakes können zunehmend dieselben Funktionen wie Data Warehouses erfüllen, einschließlich Katalogisierung, Governance und der Verarbeitung von tabellarischen Daten.

• Für neue Anwendungsfälle, wie z. B. generative KI, ist es immer wichtiger, alle Daten eines Unternehmens an einem Ort zu haben.

Moderne Data Lakes bilden den Grundstein im modernen Data Stack. Denn in einer vernetzten Landschaft von Tools und Technologien ist es unerlässlich, die aus unterschiedlichen Quellen verwendeten Daten auf einer einzigen Plattform verfügbar zu machen. Mit Hilfe einer entsprechenden automatisierten Lösung zum Data Movement wird der Data Lake zum Herzstück und zum Single Point of Truth einer einheitlichen Datenarchitektur für alle analytischen und operativen Datenanforderungen in Unternehmen.

Webseite von Fivetran

(ID:50318769)