Mittels Ingest und Partner-Integrationen

Databricks pflastert den Weg zum Data Lakehouse

| Autor / Redakteur: Martin Hensel / Nico Litzel

Ali Ghodsi, Mitbegründer und CEO von Databricks
Ali Ghodsi, Mitbegründer und CEO von Databricks (Bild: Databricks)

Der Unified-Analytics-Spezialist Databricks will die Vereinigung von Datenmanagement, Business Intelligence (BI) und maschinellem Lernen auf einer Plattform beschleunigen. Dazu werden die besten Elemente von Data Lakes und Data Warehouses kombiniert.

Das neue Data Ingestion Network für Partner und Databricks Ingest sollen Datenteams den Aufbau des neuen Datenmanagementparadigmas Lakehouse erleichtern. Bislang waren Unternehmen gezwungen, ihre Daten in strukturierte Informationen und Big Data aufzuspalten und diese getrennt für BI- und Machine-Learning-Anwendungen zu verwenden. Laut Databricks führt dies zu Datensilos in Data Lakes und Data Warehouses. Zudem sind langsame Verarbeitung und unvollständige Teilergebnisse die Folge, was eine effiziente Nutzung erschwert.

Abhilfe sollen Datenintegrationen strategischer Databricks-Partner wie etwa Fivetran, Qlik, Streamsets, Infoworks und Syncsort schaffen. Kunden können somit Daten aus Hunderten von Quellen über eine grafische Oberfläche in ein Data Lakehouse übertragen – ohne zu jeder einzelnen Datenquelle Verbindungen aufbauen, pflegen und sie sichern zu müssen. Nutzer von Azure Databricks können die native Integration in Azure Data Factory bereits einsetzen.

Alles unter einem Dach

Konkret bedeutet das: Anwendungsdaten etwa von Salesforce, Marketo, Zendesk, SAP oder Google Analytics, Datenbanken wie Kafka, Cassandra, Oracle, MySQL und Mongo, Mainframe-Daten, Dateien und Cloud-Speicher lassen sich im Data Lakehouse für BI- und Machine-Learning-Anwendungen zusammenführen. Databricks wird dieses Ökosystem weiter ausbauen. Partner wie Informatica, Segment und Talend werden mit kommenden Versionen verfügbar sein. Zusätzlich ermöglichen automatische Ladefunktionen in Databricks Ingest einen kontinuierlichen Datenfluss in das Data Lakehouse, ohne dazu Job-Trigger oder Zeitpläne zu benötigen. Dies beseitigt Datensilos und vereinfacht datengetriebene Geschäftsmodelle und Innovationen.

„Das Lakehouse-Paradigma strebt danach, die Zuverlässigkeit von Data Warehouses mit der Größe von Data Lakes zu kombinieren, um jede Art von Anwendungsfall zu unterstützen. Damit diese Architektur gut funktionieren kann, muss sich jede Art von Daten einfach einbeziehen lassen. Databricks Ingest ist ein wichtiger Schritt, um dies zu ermöglichen“, erklärt Ali Ghodsi, Mitbegründer und CEO von Databricks.

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 46393573 / Infrastruktur)