Mittels Ingest und Partner-Integrationen Databricks pflastert den Weg zum Data Lakehouse

Von Martin Hensel |

Anbieter zum Thema

Der Unified-Analytics-Spezialist Databricks will die Vereinigung von Datenmanagement, Business Intelligence (BI) und maschinellem Lernen auf einer Plattform beschleunigen. Dazu werden die besten Elemente von Data Lakes und Data Warehouses kombiniert.

 Ali Ghodsi, Mitbegründer und CEO von Databricks
Ali Ghodsi, Mitbegründer und CEO von Databricks
(Bild: Databricks)

Das neue Data Ingestion Network für Partner und Databricks Ingest sollen Datenteams den Aufbau des neuen Datenmanagementparadigmas Lakehouse erleichtern. Bislang waren Unternehmen gezwungen, ihre Daten in strukturierte Informationen und Big Data aufzuspalten und diese getrennt für BI- und Machine-Learning-Anwendungen zu verwenden. Laut Databricks führt dies zu Datensilos in Data Lakes und Data Warehouses. Zudem sind langsame Verarbeitung und unvollständige Teilergebnisse die Folge, was eine effiziente Nutzung erschwert.

Abhilfe sollen Datenintegrationen strategischer Databricks-Partner wie etwa Fivetran, Qlik, Streamsets, Infoworks und Syncsort schaffen. Kunden können somit Daten aus Hunderten von Quellen über eine grafische Oberfläche in ein Data Lakehouse übertragen – ohne zu jeder einzelnen Datenquelle Verbindungen aufbauen, pflegen und sie sichern zu müssen. Nutzer von Azure Databricks können die native Integration in Azure Data Factory bereits einsetzen.

Alles unter einem Dach

Konkret bedeutet das: Anwendungsdaten etwa von Salesforce, Marketo, Zendesk, SAP oder Google Analytics, Datenbanken wie Kafka, Cassandra, Oracle, MySQL und Mongo, Mainframe-Daten, Dateien und Cloud-Speicher lassen sich im Data Lakehouse für BI- und Machine-Learning-Anwendungen zusammenführen. Databricks wird dieses Ökosystem weiter ausbauen. Partner wie Informatica, Segment und Talend werden mit kommenden Versionen verfügbar sein. Zusätzlich ermöglichen automatische Ladefunktionen in Databricks Ingest einen kontinuierlichen Datenfluss in das Data Lakehouse, ohne dazu Job-Trigger oder Zeitpläne zu benötigen. Dies beseitigt Datensilos und vereinfacht datengetriebene Geschäftsmodelle und Innovationen.

„Das Lakehouse-Paradigma strebt danach, die Zuverlässigkeit von Data Warehouses mit der Größe von Data Lakes zu kombinieren, um jede Art von Anwendungsfall zu unterstützen. Damit diese Architektur gut funktionieren kann, muss sich jede Art von Daten einfach einbeziehen lassen. Databricks Ingest ist ein wichtiger Schritt, um dies zu ermöglichen“, erklärt Ali Ghodsi, Mitbegründer und CEO von Databricks.

(ID:46393573)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung.

Aufklappen für Details zu Ihrer Einwilligung