Mobile-Menu

Lakehouse-Architekturen Zerobus Ingest: Databricks ermöglicht direkten Schreibpfad ins Lakehouse

Von Berk Kutsal 1 min Lesedauer

Anbieter zum Thema

Databricks Inc.
Disy Informationssysteme GmbH
INFOMOTION GmbH
QUNIS GmbH

Databricks hat „Zerobus Ingest“ allgemein verfügbar gemacht. Der Dienst ist Teil von Lakeflow Connect und soll Ereignisdaten direkt in Delta-Tabellen des Lakehouse schreiben, ohne zwischengeschaltete Message-Broker wie Apache Kafka.

Statt über klassische Streaming-Stacks zu gehen, erlaube Zerobus, Ereignisdaten direkt aus Applikationen hinein zu schreiben. Das senke Komplexität, Betriebskosten und Latenz.(Bild: Databricks)
Statt über klassische Streaming-Stacks zu gehen, erlaube Zerobus, Ereignisdaten direkt aus Applikationen hinein zu schreiben. Das senke Komplexität, Betriebskosten und Latenz.
(Bild: Databricks)

Databricks bringt mit Zerobus Ingest einen neuen Ingestion-Mechanismus in die Produktivphase. Der Dienst erlaube es Anwendungen, Event-Daten unmittelbar in Delta-Tabellen im Lakehouse zu schreiben. Ein separater Streaming- oder Messaging-Layer sei dafür nicht mehr erforderlich.

Direkter Pfad statt Middleware

In klassischen Streaming-Architekturen werden Daten zunächst über Broker wie Apache Kafka transportiert. Hinzu kommen Connectoren, Partitionierung, Consumer-Gruppen und Monitoring. Dieser Aufbau ist etabliert, erfordert jedoch zusätzlichen Betriebsaufwand. Zerobus Ingest setzt an diesem Punkt an und möchte den Stack auf einen direkten Schreibzugriff ins Lakehouse reduzieren.

Technisch erfolge die Anbindung über gRPC-APIs, ergänzt durch SDKs unter anderem für Python, Java, Rust, Go und TypeScript. Eine REST-Schnittstelle befinde sich in der Beta-Phase. Die Skalierung erfolge serverlos im Hintergrund.

Nach Angaben von Databricks liegt die Latenz vom Schreibvorgang bis zur Verfügbarkeit in der Delta-Tabelle bei unter fünf Sekunden. Aggregiert sollen pro Zieltabelle mehr als 10 GB/s möglich sein, einzelne Verbindungen erreichen rund 100 MB/s.

Governance integriert

Die Daten werden direkt im bestehenden Lakehouse-Modell verwaltet. Die Zugriffskontrolle und Lineage laufen über den Unity Catalog. Separate Governance-Schichten für einen Messaging-Layer entfallen damit.

Erste Anwender setzen Zerobus bereits produktiv ein: Toyota nutzt es für Telemetrie-Analysen in der Fertigung, und bei Joby Aviation ersetzt es eine bisherige Batch-Ingestion, die statt Minuten teils Tage brauchte.

Zerobus Ingest ist auf AWS und Microsoft Azure allgemein verfügbar. Die Abrechnung erfolgt volumenbasiert über die serverlose Lakeflow-SKU. Ein Rollout für Google Cloud ist angekündigt.

(ID:50763413)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte