Neue Integrationen zwischen Tableflow und Unity Catalog Confluent und Databricks erweitern ihre Partnerschaft

Anbieter zum Thema

Databricks Inc.

Confluent Germany GmbH

Disy Informationssysteme GmbH

INFOMOTION GmbH

QUNIS GmbH

Die Kombination der Daten-Streaming-Plattform von Confluent mit der Data-Intelligence-Plattform von Databricks soll Unternehmen Echtzeitdaten für KI-gestützte Entscheidungen liefern. Hierfür gebe es neue Integrationen zwischen Confluents Tableflow und Databricks Unity Catalog.

Daten-Streaming-Experte Confluent und das Daten- und KI-Unternehmen Databricks kündigen eine umfassende Erweiterung ihrer Partnerschaft an. Gemeinsam wollen sie das Problem isolierter Datensilos in Unternehmen lösen und damit ein neues Zeitalter der Echtzeit-KI einläuten. Neue Integrationen zwischen Confluents Tableflow und Databricks Unity Catalog sollen eine nahtlose Datensteuerung- und Kontrolle über operative und analytische Systeme hinweg sicherstellen.

Die Herausforderung rund um KI-Daten lösen

Immer mehr Unternehmen entwickeln KI-Anwendungen, die zuverlässige Echtzeitdaten benötigen, damit sie fundierte Entscheidungen treffen und das Kundenerlebnis optimieren können. Dennoch glauben nur 22 Prozent der Unternehmen, dass ihre aktuelle IT-Infrastruktur diesen neuen KI-Anwendungen gewachsen ist. Eine der größten Herausforderungen sei die Kluft zwischen Betriebssystemen, die Daten erzeugen, und Analysesystemen, die sie auswerten. Da diese Systeme in getrennten Silos existieren, arbeiten daran jeweils verschiedene Teams mit unterschiedlichen Tools und Prozessen. Dadurch könnten Teams die Echtzeitdaten nicht sinnvoll mit anderen Systemen verknüpfen, was KI-Innovationen für fortgeschrittene Anwendungsfälle praktisch unmöglich macht.

Echtzeitdaten, bereit für KI

Um diese Kluft zu überbrücken, kündigen Confluent und Databricks neue Integrationen an, die den Datenaustausch in Echtzeit sicherstellen und eine erfolgreiche Zusammenarbeit im gesamten Unternehmen ermöglichen sollen. Die bidirektionale Integration von Confluents Tableflow mit Delta Lake und dem Unity Catalog von Databricks – einer einheitlichen und offenen Governance-Lösung für Daten und KI – könne konsistente Echtzeitdaten über operationale und analytische Systeme hinweg bereitstellen, die leicht auffindbar, sicher und vertrauenswürdig seien.

Delta Lake ist eine von Databricks entwickelte formatunabhängige Speicherebene, die ursprünglich für Streaming-Anwendungsfälle mit schnellen Schreibvorgängen konzipiert wurde. Inzwischen sei es das am Weitesten verbreitete Lakehouse-Format: Mit einer täglichen Datenverarbeitung von über zehn Exabyte habe es sich in großem Maßstab bewährt. Die Kombination von Tableflow und Delta Lake mache Betriebsdaten nun sofort im Delta-Lake-Ökosystem verfügbar. Kunden von Confluent und Databricks könnten beliebige Engines oder KI-Tools wie Apache Spark, Trino, Polars, DuckDB und Daft auf ihre Daten in Unity Catalog anwenden.

Benutzerdefinierte Integrationen zwischen Tableflow und dem Unity Catalog von Databricks sollen dafür sorgen, dass Metadaten – ein entscheidender Faktor für KI-Anwendungen – automatisch zu den ausgetauschten Daten ergänzt werden. Dadurch seien operationale Daten für Data-Science- und Analytics-Teams in Databricks genauso leicht zugänglich und nutzbar wie analytische Daten für Anwendungsentickler und Streaming Engineers in Confluent. Die Stream-Governance-Suite von Confluent werde außerdem vorgelagerte Governance und Metadaten bereitstellen. Dies könne die Governance verbessern, End-to-End-Nachverfolgbarkeit von Streams ermöglichen und das automatisierte Monitoring der Datenqualität in Unity Catalog optimieren.

Dank dieser neuen Funktionen würden operationale Daten von Confluent nahtlos in Databricks integriert, während die Daten aus Databricks unternehmensweit für alle Verarbeitungsprozesse frei zugänglich seien. Die Topics, die von KI-Anwendungen genutzt werden, und die Tabellen, mit denen Datenanalysten arbeiten, würden nun eine einheitliche Sicht auf dieselben Echtzeitdaten bieten. So könnten unternehmensweit schneller fundierte, KI-gestützte Entscheidungen getroffen werden. Diese nahtlose Integration von Betriebsanwendungen, Analysen und Governance sei entscheidend für KI-Innovationen in großem Maßstab.

(ID:50329989)