Echtzeitdaten im Lakehouse-Einsatz Qlik erweitert Open Lakehouse um Streaming-Ingestion und Echtzeit-Transformation

Anbieter zum Thema

QlikTech GmbH

Disy Informationssysteme GmbH

INFOMOTION GmbH

QUNIS GmbH

Qlik stattet sein auf Apache Iceberg basierendes Open Lakehouse mit Funktionen für Streaming-Daten, automatisierte Transformationen und Zero-Copy-Mirroring aus. Unternehmen sollen damit Datenströme ohne Warehouse-Overhead in Echtzeit nutzbar machen – inklusive integrierter Governance.

Qlik stellt neue Funktionen für Qlik Open Lakehouse vor. Die Erweiterungen bringen Streaming-Ingestion und Echtzeit-Transformationen in das auf Apache Iceberg basierende Managed Lakehouse von Qlik. Daten aus Apache Kafka, Amazon Kinesis und Amazon S3 sollen sich nun ohne Zwischenschritte in Managed-Iceberg-Tabellen schreiben lassen. Transformationen – darunter Bereinigung, Filterung und Normalisierung – laufen unmittelbar beim Eintreffen des Datenstroms ab.

Parallel optimiert das System Iceberg-Tabellen kontinuierlich hinsichtlich Kompaktierung und Metadatenpflege. Qualitätssignale wie Herkunftsnachweise, Katalogeinträge und der Trust Score werden automatisch vergeben, sodass Datensätze unmittelbar von Analytics-, AI- und ML-Workloads verwendet werden können.

Auch beim Thema Interoperabilität legt Qlik nach: Neu sind Unterstützung für Snowflake Open Catalog sowie eine erweiterte Spark-Kompatibilität. Zusätzlich führt der Anbieter Zero-Copy-Mirroring zu Databricks und Amazon Redshift ein. Die bestehenden Spiegelmechanismen zu Snowflake bleiben erhalten. Damit zielt Qlik auf hybride Architekturen, die Lakehouse- und Warehouse-Engines parallel nutzen.

Die Neuerungen im Überblick:

• Direkte Aufnahme von Streaming-Daten: Daten aus Apache Kafka, Amazon Kinesis und Amazon S3 fließen ohne Belastung des Data Warehouse in Apache Iceberg.

• Echtzeit-Transformationen: Eingehende Datenströme werden sofort bereinigt, gefiltert, normalisiert und weiterverarbeitet.

• Automatische Optimierung: Iceberg-Tabellen werden für Kompaktierung und Metadatenpflege kontinuierlich optimiert.

• Umfassende Datenqualität und Governance: Herkunftsnachweise, Katalogdienste und der Qlik Trust Score sorgen für Transparenz und Sicherheit.

• Nahtlose Integration: Unterstützung für Snowflake Open Catalog und AWS Glue.

• Effiziente Spiegelung: Iceberg-Daten werden ohne zusätzliche Kopien nach Databricks und Amazon Redshift gespiegelt.

• Erweiterte Kompatibilität: Direkter Zugriff auf aktuelle Iceberg-Tabellen durch verbesserte Integration von Apache Spark.

Verwaltete Iceberg-Tabellen als Schaltzentrale

Das Open Lakehouse verwaltet Apache-Iceberg-Tabellen innerhalb der Kundenumgebung auf Amazon S3. Streaming-Pipelines schreiben Ereignisse direkt in dieses Backend und wenden Transformationen im Datenfluss an. Die Governance-Schicht in der Qlik Talend Cloud steuert Lineage, Katalogisierung und Qualitätsmetriken und hält Datenbestände konsistent.

Zero-Copy-Mirroring sorgt dafür, dass identische Iceberg-Datensätze in Snowflake, Databricks und Redshift vorliegen, ohne zusätzliche Kopien zu erzeugen. Für Unternehmen bedeutet das, dass Daten einmalig geschrieben und anschließend in verschiedenen Engines verarbeitet werden können – etwa mit Athena, Apache Spark, Trino, Presto oder SageMaker Studio.

Die neuen Funktionen sollen ab Q1 2026 für Qlik-Talend-Cloud-Kunden verfügbar sein. Integrationen wie Snowflake Open Catalog sowie das Zero-Copy-Mirroring für Databricks und Amazon Redshift folgen gestaffelt.

(ID:50651797)