Mobile-Menu

Neues Release Apache Spark 4.2 bringt Semantic Layer und CDC in die Engine

Von Berk Kutsal 2 min Lesedauer

Anbieter zum Thema

Databricks Inc.
QUNIS GmbH
BigData-Insider
Fivetran Germany GmbH

Die Apache Software Foundation hat Spark 4.2.0 freigegeben. Das Release verlagert Aufgaben in die Engine, die bisher vorgelagerte Werkzeuge übernommen haben: eine semantische Schicht für Geschäftskennzahlen, Vektorfunktionen für Ähnlichkeitssuchen und Change Data Capture als First-Class-Funktion.

Fünf Preview-Releases zwischen Januar und Mai 2026 gingen der Freigabe von Apache Spark 4.2.0 voraus. Die Version steht auch in Databricks Runtime 19 Beta bereit.(Bild: Apache)
Fünf Preview-Releases zwischen Januar und Mai 2026 gingen der Freigabe von Apache Spark 4.2.0 voraus. Die Version steht auch in Databricks Runtime 19 Beta bereit.
(Bild: Apache)

Apache Spark 4.2.0 ist als stabile Version verfügbar. Vorausgegangen waren fünf Preview-Releases seit Januar 2026. Databricks hat die Neuerungen zusammengefasst und angekündigt, Spark 4.2 in die Databricks Runtime 19 Beta aufzunehmen. Nach Angaben von Databricks flossen mehr als 1.900 Commits von über 260 Beteiligten in das Release.

Metrik-Definitionen wandern in Spark SQL

Die auffälligste Neuerung sind Metric Views. Sie bringen eine native semantische Schicht in Spark SQL: Dimensionen und Kennzahlen werden zu Objekten, die die Engine kennt und deren Aggregationssemantik sie bewahrt. Das Argument dafür liefert Databricks selbst mit: Kennzahlen wie Verhältniszahlen, Distinct Counts oder Retention seien nicht additiv und würden falsche Ergebnisse liefern, wenn jeder Konsument die Formel auf eigener Granularität nachbaut. Für Anwender heißt das, dass Dashboards, Anwendungen und KI-Agenten dieselbe Definition verwenden. Für den Markt hieße es, dass Spark eine Schicht besetzt, die bislang spezialisierte Werkzeuge und BI-Suiten für sich reklamieren.

Vektorsuche, Geodaten und Change Data Capture

Spark SQL erhält Funktionen für Vektordistanz und -ähnlichkeit sowie NEAREST BY, einen Top-K-Ranking-Join für distanzbasierte Treffer. Dazu kommen native Datentypen GEOMETRY und GEOGRAPHY samt ST_*-Funktionen, die räumliche Analysen ohne externe Erweiterungen ermöglichen. Weitere Ergänzungen sind QUALIFY, time_bucket, Tuple Sketches und SQL-Cursor.

Bei den Pipelines führt Spark 4.2 Auto CDC ein. Slowly Changing Dimensions vom Typ 1 lassen sich damit deklarativ konfigurieren, statt Merge-Logik von Hand zu schreiben, die Löschungen und verspätete Änderungsereignisse behandeln muss. Parallel bekommt Data Source V2 eine standardisierte CDC-Schnittstelle mit neuer SQL-Klausel CHANGES.

Real-Time Mode bleibt eine Baustelle

Der Real-Time Mode in Structured Streaming ist nun aus PySpark heraus nutzbar, allerdings nur für zustandslose Abfragen ohne Python-UDFs. Zustandsbehaftete Verarbeitung ist laut Databricks erst für ein kommendes 4.x-Release vorgesehen und wird unter SPARK-54699 verfolgt. Wer Real-Time Mode produktiv einsetzen will, braucht bis dahin weiterhin die JVM-Seite.

Der vollständige Funktionsumfang steht in den Release Notes. Spark 4.2 setzt Java 17, 21 oder 25 sowie Scala 2.13 und Python ab 3.10 voraus.

(ID:50901292)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte