Auf Basis von Photon Azure Databricks erhält Preview der Delta Engine
Ab sofort ist das Preview der Delta Engine Teil von Microsoft Azure Databricks. Der Analytics- und KI-Dienst basiert auf der Query Engine Photon, die ihrerseits vollständig kompatibel zu den APIs von Apache Spark ist.
Anbieter zum Thema

Bei der Analyse großer Datenmengen und -typen hat sich die CPU-Geschwindigkeit als Flaschenhals erwiesen. Im Gegensatz zu der um das Zehnfache gestiegenen Speicher- und Netzwerkleistung gab es bei den Prozessoren nur geringe Verbesserungen.
Azure Databricks will hierbei durch Integration der Photon-basierten Delta Engine Abhilfe schaffen. Bei Photon handelt es sich um eine vektorisierte Abfrage-Engine, die moderne CPU-Architekturen im Zusammenspiel mit Delta Lake optimal ausnutzt. Laut Microsoft erhöht die in C++ geschriebene Engine die Leistung von Apache Spark 3.0 um das bis zu 20-Fache.
Performance optimieren
Photon optimiert die Textverarbeitung und reguläre Ausdrücke, um hohe Daten- und Anwendungsperformance zu ermöglichen. Die Engine ist vollständig zu Spark-APIs kompatibel. Dadurch lassen sich Workloads nahtlos und ohne Code-Änderungen ausführen.
Microsoft hat nach eigenen Angaben ein 30-Terabyte-TPC-DS-Benchmark durchgeführt, um die Verarbeitungsgeschwindigkeit zu messen. Demnach arbeitet die mit Photon betriebene Delta Engine 20-mal so schnell wie Spark 2.4.
Weitere Informationen sind in einem Blog-Eintrag zu finden.
(ID:46915336)