Kommentar von Stefan Müller, IT-Novum Schnellere Datenprojekte mit Apache Hop

Anbieter zum Thema

it-novum GmbH

QUNIS GmbH

Confluent Germany GmbH

Fivetran Germany GmbH

Lange Zeit standen sie im Schatten der Data Scientists, obwohl ohne sie die Datenwissenschaftler nur eingeschränkt arbeiten könnten: Data Engineers sorgen dafür, dass Daten-Pipelines aufgesetzt und Data Scientists ihre Analysen durchführen können. Ein neues Projekt erleichtert den Dateningenieuren seit Kurzem das Leben: Apache Hop ist eine Low-Code-Plattform, die eine vollständige Suite für Data Engineering und Data Orchestration darstellt.

Apache Hop ist eine viel versprechende Kombination aus einer grafischen Entwicklungsumgebung mit vielen ausgefeilten Funktionen und einem Bes-Practices-Katalog. Ziel des Projektes es, dem Data Engineer den Berufsalltag so weit wie möglich zu vereinfachen, das heißt, das Umsetzen von Datenprojekten.

Tatsächlich müssen Hop-Anwender keine Hardcore-Entwickler sein, die selbst die Daten-Pipelines coden. Die intuitiv zu bedienende Entwicklungsplattform und die Best Practices sorgen dafür, dass Datenanwendungen in hoher Qualität und Entwicklungsgeschwindigkeit und mit einer steilen Lernkurve entwickelt werden können.

Das Projekt der Apache Software Foundation umfasst zahlreiche Best Practices, wichtige Funktionen wie die Auswahl unterschiedlicher Runtime-Umgebungen (neben der nativen Hop-Engine stehen noch Apache Spark, Flink, Beam und Google Data Flow zur Verfügung), eine integrierte Versionskontrolle und vielfältige Testmöglichkeiten.

Zu den Best Practices zählen unter anderem eine Bibliothek mit Integrationstests und Templates für die Pipelines für Metadateninjektionen. Damit können Data Engineers sofort mit ihrem Projekt loslegen. Da die Injektion während der Laufzeit erfolgt, wird der händische Entwicklungsbedarf deutlich gesenkt, sodass der Pipeline-Code schlank und überschaubar bleibt. Die neben der Client- zur Verfügung stehende Weboberfläche sowie die Möglichkeit, Hop in einer Docker- und Kubernetes-Umgebung zu deployen und zu betreiben, runden das Bild ab.

Der Anspruch von Hop ist hoch, die Entwickler scheinen ihn aber mit Version 1 des Projekts bereits erfüllt zu haben. Etwas anderes wäre aber auch überraschend gewesen, denn hinter dem Projekt stehen einige der besten Entwickler aus der Datenwelt. Ihre geballte Erfahrung aus über zwei Jahrzehnten Erfahrung mit der Entwicklung und dem Betrieb von Datenprojekten ist sichtbar in Apache Hop geflossen.

Ein Blick auf die Roadmap zeigt, dass in den nächsten Monaten wichtige Meilensteine geplant sind: die Integration eines Software-Marktplatzes für Drittparteien-Plug-ins, die Einbindung in Apache Airflow (sowohl in Airflow als auch als neues Workflow Engine-Plug-in) und die Entwicklung einer neuen GUI für die Ausführung, Vorschau und das Debugging von Pipelines und Workflows bei Streaming-Arbeitspaketen.

Apache Hop ist damit eine interessante Option aus der Open-Source-Welt für anspruchsvolle Datenprojekte und wird zweifellos die Arbeitswelt des Data Engineering bereichern. Der visuelle Entwicklungsansatz macht Daten und deren Verarbeitung leichter zugänglich, während die Best Practices Entwicklungsprojekte deutlich beschleunigen. Geschwindigkeit ist ein wichtiger Faktor in einer schnellen Welt mit immer neuen und größeren Daten. Apache Hop stellt dafür eine innovative und leistungsfähige Plattform bereit.

(ID:47812209)