Suchen

Tez statt Hadoop Cascading-Framework in Version 3.0 erschienen

| Autor / Redakteur: Dipl. -Ing. Thomas Drilling / Nico Litzel

Die Cascading-Entwickler haben Version 3.0 des quelloffenen Java Application Frameworks zum Erstellen von Hadoop-Anwendungen für die Cloud veröffentlicht. Das jüngste Release unterstützt jetzt optional auch Apache Tez statt Hadoop MapReduce.

Firmen zum Thema

Cascading 3.0 untersützt jetzt Apache Tez
Cascading 3.0 untersützt jetzt Apache Tez
(Bild: Cascading)

Das ursprünglich vom Unternehmen Concurrent entwickelte und heute maßgeblich von diesem finanzierte Open Source Java Application Framework erlaubt es, Apache-Hadoop-Anwendungen für die Cloud zu bauen. Das Framework und richtet sich in erster Linie an Entwickler und Hadoop-Administratoren, die skalierbare Big-Data-Anwendungen erstellen wollen.

Seit der Version 2.0 aus dem Jahr 2012 lassen sich Programme sehr einfach in Java, Scale, Clojure oder JRuby schreiben. Der Quellcode von Cascading ist auf GitHub gehostet; Cascading steht unter der Apache-Lizenz.

Die wichtigsten Neuerungen

Die wohl interessanteste Neuerung der Hauptversion 3.0 von Cascading besteht darin, dass Entwickler jetzt optional auch Apache Tez anstelle von Hadoop MapReduce verwenden können, was signifikante Performance-Vorteile bringt.

Hauptanlass für das Milestone Release war aber nach Aussage der Entwickler die Fertigstellung des überarbeiteten Query-Planers. Dieser soll sich jetzt schneller nutzen lassen und ermöglicht der Gemeinschaft, Cascading in andere Compute Fabrics zu integrieren. Der überarbeitete Planer bringt zudem grundlegende Geschwindigkeitsverbesserungen mit sich, etwa bei der Ausführungszeit auf Basis von MapReduce.

Zudem haben Entwickler nun die Möglichkeit, Tez- oder MapReduce-Jobs für ihre Anforderungen zu optimieren. Ferner haben die Macher veraltete Methoden entfernt, sodass eine Reihe von API-Änderungen nicht abwärtskompatibel sind.

(ID:43472507)

Über den Autor

Dipl. -Ing. Thomas Drilling

Dipl. -Ing. Thomas Drilling

IT-Consultant, Trainer, Freier Journalist