Suchen

Einfachere Spark-Nutzung Microsoft und Cloudera treiben Livy voran

Autor / Redakteur: Martin Hensel / Nico Litzel

Um Anwendungsentwicklern die Arbeit mit Spark zu erleichtern, arbeiten Microsoft und Cloudera eng zusammen. Gemeinsam mit weiteren Partnern wurde der Apache-lizenzierte und REST-basierte Open-Source-Service „Livy“ entwickelt.

Firmen zum Thema

Livy soll den Einsatz von Spark einfacher gestalten.
Livy soll den Einsatz von Spark einfacher gestalten.
(Bild: The Apache Software Foundation)

Livy bietet eine einfache Schnittstelle von Applikationen zu Spark, übermittelt Jobs und ruft programmatisch Resultate ab. Der Dienst basiert im Wesentlichen auf einem REST-Server für die Übermittlung, den Betrieb und die Verwaltung von Spark-Jobs und -Kontexten. Die Auftragserteilung in Spark sowie das synchrone und asynchrone Abrufen von Ergebnissen übernimmt das Client-API. Livy macht aus Spark einen mandantenfähigen Service mit isolierten Sitzungen, Sicherheitsmaßnahmen und Nutzeridentitäten.

Vorzüge von Livy

Der Open Source Service reduziert Reibungsverluste beim Spark-Einsatz, da Clients nicht erst einen Installations- oder Konfigurationsprozess durchlaufen müssen. Zudem reicht ein kompakter Client zur Kommunikation mit einem http-Endpunkt. Die Einbindung von Spark in Drittanwendungen sowie in serviceorientierte oder Microservice-basierte Architekturen wird vereinfacht. REST-basierte Client-APIs in Java, Scala oder Python machen die Spark-Integration unkomplizierter. Livy lässt sich mit wenig Aufwand auch in Node.js- oder Go-basierten Applikationen einsetzen.

„Livy öffnet Spark für neue Anwendungsfälle und wir hoffen, dass es eine Entwickler-Community anzieht, die nicht nur Anwendungen auf Livy aufbaut, sondern auch zum Entwicklungsprozess beiträgt und dabei hilft, die API und die Funktionalität zu verbessern. Das Projekt ist immer noch im Entstehen, daher hat jeder Beitrag enorme Auswirkungen“, erklärt Anand Iyer, Senior Product Manager von Cloudera.

(ID:44123194)