Apache Spark Hadoop-Nachfolger gewinnt immer mehr Unterstützer

Anbieter zum Thema

Intel Deutschland GmbH

Disy Informationssysteme GmbH

Confluent Germany GmbH

Hortonworks

IBM Deutschland GmbH

mehr weniger

MapR Technologies GmbH

Cloudera

weniger

Apache Spark erfreut sich zunehmender Beliebtheit und Unterstützung im Bereich der Big-Data-Analysen und löst zunehmend Hadoop ab. Branchengrößen wie IBM und Intel vertreiben Spark und kooperieren mit dessen kommerziellem Anbieter DataBricks.

Der Grund für Sparks wachsende Beliebtheit hat mehrere Gründe. Mit Spark lassen sich zunächst einmal enorme Leistungssteigerungen erzielen – Experten sprechen von Faktor 100. Die In-Memory Computing Engine benötigt aber im Gegenzug erheblichen Rechenspeicher und einen Cluster als Datenspeicher. Spark kann entweder eigenständig oder in Hadoop-Clustern ausgeführt werden, die von YARN gesteuert werden.

Daten in Hadoop schneller analysieren

Big Data in neuen Dimensionen mit Apache Spark

Wesentlich folgenreicher ist die Flexibilität, mit der sich Spark für eine Vielzahl von Einsatzzwecken und Anwendungsgebieten nutzen lässt. Bei MapReduce muss ein Entwickler einer vorgeschriebenen Abfolge von Schritten folgen. Bei Spark kann „ein Entwickler in verschiedenen Sprachen für Spark entwickeln, nicht nur in SQL, sondern auch in Java, Scala, R oder Python“, berichtet Stephan Reimann, bei IBM ein Experte für Big Data. Das erlaube flexible Analysen und ein vielfältiges Arbeiten mit Spark.

Bildergalerie

Bildergalerie mit 7 Bildern

„Außerdem kann der Nutzer verschiedene Workloads mit fast dem gleichen Code verarbeiten lassen“, so Reimann weiter. „Sowohl für Batch- als auch Stream-Verarbeitung ist nur die jeweilige Datenquelle anzugeben.“ Der Grund für diese erstaunliche Vielseitigkeit liegt in der Lambda-Architektur. „Sie erlaubt die mehrschichtige, gleichzeitige Verarbeitung von historischen und aktuellen Echtzeit-Daten und entsprechende Auswertungen in nur einer interaktiven Analyse bzw. Abfrage“, so Reimann weiter.

Top-Level-Projekt der Apache Community

Während man also noch Hadoop-ähnliche Batch-Prozesse nutzen kann, lässt sich beispielsweise Apache Storm für das Verarbeiten von Datenströmen heranziehen, gleichzeitig und parallel (siehe Bildergalerie). Storm ist inzwischen zum Top-Level-Projekt der Apache Community erhoben worden.

Ein weiterer Grund für die wachsende Beliebtheit ist die Vielfalt an Abfragemöglichkeiten. „Die Analyse erfolgt nicht nur mit SQL, sondern auch mit Scala und Python“, weiß Reimann zu berichten. Verschiedene Bibliotheken lassen sich heranziehen, so etwa Spark MLlib für das Data Mining und GraphX für die Analyse von Graphen, etwa in sozialen Netzwerken. Das macht Spark zu einer Art Schweizer Offiziersmesser für Big-Data-Analysen.

Big Blue engagiert sich stark im Bereich Spark. „IBMs Bibliothek SystemML wird der Open Source Community zur Verfügung gestellt und soll in die Spark-Bibliothek MLlib integriert werden, berichtet Reimann. „Im Bereich maschinelles Lernen herrscht sehr viel Aktivität.“ Denn maschinelles Lernen wird für Data Mining benötigt: „Man muss Muster erkennen, um Vorhersagen machen zu können. Man kann Probleme und Fehler in der Produktion zwecks Qualitätssicherung erkennen und diesen entgegensteuern – oder für eine Recommendation Engine im E-Commerce.“

Spark-Technologiezentrum

IBM hat in San Francisco ein Technologiezentrum für Spark eröffnet. „Hier werden unter anderem Performance-Tests und Benchmarking für Spark SQL durchgeführt“, berichtet Reimann. Man wolle herausfinden, was man noch verbessern kann. Zu den Projekten, die in diesen Labors ausgetüftelt werden, gehört etwa auch die Twitter-Analyse auf Spark, die bislang mit Watson Services realisierbar war.

IBM liefert Spark als Teil seiner SQL-kompatiblen Hadoop-Distribution „BigInsights“ aus, stellt es aber auch als Cloud Service aus seiner Platform-as-a-Service BlueMix bereit. „IBM bettet Spark auch in eine Reihe seiner Produkte ein oder integriert es als Laufzeitumgebung“, so Reimann. „Mittlerweile ist es gut integriert mit SPSS, sodass der Nutzer seine eigenen Algorithmen direkt in Spark laufen lassen kann.“

Mit seiner neuen z/OS-Plattform für Apache Spark will IBM es Unternehmen und Behörden leichter machen, auf ihre Mainframe-Daten zuzugreifen und diese lokal ohne Offloads und mit Zeitersparnis zu analysieren. „Dadurch ergeben sich für Datenanalysten sowie Entwickler neue Möglichkeiten und sie können fortgeschrittene Analytik-Werkzeuge für den reichhaltigen Datenbestand auf dem Mainframe einsetzen und mehr Erkenntnisse in Echtzeit gewinnen“, so das Unternehmen Anfang April.

MapR

Auch MapR, ein wichtiger Hadoop-Distributor, setzt auf Spark. Unter Verwendung von Spark und der Cisco Unified Computing Architecture erzielt Quantium, ein australischer Datenanalyse-Dienstleister, eine Leistungssteigerung um den Faktor 12,5. Auch der MapR-Kunde Novartis nutzt die Kombination MapR und Spark für seine Forschung und der Telco-Dienstleister Razorsight startete eine Predictive-Analytics-Lösung mit Spark und MapR.

Auch bedeutende Hadoop-Distributoren wie Cloudera und Hortonworks unterstützen Spark. Laut eines Berichts des britischen Online-Magazins „The Register“ haben sich anno 2014 Cloudera, MapR, Databricks, Intel und IBM quasi „verschworen“, die Data-Warehouse-Infrastruktur Apache Hive auf Spark zu portieren.

Intel

Schon im Februar 2015 verkündete der Chipriese Intel seine Partnerschaft mit dem Unternehmen Databricks, das von den „Erfindern“ von Spark gegründet wurde, um ihr Produkt Databricks Cloud zu vertreiben. Intel, Databricks und AMPLabs, der Vorgänger von Databricks an der Uni Berkeley, wollen die Echtzeitanalyse-Fähigkeiten der Spark-Plattform für die Intel-Architektur verbessern.

Im Juni stellte Michael Green, Intels zuständiger Vice President, Streaming SQL for Apache Spark vor, also die SQL-basierte Spark-Komponente, die man für die Verarbeitung von Datenströmen nutzen kann. Diese Datenströme können aus dem Internet der Dinge oder aus sozialen Netzwerken kommen. Ihre Verarbeitung in Echtzeit verschaffe den sie nutzenden Firmen einen Wettbewerbsvorteil, so Green in seinem Blog.

Die von Intel unterstützte Weiterentwicklung Sparks hat im November 2015 zur Ankündigung zahlreicher Verbesserungen in Version 1.6 geführt. Deren Liste findet sich online und auch in den Release Notes. Unter anderem lässt sich für Apache Streaming eine höhere Leistung erzielen und der Speicher wird nun automatisch konfiguriert. Für Entwickler ist wichtig, dass die Dataset-Programmschnittstelle (API) geändert wurde.

Mit zwei mächtigen US-Konzernen im Hintergrund und einer regen Open Source Community, die die Plattform rasch weiterentwickelt, darf man für Apache Spark eine blühende Zukunft erwarten.

(ID:43997049)