Das MapR-Technologies-Update

Anbieter zum Thema

QUNIS GmbH

Confluent Germany GmbH

Fivetran Germany GmbH

MapR Technologies GmbH

Neue technische Projekte

So integrierte MapR in seine Distribution bereits explizit YARN sowie den Apache Spark-Stack. Während YARN der Ressourcenverwaltung dient, sorgt das In-Memory-Framework Spark dafür, dass Programme im Speicher erheblich schneller laufen. Es vereinfacht zudem das Schreiben von Anwendungen und ermöglicht Echtzeitdatenanalysen:

• Leistung: Die von dem In-Memory-Framework Spark genutzte Pipelining-Technik sorgt für eine durchgängig bessere Anwendungsleistung. Bei vielen Applikationen spiegelt sich dies in einer fünf- bis hundertfachen höheren Performance wider.

• Entwicklerproduktivität: Spark-Jobs lassen sich mit weniger als einem Fünftel der Anzahl an Codezeilen umsetzen. Eine einfache Programmierungsabstraktion ermöglicht Entwicklern Anwendungen zu erstellen, die verteilte Kollektionen von Datensätzen (Resilient Distributed Datasets oder RDDs) in späteren Operationen wiederverwenden. Darüber hinaus können sie die Anwendungen in mehreren Programmiersprachen einschließlich Java, Scala und Python schreiben und denselben Code mehrfach nutzen, zum Beispiel für die Batch-Verarbeitung, interaktive Datenabfragen oder das Stream-Processing.

Dazu Matt Aslett, Forschungsleiter Datenplattformen und Analytic-Lösungen von 451 Research: „Aufgrund der Kombination einer leistungsstarken In-Memory-Datenanalysetechnik mit verschiedenen Rechenmodellen steht inzwischen außer Frage, dass die Datenverarbeitungsplattformen der nächsten Generation zweifelsohne auf Apache Spark basieren werden.“

Tatsächlich setzen Unternehmen Spark bereits heute produktiv in ihren MapR-Umgebungen ein. So können dabei unter anderem davon profitieren, auf betriebliche Daten über die standardmäßig integrierte NFS-Schnittstelle direkt und in Echtzeit zuzugreifen.

In-Memory in Hadoop

Die Spark-Integration den kompletten Spark-Technologie-Stack fußt unter anderem auf einer Zusammenarbeit mit Databricks. Diese ermöglicht es MapR Technologies zum Beispiel, seinen Kunden eine Rundum-die-Uhr-Unterstützung (24 x 7) für Spark anzubieten, die Lösung und damit verbundene Projekte in schnellerem Tempo weiterzuentwickeln sowie weitere innovative Neuerungen zu integrieren.

Außerdem arbeiten die beiden Unternehmen gemeinsam an einer schnellen Weiterentwicklung der Software und weiteren ergänzenden innovativen Neuerungen. Dies soll sich für MapR-Kunden und die Hadoop-Community auch über die kommenden Jahre hinweg auszahlen.

„Dank der Integration des kompletten Spark-Stacks in die MapR-Distribution und die Partnerschaft des Herstellers mit Databricks können Hadoop-Nutzer nun leistungsstarke und flexibel einsetzbare Anwendungen auf Spark-Basis entwickeln“, so Analyst Aslett.

(ID:42865610)