Hortonworks und IBM HDP steht für schnelle IBM-Server und Spectrum Scale bereit

IBM und Hortonworks haben die Verfügbarkeit der Hortonworks Data Platform (HDP) für IBM Elastic Storage Server (ESS) und IBM Spectrum Scale angekündigt. „Dieses Agreement stellt das erste IBM-Storage-Angebot und die erste Software-defined Storage-Lösung, die für HortonWorks zertifiziert ist, dar“, sagte Ralf Colbus, Leading Storage Professional bei IBM Deutschland.

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

QUNIS GmbH

Confluent Germany GmbH

Hortonworks

IBM Deutschland GmbH

Die Hortonworks Data Platform ist die technisch reinste Open-Source-Distribution des Datenbank-Cluster-Frameworks Hadoop, unterstützt aber auch Apache Spark, den leistungsfähigeren Nachfolger von Hadoop. Mit der HDP lassen sich Data Lakes erstellen, in denen Massendaten in Rohform abgelegt werden können, um sie später auszuwerten. Dabei handelt es sich häufig um Petabyte an Daten, etwa Streaming-Daten aus dem Internet of Things oder aus Social Media.

Seit November 2016 gibt es eine IBM-Partnerschaft mit Hortonworks für die Plattform OpenPOWER. Seitdem ist HDP neben x86 auch auf der OpenPOWER-Technologie von IBM verfügbar. Diese will mit POWER8 und POWER8 plus NVlink eine leistungsfähigere Alternative zu Intels x86-Plattform anbieten. Der IBM Elastic Storage Server (ESS) und IBM Spectrum Scale bilden dafür die Speicher- und Compute-seitige Grundlage.

Während der ESS in seinen neun verschiedenen Ausbaustufen bis zu 6 x 60 8-Terabyte-Festplatten (ca. 2 Petabyte in den GL-Modellen) und bis 2 x 64 Flash-Memory-Karten mit jeweils acht Terabyte (ca. 360 Terabyte nutzbar in GF-Modellen) vereint, sorgt die Spectrum-Scale-Software für die Steuerung des Software-definierten Storages und für das Zusammenspiel der Analytics-Anwendungen auf den Intel-Servern oder den Power8-basierten Linux-Servern der LC- und L-Serien von IBM.

Höherer Datendurchsatz

Da bei der zeitnahen Analyse großer Datenmengen im Petabyte-Bereich die Performance von größter Bedeutung ist, könnten, so IBM, HDP-Nutzer von den Parallelisierungsmerkmalen der POWER-Plattform beim Compute und von Spectrum Scale im Storage-Bereich profitieren. Damit soll der Datendurchsatz des verteilten HDFS-Dateisystems, das Hadoop nutzt, überboten werden.

Zudem hat das Hadoop-Cluster-System das Handicap, dass es von jeder Datei multiple Kopien anlegt (teilweise bis zu acht) und durch die dezentrale Speicherung der Daten in den Servern extrem ineffizent ist. Durch IBM ESS werde laut Colbus ein zentrales, hocheffizientes Speichersystem eingesetzt, das auch bestehende Knoten einbeziehe und weniger Kopien benötige. Darüber hinaus werde durch Erasure Coding im IBM ESS die Verfügbarkeit und Auslastung deutlicher erhöht.

Snapshot-Technologie spart Kopiervorgänge auf einem Hadoop Cluster, und eine einheitliche Systemsicht von Spectrum Scale sorgt dafür, dass auch File- und Objektdaten ohne Konvertierung oder Kopierprozesse genutzt werden können. Außerdem lasse sich mit IBM ESS eine Kombination aus On-premise-Storage und Cloud-Storage realisieren, was zu einer höheren Skalierbarkeit und geringeren Betriebskosten führe.

„Wir unterstützen jetzt neben Hadoop und Spark auch Hortonworks und haben damit die Platform für Data Lakes bzw. Data Oceans“, sagte Ralf Colbus. Auf Basis der Vereinbarung zwischen IBM und Hortonworks soll HDP auf POWER mit IBM Spectrum Scale bis Ende April und HDP auf x86 mit IBM Spectrum Scale bis Ende Mai zertifiziert werden. Damit hat IBMs Server-Technologie vier Wochen Vorsprung vor Intel.

Die Kundensicht

Durch dieses neue Agreement sollen IBM-Kunden ihre aktuellen und zukünftigen Investitionen in IBM Storage nutzen können, um Hadoop-basierte Big-Data-Anwendungen zu installieren. Darüber hinaus soll diese Vereinbarung Hortonworks' HDP-Kunden für ihre Hadoop- und Spark-Workloads eine Enterprise-Class-Speicher-Alternative mit IBM Spectrum Scale anbieten.

Aus der Sicht von IBM-Kunden wiederum bietet die Unterstützung einer führenden Hadoop-Distribution (HDP) auf bewährter IBM-Technologie ein hohes Maß an Zukunftssicherheit und vor allem jenes Maß an Service und Support, das sie von IBM-Seite gewohnt sind. Zudem sind sie nicht mehr nur auf Hadoop-Analysen mit IBM Big Insights angewiesen, sondern können mit Hortonworks HDP eine ebenso leistungsfähige, aber möglicherweise preisgünstigere Plattform für Analysen auf Hadoop und Spark nutzen.

Das setzt voraus, dass sie nicht auf weitreichende SQL-Unterstützung durch das IBM-Tool Big SQL angewiesen sind, sondern auf Apache Spark das von IBM weiterentwickelte Modul SparkSQL nutzen können (siehe dazu das Interview mit Vijay Bommireddipalli, dem Leiter des Spark-Technologiezentrums von IBM).

„Unsere Kunden betrachten Big Data Analytics mit Vorrang, denn sie verstehen, dass es unabdingbar ist, dass sie Einblick in ihre Datenbestände erlangen, um ihre Wettbewerbsfähigkeit zu verbessern“, sagt Heena Raval, leitender Solutions Architect bei Sycomp Information and Technology Solutions. „Sie arbeiten mit Sycomp zusammen, weil wir über Fachwissen im Bereich der Implementierung von Hochleistungslösungen mit IBM Spectrum Scale verfügen, mit denen sich heutzutage die datenintensiven Workloads handhaben lassen.“ Die Zertifizierung von Hortonworks HDP werde Sycomp helfen, solche Installationen zu beschleunigen. Zugleich sorge sie dafür, dass IBM Spectrum Scale eine führende Technologie für das Management der Daten-Workloads von morgen bleibt.

(ID:44550586)