Apache Spark für IBM z Systems Schnellere und einfachere Analysen für Mainframe-Daten

Mit der „z/OS-Plattform für Apache Spark“ will IBM Unternehmen und Behörden erleichtern, auf ihre Mainframe-Daten zuzugreifen und diese lokal, ohne Offloads zu analysieren - und das auch noch mit Zeitersparnis.

Anbieter zum Thema

Disy Informationssysteme GmbH

Confluent Germany GmbH

Fivetran Germany GmbH

IBM Deutschland GmbH

Insgesamt sollen sich durch die z/OS-Plattform für Apache Spark für Datenanalysten sowie Entwickler neue Möglichkeiten ergeben; denn sie können die modernen Open-Source-Analysewerkzeuge für den reichhaltigen Datenbestand auf dem Mainframe einsetzen und dadurch mehr Erkenntnisse in Echtzeit gewinnen. Die Plattform ermöglicht es Spark, einem Open-Source-Analytik-Framework, nativ auf dem z/OS-Betriebssystem laufen zu lassen.

Somit können Experten Daten dort analysieren, wo sie entstehen. Indem die Verbindung zwischen der Analytik-Library und dem zugrundeliegenden Dateisystem entfällt, müssen Daten nicht mehr extrahiert, umgewandelt und geladen werden wie beim bekannten ETL-Verfahren (ETL = Extract, Transform, Load).

Im „kognitiven Zeitalter“, in dem Daten die neue natürliche Ressource darstellen und Computersysteme verstehen, bewerten und lernen können, müssten sich Unternehmen auf veränderte Entwicklungen einstellen und Erkenntnisse aus Informationen zunutze machen, bevor diese irrelevant werden, so IBM. Mit dem neuen Angebot, das auch Akzeleratoren von z-Systems-Geschäftspartnern umfasst, können sich Organisationen Mainframe-Daten und -Ressourcen noch einfacher zunutze machen. Dadurch sind sie imstande, Marktveränderungen als auch individualisierte Kundenbedürfnisse besser zu verstehen und Anpassungen ihrer Marktaktivitäten in Echtzeit sowie mit kürzerer Amortisierungszeit vorzunehmen.

Ein Sprung in die digitale Zukunft

Viele der weltweit größten Banken, Versicherungen sowie Einzelhandels- und Transportunternehmen aber auch Behörden wollen nicht auf Großrechner verzichten. Denn z Systems verarbeiten unternehmenswichtige Daten und Transaktionen und verfügen über die derzeit schnellsten kommerziellen Mikroprozessoren der Branche und die Fähigkeit, Analytik während Transaktionen durchzuführen. Dabei werden Vorhersagemodelle binnen einer Transaktion in zwei Millisekunden oder weniger mit einbezogen.

Diese Organisationen können nun durch Spark diese Ressourcen unter Verwendung von In-Memory-Analytik wirksam einsetzen, ohne Daten vom Großrechner herunterladen zu müssen. Damit sparen sie Zeit und Geld und Risiken werden begrenzt.

Rod Smith, IBM Fellow, Emerging Internet Technologies, erläutert: „Da sich Unternehmen jeder Größe in digitale Organisationen verwandeln, müssen sie sich ein klares Bild von allen vorhandenen Geschäftsdaten machen können. Der Zeitverlust und die Risiken von Data-Offloads können dabei nicht in Kauf genommen werden.“Apache Spark, das jetzt originär auf IBM Plattformen inklusive dem Mainframe betriebsbereit ist, ermögliche Kunden die Durchführung von Analysen bei den Transaktionssystemen, die die wichtigen Daten beherbergen. Gleichzeitig ließen sich kontextbezogene Erkenntnisse von anderen Datenquellen einbinden.

Die IBM z/OS-Plattform für Apache Spark umfasst Open-Source-Ressourcen von Spark, die aus dem „Apache Spark Core“, „Spark SQL“, „Spark Streaming“, der „Machine Learning Library“ (MLlib) und „Graphx“ bestehen, kombiniert mit der branchenweit einzigen Mainframe-basierten Datenabstraktionslösung von Spark. Laut IBM ergebn sich folgende Vorteile:

Optimierte Entwicklung – Entwickler und Datenanalysten können ihr vorhandenes Know-how mit Programmiersprachen wie Scala, Python, R und SQL einsetzen. Dadurch lässt sich die aufzuwendende Zeit für umsetzbare Erkenntnisse reduzieren.

Vereinfachter Datenzugriff – Optimierte Dienste zur Datenabstraktion beheben Komplexität, indem sie mit vertrauten Werkzeugen über Apache Spark-APIs einen nahtlosen Zugriff auf Unternehmensdaten in traditionellen Formaten wie „IMS“, „VSAM“, „DB2 z/OS“, „PDSE“ oder „SMF“ bieten.

In-Place-Datenanalyse – Apache Spark verwendet einen In-Memory-Ansatz zur Verarbeitung von Daten, um schnell Ergebnisse zu erzielen. Die Plattform umfasst Dienste zur Datenabstraktion und -integration, die z/OS-Analytics-Anwendungen zur Nutzung von Standard-Spark-APIs befähigen. Dadurch können Organisationen Daten „vor Ort“ analysieren und mit Offload/ETL verbundene, teure Verarbeitungs- sowie Sicherheitsüberlegungen vermeiden.

Open-Source-Ressourcen – Die Plattform bietet eine Apache Spark-Distribution der Open-Source-In-Memory-Processing-Engines, die für große Datenmengen ausgelegt ist.

Unternehmenspartnerschaften

Um das eigene Angebot zu erweitern arbeitet IBM mit Partnern zusammen: Datafact Z, Rocket-Software und Zementis:

• Datafact Z ist ein neuer IBM-Partner und entwickelt gemeinsam mit dem Unternehmen Spark-Analytik auf der Basis von Spark-SQL und MLlib für Daten und Transaktionen, die auf dem Großrechner verarbeitet werden.

• Rocket-Software und IBM verbindet bereits eine langjährige Zusammenarbeit, die sich nun um z/OS Apache Spark erweitert. Zum Beispiel wird die neue Launchpad-Lösung von Rocket Kunden ermöglichen, die Plattform auszuprobieren und Daten auf z/OS zu verwenden.

• Zementis ergänzt sein Angebot von In-Transaktion-Predictive-Analytik für z/OS mit einer standardbasierten Execution-Engine für Apache Spark. Die Software ermöglicht Nutzern, Vorhersagemodelle anzuwenden und auszuführen. Diese Modelle können sie darin unterstützen, die Bedürfnisse von Endnutzern zu antizipieren, Risiken zu kalkulieren oder Betrugsversuche am Punkt der größten Auswirkungen in Echtzeit zu erfassen, während eine Transaktion verarbeitet wird.

Das IBM-Bekenntnis

Das IBM-Commitment zu Spark stammt aus dem vergangenen Jahr. Dazu gehört, dass mehr als 3.500 Forscher und Entwickler von IBM an zugehörigen Projekten arbeiten. Im Rahmen des Commitments, Open-Source-Technologien für Analytik auf dem Mainframe voranzubringen, hat der Geschäftsbereich z Systems eine neue GitHub-Organisation für Entwickler gegründet, um gemeinsam Tools rund um z/OS auf Spark zu bauen. Zum Beispiel kann eine Kombination aus dem „Projekt Jupyter“ und einer NoSQL-Datenbank eine flexible sowie erweiterbare Datenverarbeitungs- und Analyse-Lösung ermöglichen.

Dieser Ansatz kann helfen, moderne Open-Source-Tools zugänglicher zu machen, indem Entwickler ihre Werkzeuge als auch Sprachen selbst wählen können, neue visuelle Hilfsmittel zur Beobachtung von Analytik-Ergebnissen über unterschiedliche Datenumgebungen hinweg zur Verfügung gestellt werden und damit moderne Datenverarbeitungstechniken sowie -fähigkeiten möglich werden.

Download

Die IBM z/OS-Plattform für Apache Spark steht Entwicklern, die mit z/OS arbeiten, jetzt zum Download bereit.

(ID:43974988)