Definition

Was ist Spark?

| Autor / Redakteur: tutanch / Nico Litzel

(© aga7ta - Fotolia)

Bei Apache Spark handelt es sich um ein Framework, das unter Open-Source-Lizenz öffentlich verfügbar ist. Es ist ein Top Level Project der Apache Software Foundation und entstand ursprünglich aus einem Forschungsprojekt an der University of California in Berkeley.

Spark ermöglicht es, Datenabfragen auf große Datenmengen aus unterschiedlichen Quellen in hoher Geschwindigkeit und guter Performance auszuführen. Hierfür nutzt das Framework eine verteilte Architektur und Cluster Computing. Viele große Unternehmen unterstützen die Apache Software Foundation und treiben die Entwicklung von Spark weiter voran.

Die Architektur und die verschiedenen Komponenten von Apache Spark

Die Architektur von Spark besteht aus folgenden Einzelkomponenten, die jeweils für spezifische Aufgaben im Gesamtverbund verantwortlich sind:

  • Spark Core
  • Spark SQL
  • Spark Streaming
  • MLlib Machine Learning Library
  • GraphX

Der Spark-Core stellt die Basis des kompletten Systems dar. Er sorgt für die Bereitstellung grundlegender Funktionalitäten, die Verteilung von Aufgaben sowie für das Scheduling und die Steuerung der Ein- und Ausgabeprozesse. Die Datenstruktur im Spark Core basiert auf sogenannten RDDs (Resilient Distributed Datasets). Es handelt sich dabei um eine bestimmte Art von Datenbeständen, die sich über mehrere Rechner verteilen lassen. RDDs stammen entweder aus externen Datenquellen oder entstehen aus internen Datenverarbeitungs- und Filterfunktionen.

Mithilfe von Spark SQL wird es möglich, RDDs so zu wandeln, dass sich SQL-Anfragen ausführen lassen. Hierfür erzeugt Spark SQL aus den RDDs Data Frames als temporäre Tabellen.

Die Aufgabe von Spark Streaming besteht darin, kontinuierliche Datenströme zu verarbeiten. Hierfür entstehen aus den Datenströmen einzelne Pakete, auf denen Datenaktionen ausführbar werden.

Die MLlib Machine Learning Library macht Funktionen im Apache Spark Framework verfügbar, mit denen sich die für das Machine Learning benötigten Algorithmen bedienen lassen. Das verteilte Framework zur Berechnung von Graphen stellt die GraphX-Komponente zur Verfügung.

Die Besonderheiten von Spark

Da Spark darauf ausgelegt ist, die Daten dynamisch im Arbeitsspeicher des Server-Clusters vorzuhalten und direkt dort zu verarbeiten, arbeitet das Framework besonders schnell. In Kombination mit der Parallelisierung von Arbeitsschritten erreicht Apache Spark gegenüber Systemen, deren Datenvorhaltung auf Festplatten oder SSD-Speicher basieren, eine exzellente Performance. Mit Spark können Daten im Tera- und Petabereich analysiert werden. Hierfür unterstützt das System große Cluster bestehend aus einer Vielzahl virtueller oder physischer Server. Durch Skalierung der Spark-Cluster kann die Leistungsfähigkeit fast beliebig erweitert werden.

Eine weitere Stärke des Apache Spark Frameworks ist die Bereitstellung eines äußerst leistungsfähigen Frameworks für das Maschine Learning. Dank der Möglichkeit, große Datenmengen schnell und parallelisiert zu verarbeiten und viele iterative Schleifen binnen kürzester Zeit durchzuführen, werden aufwendige Algorithmen für maschinenbasiertes Lernen optimal unterstützt.

Mögliche Anwendungsbereiche des Frameworks

Apache Spark bietet sich aufgrund seiner Schnelligkeit und der Vielfalt an Möglichkeiten, große Datenmengen aus den unterschiedlichsten Quellen zu verarbeiten, für zahlreiche Anwendungen im Big-Data-Umfeld an. Mittlerweile ist Apache Spark eine etablierte Big-Data-Technologie und wird von vielen großen Unternehmen eingesetzt. Wichtige Anwendungsbereiche von Apache Spark sind:

  • Integration und Zusammenführung von Daten aus verschiedenen Quellen und Systemen,
  • interaktive Analysen von großen Datenmengen,
  • Analyse von Datenströmen in Echtzeit sowie
  • maschinelles Lernen.

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Aktuelle Beiträge zu diesem Thema

Leitfaden für Führungskräfte zu KI und maschinellem Lernen

Interview mit Prof. Dr. Thomas Hofmann

Leitfaden für Führungskräfte zu KI und maschinellem Lernen

Prof. Dr. Thomas Hofmann ist Experte auf dem Gebiet der Künstlichen Intelligenz mit Stationen in der Wissenschaft (ETH Zürich), multinationalen Unternehmen (ehemaliger Direktor bei Google) und Start-ups (CTO von 1plusX, Mitbegründer Recommind). Im Interview teilt er seine Gedanken darüber, wie ein Unternehmen aufgestellt sein sollte, um die Chancen auf einen ROI für seine KI-Initiativen zu erhöhen. lesen

Tibco startet Data Virtualization 8

Über AWS erhältlich

Tibco startet Data Virtualization 8

Im Rahmen der AWS re:Invent 2018 hat Tibco die allgemeine Verfügbarkeit von Data Virtualization 8 bekanntgegeben. Die neue Software soll störende Datenengpässe beseitigen und nutzt dazu eine agile, ultraschnelle virtualisierte Datenschicht. lesen

Optimale Clusteranalyse und Segmentierung mit dem k-Means-Algorithmus

Grundlagen Statistik & Algorithmen, Teil 5

Optimale Clusteranalyse und Segmentierung mit dem k-Means-Algorithmus

Der k-Means-Algorithmus ist ein Rechenverfahren, das sich für die Gruppierung von Objekten, die sogenannte Clusteranalyse, einsetzen lässt. Dank der effizienten Berechnung der Clusterzentren und dem geringen Speicherbedarf eignet sich der Algorithmus sehr gut für die Analyse großer Datenmengen, wie sie im Big-Data-Umfeld üblich sind, so etwa in der Bildverarbeitung und in der Kundensegmentierung. lesen

Algorithmen-Marktplätze zur Auswertung von Big Data

Datenanalyse-as-a-Service

Algorithmen-Marktplätze zur Auswertung von Big Data

Wer aus Big Data konkret umsetzbare Erkenntnisse gewinnen möchte, kommt um leistungsstarke Algorithmen nicht umhin. Auf einschlägigen AaaS-Marktplätzen – kurz für Algorithmen as a Service – werden Unternehmen schnell fündig. lesen

Die wichtigsten Big-Data-Technologien

Überblick

Die wichtigsten Big-Data-Technologien

Big-Data-Anwendungen basieren nicht auf einer einzigen Technologie, sondern sind im Grunde ein Zusammenspiel verschiedener Innovationen. Dafür reichen jedoch herkömmliche Technologien wie zum Beispiel klassische Datenbanken, Data Warehouse- oder Reporting-Lösungen bei weitem nicht aus. lesen

Alexa spricht Splunk

Nachbericht Splunk .conf 2018

Alexa spricht Splunk

Splunk, ein Spezialist für die Analyse von Maschinendaten, adressiert eine breitere Nutzerschicht, nämlich die Mitarbeiter in den Fachbereichen. Zahlreiche neue Funktionen, wie etwa mobile Apps und Sprachausgabe, sollen ihnen das Leben erleichtern. Neben zahlreichen Neuerungen in den Kernprodukten stellte Splunk seine eigene IIoT-Plattform für Industrie 4.0 vor. lesen

Microsoft vereinfacht Entwicklung digitaler Zwillinge

Sichere IoT- und Edge-Lösungen

Microsoft vereinfacht Entwicklung digitaler Zwillinge

Im Rahmen der Ignite 2018 hat Microsoft in Orlando/Florida gezeigt, wie Unternehmen mit Künstlicher Intelligenz (KI), dem Internet der Dinge (IoT) und Edge Computing die Digitalisierung vorantreiben können. lesen

Informatica aktualisiert Big-Data-Plattform

Für Apache-Spark-basierte Clouds

Informatica aktualisiert Big-Data-Plattform

In der nächsten Generation von Informaticas Big-Data-Management-Plattform für Spark-basierte Big Data Clouds sorgt unter anderem Künstliche Intelligenz (KI) für belastbare Informationen und beschleunigte Analysen. lesen

Tibco aktualisiert BI-Flaggschiff Spotfire

Nachbericht Tibco Now 2018

Tibco aktualisiert BI-Flaggschiff Spotfire

Tibco Software, ein Spezialist für Daten- und Prozessintegration sowie von Big Data Analytics, hat auf seiner internationalen Anwenderkonferenz Tibco Now in Las Vegas zahlreiche Neuheiten für seine Flaggschiffprodukte präsentiert. Zudem vertieft der Pionier des Informationsbusses seine Kooperation mit Partnern wie AWS und treibt seine IoT-Angebote voran. lesen

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 44458950 / Definitionen)