Definition

Was ist Spark?

| Autor / Redakteur: tutanch / Nico Litzel

(© aga7ta - Fotolia)

Bei Apache Spark handelt es sich um ein Framework, das unter Open-Source-Lizenz öffentlich verfügbar ist. Es ist ein Top Level Project der Apache Software Foundation und entstand ursprünglich aus einem Forschungsprojekt an der University of California in Berkeley.

Spark ermöglicht es, Datenabfragen auf große Datenmengen aus unterschiedlichen Quellen in hoher Geschwindigkeit und guter Performance auszuführen. Hierfür nutzt das Framework eine verteilte Architektur und Cluster Computing. Viele große Unternehmen unterstützen die Apache Software Foundation und treiben die Entwicklung von Spark weiter voran.

Die Architektur und die verschiedenen Komponenten von Apache Spark

Die Architektur von Spark besteht aus folgenden Einzelkomponenten, die jeweils für spezifische Aufgaben im Gesamtverbund verantwortlich sind:

  • Spark Core
  • Spark SQL
  • Spark Streaming
  • MLlib Machine Learning Library
  • GraphX

Der Spark-Core stellt die Basis des kompletten Systems dar. Er sorgt für die Bereitstellung grundlegender Funktionalitäten, die Verteilung von Aufgaben sowie für das Scheduling und die Steuerung der Ein- und Ausgabeprozesse. Die Datenstruktur im Spark Core basiert auf sogenannten RDDs (Resilient Distributed Datasets). Es handelt sich dabei um eine bestimmte Art von Datenbeständen, die sich über mehrere Rechner verteilen lassen. RDDs stammen entweder aus externen Datenquellen oder entstehen aus internen Datenverarbeitungs- und Filterfunktionen.

Mithilfe von Spark SQL wird es möglich, RDDs so zu wandeln, dass sich SQL-Anfragen ausführen lassen. Hierfür erzeugt Spark SQL aus den RDDs Data Frames als temporäre Tabellen.

Die Aufgabe von Spark Streaming besteht darin, kontinuierliche Datenströme zu verarbeiten. Hierfür entstehen aus den Datenströmen einzelne Pakete, auf denen Datenaktionen ausführbar werden.

Die MLlib Machine Learning Library macht Funktionen im Apache Spark Framework verfügbar, mit denen sich die für das Machine Learning benötigten Algorithmen bedienen lassen. Das verteilte Framework zur Berechnung von Graphen stellt die GraphX-Komponente zur Verfügung.

Die Besonderheiten von Spark

Da Spark darauf ausgelegt ist, die Daten dynamisch im Arbeitsspeicher des Server-Clusters vorzuhalten und direkt dort zu verarbeiten, arbeitet das Framework besonders schnell. In Kombination mit der Parallelisierung von Arbeitsschritten erreicht Apache Spark gegenüber Systemen, deren Datenvorhaltung auf Festplatten oder SSD-Speicher basieren, eine exzellente Performance. Mit Spark können Daten im Tera- und Petabereich analysiert werden. Hierfür unterstützt das System große Cluster bestehend aus einer Vielzahl virtueller oder physischer Server. Durch Skalierung der Spark-Cluster kann die Leistungsfähigkeit fast beliebig erweitert werden.

Eine weitere Stärke des Apache Spark Frameworks ist die Bereitstellung eines äußerst leistungsfähigen Frameworks für das Maschine Learning. Dank der Möglichkeit, große Datenmengen schnell und parallelisiert zu verarbeiten und viele iterative Schleifen binnen kürzester Zeit durchzuführen, werden aufwendige Algorithmen für maschinenbasiertes Lernen optimal unterstützt.

Mögliche Anwendungsbereiche des Frameworks

Apache Spark bietet sich aufgrund seiner Schnelligkeit und der Vielfalt an Möglichkeiten, große Datenmengen aus den unterschiedlichsten Quellen zu verarbeiten, für zahlreiche Anwendungen im Big-Data-Umfeld an. Mittlerweile ist Apache Spark eine etablierte Big-Data-Technologie und wird von vielen großen Unternehmen eingesetzt. Wichtige Anwendungsbereiche von Apache Spark sind:

  • Integration und Zusammenführung von Daten aus verschiedenen Quellen und Systemen,
  • interaktive Analysen von großen Datenmengen,
  • Analyse von Datenströmen in Echtzeit sowie
  • maschinelles Lernen.

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Aktuelle Beiträge zu diesem Thema

Microsoft startet neue Datenanalyse-Services

Mehr Erkenntnisse aus Daten

Microsoft startet neue Datenanalyse-Services

Mit dem Azure Data Explorer, einer neuen Version von Azure Data Lake Storage und der Vorschau auf Mapping Data Flow in der Azure Data Factory stellt Microsoft eine Reihe an Analytics-Neuheiten vor. lesen

Der Data Lake integriert sich

Data Lakes

Der Data Lake integriert sich

Data Lake oder Data Warehouse? So schien lange Zeit die Alternative für Unternehmen zu lauten. Doch wie so oft gibt es in der betrieblichen IT kein Entweder-oder, sondern beide Infrastrukturen tauchen zunehmend gemeinsam auf. lesen

Mit Apache Metron Big-Data-Projekte schützen

Open-Source-Security-Lösung Apache Metron

Mit Apache Metron Big-Data-Projekte schützen

Big-Data-Projekte sind nicht nur für Firmen interessant, sondern auch für Cyberkriminelle. Apache Metron ist ein Open-Source-Projekt für ein Security-Analytics-Framework. Die Lösung besteht aus Modulen zum Parsen, Normalisie­ren und Anreichern von Daten mit internen und externen Bedrohungsinformationen und soll Big-Data-Projekte vor unbefugtem Zugriff schützen. lesen

Daten zentral verwalten, ohne die Nutzer einzuengen

Zalando toleriert die „Schatten-KI“

Daten zentral verwalten, ohne die Nutzer einzuengen

Der Vorteil von Machine-Learning- und Deep-Learning-Anwendungen schwindet, wenn jedes Team das Rad neu erfindet. So die Überzeugung von Kshitij Kumar, Leiter des Zalando-Bereichs Data Infrastructure. Deshalb steht sein Team dem gesamten „Zalando Fashion Store“ als zentrale Instanz für Data-Warehouse- und „KI“-Applikationen zu Verfügung. Benötigt nun aber eine Geschäftseinheit partout etwa Eigenes, so fungieren die „Data-Infras“ als Consulting- und Servicegruppe. lesen

TonY bietet native Unterstützung von TensorFlow auf Hadoop

Kommentar von Michael Deuchert, IT-Novum

TonY bietet native Unterstützung von TensorFlow auf Hadoop

Einerseits basieren viele Deep-Learning-Anwendungsfälle auf TensorFlow, dem populären Framework von Google. Andererseits bietet Hadoop riesige Rechen- und Speicherkapazitäten. Wie wäre es, wenn man beide Vorteile zu einer hoch skalierbaren Plattform für maschinelles Lernen verbinden würde? Genau das hat sich auch das Social Network LinkedIn gedacht und die Open Source-Lösung TonY entwickelt. TonY steht für „TensorFlow on YARN“. lesen

Leitfaden für Führungskräfte zu KI und maschinellem Lernen

Interview mit Prof. Dr. Thomas Hofmann

Leitfaden für Führungskräfte zu KI und maschinellem Lernen

Prof. Dr. Thomas Hofmann ist Experte auf dem Gebiet der Künstlichen Intelligenz mit Stationen in der Wissenschaft (ETH Zürich), multinationalen Unternehmen (ehemaliger Direktor bei Google) und Start-ups (CTO von 1plusX, Mitbegründer Recommind). Im Interview teilt er seine Gedanken darüber, wie ein Unternehmen aufgestellt sein sollte, um die Chancen auf einen ROI für seine KI-Initiativen zu erhöhen. lesen

Tibco startet Data Virtualization 8

Über AWS erhältlich

Tibco startet Data Virtualization 8

Im Rahmen der AWS re:Invent 2018 hat Tibco die allgemeine Verfügbarkeit von Data Virtualization 8 bekanntgegeben. Die neue Software soll störende Datenengpässe beseitigen und nutzt dazu eine agile, ultraschnelle virtualisierte Datenschicht. lesen

Optimale Clusteranalyse und Segmentierung mit dem k-Means-Algorithmus

Grundlagen Statistik & Algorithmen, Teil 5

Optimale Clusteranalyse und Segmentierung mit dem k-Means-Algorithmus

Der k-Means-Algorithmus ist ein Rechenverfahren, das sich für die Gruppierung von Objekten, die sogenannte Clusteranalyse, einsetzen lässt. Dank der effizienten Berechnung der Clusterzentren und dem geringen Speicherbedarf eignet sich der Algorithmus sehr gut für die Analyse großer Datenmengen, wie sie im Big-Data-Umfeld üblich sind, so etwa in der Bildverarbeitung und in der Kundensegmentierung. lesen

Algorithmen-Marktplätze zur Auswertung von Big Data

Datenanalyse-as-a-Service

Algorithmen-Marktplätze zur Auswertung von Big Data

Wer aus Big Data konkret umsetzbare Erkenntnisse gewinnen möchte, kommt um leistungsstarke Algorithmen nicht umhin. Auf einschlägigen AaaS-Marktplätzen – kurz für Algorithmen as a Service – werden Unternehmen schnell fündig. lesen

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 44458950 / Definitionen)