Definition

Was ist Spark?

| Autor / Redakteur: Stefan Luber / Nico Litzel

(Bild: © aga7ta - stock.adobe.com)

Bei Apache Spark handelt es sich um ein Framework, das unter Open-Source-Lizenz öffentlich verfügbar ist. Es ist ein Top Level Project der Apache Software Foundation und entstand ursprünglich aus einem Forschungsprojekt an der University of California in Berkeley.

Spark ermöglicht es, Datenabfragen auf große Datenmengen aus unterschiedlichen Quellen in hoher Geschwindigkeit und guter Performance auszuführen. Hierfür nutzt das Framework eine verteilte Architektur und Cluster Computing. Viele große Unternehmen unterstützen die Apache Software Foundation und treiben die Entwicklung von Spark weiter voran.

Die Architektur und die verschiedenen Komponenten von Apache Spark

Die Architektur von Spark besteht aus folgenden Einzelkomponenten, die jeweils für spezifische Aufgaben im Gesamtverbund verantwortlich sind:

  • Spark Core
  • Spark SQL
  • Spark Streaming
  • MLlib Machine Learning Library
  • GraphX

Der Spark-Core stellt die Basis des kompletten Systems dar. Er sorgt für die Bereitstellung grundlegender Funktionalitäten, die Verteilung von Aufgaben sowie für das Scheduling und die Steuerung der Ein- und Ausgabeprozesse. Die Datenstruktur im Spark Core basiert auf sogenannten RDDs (Resilient Distributed Datasets). Es handelt sich dabei um eine bestimmte Art von Datenbeständen, die sich über mehrere Rechner verteilen lassen. RDDs stammen entweder aus externen Datenquellen oder entstehen aus internen Datenverarbeitungs- und Filterfunktionen.

Mithilfe von Spark SQL wird es möglich, RDDs so zu wandeln, dass sich SQL-Anfragen ausführen lassen. Hierfür erzeugt Spark SQL aus den RDDs Data Frames als temporäre Tabellen.

Die Aufgabe von Spark Streaming besteht darin, kontinuierliche Datenströme zu verarbeiten. Hierfür entstehen aus den Datenströmen einzelne Pakete, auf denen Datenaktionen ausführbar werden.

Die MLlib Machine Learning Library macht Funktionen im Apache Spark Framework verfügbar, mit denen sich die für das Machine Learning benötigten Algorithmen bedienen lassen. Das verteilte Framework zur Berechnung von Graphen stellt die GraphX-Komponente zur Verfügung.

Die Besonderheiten von Spark

Da Spark darauf ausgelegt ist, die Daten dynamisch im Arbeitsspeicher des Server-Clusters vorzuhalten und direkt dort zu verarbeiten, arbeitet das Framework besonders schnell. In Kombination mit der Parallelisierung von Arbeitsschritten erreicht Apache Spark gegenüber Systemen, deren Datenvorhaltung auf Festplatten oder SSD-Speicher basieren, eine exzellente Performance. Mit Spark können Daten im Tera- und Petabereich analysiert werden. Hierfür unterstützt das System große Cluster bestehend aus einer Vielzahl virtueller oder physischer Server. Durch Skalierung der Spark-Cluster kann die Leistungsfähigkeit fast beliebig erweitert werden.

Eine weitere Stärke des Apache Spark Frameworks ist die Bereitstellung eines äußerst leistungsfähigen Frameworks für das Maschine Learning. Dank der Möglichkeit, große Datenmengen schnell und parallelisiert zu verarbeiten und viele iterative Schleifen binnen kürzester Zeit durchzuführen, werden aufwendige Algorithmen für maschinenbasiertes Lernen optimal unterstützt.

Mögliche Anwendungsbereiche des Frameworks

Apache Spark bietet sich aufgrund seiner Schnelligkeit und der Vielfalt an Möglichkeiten, große Datenmengen aus den unterschiedlichsten Quellen zu verarbeiten, für zahlreiche Anwendungen im Big-Data-Umfeld an. Mittlerweile ist Apache Spark eine etablierte Big-Data-Technologie und wird von vielen großen Unternehmen eingesetzt. Wichtige Anwendungsbereiche von Apache Spark sind:

  • Integration und Zusammenführung von Daten aus verschiedenen Quellen und Systemen,
  • interaktive Analysen von großen Datenmengen,
  • Analyse von Datenströmen in Echtzeit sowie
  • maschinelles Lernen.

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Aktuelle Beiträge zu diesem Thema

Graph-Datenbank Neo4j wird noch skalierbarer

Neo4j v.4.0

Graph-Datenbank Neo4j wird noch skalierbarer

Neo4j, ein marktführender Anbieter von Graph-Datenbanktools, hat die Version 4.0 seiner Plattform verfügbar gemacht. Zu den Neuerungen gehören unbegrenzte Skalierbarkeit, mandantenfähige Multi-Datenbank-Nutzung, die Integration von Apache Kafka und die besonders für Unternehmen wichtige feingranulare Steuerung von Datensicherheit und Datenschutz. lesen

Azure Synapse Analytics – das SQL Data Warehouse der nächsten Generation

Verknüpfung von Data Warehouses und Big Data Analytics

Azure Synapse Analytics – das SQL Data Warehouse der nächsten Generation

Mit Azure Synapse Analytics bietet Microsoft einen Analysedienst, der die Vorteile von Data Warehouses und Big-Data-Analysen miteinander kombiniert. lesen

Apache Phoenix – OLTP und Analyse für Hadoop

Datenanalysen für Big Data mit SQL durchführen

Apache Phoenix – OLTP und Analyse für Hadoop

Apache Phoenix dient als Schnittstelle für relationale Datenbanken auf Basis von HBase. Phoenix kann SQL-Abfragen durchführen und HBase-Tabellen verwalten. Wir zeigen, was die Software kann. lesen

So verbessert Apache Griffin die Data Quality

Datenqualität sicherstellen

So verbessert Apache Griffin die Data Quality

Apache Griffin kann die Datenqualität in Big-Data-Umgebungen verbessern. Das Open Source Tool unterstützt die Batch-Verarbeitung und den Streaming-Modus. Wir geben einen Überblick. lesen

Großes Interesse an Künstlicher Intelligenz und Data Science

Nachbericht EGG-Konferenz in Stuttgart

Großes Interesse an Künstlicher Intelligenz und Data Science

In Stuttgart haben sich auf der EGG-Konferenz Interessenten für Künstliche Intelligenz (KI) und Data Science zum Meinungsaustausch getroffen. Dataiku der französische Anbieter einer kollaborativen Data-Science-Plattform, war der Veranstalter und enthüllte seine Produktplanung bis 2020. lesen

Graph-Datenbanken

E-Book von BigData-Insider

Graph-Datenbanken

Aus dem täglichen Umgang mit dem Internet ist die Nutzung von verknüpften Daten nicht mehr wegzudenken. Seien es Freundschaftskreise auf Facebook und LinkedIn, Taxi-Anforderungen auf Uber oder Empfehlungen auf Amazon und Ebay – immer tritt im Hintergrund eine Datenbank in Aktion, die verwandte Daten sucht und miteinander in Beziehung setzt. Dabei handelt es sich in den meisten Fällen um eine Graph-Datenbank. lesen

Ververica kündigt Stateful Functions für Apache Flink an

Nachbericht Flink Forward Europe 2019

Ververica kündigt Stateful Functions für Apache Flink an

Ververica, vormals Data Artisans und jetzt bei Alibaba, hat kürzlich für seine Stream-Processing-Plattform auf der Entwicklerkonferenz „Flink Forward Europe 2019“ Stateful Functions für Apache Flink angekündigt. Der Quellcode soll der Apache Flink Community zur Verfügung gestellt werden. lesen

So gelingt der Start in die KI ohne zusätzliche Ausgaben

[Gesponsert]

Maschinelles Lernen auf bestehenden Infrastrukturen

So gelingt der Start in die KI ohne zusätzliche Ausgaben

IT-Manager benötigen keine neue Infrastruktur, um das volle Potential der KI auszuschöpfen. Sie können ohne zusätzliche Ausgaben sinnvolle Szenarien aufbauen und testen, gewinnbringend nutzen und bei Bedarf unkompliziert skalieren. lesen

TigerGraph bietet seine Datenbank stundenweise an

Datenbank-as-a-Service

TigerGraph bietet seine Datenbank stundenweise an

Während Unternehmen wie Google oder LinkedIn ihr komplettes Geschäft auf Graph-Datenbanken aufgebaut haben, benötigen andere ein solches Werkzeug nur selten. An diese Kunden richtet sich das jüngste Angebot des kalifornischen Softwareunternehmens TigerGraph: Unter der Bezeichnung „TigerGraph Cloud“ bietet es seine Software „as a Service“ an – wenn es denn sein soll, auch nur für eine Stunde lesen

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 44458950 / Definitionen)