Definition

Was ist Hadoop?

| Autor / Redakteur: Stefan Luber / Nico Litzel

(Bild: © aga7ta - stock.adobe.com)

Bei Hadoop handelt es sich um ein auf Java basierendes Software Framework. Mit ihm lassen sich große Datenmengen auf verteilten Systemen in hoher Geschwindigkeit verarbeiten. Es ist zur Bewältigung der Datenverarbeitung im Big-Data-Umfeld geeignet.

Das Software Framework Hadoop ist eine Art Ökosystem, das auf verschiedenen Architekturen und unterschiedlicher Hardware betrieben werden kann. Es ist in der Programmiersprache Java geschrieben und als Quellcode von Apache frei verfügbar. Erfinder von Hadoop ist Doug Cutting, der mit der Veröffentlichung des MapReduce-Algorithmus durch Google im Jahr 2003 dessen Bedeutung erkannte und die Entwicklung von Hadoop begann. Seit 2008 ist Hadoop ein Top-Level-Projekt der Apache Software Foundation. Der Name Hadoop geht zurück auf einen kleinen Spielzeugelefanten des Sohns von Doug Cutting. Noch heute ist der Elefant im Logo von Hadoop vorhanden.

Das Software Framework ist für verteilt arbeitende, skalierbare Systeme vorgesehen. Zentraler Bestandteil ist unter anderem der MapReduce-Algorithmus von Google. Es lassen sich mit Hadoop intensive Rechenprozesse mit riesigen Datenmengen, wie sie im Big-Data-Umfeld auftreten, auf einer Vielzahl zu einem Cluster zusammengefasster Computer ausführen.

Die einzelnen Bestandteile von Hadoop

Hadoop besteht aus einzelnen Komponenten. Die vier zentralen Bausteine des Software-Frameworks sind:

  • Hadoop Common,
  • das Hadoop Distributed File System (HDFS),
  • der MapReduce-Algorithmus sowie
  • der Yet Another Resource Negotiator (YARN).

Hadoop Common stellt die Grundfunktionen und Tools für die weiteren Bausteine der Software zur Verfügung. Dazu gehören beispielsweise die Java-Archiv-Files und -Scripts für den Start der Software. Die Kommunikation zwischen Hadoop Common und den anderen Komponenten erfolgt über Schnittstellen. Über diese lassen sich die Zugriffe auf darunterliegende Dateisysteme oder die Kommunikation innerhalb von Clustern steuern.

Beim Hadoop Distributed File System (HDFS) handelt es sich um ein verteiltes Dateisystem, mit dem sich Daten auf verschiedenen Systemen in einem Rechnerverbund speichern lassen. Dadurch wird die Vorhaltung von großen Datenmengen möglich. Nach Angaben von Apache ist HDFS in der Lage, mehrere 100 Millionen Daten zu verwalten. Mit zum Dateisystem gehören Mechanismen zur Duplizierung von Daten für den Fall eines Ausfalls einzelner Rechner.

Die zentrale Engine von Hadoop bildet der MapReduce-Algorithmus, der in seinen Grundzügen von Google entwickelt wurde. Der Algorithmus stellt verschiedene Funktionen zur Verfügung, die es erlauben, komplexe und rechenintensive Aufgaben in viele kleine Einzelteile auf mehrere Rechner aufzuspalten. Durch die parallele Abarbeitung der Teilaufgaben ergibt sich eine hohe Rechengeschwindigkeit. Die Teilergebnisse führt der MapReduce-Algorithmus am Ende zu einem Gesamtergebnis zusammen.

Der Yet Another Resource Negotiator (YARN) stellt eine Art Ergänzung des MapReduce-Algorithmus dar. Er kann die Ressourcen in einem Rechnerverband managen und Ressourcen eines Clusters dynamisch verschiedenen Jobs zuordnen. Über Queues legt YARN die Kapazitäten der Systeme für die einzelnen Aufgaben fest.

Die Funktionsweise von Hadoop

Die zentralen Funktionen von Hadoop übernehmen das Filesystem HDFS und der MapReduce-Algorithmus. HDFS sorgt dafür, dass die Daten auf die einzelnen Systeme im Rechnerverbund verteilt werden.

MapReduce spaltet die Verarbeitung der Daten in Einzelaufgaben, die sich auf den Systemen parallel ausführen lassen, auf und fügt deren Resultate zu einem Gesamtergebnis zusammen. Innerhalb eines Hadoop-Clusters nimmt ein Rechnerknoten die Rolle des Masters an, die anderen arbeiten im Slave-Mode. Der Master ist für die Verwaltung der Metadaten des Filesystems verantwortlich. Auf den Slaves erfolgt die eigentliche Ablage der Daten. Der Master sorgt dafür, dass die Datenblöcke repliziert und auf mehreren Knoten gleichzeitig vorhanden sind. Er kennt die Ablageorte der Datenblöcke und kann Datenverlust aufgrund eines Rechnerausfalls im Verbund durch die Replizierung verhindern. Meldet sich ein Knoten über eine längere Zeit nicht mehr beim Master, erfolgt der Zugriff auf die replizierten Daten. Gleichzeitig kümmert sich der Master darum, dass neue Kopien der Daten erzeugt und gespeichert werden. Um für den Ausfall des Masters gerüstet zu sein, ist eine Art Secondary Master vorhanden, auf dem alle Veränderungen der Metadaten gesichert und wiederherstellbar sind.

Business Intelligence – ein typisches Anwendungsgebiet

Die Fähigkeit von Hadoop, große, auch inhomogene Datenmengen in hoher Geschwindigkeit verarbeiten zu können, macht das Framework ideal geeignet für den Einsatz im Business-Intelligence-Umfeld. Oft stammen die für die Business Intelligence Reports und Analysen herangezogenen Daten aus vielen verschiedenen Datenquellen und haben eine sehr unterschiedliche Struktur. Ein Hadoop-System ist in der Lage, die riesigen Datenmengen verteilt und in vielen kleinen Prozessschritten parallel zu verarbeiten. Es lassen sich komplexe Rechenaufgaben mit Daten im Petabyte-Bereich schnell und wirtschaftlich bewältigen. Die Ergebnisse der Big-Data-Verarbeitung durch Hadoop liefern Erkenntnisse, um beispielsweise die strategische Planung des Unternehmens neu auszurichten, die Entscheidungsfindung zu unterstützen, das Unternehmen effizient zu steuern oder das Berichtswesen zu vereinfachen.

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Aktuelle Beiträge zu diesem Thema

Langzeitanalysen

Moderne Architekturen zur Datenanalyse – Teil 3

Langzeitanalysen

In den ersten beiden Teilen des Artikels ging es um die optimale Analyse von Echtzeitdaten mithilfe der Cloud. Dabei wurden in Echtzeit einlaufende Geoinformationen und Bezahldaten eines Taxiunternehmens in New York untersucht. Neben solchen Dashboard-Betrachtungen sind oftmals zusätzlich Langzeitanalysen von historischen Daten sinnvoll und gewünscht. lesen

Per Algorithmus zum Kaufabschluss

Big Data Analytics in der Versicherungsbranche

Per Algorithmus zum Kaufabschluss

Die SV SparkassenVersicherung und Detecon zeigen, wie die Digitalisierung in der Versicherungsbranche aussehen kann: Kaufwahrscheinlichkeiten lassen sich über Big-Data-Analysen berechnen. lesen

DataOps als Next Level DevOps?

Kommentar von Bastian Wießner, Eoda

DataOps als Next Level DevOps?

Der Begriff DataOps steht für „Data Operations“. Als agiler Ansatz zielt er auf die Art und Weise ab, wie Daten bzw. deren Analysen genutzt, weiterentwickelt, optimiert und zielführend in neue Datenprodukte überführt werden. DataOps ist damit der nächste logische Schritt, der im Bereich Datenanalytik auf den DevOps-Ansatz folgt. lesen

Datenmengen im Petabyte-Umfang effektiv speichern

Dateisysteme für große Datenmengen

Datenmengen im Petabyte-Umfang effektiv speichern

Die Datenmenge, die Unternehmen speichern müssen, steigt immer weiter an. Herkömmliche Dateisysteme wie extX, NTFS oder ReFS sind von der Leistung kaum mehr in der Lage, solche riesigen Datenmengen zu speichern. Wir geben einen Überblick, welche Dateisysteme das besser können. lesen

Fünf Vorhersagen für das Jahr 2020

Der Hype um KI lässt noch nicht nach

Fünf Vorhersagen für das Jahr 2020

ThoughtSpot CEO Sudheesh Nair geht davon aus, dass künstliche Intelligenz auch in diesem Jahr weiterhin Trendthema bleiben wird und stellt deshalb fünf Vorhersagen sowie eine Mahnung für das kommende Jahr auf. lesen

Apache Phoenix – OLTP und Analyse für Hadoop

Datenanalysen für Big Data mit SQL durchführen

Apache Phoenix – OLTP und Analyse für Hadoop

Apache Phoenix dient als Schnittstelle für relationale Datenbanken auf Basis von HBase. Phoenix kann SQL-Abfragen durchführen und HBase-Tabellen verwalten. Wir zeigen, was die Software kann. lesen

So verbessert Apache Griffin die Data Quality

Datenqualität sicherstellen

So verbessert Apache Griffin die Data Quality

Apache Griffin kann die Datenqualität in Big-Data-Umgebungen verbessern. Das Open Source Tool unterstützt die Batch-Verarbeitung und den Streaming-Modus. Wir geben einen Überblick. lesen

AWS baut Redshift und SageMaker aus

Nachbericht AWS re:invent Las Vegas

AWS baut Redshift und SageMaker aus

Amazon Web Services (AWS) hat kürzlich auf seiner Kundenkonferenz AWS re:Invent den 65.000 Besuchern zahlreiche neue Services für Datenbanken und Analysefunktionen vorgestellt. Sie sollen Kunden besonders dabei unterstützen, große Datenmengen zu verarbeiten. Neuerungen in der KI-Entwicklungsumgebung Amazon SageMaker decken die gesamte Prozesskette bis hin zur Überwachung der KI-Modelle ab. lesen

Qlik setzt auf Augmented Intelligence und die Multi-Cloud

Nachbericht Qlik Data Revolution Tour 2019

Qlik setzt auf Augmented Intelligence und die Multi-Cloud

Auf der Kundenveranstaltung „Data Revolution Tour 2019“ zeigte der BI-Anbieter Qlik die breite Palette seiner Angebote in einer Multi-Cloud-Plattform. Sie werden u. a. bei Porsche AG genutzt. An Neuheiten stellte die Forschungsleitern Elif Tutuk „Qlik Insight Bot“ und „Qlik Insight Advisor“ mit Sprachunterstützung vor. lesen

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 44560607 / Definitionen)