HA-HDFS in Hadoop 2.2.x und: Yahoo testet YARN

Hadoop sorgt nun auch für die Hochverfügbarkeit von Big Data

| Autor / Redakteur: Filipe Pereira Martins und Anna Kobylinska / Ulrike Ostler

HA mit HDFS2 radiert Single Point of Failure aus

In Hadoop 2.x debütiert die erste Hochverfügbarkeitsimplementierung des eigenen Cluster-Dateisystems HDFS (Hadoop Distributed File System). Die HDFS-Implementierung in Hadoop v1 hatte einen klaren Single Point of Failure: den Namensknoten.

Ein Namensknoten, die Schaltzentrale zum Verwalten von Zugriffen auf Daten mithilfe von Metadaten, erledigt diese Aufgabe im Arbeitsspeicher (nur einige Metadaten werden im Dateisystem gesichert). Beim Ausfall eines aktiven Namensknoten ging der Inhalt seines Arbeitsspeichers verloren; der Administrator musste den Schaden zudem manuell reparieren (kein automatisches Failover).

Die Schwachstelle

So konnte der Ausfall eines Namensknoten das ganze HDFS zum Erliegen bringen; aktuell laufende Schreibprozesse sowie Jobs in der Warteschlange wurden mit einer Fehlermeldung abgebrochen.

Die Implementierung geschäftskritischer Workloads, die interaktiv in Echtzeit ablaufen müssen, gestaltete sich dadurch sehr problematisch. Für Hadoop 2.x haben sich die Entwickler eine Lösung einfallen lassen: Hochverfügbarkeits-Namensknoten (HA-Namensknoten).

Die HA-Namensknoten

Die HA-Konfiguration von HDFS sieht jeweils zwei redundant angelegte Namensknoten in einer Aktiv-Passiv-Node-Architektur mit einem „warmen“ Namensknoten im Standby-Modus vor. Der passive HA-Namensknoten wartet auf der sprichwörtlichen Reservebank („Standby“), beobachtet den aktiven Namensknoten und lauscht dem Herzschlag seiner Datenknoten.

Ergänzendes zum Thema

Die Funktionsweise von HA-HDFS unter Verwendung von einem Journal-Quorum
Die Funktionsweise von HA-HDFS unter Verwendung von einem Journal-Quorum (Bild: McKinley Denali Inc.)

Das Abgleichen der Metadaten zwischen den beiden HA-Namensknoten erfolgt entweder über gemeinsam genutzten NFS-Speicher oder via HDFS-Quorum der so genannten JournalNodes. Sollte der aktive Namensknoten ausfallen, kann der Administrator manuelles Failover wie folgt auslösen:

hdfs haadmin failover <der-neue-Standby-NN> <der-neue-aktive-NN>

Automatisches Failover bedarf zusätzlicher Software, zum Beispiel „Apache Zookeeper“ mit dem „ZKFailoverController“.

Inhalt des Artikels:

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 42544712 / Infrastruktur)