Hortonworks und das Release Data Platform 2.1

Hadoop - das Big-Data-Betriebssystem

| Redakteur: Ulrike Ostler

Die Treiber sind hinlänglich bekannt:

  • Die Unternehmen wollen weg von reaktiven Analysen und mit möglichst verlässlichen Daten so weit in die Zukunft schauen, wie es geht.
  • Die exitenten Datenhaltungs- und Verwaltungssysteme, sind zu teuer und überfordertet durch die Menge und die vielen verschiedenen Formate.
  • Der Kostenanteil an der IT, der für Datensyteme aufgewändet werden muss, steigt. Open Source und Commodity-Hardware versprechen Erleichterung aber auch eine größere Innovations und Umsetzungsgeschwindigkeit (siehe: Abbildung 5)

Hadoop, ursprünglich von Yahoo als einfache Alternative für die verteilte Datenhaltung und zur Indizierung des Web-Content entwickelt, wurde es am 23. Januar 2008 zum Top-Level-Projekt der Apache Software Foundation. Doch bis zur Version 2.0 war das in Java geschriebene Framework hauptsächlich für die Batch-Verarbeitung gedacht und für Echtzeit-Anwendungen viel zu langsam.

Änderung der Spielregeln

MapReduce, ursprünglich von Yahoo für die Indizierung im Web entwickelt, bildete mit den Aufgaben Reading, Interpreting und Reducing die Zwischenschicht. Doch laut Conolly haben sich hauptsächlich mit der Einführung von „Yarn“ die Spielregeln geändert. (Welche Projekte außerdem wesentlich für die Versionen 2.x sind, siehe: Bildergalerie oben)

Hortonworks bezeichnet Yarn als das eigentliche Daten-Betriebssystem, das unter anderem das Ressourcen-Management in Hadoop-Cluster übernimmt (siehe: Abbildung 6). Die Hadoop-Erweiterungen wie „Pig“ für das Scripting, oder „Storm“, das Streaming-Daten analysiert, aber auch MapReduce zur Batch-Verarbeitung setzen nunmehr auf Yarn auf.

Inhalt des Artikels:

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 42635438 / Infrastruktur)