Big Data mit Windows Azure und Hadoop in der Praxis

So führen Sie MapReduce-Jobs in Hadoop/Azure HDInsight durch

| Autor / Redakteur: Thomas Joos / Nico Litzel

Hadoop-Cluster in Windows Azure: Wir zeigen, wie man über MapReduce Anfragen wie bei einem lokal installierten Hadoop-Cluster stellt.
Hadoop-Cluster in Windows Azure: Wir zeigen, wie man über MapReduce Anfragen wie bei einem lokal installierten Hadoop-Cluster stellt. (Bild: T. Joos)

Wenn Sie einen Hadoop-Cluster in Windows Azure betreiben, können Sie Anfragen wie bei einem lokal installierten Hadoop-Cluster über MapReduce an den Server stellen. Dabei kann auch die PowerShell verwendet werden. Wir zeigen Schritt für Schritt, wie das geht.

Sobald ein Hadoop-Cluster in Windows Azure zur Verfügung steht, können Administratoren oder Entwickler damit beginnen, Abfragen zu erstellen. Dabei helfen auch die Cmdlets für Windows Azure in der PowerShell. In der Fotogalerie zu diesem Beitrag sind die Möglichkeiten zu sehen, die das System dabei zur Verfügung stellt. Arbeiten Admins mit Windows Azure, stehen auch Testdaten zur Verfügung, die für Abfragen verwendet werden können.

MapReduce-Abfragen mit PowerShell

Windows Azure PowerShell wird über den Webinstaller zur Verfügung gestellt. Die Links dazu sind im Webportal von Windows Azure zu finden. In der Fotoshow zeigen wir Ihnen, wie Sie einen Job als Skript in der PowerShell Integrated Scripting Environment (ISE) erstellen und ausführen. Wenn Sie das entsprechende Skript in der PowerShell ISE abspeichern, können Sie es jederzeit verwenden und die Parameter anpassen.

Der MapReduce-Auftrag in diesem Beitrag ist nur ein Beispiel, der die vorhandenen Beispieldaten in HDInsight nutzt. Administratoren und Big-Data-Entwickler können auch eigene Abfragen und Daten verwenden. Auch die Verwendung von Java-Code ist möglich. Mehr dazu zeigt Microsoft auf einer eigenen Seite zu diesem Thema in der Windows-Azure-Dokumentation.

Sobald die Daten mit HDInsight bearbeitet wurden, lassen sich die Ergebnisse mit Power Query in Excel, mit Hive ODBC in Datenbanken, mit Apache Sqoop , dem .NET SDK oder der PowerShell abfragen.

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 42991884 / Best Practices)