Suchen

Big Data mit Windows Azure und Hadoop in der Praxis So führen Sie MapReduce-Jobs in Hadoop/Azure HDInsight durch

| Autor / Redakteur: Thomas Joos / Nico Litzel

Wenn Sie einen Hadoop-Cluster in Windows Azure betreiben, können Sie Anfragen wie bei einem lokal installierten Hadoop-Cluster über MapReduce an den Server stellen. Dabei kann auch die PowerShell verwendet werden. Wir zeigen Schritt für Schritt, wie das geht.

Firma zum Thema

Hadoop-Cluster in Windows Azure: Wir zeigen, wie man über MapReduce Anfragen wie bei einem lokal installierten Hadoop-Cluster stellt.
Hadoop-Cluster in Windows Azure: Wir zeigen, wie man über MapReduce Anfragen wie bei einem lokal installierten Hadoop-Cluster stellt.
(Bild: T. Joos )

Sobald ein Hadoop-Cluster in Windows Azure zur Verfügung steht, können Administratoren oder Entwickler damit beginnen, Abfragen zu erstellen. Dabei helfen auch die Cmdlets für Windows Azure in der PowerShell. In der Fotogalerie zu diesem Beitrag sind die Möglichkeiten zu sehen, die das System dabei zur Verfügung stellt. Arbeiten Admins mit Windows Azure, stehen auch Testdaten zur Verfügung, die für Abfragen verwendet werden können.

MapReduce-Abfragen mit PowerShell

Windows Azure PowerShell wird über den Webinstaller zur Verfügung gestellt. Die Links dazu sind im Webportal von Windows Azure zu finden. In der Fotoshow zeigen wir Ihnen, wie Sie einen Job als Skript in der PowerShell Integrated Scripting Environment (ISE) erstellen und ausführen. Wenn Sie das entsprechende Skript in der PowerShell ISE abspeichern, können Sie es jederzeit verwenden und die Parameter anpassen.

Bildergalerie

Bildergalerie mit 12 Bildern

Der MapReduce-Auftrag in diesem Beitrag ist nur ein Beispiel, der die vorhandenen Beispieldaten in HDInsight nutzt. Administratoren und Big-Data-Entwickler können auch eigene Abfragen und Daten verwenden. Auch die Verwendung von Java-Code ist möglich. Mehr dazu zeigt Microsoft auf einer eigenen Seite zu diesem Thema in der Windows-Azure-Dokumentation.

Sobald die Daten mit HDInsight bearbeitet wurden, lassen sich die Ergebnisse mit Power Query in Excel, mit Hive ODBC in Datenbanken, mit Apache Sqoop , dem .NET SDK oder der PowerShell abfragen.

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de (ID: 42991884)