Big Data mit Windows Azure und Hadoop in der Praxis So führen Sie MapReduce-Jobs in Hadoop/Azure HDInsight durch

Wenn Sie einen Hadoop-Cluster in Windows Azure betreiben, können Sie Anfragen wie bei einem lokal installierten Hadoop-Cluster über MapReduce an den Server stellen. Dabei kann auch die PowerShell verwendet werden. Wir zeigen Schritt für Schritt, wie das geht.

Anbieter zum Thema

INFOMOTION GmbH

QUNIS GmbH

Confluent Germany GmbH

Microsoft Deutschland GmbH

Sobald ein Hadoop-Cluster in Windows Azure zur Verfügung steht, können Administratoren oder Entwickler damit beginnen, Abfragen zu erstellen. Dabei helfen auch die Cmdlets für Windows Azure in der PowerShell. In der Fotogalerie zu diesem Beitrag sind die Möglichkeiten zu sehen, die das System dabei zur Verfügung stellt. Arbeiten Admins mit Windows Azure, stehen auch Testdaten zur Verfügung, die für Abfragen verwendet werden können.

MapReduce-Abfragen mit PowerShell

Windows Azure PowerShell wird über den Webinstaller zur Verfügung gestellt. Die Links dazu sind im Webportal von Windows Azure zu finden. In der Fotoshow zeigen wir Ihnen, wie Sie einen Job als Skript in der PowerShell Integrated Scripting Environment (ISE) erstellen und ausführen. Wenn Sie das entsprechende Skript in der PowerShell ISE abspeichern, können Sie es jederzeit verwenden und die Parameter anpassen.

Der MapReduce-Auftrag in diesem Beitrag ist nur ein Beispiel, der die vorhandenen Beispieldaten in HDInsight nutzt. Administratoren und Big-Data-Entwickler können auch eigene Abfragen und Daten verwenden. Auch die Verwendung von Java-Code ist möglich. Mehr dazu zeigt Microsoft auf einer eigenen Seite zu diesem Thema in der Windows-Azure-Dokumentation.

Sobald die Daten mit HDInsight bearbeitet wurden, lassen sich die Ergebnisse mit Power Query in Excel, mit Hive ODBC in Datenbanken, mit Apache Sqoop , dem .NET SDK oder der PowerShell abfragen.

(ID:42991884)