Nachbericht Hadoop Summit 2016

Hadoop entwächst den Kinderschuhen

| Autor / Redakteur: Manuel Kuck / Nico Litzel

Mit 1.400 Teilnehmern war der Hadoop Summit in Dublin erneut deutlich größer als die 2015 in Brüssel gehaltene Konferenz. Durch den gestiegenen Bedarf bei Kunden wurden von den Distributoren verstärkt Trainings, Workshops und Crashkurse für Einsteiger angeboten.
Mit 1.400 Teilnehmern war der Hadoop Summit in Dublin erneut deutlich größer als die 2015 in Brüssel gehaltene Konferenz. Durch den gestiegenen Bedarf bei Kunden wurden von den Distributoren verstärkt Trainings, Workshops und Crashkurse für Einsteiger angeboten. (Bild: M. Kuck)

Auf dem diesjährigen Hadoop Summit in Dublin gab es etwas zu feiern: das zehnjährige Jubiläum des 2006 gestarteten Apache-Frameworks. Den knapp 1.400 Besuchern des Summits präsentierte sich Hadoop als eine gereifte und stetig weiterentwickelnde Big-Data-Umgebung mit lebendiger Open Source Community.

Nicht nur Informationen zu neuen Projekten und Produkten erwarteten die Teilnehmer des Summits in Dublin, sondern auch Unterstützung bei der Einführung und Identifizierung von Anwendungsmöglichkeiten, um brachliegende Daten aktiv und profitabel nutzen zu können.

Die Distributoren Hortonworks, Cloudera und MapR versuchen diesem wachsenden Bedarf verstärkt mit Workshops und Vorträgen zu begegnen, die alle Geschäftsbereiche abdecken, von der strategischen Ausrichtung bis zur Entwicklung und Implementierung von ersten Big-Data-Pilotprojekten. Die angebotenen Beispiele sollten als Anleitung dienen, wie die verschiedenen Projekte, etwa für Data-Science-, Governance- oder Business-Intelligence-Zwecke, in den Unternehmen implementiert werden können.

Ebenso teilten Partnerunternehmen wie Microsoft, HP, EMC oder Teradata sowie fortgeschrittene Anwender wie Renault, ING DiBa oder Spotify ihre Erfahrungen mit den Teilnehmern und zeigten auf, wie sich Big-Data-Infrastrukturen über längere Zeiträume hinweg in Unternehmen entwickeln und zu deren Profitabilität beitragen können.

Converged Data Platform

MapR zeigte unter anderem erstmals seine erweiterte Converged Data Platform mit neuen Datenbank- und Containerfunktionen, die über Apache Drill implementiert werden.

Big Data mit Apache Drill

Schemafreie SQL-Abfragen für Hadoop und NoSQL

Big Data mit Apache Drill

02.03.15 - Das Thema Informationsgewinnung und Abfragen in Big-Data-Lösungen ist nicht immer einfach. Unternehmen sollten hier einen Blick auf die Open-Source-Lösung Apache Drill werfen. lesen

Cloudera präsentierte die neueste Version seiner Enterprise-Plattform Cloudera Enterprise 5.7 mit Optimierung verschiedener vorhandener Tools und die analytische Datenbank Apache Impala für massive Parallelverarbeitung von Daten. Die enge Partnerschaft mit Hortonworks und Pivotal führt zudem dazu, dass Pivotal nun die Hortonworks Data Platform (HDP) vertreibt und dadurch die zuvor von Pivotal angebotene Hadoop-native SQL-Datenbank HDB für Hortonworks-Kunden verfügbar wird.

Flexiblere Distributionsstrategien

Die unterschiedlichen Bedürfnisse der Anwender spiegeln sich laut Hortonworks auch in der mehrgleisigen Release-Struktur von HDP 2.4 wider. Kunden erhalten künftig die Option, neben den Updates der HDP-Kernkomponenten in jährlichen Releases, bei Bedarf gleichzeitig die schnelleren Release-Zyklen von Tools wie Spark, Hive oder neuen Projekten in Anspruch zu nehmen.

John Kreisa, VP International Marketing bei Hortonworks
John Kreisa, VP International Marketing bei Hortonworks (Bild: Hortonworks)

„Unsere Kunden wollen die neuesten Innovationen von Spark und anderer Tools über die gesamte Bandbreite der Plattform hinweg haben, aber sie wollen ihre Kernkomponenten länger auf der vertrauten Version halten. Das neue System aus zwei getrennten ‚Tracks‘ erlaubt es uns, die neuen Funktionen schneller für fortgeschrittene Anwender verfügbar zu machen“, erläutert John Kreisa, VP International Marketing von Hortonworks, wie HDP entsprechend flexibel und gleichermaßen für Einsteiger und Fortgeschrittene gestaltet wird.

Der modulare Ansatz soll auch Nutzern der im März vorgestellten Data-in-Motion-Plattform Hortonworks Data Flow (HDF) zugutekommen. Das auf Datenverarbeitung in Echtzeit spezialisierte HDF wird zwar im sogenannten Connected-Data-Platforms-Konzept eng mit HDP verzahnt, bleibt aber unabhängig davon einsetzbar. Somit bleibt es auch für die wachsende Zahl der Anwender eine Option, die Spark ohne Hadoop einsetzen möchten, und wirkt sich positiv auf den potenziellen Kundenkreis aus.

Sicherheit und Governance – auch in Echtzeit

Ebenfalls ungebremst ist der starke Wunsch nach umfassenden Security-Konzepten, den alle Anbieter bei ihren Kunden sehen. Hortonworks bietet dementsprechend erstmals das Sicherheitstool Apache Ranger und das für Data Governance spezialisierte Apache Atlas als integralen Bestandteil seines Stacks an.

Beide Funktionen arbeiten dabei über gemeinsame Ressourcen miteinander und bilden eine quasi in Reihe geschaltete Phalanx von Sicherheitsprotokollen. So können etwa die mit Atlas zugewiesenen Metatags mittels Ranger über verschiedene Zugriffsrichtlinien kontrolliert werden.

Scott Gnau, CTO von Hortonworks
Scott Gnau, CTO von Hortonworks (Bild: Hortonworks)

Von übergeordneter Ebene aus soll zudem das von Hortonworks geförderte Projekt Apache Metron als Echtzeit-Tool demnächst dabei helfen, Cyberattacken zu erkennen und durch einen Lernprozess künftig schneller abzuwehren. Forensische Analyse und Cyber Security in Echtzeit mit Aspekten des maschinellen Lernens sollen so bald vereint werden. „Die Idee ist, dass eine rekursive Schleife auf der Basis interner Modelle aus der Erfahrung des Hackangriffs Rückschlüsse zieht und bei weiteren Vorfällen bereits währenddessen eingreifen kann“, erklärt Scott Gnau, CTO von Hortonworks.

Hadoop-Cluster vereinfacht in der Cloud aufsetzen

Unternehmen suchen zudem Möglichkeiten, Cloud-Strukturen zur Speicherung und Analyse ihrer Daten einbinden zu können, wobei auch die Kompatibilität zu verschiedenen Cloud-Providern eine Rolle spielt. Hortonworks übernahm 2015 die ungarische Firma SequenceIQ, um entsprechende Optionen anbieten zu können. Mit Cloudbreak soll die Migration von Clustern in die Cloud und Docker-kompatible Umgebungen einfach und automatisiert funktionieren, zudem lässt es sich als unabhängige Programmierschnittstelle (Hadoop-as-a-Service) mit Amazon Web Services, Microsoft Azure, Google Cloud Platform und OpenStack verwenden.

„Cloudbreak erstellt ein Blueprint des Produktionssystems mit allen Projektversionen und Parametern, die dann bei Bedarf auf jeder Hardware einfach und ohne manuelle Eingriffe aufgesetzt werden können“, beschreibt Scott Gnau. Der in Ambari erstellte Bauplan kann beim jeweiligen Cloud-Provider in der Elastic Cloud auch dazu eingesetzt werden, je nach Auslastung die verwendete Kapazität zu erhöhen oder zu verringern. Dabei bleibt die Grundstruktur gemäß der Vorgaben immer gleich – essenziell für Anwendungen, die teilweise auch on-premise laufen müssen.

Noch ist unklar, wie essenziell dabei der Weg in die Cloud und auch die Konsolidierung aller Daten in einen – möglicherweise nur als logischem Konstrukt existierenden – Data Lake tatsächlich sein werden. Gegenwärtig sehen die Hadoop-Anbieter der weiteren Entwicklung ihres Partnernetzwerkes und Kundenzahl jedoch positiv entgegen und erwarten ein weiteres Wachstum ihrer Geschäftsfelder mit zunehmendem Ausbau von Internet-of-Things-Anwendungen und die fortgesetzte Reifung eines auch nach zehn Jahren noch jungen IT-Sektors.

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 44014316 / Infrastruktur)