Perspektiven der Onyara-Übernahme Apache NiFi öffnet HDP für das Internet der Dinge

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

Disy Informationssysteme GmbH

Insider Research

Hortonworks

Mit der Übernahme von Onyara, dem Unternehmen hinter Apache NiFi, erschließen sich Hortonworks weit reichende neue Möglichkeiten im Zusammenhang mit Big Data und dem Internet of Things, denn die Datenflusssteuerung stellt nach Ansicht von Hortonworks eine der wichtigsten Herausforderungen der Zukunft dar.

Der Deal mit Onyara ist für Hortonworks strategisch bedeutsam, erklärte Hortonworks' CTO Scott Gnau im Gespräch mit BigData-Insider. Nach Ansicht von Gnau haben noch immer viele Unternehmen eine recht diffuse Vorstellung vom Internet of Things (IoT) oder hielten es gar für Unsinn.

Dabei gäbe es einen unübersehbaren Trend, Geräte miteinander zu verbinden, wobei insbesondere der Bereich Industrie-Equipment derzeit eine Vorreiterrolle spiele. Daher passten laut Gnau Hortonworks und Onyara hervorragend zusammen, schaue man sich die Art und Weise an, wie beide Unternehmen das IoT und die jeweilige Herangehensweise an das Thema Data Processing außerhalb des Rechenzentrums angingen.

Warum das IoT jetzt an Fahrt aufnimmt

Geräte und Sensoren miteinander zu verbinden, befähigt Unternehmen beispielsweise, Daten ihres Maschinenparks zu erfassen sowie in Echtzeit weiterzuverarbeiten und auszuwerten. Dass sich die Technologie erst jetzt nachhaltig etabliert, liege schlicht an der Verfügbarkeit billigerer und schneller Rechenleistung und Storage-Kapazität. Unternehmen könnten Daten so immer schneller über lange Zeiträume erfassen und analysieren. Das mache beispielsweise die Produktion oder Qualitätskontrolle immer effizienter, so Gnau, sodass Unternehmen qualitativ höherwertige und dennoch preiswertere Produkte herstellen könnten. Die Tatsache, dass sich die Fertigung im IoT viel besser überwachen lasse, trage zusätzlich zu fallenden Kosten bei, da sich die Kosten mithilfe des IoT und von Analytics präziser voraussagen lassen.

Herausforderungen im IoT

Laut Hortonworks drängen derzeit immer mehr Unternehmen aller Couleur mit ihren Ideen auf den Markt, um externe Daten zur Verbesserung des Business zu nutzen. Allerdings sei das konkrete Vorgehen im „Internet of Anything“ zum Teil mit erheblichen technischen Herausforderungen verbunden, etwa wenn es darum gehe, an jedem erdenklichen Ort Sensoren zu platzieren und Daten von diesen zu erfassen, auf deren Basis sich dann Vorhersagen treffen lassen. Beispiele für Herausforderungen dieser Art sind viele vorstellbar:

So lassen sich Sensoren nicht immer an Orten positionieren, an denen genügend Bandbreite zur Verfügung steht. Auf einer Bohrinsel beispielsweise lassen sich Daten eventuell nur einige Male am Tag über teure Satellitenverbindungen senden, sodass die Daten besser an Ort und Stelle weiterverarbeitet oder vorbereitet werden müssen. So kann man beispielsweise Datenpakete schnüren, welche die Daten für das Rücksendefenster bündeln und dann jeweils mehrere Stunden Aktivität umfassen.

Was aber, wenn es zwischen den Perioden zu einem kritischen Ereignis kommt, etwa zum Überhitzen eines Motors oder einer Maschine? Eine Sensorinformation dieser Art wäre dann ungleich wichtiger, als alle anderen von einem Sensor im Laufe eines Tages erfassten Daten.

Die Rolle von NiFi

Hier kommt Onyaras Software in Form des Apache-NiFi-Projekts ins Spiel – seit gut einem Jahr ein Toplevel-Projekt der Apache Software Foundation. Mit NiFi – die Software selbst weist bereits eine rund acht Jahre währende Entstehungszeit bis zu den Anfängen bei der NSA auf – lässt sich die Herausforderung, externe Datenquellen anzubinden, schnell und effizient lösen. NiFi unterstützt Unternehmen dabei, Datenflüsse remote zu verwalten. Die Software selbst kann daher auf sehr bescheidener Hardware laufen, etwa einem Notebook, und ist in der Lage zu priorisieren, welche Daten und Informationen gerade kritisch sind, wie zum Beispiel das Überhitze einer Maschine im genannten Beispiel.

Die Motivation hinter der Onyara-Übernahme

Für viele Unternehmen liegt der Charme beim Internet of Things vor allem darin, in Zukunft vorhersagefähige Algorithmen zur Überwachung kritischer Umgebungen einsetzen zu können. Die Beweggründe der Übernahme von Onyara durch Hortonworks seien daher gut nachvollziehbar, so Scott Gnau gegenüber BigData-Insider.

Mit Apache NiFi erhält die Hortonworks Data Platform (HDP) on top eine Datenflusssteuerung, die künftig unter dem Namen Hortonworks DataFlow powered by Apache NiFi technology in den Hortonworks-Stack einfließen soll. Das Onyara-Team wird Apache NiFi unter dem Dach der Apache Software Foundation weiter entwickeln, während Hortonworks die neue Hortonworks Dataflow Subscription bereits binnen der kommenden 30 Tage freigeben will. Lizenztechnische Kompatibilität ist ohnehin gewährleistet, weil die Hortonworks Data Platfom und Hortonworks DataFlow unter der Apache-Software-Lizenz stehen.

Vorteile für Entwickler, Partner und Kunden

Die Datenflusssteuerung ist nach Ansicht von Hortonworks eine der wichtigsten Zukunftstechnologien im Zusammenhang mit dem Internet of Everything. Entwickler und Kunden profitieren mit Hortonworks DataFlow in vielfacher Weise:

• Hortonworks DataFlow powered by Apache NiFi ist und bleibt Open Source Software.

• Die Software stellt eine einfach zu bedienende, moderne, auf HTML5 basierende Weboberfläche zur Verfügung, mit der sich Datenfluss-Workflows per Drag-and-drop visuell programmieren lassen.

• Die weit gehend frei konfigurierbaren Tools in Hortonworks DataFlow erlauben auch das Verwalten und Steuern von Data Flows mit niedriger Bandbreite.

• Die Herkunft der Datenflussströme lassen sich von Anfang bis Ende lückenlos tracken.

• Hortonworks DataFlow bringt eine zusätzliche Sicherheitskomponenten im Zusammenhang mit dem Adressieren der Edges (Sensoren).

Zweifelsohne zielt Hortonworks mit der Integration einer Dataflow-Komponente auch darauf ab,neue Kunden zu gewinnen, etwa solche, die bisher SAP HANA oder andere Hadoop-Interpretationen mit Echtzeitanalysen nutzen, denn die Herausforderungen im Zusammenhang mit dem IoT sind wie geschildert komplex und Onyara sicher nicht das einzige Unternehmen, das an Lösungen zur Datenflussteuerung arbeitet.

Was macht die Konkurrenz?

Nach Ansicht von Scott Gnau würde Hortonworks DataFlow, da es Open Source ist, auch mit anderen Hadoop-Versionen (etwa von Cloudera) oder anderen Datenbanken laufen, wie etwa SAP HANA, dort allerdings weniger Funktionalität bieten. Hortonworks hofft daher, DataFlow werde Nutzer überzeugen, direkt zu Hortonworks zu wechseln. Man begrüße es aber durchaus, wenn Konkurrenten wie Cloudera den NiFi-Open-Source-Code in ihre Produkte integrieren und ihre eigenen Vorstellungen von Datenflusssteuerung umsetzten. „Vielleicht werden wir es auch sehen, dass Cloudera oder SAP andere Start-ups mit ähnlichen Technologien wie der von Onyara übernehmen“, so Gnau.

(ID:43590382)