Thomas Joos

Die Big-Data-Cloud-Lösung Qubole ist in der Lage, sehr effektiv große und auch unstrukturierte Datenströme von verschiedenen Quellen zusammenzufassen und zu analysieren. Der Dienst steht auch Azure, Google Cloud und AWS zur Verfügung.

Auf Kaggle lassen sich Jupyter Notebook ohne Einrichtung online erstellen. Mittlerweile gehört Kaggle zu Google. Im Fokus stehen Dienstleistungen rund um das Thema Big Data, Machine Learning und Data Mining.

Mit Azure Synapse Analytics bietet Microsoft einen Analysedienst, der die Vorteile von Data Warehouses und Big-Data-Analysen miteinander kombiniert.

Die Datenmenge, die Unternehmen speichern müssen, steigt immer weiter an. Herkömmliche Dateisysteme wie extX, NTFS oder ReFS sind von der Leistung kaum mehr in der Lage, solche riesigen Datenmengen zu speichern. Wir geben einen Überblick, welche Dateisysteme das besser können.

Mit der NoSQL-Datenbank Firestore bietet Google eine cloudbasierte Datenbank für IoT- oder andere mobile Anwendungen sowie Web-Apps an.

Apache Phoenix dient als Schnittstelle für relationale Datenbanken auf Basis von HBase. Phoenix kann SQL-Abfragen durchführen und HBase-Tabellen verwalten. Wir zeigen, was die Software kann.

Apache Griffin kann die Datenqualität in Big-Data-Umgebungen verbessern. Das Open Source Tool unterstützt die Batch-Verarbeitung und den Streaming-Modus. Wir geben einen Überblick.

Mit der neuen Version 4.2 stellen die Entwickler von MongoDB die neue Version der NoSQL-Datenbank zur Verfügung. Verbessert werden zum Beispiel Indizes und die Verschlüsselung.

Mit Reveal hat Infragistics eine Embedded-Analytics- und -Dashboard-Plattform angekündigt. Im Fokus der neuen Lösung soll die einfachere Integration von Business Analytics in Anwendungen stehen.

Mit Windows 10 IoT Core stellt Microsoft eine Windows-10-Version zur Verfügung, die für Geräte ohne Monitor entwickelt wurde. Da auch diese Version die Universal Windows Platform nutzt, ist deren Einsatzgebiet sehr flexibel.

Apache SAMOA ist eine Plattform für das Mining großer Datenströme. Die Lösung bietet eine Sammlung von verteilten Streaming-Algorithmen für die gängigsten Data-Mining- und Machine-Learning-Aufgaben.

Lösungen im Bereich Big Data sind grundsätzlich auch in vielen Fällen dazu geeignet im Security-Bereich Einsatz zu finden. Apache Metron ist eine solche Lösung, die generell durchaus sinnvoll eingesetzt werden kann, wenn ein SIEM-System aufgebaut werden soll.

Das Apache-Toplevel-Projekt Zeppelin bietet ein Notizbuch für Daten aus anderen Systemen, mit denen Anwender diese effektiv analysieren können. Zeppelin arbeitet dazu eng mit Spark, Flink und Hadoop zusammen.

Google stattet das Cloud IoT Device SDK for Embedded C mit Funktionen zum Verwalten und Verwenden von IoT-Geräten aus. Dadurch sollen sich Low-End-Geräte besser mit der Cloud verbinden lassen.

Die Eclipse Foundation will die kommerzielle Nutzung des Internet of Things voranbringen. Open-Source-Technologien sollen aus der Eclipse IoT-Initiative und der Eclipse IoT Working Group heraus entstehen.

Microsoft stellt mit Azure Databricks eine Analyseplattform in Microsoft Azure zur Verfügung, die auf der bekannten Analysesoftware Apache Spark aufbaut. Bei der Entwicklung der Plattform haben die Entwickler von Spark mitgearbeitet.

Data-Science-Projekte sind in vielen Unternehmen eine wichtige Grundlage zur Analyse der Daten. Damit die Projekte erfolgreich durchgeführt werden können, muss ein Team effektiv zusammenarbeiten und über das notwendige Know-how verfügen.

Das Apache HAWQ-Projekt ist zu einem Top-Level-Projekt innerhalb der Apache Software Foundation geworden. Apache HAWQ ist eine Enterprise SQL-on-Hadoop Query Engine und Analysedatenbank, die erstmals im September 2015 in die Inkubationsphase der Stiftung eingetreten ist.

Bei der Verarbeitung von Daten in den Bereichen Big Data und Machine Learning spielt die Leistung eine wesentliche Rolle. Intel unterstützt Entwickler hier mit der kostenlosen Data Analytics Acceleration Library (DAAL).

Vespa wurde von Verizon, dem Eigentümer von Yahoo, als Open-Source-Lösung zur Verfügung gestellt. Damit haben Unternehmen die Möglichkeit, Flickr-Technologien auch für eigene Daten einzusetzen.

Immer mehr Maschinen und Geräte sind direkt mit dem Internet verbunden. Dadurch entstehen neue Sicherheitsgefahren, mit denen sich Unternehmen auseinandersetzen müssen.

IOTA ist eine Kryptowährung, die vor allem für automatisierte Bezahlvorgänge zwischen Maschinen im Internet of Things konzipiert ist. Dadurch werden Bezahlvorgänge einfacher und effektiver. Der Rechenaufwand soll, so die Entwickler, genauso sinken wie die Kosten.

Geht es um Big-Data-Analysen, müssen Unternehmen auf leistungsstarke Hardware setzen, die optimal mit der Analyse-Software zusammenarbeitet. Hier gibt es verschiedene Anbieter, mit denen Intel kooperiert.

DeviceHive ist eine der bekanntesten Lösungen, um internetfähige Geräte in IoT-Umgebungen zentral zu integrieren. Mit der Cloud-basierten Lösung können Smart-Home-Geräte und Sensoren automatisiert werden.

Auf den meisten Webseiten wird auf Google Analytics gesetzt, um die Besucher und Zugriffsdaten zu analysieren. Es gibt allerdings durchaus interessante Alternativen zum Marktführer.

Mit Apache Storm lassen sich Daten in Big-Data-Systemen in Echtzeit verarbeiten. Das Tool arbeitet mit verschiedenen Datenquellen zusammen und fügt sich optimal in Hadoop-Umgebungen ein.

Mit Apache Fluo nutzen Anwendungen Daten, die mit der NoSQL-(Key/Value)-Datenbank Accumulo gespeichert wurden. In Zusammenarbeit mit Hadoop und Zookeeper stellt Fluo/Accumulo eine wertvolle Hilfe dar, um Daten schneller zu verarbeiten.

Das Internet der Dinge (Internet of Things, IoT) ist nicht nur eine Chance für produzierende Betriebe, sondern auch für Unternehmen, die auf diese Technologie in den eigenen Niederlassungen setzen

Google bietet mit seinem neuen Data Studio ein Webtool an, das verschiedene Datenquellen anbinden kann, um Berichte zu erstellen und Daten zu visualisieren.

Geht es um die Verarbeitung von Streamingdaten, arbeiten viele Entwickler mit dem Open Source Tool Apache Kafka. Dieses lässt sich auch in die Hadoop-Version HDInsight von Microsoft Azure integrieren, sodass Unternehmen Streamingdaten effizient auswerten können

R-Server für HDInsight ist eine horizontal skalierbare Implementierung von R, die sich direkt in Microsoft Azure HDInsight implementieren lässt. R ist Open Source und wird komplett in der Cloud ausgeführt

Neue Entwicklungen bei Industrie 4.0 und dem Internet der Dinge spielen für Unternehmen aller Größenordnungen eine immer wichtigere Rolle. Um wettbewerbsfähig zu bleiben, müssen Unternehmen immer flexibler und vernetzter agieren

In der Wissenschaft und in der medizinischen Forschung fallen in vielen Bereichen sehr große Datenmengen an. Damit diese Daten effizient gespeichert und analysiert werden können, braucht es geeignete Lösungen.

Big Data erfordert leistungsfähige Server und Anwendungen, die eine große Menge an Daten effizient verarbeiten können. Dafür eignen sich Cloud-Dienste wie die Google Cloud Platform hervorragend.

Microsoft hat in Office 365 einige Funktionen integriert, mit denen sich Business-Intelligence-Funktionen umfassend nutzen lassen. Als Datenspeicher lassen sich Cloud-Server, Microsoft Azure, oder lokale Server nutzen.

Bei Big Data spielen Open-Source-Lösungen eine besondere Rolle. Das liegt unter anderem daran, dass große Unternehmen Big-Data-Lösungen entwickeln und dann der Community zur Verfügung stellen, um diese zu verbessern.

Bei SMACK handelt es sich um eine Big-Data-Plattform, die Spark, Mesos, Akka, Cassandra und Kafka miteinander kombiniert. Der Vorteil dieser Kombination liegt im Zusammenspiel der verschiedenen Werkzeuge zu einer idealen Analyse. Dabei werden die Stärken der eingesetzten Tools genutzt, die Schwächen durch die anderen Tools ausgeglichen.

Vor allem größere Netzwerke werden immer komplexeren und besser geplanten Angriffen ausgesetzt. Da gleichzeitig auch die Datenmenge und der Datenfluss im Unternehmen ansteigen, wird es schwerer, solche Angriffe und ihre Folgen aufzudecken. Hier soll die HawkEye Analytics Platform (AP) helfen.

Unternehmen, die Big Data und Business Intelligence im Unternehmen nutzen wollen, stehen oft vor der Frage, welche Lösungen eingesetzt werden sollen. Hier spielt natürlich auch das Budget eine Rolle. Mit Open Source Tools wie Pentaho und Jedox lassen sich wiederum günstige Lösungen integrieren, die für jeden Einsatzzweck ideal konfiguriert sind.

Viele Unternehmen stehen vor der Entscheidung zu einer neuen Microsoft SQL Server-Version zu wechseln, oder Datenbanken in die Cloud zu migrieren, damit diese an anderen Standorten verfügbar ist. Microsoft unterstützt Administratoren dabei Datenbanken ab SQL Server 2005 in Azure SQL zu übernehmen, aber auch Datenbanken anderer Hersteller.