Big-Data-Ökosystem Apache Ignite und Lens werden Top-Level-Projekte

Anbieter zum Thema

QUNIS GmbH

Confluent Germany GmbH

Fivetran Germany GmbH

Mit Ignite und Lens haben zwei weitere Projekte der Apache Software Foundation, die sich mit der Verarbeitung großer Datenmengen befassen, den Inkubator der Stiftung verlassen.

Zwei junge Projekte unter dem Dach der Apache Software Foundation, Ignite und Lens, sind zu Top-Level-Projekten befördert worden.

Apache Ignite und Lens werden von der Verantwortlichen der Stiftung ASF-intern dem steig wachsenden Bereich Big Data zugeordnet. Ignite ist ein weiteres In-Memory Framework; Lens stellt eine vereinheitlichte Analyseschnittstelle in einem Big Data Cluster zur Verfügung.

Ignite

Apache Ignite wird von den Machern als In-Memory Data Fabric bezeichnet. Bei Ignite handelt es sich um eine verteilte Plattform, mit der sich Transaktionen bei extrem großen Datenmengen in Echtzeit berechnen lassen. Die Besonderheit von Ignite gegenüber ähnlichen Lösungen soll darin bestehen, dass intelligente Algorithmen dafür sorgen, stets möglichst viele Daten in RAM zu halten, was für eine hohe Leistungsfähigkeit sorgt.

Die Intelligenz von Ignite basiert im Wesentlichen auf einem nach den JCache-Spezifikationen (JSR 107) implementierten Cache, der Zugriffe auf langsame Festplatten soweit wie möglich vermeiden hilft.

Das unter der Apache-Lizenz 2.0 stehende Ignite wurde in Java geschrieben und bringt ein API fürs Java, Scala, C++ und C# mit. Herunterladen lässt sich die Software von der Projektseite, auf der sich auch weitere Detailinformationen finden.

Lens

Apache Lens hingegen vereinheitlicht in Big-Data-Umgebungen die Sicht auf die zu analysierenden Daten und stellt Nutzern eine vereinheitlichte Analyseschnittstelle zur Verfügung, um in komplexen Analyseanwendungen unterschiedlichste Datenquellen einbeziehen zu können. Mit Lens können Nutzer Daten unterschiedlicher Datenquellen transparent abfragen, als stünden sie in einer einzigen Datenbank bereit. Lens beherrscht SQL und OLAP Cube QL. Darüber hinaus verwaltet Lens sämtliche Abfragen und ermöglicht auf dieser Basis auch das Erstellen von Statistiken.

Im Mittelpunkt der Lens-Architektur steht der Lens-Applikationsserver, der per REST-API mit dem Java-Client, dem JDBC-Client oder dem CLI spricht und sich über ein umfangreiches Treiber-API zu vielfältigen Datenquellen wie JDBC, Hive, Spark und Co. verbinden kann. Ferner können lassen sich Schemaänderungen konfigurieren und Quota Limits einrichten. Die Treiber-basierte Architektur erlaubt beispielsweise ein einfaches Verbinden mit Reporting-Systemen wie Hive, Columnar Data Warehouses, Redshift etc. .

Auch Lens ist unter der Apache-2-Lizenz lizenziert. Weitere Informationen liefert auch hier die Projektseite, einschließlich einer Downloadmöglichkeit.

(ID:43575827)