Definition

Was ist Apache Ignite?

| Autor / Redakteur: Stefan Luber / Nico Litzel

(Bild: © aga7ta - stock.adobe.com)

Apache Ignite ist eine verteilt arbeitende Computing-Plattform, die auch als In-Memory-Data-Fabric bezeichnet wird. Unterstützt werden Caching, verteilte In-Memory-Datenbanken und die Berechnung von Streaming-, Transaktions- und Analyse-Workloads in Echtzeit. Die Software ist unter Apache Lizenz 2.0 verfügbar und ein Projekt der Apache Software Foundation (ASF).

Bei Apache Ignite handelt es sich um eine Open-Source-Plattform für verteilte In-Memory-Datenbanken, Caching und die Berechnung von Transaktionsdaten großer Datenmengen in Echtzeit. Entwickelt wurde die Software ursprünglich vom Unternehmen GridGain. Mittlerweile ist Apache Ignite eines der Top-Level-Projekte der Apache Software Foundation (ASF) für In-Memory-Computing.

Wesentliche Bestandteile der In-Memory-Computing-Plattform sind eine In-Memory-Datenbank (IMDB), ein In-Memory-Data-Grid (IMDG) sowie die Unterstützung von Streaming-Analysen, Deep Learning und Machine Learning. Die Software ermöglicht die Prozessierung von Streaming-, Transaktions- und Analyse-Workloads auf Petabyte-Level in hoher Geschwindigkeit. Apache Ignite wird auch als In-Memory-Data-Fabric bezeichnet und lässt sich horizontal nahezu unbegrenzt skalieren.

Dank intelligenter Algorithmen werden bei der Prozessierung möglichst viele Daten im RAM gehalten und Zugriffe auf langsamere Festplatten vermieden. Da RAM als Default-Storage verwendet wird, gehört Apache Ignite zur Klasse der In-Memory-Computing-Plattformen. Mit der Software lassen sich existierende relationale oder NoSQL-Datenbanken beschleunigen. Unterstützt werden verschiedene APIs, ANSI-99 SQL und ACID-Transaktionen. Betreiben lässt sich Apache Ignite On-Premises, in der Cloud oder Container-basiert. Die Software steht unter Apache-Lizenz 2.0.

Die Durable-Memory-Architektur von Apache Ignite

Apache Ignite basiert auf einer Durable-Memory-Architektur. Sie gestattet es, Daten sowohl auf Festplattenspeichern als auch im Arbeitsspeicher abzulegen und zu prozessieren. Egal, ob sich die Daten im RAM oder auf dem Festplattenspeicher befinden, sie haben die gleiche binäre Struktur und Darstellung. Müssen Daten zwischen RAM und Festplattenspeichern verschoben werden, ist keine Transformation der Daten notwendig. Die Durable-Memory-Architektur teilt den Speicher in sogenannte Pages (Blöcke fester Größe) auf. Eindeutig identifiziert werden die Pages über die Page-ID.

Grundsätzlich wird RAM von Apache Ignite nicht wie ein einfacher Cache, sondern wie ein vollwertiger Speicherlayer behandelt. Die Persistenz des Speichers lässt sich bei Bedarf aktivieren. Ist die Persistenz gefordert, verhält sich Apache Ignite wie eine verteilte, horizontal skalierbare Datenbank, die bei Cluster-Ausfällen vollständige Datensicherheit und Datenkonsistenz bietet.

Weitere zentrale Merkmale von Apache Ignite

Apache Ignite unterstützt strukturierte, semi-strukturierte und unstrukturierte Daten. Die Daten lassen sich über SQL, APIs und ODBC- oder JDBC-Treiber ansprechen. Die Software ist als In-Memory-Data-Grid (IMDG) oberhalb von relationalen Datenbanken oder NoSQL-Datenbanken nutzbar. Wird sie mit einer Third-Party-Datenbank verwendet, beschleunigt Apache Ignite die Datenbank, indem die zu bearbeitenden Daten im Arbeitsspeicher bereitgehalten werden. Die sogenannte Native Persistence erlaubt den Einsatz von Apache Ignite als verteilte In-Memory-Datenbank, die verschiedenste Speichertechnologien wie Arbeitsspeicher, HDDs, SSDs und andere unterstützt.

Apache Ignite stellt ein Compute-Grid für parallele In-Memory-Bearbeitung rechenintensiver Tasks zur Verfügung. Das Grid lässt sich für beliebige Anwendungen des High-Performance-Computings (HPC) einsetzen und nutzt Massively Parallel Processing (MPP). Bestandteil des Systems ist eine mächtige Bibliothek an Funktionen für das Machine Learning und das Deep Learning.

Oberhalb der MPP-Architektur ist Apache Ignite mit ANSI-99 SQL kompatibel. SQL arbeitet verteilt und ist horizontal skalierbar. Unterstützt werden alle Data-Manipulation- und Data-Definition-Befehle sowie verteilte SQL-Joins. Die komplette Verarbeitung der SQL-Befehle ist so konzipiert, dass der Datenverkehr im Netz zwischen den Clustern minimiert ist.

ACID-kompatibel

Ein weiteres Merkmal von Apache Ignite ist die Unterstützung von ACID-Transaktionen (Atomarität, Konsistenz, Isolation und Dauerhaftigkeit). Mit Apache Ignite ausgeführte Transaktionen und gespeicherte Daten sind sowohl im RAM als auch auf dem Festplattenspeicher ACID-kompatibel. Darüber hinaus hat der Anwender die Möglichkeit, über Einstellungen den Level der Konsistenz in einem bestimmten Maß zu beeinflussen. So lässt sich eine optimale Balance zwischen Konsistenz und Geschwindigkeit finden.

Bestandteil von Apache Ignite ist ein verteiltes In-Memory-File-System. Es wird als Ignite File System (IGFS) bezeichnet und stellt eine Schnittstelle für den Zugriff auf die In-Memory-Daten zur Verfügung. IGFS ist mit dem Hadoop Distributed File System (HDFS) vergleichbar und liefert ein voll funktionales Dateisystem für den Arbeitsspeicher.

Die Apache Ignite Software ist in verschiedensten Umgebungen betreibbar. Sie kann auf eigenen On-Premises-Servern, in einer privaten, hybriden oder öffentlichen Cloud oder in einer Container-basierten Umgebung betrieben werden. Kompatibel sind unter anderem Kubernetes, Docker, Amazon Web Services (AWS), Microsoft Azure oder die Google Cloud Plattform.

Anwendungsbereiche von Apache Ignite

Weltweit wird Apache Ignite beispielsweise von Finanz-, Telekommunikations-, E-Commerce-Unternehmen oder Anbietern von Cloud-Leistungen für diverse Business-Anwendungen und Services genutzt.

Apache Ignite lässt sich beispielsweise einsetzen, um:

  • mehr Performance für vorhandene Datenbanksysteme oder Applikationen bereitzustellen
  • vorhandene Anwendungen besser zu skalieren
  • neue hoch-performante Analyse- oder Transaktionsanwendungen zu realisieren
  • neue hoch-performante Streaming-Analyseanwendungen zu realisieren
  • Anwendungen im Bereich des Machine Learnings oder des Deep Learnings zu realisieren
  • Echtzeit-Analysen durchzuführen

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Aktuelle Beiträge zu diesem Thema

GridGain gibt erste Keynotes bekannt

In-Memory Computing Summit Europe

GridGain gibt erste Keynotes bekannt

GridGain Systems, spezialisiert auf In-Memory-Computing-Lösungen auf Basis von Apache Ignite, gab die ersten Keynotes zu seinem dritten, alljährlich stattfindenden In-Memory Computing Summit Europe 2019 bekannt. lesen

GridGain launcht Community Edition von Apache Ignite

In-Memory-Computing

GridGain launcht Community Edition von Apache Ignite

GridGain Systems, Anbieter von In-Memory-Computing-Lösungen auf Basis von Apache Ignite, hat die GridGain Community Edition (GCE) veröffentlicht. lesen

GridGain startet Basic Support für Apache Ignite

Schnelles Feedback

GridGain startet Basic Support für Apache Ignite

Mit einem neuen Support-Service will In-Memory-Computing-Spezialist GridGain den Zugang zu schnellem Feedback von Apache-Ignite-Experten ermöglichen. lesen

GridGain baut In-Memory-Computing-Plattform weiter aus

Datenpersistenz und mehr

GridGain baut In-Memory-Computing-Plattform weiter aus

Automatische Datenpersistenz, Hochverfügbarkeit und die Möglichkeit direkter Neustarts ergänzen ab sofort die GridGain Cloud. Zudem lässt sich mit wenigen Klicks eine Apache-Ignite-Testumgebung erstellen. lesen

Machine und Deep Learning für GridGain Professional

Version 2.4 bringt Neuerungen

Machine und Deep Learning für GridGain Professional

Mit der neuen Version 2.4 halten maschinelles Lernen und Deep Learning Einzug in das Continuous Learning Framework der GridGain Professional Edition. Zudem wurde die Apache-Spark-Integration verbessert. lesen

Big-Data-Analysen mit Open Source Software

GridGain In-Memory Data Fabric & Apache Ignite

Big-Data-Analysen mit Open Source Software

In-Memory Computing ist vor allem im Big-Data-Bereich äußerst beliebt, da hier große Datenmengen enorm schnell verarbeitet werden müssen. Durch den extrem schnellen Zugriff auf die Daten innerhalb des Arbeitsspeichers lassen sich mit GridGain respektive Apache Ignite riesige Datenmengen enorm schnell verarbeiten. Die Software steht als Open-Source-Lösung zur Verfügung. lesen

Apache Ignite und Lens werden Top-Level-Projekte

Big-Data-Ökosystem

Apache Ignite und Lens werden Top-Level-Projekte

Mit Ignite und Lens haben zwei weitere Projekte der Apache Software Foundation, die sich mit der Verarbeitung großer Datenmengen befassen, den Inkubator der Stiftung verlassen. lesen

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 46031418 / Definitionen)