Kommentar von Abe Kleinfeld, GridGain Systems

Diese Vorteile bieten Memory-zentrierte Architekturen

| Autor / Redakteur: Abe Kleinfeld / Nico Litzel

Der Autor: Abe Kleinfeld ist Präsident und CEO von GridGain Systems
Der Autor: Abe Kleinfeld ist Präsident und CEO von GridGain Systems (Bild: GridGain Systems)

Digitale Transformation, Omnichannel-Marketing oder die Umsetzung gesetzlicher Regularien: Viele bedeutende unternehmerische Vorhaben umfassen heutzutage Web-Anwendungen, IoT-Projekte oder mobile Applikationen. Jede dieser geschäftskritischen Aktivitäten erfordert jedoch eine Infrastruktur mit Echtzeitgeschwindigkeit und massiver Skalierbarkeit. Dafür setzen immer mehr Unternehmen auf In-Memory Computing (IMC).

Mit der zunehmenden Nutzung lässt sich in der In-Memory-Computing-Technologie eine bedeutende Entwicklung beobachten: die Memory-zentrierte Architektur. Diese bietet größere Flexibilität sowie einen verbesserten ROI für zahlreiche datenintensive Anwendungen und hat das Potenzial, die Verbreitung von IMC noch weiter zu beschleunigen.

Ein kurzer Überblick über die Entwicklung der Datenbanktechnologie

Dass Disk-basierte Plattformen ihre Grenzen haben, wurde bereits vor Jahrzehnten deutlich. So gab es zahlreiche Versuche, Daten in transaktionalen Datenbanken zu analysieren, um die Leistungsfähigkeit dieser Datenbanken zu verbessern. Separate analytische Datenbanken (OLAP) wurden entwickelt. Daten in transaktionalen Datenbanken (OLTP) mussten einen periodischen ETL-Prozess durchlaufen und in OLAP-Datenbanken importiert werden.

Seit etwa fünf Jahren verfolgen Unternehmen zunehmend Initiativen zur digitalen Transformation oder müssen aufgrund bestimmter Regularien spezielle Anforderungen in Echtzeit umsetzen. Marketinglösungen für eine Omnichannel-Präsenz generieren große Datensätze. Diese Herausforderungen bedürfen einer verzögerungsfreien Analyse und Reaktion. Echtzeitentscheidungen sind mit den mit ETL-Prozessen (Extract, Transform, Load) verbundenen Verzögerungen jedoch nicht realisierbar. Als Resultat entstand ein Bedarf an IMC-Lösungen mit hybrider transaktionaler bzw. analytischer Verarbeitung (Hybrid Transactional/Analytical Processing = HTAP), die Echtzeitanalysen des Betriebsdatensatzes ermöglichen.

Zu Zeiten von teurem RAM-Speicher gab es nur beschränkte Möglichkeiten, die durch Disk-Zugriff bedingte Latenz zu umgehen, indem man die Daten im RAM zwischenspeicherte und so schneller verarbeiten konnte. Oft wurden verteilte Processing-Lösungen wie In-Memory-Datagrids, die über Cluster von Commodity-Servern aufgeteilt waren, verwendet, um den verfügbaren Arbeitsspeicher und die CPU-Leistung skalieren zu können. Allerdings stellten die hohen Kosten für RAM nach wie vor eine große Herausforderung dar.

Seit geraumer Zeit fallen die Kosten für RAM. 64-Bit-Prozessoren und APIs ermöglichen die einfache Integration von In-Memory-Datagrids in bestehende Anwendungs- und Daten-Layer, was für In-Memory-Geschwindigkeiten sowie für eine hohe Skalierbarkeit und Verfügbarkeit sorgt. Parallel dazu wurden neue In-Memory-Datenbanken entwickelt, die in der Lage sind, bestehende Disk-basierte Datenbanken vollständig zu ersetzen.

In den vergangenen Jahren kamen IMC-Lösungen auf, die In-Memory-Datagrids, In-Memory-Datenbanken, Streaming-Analysen, maschinelles Lernen, ACID-Transaktionen und ANSI-99-SQL-Unterstützung in einer einzigen, integrierten Plattform vereinen. IMC-Plattformen sind einfacher zu implementieren und zu betreiben im Vergleich zu mehreren Einzellösungen mit nur einer Produktfunktionalität. Diese IMC-Plattformen reduzieren die Implementierungs- und Betriebskosten und vereinfachen die Beschleunigung und Skalierung vorhandener Anwendungen erheblich. Außerdem ermöglichten sie die Neuentwicklung von Memory-basierten Applikationen in zahlreichen Branchen wie dem Finanzdienstleistungssektor, Fintech, IoT, Software, SaaS, im Einzelhandel, dem Gesundheitswesen und vielen Weiteren. Darüber hinaus steigerten Open-Source-Lösungen die Zugänglichkeit und Erschwinglichkeit von IMC-Plattformen. Dies macht HTAP noch praktikabler für weitere Einsatzmöglichkeiten.

Anwendungsbeispiele für IMC

Workday, eine führende Cloud-Lösung für Unternehmen im Finanz- und Personalwesen, hat rund 2.200 Kunden, darunter ein mehr als ein Drittel der Fortune 500. Das Unternehmen verwaltet derzeit Informationen von rund 31 Millionen Arbeitnehmern. Als Anbieter einer SaaS-Lösung nutzt Workday die IMC-Plattform von GridGain zur Verarbeitung von ca. 71 Milliarden Transaktionen täglich. Als Vergleich: Twitter hat rund 500 Millionen Tweets pro Tag.

Ein weiteres Beispiel: Russlands größte Bank Sberbank stand vor der großen Herausforderung der digitalen Transformation. Die Bank musste, um ihren rund 135 Millionen Kunden Online- und Mobile-Banking rund um die Uhr anbieten zu können, Kapazitäten für die Speicherung und Verarbeitung von 1,5 Petabyte Daten in Echtzeit sowie für Tausende Transaktionen pro Sekunde schaffen. Das Unternehmen benötigt zudem eine hohe Verfügbarkeit sowie die Unterstützung von ACID-Transaktionen, um die genaue Nachvollziehbarkeit all ihrer Geldtransaktionen sicherzustellen. Die IMC-Plattform von GridGain ermöglichte Sberbank die Entwicklung einer neuen Architektur. Ihre 2.000 Knotenpunkte starke IMC-Plattform verarbeitet bis zu 1,5 Petabyte Daten und weist mehr Speicherplatz sowie eine ähnliche Rechenleistung auf wie die größten Supercomputer der Welt.

Memory-zentrierte Architekturen

Eine Einschränkung vieler IMC-Lösungen ist, dass alle Daten in den Arbeitsspeicher passen müssen. Da RAM immer noch teurer ist als Festplatten, entscheiden sich viele Unternehmen dafür, nicht alle Daten in den Arbeitsspeicher zu legen, sondern den vollständigen Datensatz auf der Festplatte zu belassen. Eine Memory-zentrierte Architektur löst dieses Problem, indem sie mit ihrer zugrundliegenden Technologie die Verwendung anderer Speichertypen wie Solid-State-Laufwerke (SSDs), Flash-Speicher, 3D XPoint und weiterer ermöglicht. Die wichtigsten oder aktuellsten Daten bei Memory-zentrierten Architekturen liegen sowohl auf der Festplatte als auch im Arbeitsspeicher. So kann In-Memory-Geschwindigkeit erreicht werden. Durch diese Architektur kann der Datensatz somit den zur Verfügung stehenden RAM übersteigen – wobei der vollständige Datensatz auf der Festplatte liegt und das System in der Lage ist, Daten im Arbeitsspeicher oder auf dem darunter liegenden Laufwerk mit enormer Leistung zu verarbeiten.

Dabei besteht ein entscheidender Unterschied zum Caching Disk-basierter Daten im Arbeitsspeicher. Eine Memory-zentrierte Architektur bietet Unternehmen weitaus mehr Flexibilität und Kontrolle über die mögliche Leistung und Kosten. Den verfügbaren Arbeitsspeicher zu überschreiten bedeutet, Daten dahingehend zu optimieren, dass alle Daten auf der Festplatte liegen – wobei höherwertige und häufiger benötigte Daten sich zusätzlich im Arbeitsspeicher befinden, während seltener benötigte Daten nur auf der Festplatte liegen. Dieser nur bei Memory-zentrierten Architekturen mögliche Ansatz bietet optimale Leistung bei gleichzeitiger Minimierung der Infrastrukturkosten.

Ein weiterer wesentlicher Vorteil einer Memory-zentrierten Architektur besteht darin, dass im Falle eines Reboots nicht alle Daten erneut in den Arbeitsspeicher geladen werden müssen. Diese Verzögerung, die je nach Größe des Datensatzes und der Geschwindigkeit des Netzwerks Stunden dauern kann, kann leicht zur Verletzung von SLAs führen. Die Möglichkeit, Daten von der Festplatte schon während des Hochfahrens verarbeiten zu können, macht das System schneller wieder einsatzbereit. Während die Systemleistung anfänglich der von laufwerkbasierten Systemen ähnelt, wird das System schnell wieder fast alle Operationen mit In-Memory-Geschwindigkeit ausführen können, sobald die Daten in den Arbeitsspeicher zurückgeladen sind.

Die Zukunft des In-Memory Computing

In-Memory-Computing erfüllt die Bedürfnisse nach Echtzeit-Geschwindigkeiten und massiver Skalierbarkeit, die sich aus Initiativen zur digitalen Transformation, dem Omnichannel-Marketing und den Anforderungen an die Einhaltung gesetzlicher Vorschriften in Echtzeit ergeben. Diese komplexen Unternehmensinitiativen können in Form von webbasierten Anwendungen, IoT-Projekten oder mobilen Anwendungen erfolgen. IMC-Plattformen vereinen In-Memory-Datagrids und -Datenbanken sowie Streaming-Analysen in einer einheitlichen Plattform, was zur Senkung der Entwicklungs- und Betriebskosten beiträgt.

Eine Memory-zentrierte Architektur bietet die Vorteile von IMC hinsichtlich Geschwindigkeit und Skalierbarkeit – und das zu geringeren Kosten. Sie hilft dabei, das richtige Preis-Leistungs-Verhältnis für Unternehmen zu finden, die Verfügbarkeit von Services in Zeiten schnellen Wachstums sicherzustellen und den Neustart infolge eines Systemabsturzes zu beschleunigen. Der Bedarf nach höheren Rechengeschwindigkeiten und mehr Skalierbarkeit steigt in vielen Unternehmen. Eine Memory-zentrierte Architektur kann der Schlüssel zu einer kosteneffizienten In-Memory-Zukunft sein.

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 45408838 / Infrastruktur)