Kommentar von Dimitri Marx, Elastic

Der Aufstieg von Logs und Metriken

| Autor / Redakteur: Dimitri Marx / Nico Litzel

Der Autor: Dimitri Marx ist Solutions Architect bei Elastic
Der Autor: Dimitri Marx ist Solutions Architect bei Elastic (Bild: Elastic)

Suche ist das perfekte Werkzeug zur Überwachung und Analyse großer Mengen unterschiedlich formatierter Daten – für Aufgaben von der Suche nach Anomalien bis hin zur Trendermittlung und Datenprognose. Und nur wenige Unternehmensbereiche produzieren größere heterogene Datenmengen als die Logs und Metriken, die von IT-Systemen und Rechenzentren generiert werden.

Fast die gesamte IT-Infrastruktur und Software produziert eine Form einfacher Logs und Metriken. Logs zeichnen alle Ereignisse eines Systems auf: Log-ins, Benutzerinteraktionen, Transaktionen, Fehler und Systemausfälle. So entsteht eine umfassende, diskrete Aktivitätsliste. Metriken produzieren dagegen einen stetigen Strom numerischer Werte von überwachten Komponenten wie Prozessor-, Speicher- und Festplattenauslastung, Netzwerk- und Speicheraktivität in den Systemen oder Transaktionszeiten und Abschlussquoten in Anwendungen.

Als wäre es nicht schon genug, dass sich Logs als periodische, textbasierte Aufzeichnungen wesentlich von Metriken als fortlaufende numerischen Daten (Zeitreihen) unterscheiden: Noch komplizierter wird es, wenn Systeme Logs und Metriken jeweils in eigenen Spezialformaten erzeugen. Diese Unterschiede bei Formatierung und Datenstruktur waren einer der Hauptgründe dafür, dass Logs und Metriken bisher, trotz ihres Bezugs auf derselben Infrastruktur bzw. Anwendungen, separat verarbeitet und in verschiedenen Systemen gespeichert und analysiert wurden.

Suche: Logs und Metriken gemeinsam analysieren

Bisher mussten sich Administratoren, die mitten in der Nacht zu einem Systemausfall gerufen wurden, manuell durch Millionen und manchmal sogar Milliarden unterschiedlich formatierter Texteinträge in Logdateien kämpfen, bevor sie die Ursache eines Problems fanden. In komplexen, voneinander abhängigen Umgebungen wurde dieses Problem durch den Mangel eines einheitlichen Formats bei verschiedenen Infrastrukturquellen und -anwendungen verschärft.

Diese Administratoren wurden die ersten Anwender, die Open-Source-Suchtechnologien im großen Maßstab einsetzten. Die Indizierung der Logs von mehreren Systemen war der perfekte Anwendungsfall zur Analyse unterschiedlich strukturierter Texte im Petabyte-Maßstab. Benutzer fanden wichtige Logdateien in Sekundenschnelle.

Allerdings mussten die Querverweise der Metriken (die Auswirkungen auf das System angeben) zu den zugrundeliegenden Logs immer noch manuell vom Administrator hergestellt werden. Diejenigen, die mutig genug waren oder ausreichend Zeit hatten, entwickelten sogar ihre eigenen Benutzeroberflächen, um spezielle Instanzen von Logdaten und Metriken aus verschiedenen Anwendungen zusammenzuführen.

Ergänzendes zum Thema
 
Sprint – mit Suche das Verborgene in der IT finden

Indizieren, Speichern und Analysieren

Je weiter sich die Suchtechnik entwickelte, desto besser wurden auch die Plattformen: Neue und verbesserte Funktionen zum Importieren, Indizieren, Speichern und Analysieren numerischer und zeitbasierender Daten kamen auf. Diese Fortschritte eröffneten schließlich die Möglichkeit, sämtliche Logs und Metriken in derselben Anwendung schnell und einfach zu analysieren.

Bei kombinierter Betrachtung haben Logs und Metriken das Potenzial, eine unvergleichliche Übersicht der komplexen Interaktionen zwischen Hardware- und Software-Plattformen, Anwendungen und Benutzern in jeder Umgebung zu liefern. Administratoren stehen umfassende Informationen zur Analyse zur Verfügung, mit denen sie die Performance optimieren, die Effizienz steigern und Ausfallursachen präzise feststellen können.

Von schnellerer Reaktion zu Vorhersage und Prävention

Mit Suche als einheitlichem Speicher für Logs und Metriken können Administratoren nicht nur Anomalien finden und Ursachen schneller ermitteln. Jetzt wird es möglich, große Mengen historischer Logdaten und Metriken zu modellieren und zu analysieren – und zwar nicht nur, um aus vergangenen Ausfällen zu lernen – sondern um Muster, Trends, Vorläufer und warnende Signale zu erkennen.

Durch die Modellierung dieser Trends kann die Suche als Plattform zur Echtzeit-Systemüberwachung und -Benachrichtigung verwendet werden, die bereits vor dem Systemausfall Warnungen sendet. Ergänzen wir diese Modelle noch um maschinelles Lernen, können wir sie nicht nur schneller entwickeln, sondern auch wesentlich präziser machen.

Logs und Metriken sind nicht mehr nur die Grundlage um akute Probleme zu finden, sondern werden zu wichtigen Werkzeugen bei der Optimierung von Hardware, Software und sogar Geschäftsprozessen.

Vorteile für das Unternehmen aus der Systemanalyse gewinnen

Aber die Kapazität, Logdaten und Metriken auf einer flexiblen Plattform zu speichern, zu überwachen und zu analysieren, ist inzwischen weit über einfache Resilienz- und Effizienzsteigerung im Rechenzentrum hinausgewachsen.

Viele herkömmliche Systeme für Log- und Metrikenanalyse basieren auf relationalen Datenbanktechnologien. Anwendungen wurden für die Analyse spezifischer Beziehungen entwickelt und die Benutzer waren auf vordefinierte Datenstrukturen beschränkt. Im Gegensatz dazu können Benutzer Daten, die in einer Such-Plattform gespeichert sind, nach Belieben aufteilen und gruppieren. So entstand die Möglichkeit, neue Beziehungen und Korrelationen so schnell zu erforschen, wie wir uns diese vorstellen konnten.

Diese neu entdeckte Freiheit gab nicht nur IT-Systemadministratoren die Möglichkeit, von der Problemlösung zur Systemoptimierung zu wechseln: Sie hat eine neue, noch wichtigere Rolle für die Log- und Metrikenanalyse im gesamten Unternehmen eröffnet.

Durch die feingranulare Darstellung der Interaktionen von Benutzern mit IT-Systemen und Anwendungen zeigen Logs und Metriken auch in Echtzeit, wie Kunden, Interessenten, Lieferanten, Partner und Angestellte mit den Geschäftsabläufen interagieren. So wird die Analyse der IT-Betriebsdaten immer mehr zum essenziellen Werkzeug für die Analyse, Modellierung und Überwachung menschlichen Verhaltens und für die Geschäftsprozessoptimierung.

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45197878 / Analytics)