Definition

Was ist ein rekurrentes neuronales Netz (RNN)?

| Autor / Redakteur: Stefan Luber / Nico Litzel

(Bild: © aga7ta - stock.adobe.com)

Das rekurrente neuronale Netz ist eine besonderes Form des neuronalen Netzes, bei dem Neuronen der gleichen Schicht oder unterschiedlicher Schichten rückgekoppelt sind. Durch diese Rückkopplungen lassen sich zeitlich codierte Informationen aus Daten gewinnen. Typische Einsatzbereiche sind Handschrifterkennung, Übersetzungen oder Spracherkennung.

Die Abkürzung RNN steht für rekurrentes neuronales Netz. Es handelt sich um eine besondere Form des neuronalen Netzes, das sich von einfachen Feed-Forward-Netzen darin unterscheidet, dass Neuronen der gleichen Schicht oder unterschiedlicher Schichten rückgekoppelt sind. Dadurch sind diese neuronalen Netze der Neuronenverschaltung des menschlichen Gehirns ähnlicher. Mithilfe der Verschaltungen ist es möglich, aus einer Menge von Ausgangsdaten zeitlich codierte Informationen zu gewinnen.

Abhängig davon, wie die Neuronen rückgekoppelt sind, existieren verschiedene Arten rekurrenter neuronaler Netze. Das Training solcher Netze ist komplexer und kann den Einsatz besondere mathematischer Verfahren notwendig machen. Typische Anwendungsbereiche der rekurrenten neuronalen Netze sind Handschrifterkennung, Übersetzungen, Spracherkennung und die Vorhersage von Aktienkursen oder dem Wetter.

Aufbau und Merkmale eines rekurrenten neuronalen Netzes

Ein rekurrentes neuronales Netz besteht, vereinfacht dargestellt, aus Neuronen in verschiedenen Schichten. Die einzelnen Neuronen haben einen Eingang, über die sie Informationen von außen oder von anderen Neuronen aufnehmen. Über ihren Ausgang geben sie die bewerteten oder modifizieren Informationen als Ergebnis oder als Input für andere Neuronen weiter.

Im mehrschichtigen neuronalen Netz ist eine Unterscheidung zwischen Input-Neuronen, Hidden-Neuronen und Output-Neuronen möglich. Input-Neuronen sind in der Lage, Informationen in Form von Daten der Außenwelt entgegenzunehmen. Hidden-Neuronen sind zwischen Input- und Output-Neuronen angesiedelt. Sie bilden die internen Informationsmuster ab und stellen die Verbindung zu den Output-Neuronen her. Hidden-Neuronen haben keine direkte Verbindung zur Außenwelt, weder am Eingang noch am Ausgang. Die Output-Neuronen sind für die Weitergabe der Ergebnisse an die Außenwelt verantwortlich.

Verbindungen zwischen den Neuronen werden als Kanten bezeichnet. Die Kanten besitzen Gewichtungen, über die der Einfluss auf ein anderes Neuron gesteuert wird. In einem rekurrenten neuronalen Netz sind auch Rückkopplungen zwischen Neuronen der gleichen Schicht oder vorangegangener Schichten möglich. Durch die Rückkopplungen entstehen Kreisstrukturen. Bildlich auf das menschliche Gehirn übertragen, lassen sich diese Rückkopplungen mit einer Art Gedächtnis vergleichen.

Abgrenzung zu den Feedforward-Netzen

Neuronale Netze haben unterschiedlichste Strukturen. Die sogenannten neuronalen Feedforward-Netze besitzen eine einfachere Struktur als rekurrente neuronale Netze. Sämtliche Informationen werden immer nur in eine Richtung weitergegeben. Rückkopplungen zwischen Neuronen gleicher oder vorheriger Schichten existieren nicht. Feedforward-Netze nehmen Informationen in der Eingabeschicht entgegen und reichen sie über Zwischenschichten an die Ausgabeschicht weiter. Informationen lassen sich aufgrund der vorwärts gerichteten Baumstruktur niemals in vorherige Neuronenschichten zurückleiten. Typischer Einsatzbereich der Feedforward-Netze ist die Erkennung von Mustern. Eine Art Gedächtnis oder die Fähigkeit Vorhersagen zu treffen, wie sie die rekurrenten neuronalen Netzen besitzen, haben die Feedforward-Netze nicht.

Unterteilung von rekurrenten neuronalen Netzen

Abhängig von der Art der Rückkopplung lassen sich vier grundsätzliche Typen rekurrenter neuronaler Netze unterscheiden. Diese vier Typen sind:

  • Direct-Feedback-Netze (direkte Rückkopplungen)
  • Indirect-Feedback-Netze (indirekte Rückkopplungen)
  • Lateral-Feedback-Netze (seitliche Rückkopplungen)
  • Complete-Feedback-Netze (vollständige Rückkopplungen)

Bei Direct-Feedback-Netzen ist der Ausgang eines Neurons ein weiterer Eingang des gleichen Neurons. Netze mit indirekten Rückkopplungen verbinden den Ausgang eines Neurons mit einem Eingang eines Neurons einer vorherigen Schicht. Eine seitliche Rückkopplung stellt eine Verbindung eines Ausgangs eines Neurons mit dem Eingang eines Neurons der gleichen Schicht dar. In Complete-Feedback-Netzen sind alle Neuronenausgänge vollständig mit allen anderen Neuronen verbunden. Es entsteht eine Totalvermaschung der Neuronen.

Training von rekurrenten neuronalen Netzen

Das Training von rekurrenten neuronalen Netzen ist schwieriger als von Feedforward-Netzen und lässt sich nicht durch einfache Methoden des maschinellen Lernens abbilden. Durch die Rückkopplungen können lokale Optima entstehen, die zu unübersichtlichen Netzzuständen führen. Rekurrente neuronale Netze sind nicht in der Lage, weit entfernte oder zurückliegende Informationen miteinander zu verknüpfen. Netze mit sogenannten LSTM-Zellen (Long Short Term Memory) lösen dieses Problem, indem die Zellen neben einem Eingang und einem Ausgang ein Merk- und Vergesstor besitzen. Es entsteht eine Art Kurzzeitgedächtnis, das Informationen relativ lange vorhalten kann und sich an früher gemachte Erfahrungen erinnert.

Typische Anwendungsbereiche rekurrenter neuronaler Netze

Rekurrente neuronale Netze eignen sich im Gegensatz zu den Feedforward-Netzen nicht nur für die einfache Mustererkennung. Sie sind in der Lage, komplexere Sequenzen zu verarbeiten. Typische Anwendungsbereiche sind die Erkennung von Handschriften, die Spracherkennung, Übersetzungen, Tumorerkennung und Vorhersagen des Wetters oder von Aktienkursen.

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Aktuelle Beiträge zu diesem Thema

SAS stellt KI, Governance und Collaboration in den Vordergrund

Nachbericht SAS Forum Deutschland 2018

SAS stellt KI, Governance und Collaboration in den Vordergrund

Auf seiner Anwenderkonferenz „SAS Forum Deutschland 2018“ in Bonn stellte der US-Analytics-Spezialist SAS seine Self-Service-Analyse-Plattform SAS Viya in der Version 3.3 vor und gewährte Ausblicke auf Version 3.4. Viya ist auf moderne Analytics- und KI-Technologien ausgerichtet, daher sollen auch Grafikprozessoren, Container und Collaboration-Technologien unterstützt werden. lesen

SAS spendiert Viya mehr KI und Data Governance

Update

SAS spendiert Viya mehr KI und Data Governance

Der Softwarehersteller SAS erweitert mit dem jüngsten Update für SAS Viya die Funktionalitäten für Künstliche Intelligenz (KI) und Automatisierung innerhalb der SAS-Plattform. lesen

So spürt Deep Learning Datenmuster auf

Big Data und Deep Learning

So spürt Deep Learning Datenmuster auf

Die Zunahme an unstrukturierten Daten wie etwa Bildern, Blogs und Sprachbotschaften macht es ratsam, diese Massendaten automatisch erkennen zu lassen. Deep Learning, ein Unterbereich des Machine Learning, hilft bei der Erkennung dieser Daten und findet Muster in natürlicher Sprache, in Bildern und vielem mehr. lesen

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 46005484 / Definitionen)