Definition Was ist eine Gated Recurrent Unit (GRU)?

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

QUNIS GmbH

Xpand Solutions GmbH

Eine Gated Recurrent Unit ist ein Mechanismus und mathematisches Verfahren für Erinnerungsprozesse in rekurrenten neuronalen Netzwerken. Die Funktionalität ist vergleichbar mit der von Long Short-Term Memory (LSTM). Die Anzahl der Parameter ist jedoch geringer. Eine Gated Recurrent Unit besteht aus einem Update-Gate und einem Reset-Gate. Mit GRU lassen sich die für rekurrente neuronale Netze typischen Gradientenprobleme wie verschwindende Gradienten lösen.

Das Akronym für Gated Recurrent Unit ist GRU. Eine Gated Recurrent Unit ist ein Mechanismus und mathematisches Verfahren, das in rekurrenten neuronalen Netzwerken (RNN) zum Einsatz kommt. Mit GRU lassen sich für RNNs typische Probleme, wie das der verschwindenden Gradienten, lösen. Entwickelt und erstmals vorgestellt wurden Gated Recurrent Units im Jahr 2014.

Die Funktionalität ist mit der von Long Short-Term Memory (LSTM) vergleichbar. Gated Recurrent Units statten – vereinfacht ausgedrückt – ein rekurrentes neuronales Netzwerk mit Erinnerungsprozessen aus. Eine Gated Recurrent Unit besteht aus einem Update-Gate und einem Reset-Gate und hat dadurch weniger Parameter als LSTM. Der Rechenaufwand und Speicherbedarf ist im Vergleich zu LSTM reduziert. GRU ist LSTM in bestimmten Bereichen überlegen. Vor allem, wenn es um kleinere Datasets geht, zeigen sich Vorteile. Typische Anwendungsbereiche von rekurrenten neuronalen Netzwerken mit GRU sind das Natural Language Processing (NLP), Sprachsynthese, Spracherkennung, Handschrifterkennung und einiges mehr.

Grundlagen zu rekurrenten neuronalen Netzwerken

Für ein besseres Verständnis der Funktionsweise von Gated Recurrent Units zunächst einige grundlegende Informationen zu rekurrenten neuronalen Netzwerken (RNN). Ein RNN ist eine besondere Form eines neuronalen Netzwerks. Es unterscheidet sich von einfachen Feed-Forward-Netzen durch seine rückgekoppelten Neuronen. Die Neuronenverschaltung ist dem menschlichen Gehirn ähnlicher und ermöglicht die Lösung aufwendigerer Aufgabenstellungen. Das Training dieser Netze ist allerdings komplexer und erfordert den Einsatz spezieller Mechanismen und mathematischer Verfahren, um typische Probleme rekurrenter neuronaler Netzwerke zu lösen. Die Rückkopplungen verursachen beispielsweise lokale Optima und können zu unübersichtlichen Netzzuständen führen.

Vor allem die Verknüpfung zurückliegender und weiter entfernter Informationen stellt RNNs vor Probleme. Aufgrund von Gradientenproblemen wie verschwindende Gradienten haben RNNs Probleme mit dem Kurzzeitgedächtnis und können sich nicht an Erfahrungen aus längeren Datenreihen erinnern. Verfahren wie Long Short-Term Memory (LSTM) oder Gated Recurrent Unit lösen diese Probleme.

Prinzipielle Funktionsweise von Gated Recurrent Units

Eine Gated Recurrent Unit hat ein sogenanntes Update-Gate und ein Reset-Gate. Mithilfe dieser beiden Vektoren lösen sie das Problem der verschwindenden Gradienten. Mit den beiden Gates lässt sich der Informationsfluss durch das Modell steuern und entscheiden, welche Art von Informationen an die Ausgabe weitergeleitet werden. Auch länger zurückliegende Informationen können berücksichtigt werden.

Das Update-Gate bestimmt, welche weiter zurückliegende Informationen für die Zukunft wichtig sind und weitergegeben werden müssen. Das Reset-Gate legt fest, welche Informationen ignoriert (vergessen) werden dürfen. Die genaue Funktionsweise der beiden Gates ist in mathematischen Formeln und Vektorberechnungen abgebildet.

Abgrenzung zwischen GRU und LSTM

Gated Recurrent Unit und LSTM sind beides Verfahren, mit denen sich typische Gradientenprobleme von Standard-RNNs lösen lassen. Beide Verfahren haben vergleichbare Funktionalität und statten rekurrente neuronale Netzwerke mit Erinnerungsprozessen aus. Die rekurrenten neuronalen Netzwerke eignen sich dank LSTM und GRU besser für die Verarbeitung von Zeitreihendaten und liefern genauere Prognosen und Klassifizierungen.

LSTM schafft mithilfe von drei Gates (Eingang, Ausgang und Vergessen) eine Art langes Kurzzeitgedächtnis. GRU benötigt dafür nur zwei Gates (Update und Reset). Gated Recurrent Units haben weniger Parameter und verursachen weniger Rechenaufwand und Speicherbedarf. Im Vergleich zu LSTM, das bereits im Jahr 1997 erstmals vorgestellt wurde, ist GRU ein neueres Verfahren und wurde erst 2014 entwickelt. GRU gilt vor allem bei kleineren Datasets als leistungsfähiger und schneller. LSTM zeigt bei größeren Datasets mit längeren Sequenzen seine Vorteile.

Typische Anwendungen rekurrenter neuronaler Netzwerke mit GRU

Typische Anwendungen rekurrenter neuronaler Netzwerken mit Gated Recurrent Unit sind:

• Natural Language Processing (NLP)

• Spracherkennung

• Sprachsynthese

• maschinelle Übersetzungen

• Handschrifterkennung

• Erforschung des menschlichen Genoms

• Börsenanalysen (Aktienkursvorhersagen)

• Stimmungsanalysen

Vorteile gegenüber RNNs mit LSTM

Im Vergleich zu LSTM hat GRU weniger Parameter. Die GRU-Berechnungen sind weniger komplex. Sie verursachen geringeren Rechenaufwand, haben niedrigeren Speicherbedarf und liefern schneller Ergebnisse. Vor allem, wenn es sich um kleinere, weniger frequente Datensets handelt, sind RNNs mit GRU den RNNs mit LSTM überlegen. Rekurrente neuronale Netzwerke mit LSTM liefern bei größeren Datensets mit längeren Sequenzen die genaueren Ergebnisse.

(ID:48441126)