Definition Was ist ein Long Short-Term Memory?

Long Short-Term Memory ist ein Begriff aus dem Bereich Künstlicher Intelligenz (KI) und neuronaler Netze. Er beschreibt einen speziellen Funktionsblock rekurrenter neuronaler Netze, durch den sich eine Art „langes Kurzzeitgedächtnis“ integrieren lässt. Neuronale Netze werden dadurch wesentlich leistungsfähiger.

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

Disy Informationssysteme GmbH

Xpand Solutions GmbH

Wörtlich übersetzt bedeutet Long Short-Term Memory „langes Kurzzeitgedächtnis“. Die Abkürzung lautet LSTM. Das LSTM ist ein Verfahren und eine Technik, um die Leistungsfähigkeit rekurrenter neuronaler Netzwerke (RNN) und Künstlicher Intelligenzen zu verbessern. Mit LSTMs versehene RNNs sind in der Lage, sich an Langzeit-Abhängigkeiten und frühere Erfahrungen zu erinnern. Es entsteht eine Art Kurzzeitgedächtnis, das lange anhält.

Ursprünglich führten Sepp Hochreiter und Jürgen Schmidhuber die Technik bereits im Jahr 1997 ein. Durch zahlreiche Weiterentwicklungen und den enormen Fortschritt in der Künstlichen Intelligenz auf Basis neuronaler Netze hat sich die LSTM-Technik in weiten Bereichen etabliert. Zahlreiche Anwendungen der Künstlichen Intelligenz – beispielsweise in der Spracherkennung – nutzen neuronale Netze mit Long Short-Term Memory. Das Training mit großen Datenmengen und die Verwendung leistungsfähiger Rechner mit Grafikprozessoren tragen zum Erfolg der LSTMs bei. Vor allem neuronale Netze mit vielen Schichten profitieren vom Long Short-Term Memory und haben der Künstlichen Intelligenz zum Durchbruch verholfen.

Das Problem des Erinnerns und Vergessens in neuronalen Netzen

Ein neuronales Netz soll, vergleichbar mit dem menschlichen Gehirn, nicht für jede Aufgabe oder jedes Problem von vorne beginnen müssen. Es soll die Möglichkeit haben, auf bereits erworbenes Wissen und schon gemachte Erfahrungen zurückzugreifen. Hierfür ist das Prinzip der rekurrenten neuronalen Netze entworfen. Sie besitzen Rückkopplungsschleifen, durch die Informationen und bereits Gelerntes im neuronalen Netz gespeichert sind. Je mehr Schichten und Komplexität ein Netz hat und je länger es trainiert wurde, desto mehr miteinander verkettete Rückkopplungsschleifen sind vorhanden. Das führt im ungünstigen Fall dazu, dass bestimmte Information und Erfahrungen in tiefen Schichten nicht mehr effizient auffindbar sind. Das neuronale Netz vergisst sie quasi. Ein Long Short-Term Memory löst dieses Problem. Es schafft eine Art lang anhaltende Erinnerung an frühere Erfahrungen, die im neuronalen Netz leicht auffindbar zur Verfügung steht.

Aufbau einer LSTM-Zelle

Eine Zelle mit Long Short-Term Memory muss so konstruiert und so „intelligent“ sein, dass sie weiß, wie lange eine alte Information gespeichert werden soll, wann etwas zu vergessen ist, an was sich die Zelle erinnern soll und wie Verknüpfungen zwischen gespeichertem Wissen und neuen Informationen hergestellt werden. Um all das zu leisten, besteht die LSTM-Zelle aus vier einzelnen Komponenten. Diese Komponenten sind:

• Das Eingangstor (Input Gate),

• das Erinnerungs- und Vergesstor (Forget Gate),

• das Ausgangstor (Output Gate) und

• das Zellinnere mit seiner Verknüpfungslogik.

Das Eingangstor bestimmt, wie und in welchem Umfang neue Werte in eine Zelle fließen. Über das Erinnerungs- und Vergesstor ist geregelt, ob Informationen in einer Zelle verbleiben oder sie wieder vergessen werden. Das Ausgangstor legt das Maß fest, wie in der Zelle vorhandene oder ermittelte Werte auszugeben sind. Im Zellinneren ist geregelt, wie die Komponenten miteinander agieren und wie Informationsflüsse und Speicherungsvorgänge zu steuern sind. Die Logik ist über neuronale Funktionen mit Vektor- und Matrixoperationen realisiert.

Verschiedene LSTM-Varianten und -Architekturen

Mit der Zeit haben sich verschiedene Arten von Architekturen des Long Short-Term Memories entwickelt. Häufig zum Einsatz kommen sogenannte Peephole convolutionale LSTMs und reine Peephole LSTMs. Peephole convolutionale LSTMs verwenden neben der Matrixmultiplikation reiner Peephole LSTMs die diskrete Faltung zur Berechnung von Neuronenaktivitäten. Der Begriff Peephole, im Deutschen Guckloch, ist von der Tatsache abgeleitet, das einzelne Tore (Gates) den Status der Zelle sehen und Zellinformationen verarbeiten.

Einsatzbereiche und -beispiele Künstlicher Intelligenz mit Long Short-Term Memory

Im Bereich der Künstlichen Intelligenz existieren zahlreiche Anwendungen, die von neuronalen Netzen mit Long Short-Term Memory Gebrauch machen. Seit einigen Jahren verwenden große Technologiekonzerne wie Microsoft, Apple oder Google LSTMs sehr intensiv. Verschiedenste Produkte basieren auf grundlegenden LSTM-Komponenten. Google- Anwendungen und -Produkte mit Long Short-Term Memory sind beispielsweise die Spracherkennung auf Smartphones, smarte Assistenten und das intelligente Übersetzungsprogramm Google Translate.

Auf Apple-Geräten profitieren Anwendungen wie intelligente Tastaturfunktionen oder der persönliche sprachgesteuerte Assistent Siri von der LSTM-Technik. Amazon nutzt das Long Short-Term Memory für seinen Alexa-Assistenten. Ein sehr bekanntes Beispiel für die Anwendung von LSTMs ist die Spielsoftware AlphaGo von Google. Sie wurde von Google DeepMind entwickelt und konnte mit Künstlicher Intelligenz erstmals professionelle Go-Spieler schlagen. Die TensorFlow Processing Units (TPUs – TensorFlow-Prozessoren) von Google sind speziell dafür entwickelt, durch eine effiziente Verarbeitung von LSTMs das maschinelle Lernen zu beschleunigen.

(ID:45597143)