Studie der Friedrich-Alexander-Universität Erlangen-Nürnberg Zufälliges Rauschen verbessert die Leistung von KI-Systemen

Anbieter zum Thema

Universitätsklinikum Erlangen Hals-Nasen-Ohren-Klinik, Kopf- und Halschirurgie

Friedrich-Alexander- Universität Erlangen-Nürnberg

Fsas Technologies GmbH

Board Deutschland GmbH

INFOMOTION GmbH

Rauschen gilt traditionell als Hindernis für die Informationsverarbeitung, da es zu Zufälligkeiten und ungenauen neuronalen Signalen führt. Forscher der Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) kamen nun zu einer überraschenden Erkenntnis: Neuronale Netzwerke können durch Rauschen sogar flexibler und treffsicherer werden.

Rauschen – also die Überlagerung von Signalen mit zufälligen Schwankungen – erschwert für gewöhnlich die Interpretierbarkeit von Informationen. Wer schon einmal versucht hat, bei einem stark verrauschten Radiosender die Nachrichten zu verfolgen, weiß das aus eigener Erfahrung. Neuronale Netzwerke scheinen aber sogar davon zu profitieren, wenn man den zu verarbeitenden Daten eine nicht zu große Menge Rauschen beimischt. Das zeigt zumindest eine aktuelle Studie, die Physiker, KI-Forscher und Neurowissenschaftler der Friedrich-Alexander-Universität Erlangen-Nürnberg und des Uniklinikums Erlangen durchgeführt haben. Demnach verhindern die Zufallsschwankungen, dass KI-Algorithmen sich voreilig auf die falsche Lösung versteifen. Auch für die korrekte Funktion des Gehirns ist Rauschen vermutlich essenziell.

Im Gehirn sind viele Milliarden Nervenzellen über Billionen von Kontaktstellen miteinander verbunden und tauschen darüber Informationen aus. Durch Lernprozesse werden manche dieser Kontakte verstärkt und andere eliminiert. Dadurch entstehen mit der Zeit komplexe Netzwerke, die beispielsweise Informationen wie Sprache oder Bilder sehr treffsicher interpretieren können. Wenn wir ein Möbelstück sehen, wissen wir daher in der Regel sofort, ob es sich um einen Stuhl oder ein Bett handelt.

Algorithmen der Künstlichen Intelligenz sind so leistungsfähig, weil sie grob die Funktionsweise des Gehirns simulieren. Allerdings sind die zugrunde liegenden Modelle häufig nur lose vom Gehirn inspiriert. So bestehen künstliche neuronale Netze in der Regel aus mehreren hintereinandergeschalteten Schichten, die keine Rückkopplungen enthalten. Jede davon modifiziert die eingehende Information und gibt sie dann an die jeweils nächste Schicht weiter. „Im Gehirn ist das anders – dort fließen auch ständig Informationen an die vorhergehenden Schichten zurück“, erklärt Privatdozent Dr. Patrick Krauss. „Durch diese Rückkopplung berücksichtigen sie gewissermaßen nicht nur den aktuellen Input, den sie bekommen, sondern auch, welche Informationen zuvor in sie hineingeflossen sind. Und das macht sie für bestimmte Aufgaben, in denen es um zeitliche Zusammenhänge geht, besonders leistungsfähig.“

Dank Vorinformationen zu besseren Ergebnissen

Krauss ist Physiker, Neurowissenschaftler und KI-Forscher an der FAU und Leiter der Gruppe „Cognitive Computational Neuroscience“ am Lehrstuhl für Informatik 5 (Mustererkennung). „In der Fachwelt nennt man diese Eigenschaft Rekurrenz“, erklärt er. „Auch sie lässt sich im Computer nachbilden. In unserer Arbeit haben wir solche rekurrenten neuronalen Netze untersucht.“ Die vorteilhafte Wirkung von Rauschen auf diese Netzwerke lässt sich sehr simplifiziert an einem Beispiel veranschaulichen: Wenn man in Onlineshops die Versandadresse eingibt, dann assistiert die Webseite oft dabei, indem sie – basierend auf den bereits eingetippten Buchstaben – die dazu passenden Ortsnamen vorschlägt. Sie nutzt also Vorinformationen, um zu einer treffsicheren Vorhersage zu gelangen. Das Problem dabei: Wenn man sich nur einmal vertippt (z. B. „N-ü-r-m“ statt „N-ü-r-n“), bietet das System den korrekten Namen (Nürnberg) gar nicht mehr an – es steckt in einer Sackgasse, in der keine richtige Lösung mehr möglich ist.

„In diesem Fall hilft es, den Informationen – in unserem Beispiel: den bereits getippten Buchstaben – Rauschen beizumischen, also Zufallssignale“, betont Dr. Achim Schilling, der in der gleichen Gruppe tätig ist. Er hat die Studie zusammen mit Krauss und Privatdozent Dr. Claus Metzner durchgeführt und beschäftigt sich wie sie seit Langem mit dem Gehirn und KI. „Denn das Rauschen sorgt dafür, dass das neuronale Netz nicht in der Sackgasse gefangen bleibt, sondern sich wieder aus ihr befreien kann.“ Dadurch sinkt die Wahrscheinlichkeit, dass sich das System voreilig auf eine falsche Lösung versteift. Stattdessen kann es dann z. B. einfach Fortsetzungen für beide Möglichkeiten angeben, ohne sich festzulegen.

Optimale Rauschmenge verbessert Robustheit und Effizienz

Die Forscher konnten in ihrer Arbeit für eine Vielzahl verschiedener rekurrenter neuronaler Netze zeigen, dass Rauschen deren Leistung verbessert. Sie demonstrierten das u. a. auch für sogenannte Boltzmann- und Hopfield-Netzwerke, für deren Entwicklung der Kognitionswissenschaftler Geoffrey Hinton und der Physiker John Hopfield in diesem Jahr mit dem Nobelpreis für Physik ausgezeichnet wurden. Rauschen nutzt allerdings nur dann, wenn es so fein dosiert beigemischt wird, dass es die Information nicht vollends übertönt. „Es gibt für jedes Netz eine optimale Rauschmenge“, erklärt Krauss. „Wenn man diese hinzufügt, werden die Verfahren nicht nur deutlich robuster, sondern auch effizienter.“ Die Erkenntnis könnte daher zur Entwicklung leistungsfähigerer KI-Systeme beitragen.

Die Studie zeigt auch, wie sehr die KI-Forschung von einer interdisziplinären Herangehensweise profitiert. „Grundidee der Cognitive Computational Neuroscience Group ist es, Wissenschaftlerinnen und Wissenschaftler aus Physik, Hirnforschung und KI-Entwicklung zusammenzubringen“, erklärt Krauss. „Indem wir Methoden und Konzepte aus der Physik auf die Neurowissenschaften anwenden, lernen wir einerseits, die Funktionsweise des Gehirns besser zu verstehen, und andererseits, diese Erkenntnisse auch in bessere Computeralgorithmen umzumünzen.“

Die Ergebnisse der Studie sind in der Fachzeitschrift „Frontiers in Complex Systems“ erschienen.

(ID:50241551)