Gehirn-Computer-Schnittstelle Gelähmte Menschen sollen mit KI ihre Sprache zurück bekommen

Wissenschaftler der Universität Kalifornien wollen gelähmten Menschen ihre Sprache zurückgeben. Mit einer Gehirn-Computer-Schnittstelle soll die beabsichtigte Sprache Wort für Wort entschlüsselt werden. Viele Daten müssen gesammelt und von einer KI ausgewertet werden.

Nach einem schweren Schlaganfall können Patienten oftmals nicht mehr sprechen. Hinzu kommt, dass die Verbindung zwischen Gehirn und den Rest des Körpers beschädigt und gelähmt ist. Für eine Kommunikation standen den Patienten nur unzureichende Methoden zur Verfügung. Unter anderem mit einem Zeiger, der an einer Basecap befestigt ist, um damit Wörter auf einem Touchscreen zu schreiben. Forscher an der Universität von Kalifornien arbeiten im Rahmen einer klinischen Studie an einem Brain-to-Text-System. Forscher haben in einer Pilotstudie eine dünne, flexible Elektrodenanordnung auf den Kopf eines Probanden gelegt.

Die Elektroden zeichnen neuronale Signale auf und schickten sie an einen Sprachdecoder. Dieser übersetzt die Signale in Worte. Zum ersten Mal konnte eine gelähmte Person, die nicht sprechen konnte, mit der Neurotechnologie ganze Wörter direkt aus dem Gehirn senden. Dieser Versuch war der Höhepunkt von mehr als einem Jahrzehnt Forschung. Allerdings ist das erst ein Anfang. Die Forscher sind weltweit vernetzt, um die Technologie so sicher, stabil und zuverlässig zu machen, dass sie im Alltag zu Hause eingesetzt werden kann. Außerdem soll die Leistung verbessert werden.

Ein Blick auf die Neuroprothetik

Die Neuroprothetik hat in den letzten zwei Jahrzehnten einen weiten Weg zurückgelegt. Am weitesten fortgeschritten sind Hörprothesen, die mit dem Cochlea-Nerv des Innenohrs oder direkt mit dem Hirnstamm verbunden sind. Geforscht wird außerdem an Netzhaut- und Hirnimplantaten. Außerdem arbeiten Forscher an Handprothesen mit integriertem Tastsinn. Alle sensorischen Prothesen nehmen Informationen aus der Umgebung auf und wandeln sie in elektrische Signale um. Diese Signale wandern direkt in das menschliche Gehirn.

Es geht auch in der entgegengesetzten Richtung: Eine Neuroprothese zeichnet die elektrische Aktivität des Gehirns auf und wandelt sie in Signale um, die etwas in der Außenwelt steuern können. Das kann beispielsweise ein Roboterarm, ein Controller für Videospiele oder ein Cursor auf dem Computerbildschirm sein. Letztgenannte Möglichkeit wurde von Gruppen wie dem BrainGate-Konsortium eingesetzt, um gelähmten Menschen die Möglichkeit zu geben, Wörter zu tippen.

Für die Funktion des „Tippen durch Gehirn“ wird ein Implantat in den motorischen Kortex eingesetzt. Das ist der Teil des menschlichen Gehirns, der Bewegungen steuert. Dann stellt sich der Nutzer bestimmte physische Aktionen vor. Damit lässt sich ein Cursor steuern, der sich über eine virtuelle Tastatur bewegt. Bei einem anderen Ansatz stellt sich ein Benutzer vor, dass er einen Stift in der Hand hält und Buchstaben schreibt. Dadurch werden im motorischen Kortex Signale erzeugt, die in Text übersetzt wurden. Mit diesem Ansatz konnte die Forscher einen neuen Geschwindigkeitsrekord aufstellen. Der Proband konnte etwa 18 Wörter pro Minute schreiben.

Eine Gehirn-Maschine-Schnittstelle entwickeln

Das Team um Edward Chang [1] von der neurologischen Chirurgie an der Universität von Kalifornien wollte mehr: Es sollte nicht nur die Absicht eines Patienten dekodiert werden, einen Cursor oder einen Stift zu bewegen. Vielmehr sollte Absicht dekodiert werden, den Vokaltrakt zu steuern. Dieser umfasst Dutzende Muskeln, die den Kehlkopf, die Zunge und die Lippen steuern. Chang hatte im Laufe seiner Karriere vor mehr als zehn Jahren damit begonnen, in diesem Umfeld zu arbeiten. Viele seiner Patienten konnten aufgrund schwerer Verletzungen nicht mehr sprechen. Er und seine Mitstreiter mussten viel darüber lernen, wie die Sprache im Gehirn verarbeitet wird. Es ging darum, die zugrundeliegende Neurobiologie der Sprache zu erforschen und wenn möglich, eine Gehirn-Maschine-Schnittstelle zu entwickeln.

Neben den neurochirurgischen Hintergrund verfügt das Team um Chang Fachwissen in Linguistik, Elektrotechnik, Informatik, Biotechnik und Medizin. In einer laufenden klinischen Studie testen die Experten sowohl Hardware als auch Software, um die Grenzen des BMI zu erforschen und festzustellen, welche Art von Sprache sie den Menschen wiedergeben können.

Sprechen ist ein außerordentlich komplizierter motorischer Akt - einige Experten halten es für die komplexeste motorische Handlung des Menschen. Die Forschungsgruppe konzentrierte sich auf die Teile des motorischen Kortex des Gehirns, die Bewegungsbefehle an die Muskeln von Gesicht, Hals, Mund und Zunge senden. Diese Hirnregionen sind Multitasking-Talente: Sie steuern sowohl die Muskelbewegungen für das Sprechen aber auch die Bewegungen der gleichen Muskeln beim Schlucken, Lächeln und Küssen.

Die Komplexität der gesprochenen Sprache

Um die neuronale Aktivität der Regionen sinnvoll zu untersuchen, ist sowohl eine räumliche Auflösung im Millimeterbereich als auch eine zeitliche Auflösung im Millisekundenbereich erforderlich. In der Vergangenheit konnten nichtinvasive Bildgebungssysteme entweder das eine oder das andere bieten. Nie aber beides. Es gab bisher wenig Daten darüber, wie die Muster der Hirnaktivität selbst mit den einfachsten Bestandteilen der Sprache – Phonemen und Silben – zusammenhängen.

Im UCSF-Epilepsiezentrum werden bei Patienten, die sich auf eine Operation vorbereiten, in der Regel mehrere Tage lang Elektroden auf der Oberfläche ihres Gehirns angebracht. Damit lassen sich die Regionen abbilden, die an den Anfällen beteiligt sind. Während die Patienten verkabelt sind, stellen sich viele Patienten freiwillig für neurologische Forschungsexperimente zur Verfügung. Dazu wurden Elektrodenaufzeichnungen ihres Gehirns verwendet. Die Wissenschaftler untersuchten die neuronalen Aktivitätsmuster, während die Patienten Wörter sprachen.

Arrays zeichnen Daten von Tausenden Neuronen auf

Die verwendete Hardware wird Elektrokortikographie (EKoG) genannt. Die Elektroden eines EKoG-Systems dringen nicht in das Gehirn ein, sondern liegen auf dessen Oberfläche. Es kamen Arrays mit mehreren hundert Elektrodensensoren zum Einsatz. Jedes Array zeichnet die Daten von Tausenden Neuronen auf. Bislang verwendeten die Wissenschaftler ein Array mit 256 Kanälen. Ziel in den frühen Studien war es, die Muster der kortikalen Aktivität zu entdecken, wenn Menschen einfache Silben sprechen.

Freiwillige Probanden sollten bestimmte Laute und Wörter sprechen, während die Wissenschaftler die neuronalen Muster aufzeichneten und die Bewegungen ihrer Zungen und Münder verfolgten. Mithilfe eines Computer-Vision-Systems ließen sich die Gesten extrahieren. Eine andere Möglichkeit war der Einsatz eines Ultraschallgeräts, das unter den Kiefer der Patienten gelegt wurde. Damit ließen sich die Zungenbewegungen abbilden. Mit den Systemen konnten die Wissenschaftler neuronale Muster den Bewegungen des Vokaltrakts zuordnen.

Künstliche Intelligenz kam zum Einsatz

Die Arbeit beruht auf den Fortschritten der Künstlichen Intelligenz (KI). Sämtliche gesammelten Daten aus der neuronalen Aktivität und Kinematik der Sprache ließen sich in ein neuronales Netz einspeisen. Ein Algorithmus des maschinellen Lernens erkennt Muster in den Verbindungen zwischen den beiden Datensätzen. Es war möglich, Verbindungen zwischen neuronaler Aktivität und produzierter Sprache herzustellen. Mit dem Modell lässt sich wiederum computergenerierte Sprache oder Text erzeugen. Allerdings war mit dieser Technik nicht möglich, einen Algorithmus für gelähmte Menschen zu trainieren, da uns die Hälfte der Daten fehlen würde: Die Wissenschaftler hatten zwar die neuronalen Muster, aber nichts über die entsprechenden Muskelbewegungen.

Zunächst muss ein Decoder Signale aus dem Gehirn in beabsichtigte Muskelbewegungen im Vokaltrakt übersetzen. Anschließend werden die beabsichtigten Bewegungen in synthetisierte Sprache oder Text umgewandelt. Im menschlichen Körper ist die neuronale Aktivität direkt für die Bewegungen des Vokaltrakts und nur indirekt für die erzeugten Töne verantwortlich.

Ein großer Vorteil des Ansatzes liegt im Training des Decoders für den zweiten Schritt: Der Übersetzung von Muskelbewegungen in Töne. Da diese Beziehungen zwischen den Bewegungen des Vokaltrakts und den Tönen universell sind, ließ sich der Decoder mit großen Datensätzen trainieren. Die Daten stammen von Menschen, die nicht gelähmt waren.

Das implantierte EKG-Array

Jetzt musste die Technik nur noch zu den Menschen gebracht werden, die von ihr profitieren konnten. Zwei Freiwillige sind mit den implantierten EKG-Arrays ausgestattet. In den nächsten Jahren sollen weitere Probanden aufgenommen werden. Hauptziel ist es, die Kommunikation zu verbessern und die Leistung in Form von Wörtern pro Minute zu erhöhen. Ein durchschnittlicher Erwachsener, der auf einer vollen Tastatur tippt, kann 40 Wörter pro Minute schreiben. Die schnellsten Tipper erreichen Geschwindigkeiten von mehr als 80 Wörtern pro Minute.

Das Implantationsverfahren ist Routine. Zunächst entfernt der Chirurg einen kleinen Teil des Schädels; dann wird das flexible EKG-Array vorsichtig auf der Oberfläche der Hirnrinde platziert. Dann wird ein kleiner Port am Schädelknochen befestigt, der durch eine separate Öffnung in der Kopfhaut austritt. Der Anschluss wird benötigt, um die Daten von den Elektroden zu übertragen. Künftig soll das drahtlos geschehen.

Die aktuellen Algrothmen und Schnittstellen müssen nach Aussage von Chang weiter verbessert werden. Der Beweis des Prinzips ist erbracht, nun geht es um die Optimierung.

Referenz

[1] Profil von Edward Chang, Universität Kalifornien.

Dieser Artikel stammt von unserem Partnerportal elektronikpraxis.

(ID:48713852)