Sensoren an Ampeln und in Autos vernetzen Mit KI schneller auf Verkehrsgefahren reagieren

Was das Auto nicht sieht, sieht die Schilderbrücke: Forscher der Technischen Universität München (TUM) und der BMW Group führen Kamera-, Radar- und Lidardaten aus einem Testfahrzeug und von der Verkehrsinfrastruktur zu einem gemeinsamen Echtzeitbild zusammen. Nach Angaben der TUM aktualisiert das KI-System diesen digitalen Zwilling im 100-Millisekunden-Takt und soll Fahrer so früher vor Gefahren in verdeckten Bereichen warnen.

Getestet wird an einer Kreuzung in Garching-Hochbrück bei München. Dort sind Sensoren an den Schilderbrücken montiert, das BMW-Testfahrzeug trägt Kameras, Radare und einen Lidar auf dem Dach. Laut TUM hat die Künstliche Intelligenz (KI) die Daten aller relevanten Sensoren in der Umgebung bereits gesammelt, bevor das Fahrzeug die Kreuzung erreicht. Ein Bildschirm im Auto zeigt anschließend alle Verkehrsteilnehmer, die sich aus sämtlichen Richtungen nähern. Die Positionsgenauigkeit gibt die Universität mit bis zu zehn Zentimetern an. Parallel prognostiziert das System fortlaufend, wohin sich Autos, Radfahrer und Fußgänger bewegen.

Dass die Kreuzung bereits mit Sensorik ausgestattet ist, hat Vorgeschichte. Sie gehört zur Teststrecke, die der Lehrstuhl im Forschungsprojekt Providentia++ aufgebaut hat. Bereits 2022 zeigte die TUM, wie sich ein aus Infrastrukturdaten erzeugter digitaler Zwilling ins Fahrzeug übertragen lässt. Neu ist nun, dass auch die Bordsensorik in das gemeinsame Modell einfließt.

Blick in verdeckte Bereiche

„Der Autofahrer sieht nun auch in sonst verdeckte Bereiche und kann bei möglichen Gefahren schneller reagieren oder gewarnt werden“, sagt Professor Alois Knoll, Leiter des Lehrstuhls für Robotik, Künstliche Intelligenz und Echtzeitsysteme der TUM. Moderne Fahrzeuge bewältigen zwar komplexe Situationen, stoßen laut TUM aber an Grenzen, wenn Kinder hinter einem Auto auf die Straße laufen, Radfahrer unvermittelt um die Ecke kommen oder sich auf der Autobahn ein Unfall ereignet.

Gestörte Sensoren fliegen raus

Die technische Hürde liegt in der Fusion. Die Sensoren betrachten den Verkehr aus unterschiedlichen Blickwinkeln und messen mit unterschiedlichen Taktraten. Die Fahrzeugsensoren bewegen sich zudem mit wechselnder Geschwindigkeit. Die KI wertet die Messdaten unter anderem anhand der aktuellen Umweltsituation und von Datenbankinformationen aus und entscheidet dann, ob sie in den digitalen Zwilling einfließen. „Wenn ein Sensor verdeckt, verdreckt, dekalibriert oder anderweitig in seiner Leistung gemindert ist, wird er im Gesamtsystem nicht berücksichtigt“, erläutert Knoll.

Dass die Zusammenführung gelingt, liegt nach Aussage von TUM-Forscher Kuo-Yi Chao auch daran, dass das System Bewegungen ständig vorhersagt. So sei es möglich, „sämtliche Sensorinformationen miteinander zu verbinden und in ein ‚Gesamtmodell‘ zu übertragen, das sich im 100-Millisekundentakt ändert“.

Baustellen als Anwendungsfall

Konkretes Potenzial sehen die Forscher bei Baustellen. Fahrzeuge haben oft präzise Karten an Bord, die wechselnde Verkehrsführung an Baustellen bilden diese aber nicht immer ab. Eine Kamera an einer Ampel oder einem Mast könnte die geänderte Lage erfassen und über den digitalen Zwilling ins Auto übertragen. Für diese Neukartierung sowie für einen Ansatz zur Datenfusion in verteilten Systemen haben die Forscher nach eigenen Angaben Patente eingereicht. Einen Teil der Methodik, die kooperative Lokalisierung über fusionierte Punktwolken, haben Chao, Knoll und BMW-Manager Ralph Raßhofer in einer noch nicht begutachteten Vorabveröffentlichung auf arXiv beschrieben.

(ID:50984674)