Forschungsprojekt Künstliche Intelligenz unterstützt Mitarbeiter in der Produktion

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

Disy Informationssysteme GmbH

Insider Research

Ein Forschungsteam des Fraunhofer-Instituts für Produktionstechnik und Automatisierung IPA hat ein KI-basiertes adaptives Assistenzssystem entwickelt, das beim Wissenstransfer hilft.

Wie bedient man diese Maschine? Was ist zu tun, wenn etwas bei der Bedienung einer Anlage schiefläuft? Solche und ähnliche Fragen stellen Mitarbeiter in der Produktion häufig, wenn sie neu dabei sind, oder wenn die Maschine, die sie bedienen sollen, erst kürzlich angeschafft wurde. Bisher mussten sie sich mit ihren Fragen entweder an erfahrenere Kollegen wenden, oder gleich direkt an den Hersteller des betreffenden Systems. Fakt ist: In beiden Fällen sind sie auf fremde Hilfe angewiesen! Problematisch ist das aber immer dann, wenn die Auftragsbücher voll sind, viele Kollegen krankheitsbedingt ausfallen, oder letztere das Unternehmen verlassen haben.

Deutscher Maschinenbau braucht selbsterklärende Maschinen

Bedienungsanleitungen indes helfen in den oben genannten Fällen aber nur bedingt weiter. Sie sind nämlich oft sehr umfangreich und komplex. Doch wenn man bedenkt, dass viele deutsche Maschinenbauer ihre Anlagen ins Ausland exportieren, wären Maschinen, die ihren Nutzern selbst zeigen, wie sie optimal bedient werden, ein echter Wettbewerbsvorteil. Eine solche Maschine würde viele Reisen ins Ausland und stundenlanges Fehlersuchen überflüssig machen.

Denkbar wäre etwa eine adaptive Unterstützung des Maschinenbedieners, die seinen Erfahrungs- und Wissensstand erkennt und sich daran anpasst. Beispielsweise erhielte ein unerfahrener Nutzer Einweisungsmaterial und Schritt-für-Schritt-Anleitungen, während erfahrene Nutzer beobachtet werden, um mit den erhobenen Daten das Trainingsmaterial weiter zu verbessern.

Das adaptive Assistenzsystem „SLEM“

Um dieser Vision näher zu kommen, haben die IPA-Experten der Abteilung Bild- und Signalverarbeitung das Assistenzsystem „Selbstlernende und selbsterklärende Maschine“ als Prototyp entwickelt – kurz „SLEM“. Prinzipiell kann jede Maschine um damit erweitert werden. Dafür werden eine oder mehrere Kameras angeschlossen, die aufzeichnen, was der Maschinenbediener macht. Zusätzlich hat „SLEM“ Zugriff auf die Maschinenzustände, die mit der menschlichen Bedienung synchronisiert sind. Damit ist es in der Lage, von erfahrenen Bedienern zu lernen und dieses Wissen an weniger Erfahrene weiterzugeben.

Damit „SLEM“ überhaupt in der Lage ist nachzuvollziehen, was ein Maschinenbediener – abgesehen von direkten Eingaben an der Maschine und dem Drücken von Schaltern – macht, greift es auf eine automatische Aktivitätserkennung auf der Basis von künstlicher Intelligenz (KI) zurück. Diese verarbeitet die eingehenden Videosequenzen live und erkennt in kurzen Intervallen, ob der Maschinenbediener momentan ein Bauteil einlegt oder ratlos am Display steht. Die Aktivitätsklassen der Nutzer – beispielsweise „ein Teil einlegen“, „am Display stehen“ oder „weg von der Maschine“ – können dabei komplett flexibel und auf den Anwendungsfall angepasst werden. Je nach Komplexität können es außerdem viele Aktivitätsklassen sein, oder nur wenige.

Die richtige Hilfe zur aktuellen Maschinensituation

Um die Datensicherheit zu gewährleisten und zu verhindern, dass die Videosequenzen einzelnen Personen zugeordnet werden können, werden diese nicht gespeichert und auch nicht verarbeitet. Tatsächlich ausgewertet werden nur Daten über Posen des Bedieners, die ebenfalls mithilfe einer KI generiert werden (Bild 2). Für jedes einzelne Standbild aus dem Video werden die Verhaltensdaten einer Person erstellt und in Form eines anonymen Skeletts dargestellt. Diese Skelettdaten lassen sich dann mithilfe von bereits etablierten KI-Algorithmen erzeugen. „SLEM“ „sieht“ also nur das Skelett, nicht aber die echte Person. Ein künstliches neuronales Netzwerk wertet dabei die Bilddatenpunkte aus, um davon die Aktivität des Maschinenbedieners abzuleiten und zu klassifizieren, was etwa unter den Kategorien „unbeschäftigt“, „messen“, „schrauben“, et cetera geschieht.

Zeitgleich wertet ein weiteres KI-Modul, entwickelt von der Knowtion GmbH aus Karlsruhe, die Maschinenaktivitäten aus, die sich aus den verschiedenen Maschinenzuständen zusammensetzen. Diese Maschinenaktivitäten werden ebenfalls über eine KI-Methode erhalten, die über einfache interne Sensorinformationen hinausgehen. Denn wenn etwa ein Drucksensor an einer Maschine registriert, dass eine Klappe offensteht, sagt das nichts über den Grund dafür aus. Es könnten ja einfach nur Wartungs- oder Reparaturarbeiten stattfinden. Solche Zusammenhänge kann „SLEM“ aber mithilfe einer Verknüpfung von Maschinenaktivitäten und menschlichen Aktivitäten aufschlüsseln, um situationsgemäß dann geeignete Hilfestellung zu leisten – beispielsweise indem das Wartungsmenü automatisch angezeigt wird.

Verschiedene Datenstränge werden verknüpft

Bei „SLEM“ kommen, wie bereits angedeutet, unterschiedliche KI-Methoden zum Einsatz. Damit leistet das neue adaptive Assistenzsystem einen Beitrag zur Entwicklung natürlicher Interaktionsformen zwischen Mensch und Maschine. Durch die Verknüpfung von anonymisiertem Bildmaterial und Maschinenaktivitätsklassen wird den Daten erst ein Sinn entlockt, der in Form von Anleitungen an die Nutzer weitergegeben wird und ihnen hilft, einen Prozess besser zu verstehen. Vor allem das implizite Wissen von erfahrenen Maschinenbedienern, ein Know-how, das diese Experten oft nicht in Worte fassen können, sich aber in ihren Handlungen offenbart, steht in der Wissensvermittlung durch die automatisierte Prozessschritterkennung im Fokus.

In Zukunft wollen die IPA-Wissenschaftler die menschliche Aktivitätserkennung weiter verbessern. So können die Anleitungen für unerfahrene Maschinenbediener einst auch aus synthetischen Daten gewonnen werden. Letztendlich bleibt aber der Mensch in der Produktion weiterhin ein wichtiger Bestandteil bei der Entwicklung zukünftiger Assistenzsysteme.

Das Forschungsprojekt „SLEM“ hat aber offenbart, wie herausfordernd es ist, KI-Anwendungen für die modernen Problemstellungen in der Industrie zu entwickeln. Die jeweiligen Antworten auf viele Fragen haben die Projektpartner zwar in vielen Fällen bereits gefunden, beispielsweise für die Erfassung und Aufbereitung von Datensätzen unter speziellen industriellen Rahmenbedingungen, aber es sind auch Fragen offen geblieben. Um ihre Lösungsansätze und den „SLEM“-Prototypen weiterentwickeln zu können, sucht das Forschungsteam im Übrigen stets nach Unternehmen, die sich an dieser Entwicklungsarbeit beteiligen möchten und die bereit dazu sind, bisher unbeschrittene Wege zu gehen.

Zu den weiteren Partnern des Fraunhofer IPA gehört außerdem die Sabo Mobile IT GmbH. Das Projekt wird mit einer Summe von 290.998 Euro im Rahmen des Innovationswettbewerbs Baden-Württemberg vom dortigen Ministerium für Wirtschaft, Arbeit und Tourismus gefördert.

Dieser Artikel stammt von unserem Partnerportal MaschinenMarkt.

(ID:48960111)