KI-Governance und Human Oversight Wenn Menschen KI-Entscheidungen verschlimmbessern

Anbieter zum Thema

Technische Universität

Board Deutschland GmbH

QUNIS GmbH

Insider Research

Eine Studie der TU Berlin zeigt, dass Mensch-KI-Teams in vielen Fällen schlechtere Entscheidungen treffen als die KI allein. Der Befund stellt die Idee „wirksamer menschlicher Aufsicht“ aus dem EU-AI-Act auf den Prüfstand und fordert neue Ansätze für erklärbare und adaptive KI-Systeme.

Menschliche Aufsicht gilt als zentrales Prinzip verantwortungsvoller Künstlicher Intelligenz (KI). Doch was passiert, wenn genau diese Aufsicht das Ergebnis verschlechtert? Ein Positionspapier der Technischen Universität Berlin kommt zu einem unbequemen Schluss: In zahlreichen Szenarien – von Radiologie über Sicherheitstechnik bis zur Prozessüberwachung – treffen Mensch-KI-Teams häufig schlechtere Entscheidungen als die KI allein.

Je zuverlässiger die Systeme werden, desto eher greifen Menschen ein – und zwar oft aus den falschen Gründen. „Menschen greifen unnötig ein und verschlimmbessern so die Gesamtleistung“, sagt Dr. Tobias Rieger, Psychologe am Fachgebiet Handlungs- und Automationspsychologie der TU Berlin und Erstautor des Positionspapiers. Zum einen liegt das am menschlichen Selbstverständnis: Wer als Entscheider gilt, möchte auch tatsächlich entscheiden. Zum anderen wird die Zuverlässigkeit moderner KI unterschätzt. Seltene Fehlentscheidungen erscheinen überproportional bedrohlich, während die hohe Gesamtleistung kaum wahrgenommen wird.

Die Konsequenz: Radiologen überschreiben korrekte Diagnosen, Gepäckscreener am Flughafen korrigieren funktionierende Assistenzsysteme – und beide verschlechtern dadurch das Gesamtergebnis.

Konflikt mit EU-Vorgaben

Brisant wird die Erkenntnis im Lichte des EU-AI-Acts, der für Hochrisikoanwendungen wie Medizin oder Personalentscheidungen eine „wirksame menschliche Aufsicht“ verlangt. Was aber, wenn diese Aufsicht systematisch zu schlechteren Resultaten führt? Die TU-Forscher stellen damit eine Kernfrage der KI-Governance: Wie lässt sich Verantwortung sichern, ohne Leistung zu opfern?

Denn rein juristisch lässt sich menschliche Aufsicht vorschreiben – praktisch aber kann sie zur Schwachstelle werden. Gerade in sicherheitskritischen Umgebungen droht ein Dilemma zwischen regulatorischem Anspruch und faktischer Systemeffizienz.

Erklärbare und adaptive Systeme

Lösungsansätze sehen die Autoren in neuen Formen der erklärbaren KI (Explainable Artificial Intelligence, XAI). Klassische Methoden – etwa das Nachvollziehen neuronaler Gewichtungen – helfen Anwendern kaum weiter. Stattdessen brauche es „verhaltensleitende Erklärungen“: Systeme sollten explizit mitteilen, wann ihre Prognosen besonders zuverlässig sind und wann ein kritischer Blick angebracht ist.

Noch weiter gehen adaptive Konzepte, bei denen die Maschine das Verhalten des Menschen analysiert. Sie könnte lernen, in welchen Situationen Menschen besonders kompetent sind, und nur bei Unsicherheiten Empfehlungen geben. Ziel sei, eine „echte Synergie“ zwischen beiden Partnern zu schaffen, so Rieger.

Auf dem Weg zur Synergie

Damit deutet sich ein Paradigmenwechsel an: Nicht mehr „KI unter Aufsicht des Menschen“, sondern gemeinsame Entscheidungsarchitekturen, in denen Verantwortung, Transparenz und Kompetenz dynamisch verteilt sind.

Für Unternehmen und Behörden bedeutet das: „Human Oversight“ darf kein bloßes Compliance-Label sein. Gefragt sind Systeme, die Vertrauen aktiv steuern – durch Kommunikation ihrer Stärken, Grenzen und Wahrscheinlichkeiten. Nur so lässt sich vermeiden, dass gut gemeinte Aufsicht zum systemischen Risiko wird.

(ID:50601461)