Mobile-Menu

Studie zu Fehlentscheidungen in KI-Systemen Paderborner Forscher: Skepsis senkt Leistung bei KI-Fehlern

Von Berk Kutsal 2 min Lesedauer

Anbieter zum Thema

Universität Paderborn
Fsas Technologies GmbH
Board Deutschland GmbH
INFOMOTION GmbH

Ein Forschungsteam der Universität Paderborn hat untersucht, wie Menschen auf fehlerhafte Künstliche Intelligenz (KI) reagieren – und warum Warnhinweise oft das Gegenteil des Gewünschten bewirken. Die Ergebnisse stellen gängige Annahmen über Misstrauen und Disclaimers infrage.

Eine Studie der Universität Paderborn zeigt: Warnhinweise auf fehleranfällige KI-Systeme verbessern die Leistung nicht – sie verschlechtern sie mitunter.(Bild: KI-generiert)
Eine Studie der Universität Paderborn zeigt: Warnhinweise auf fehleranfällige KI-Systeme verbessern die Leistung nicht – sie verschlechtern sie mitunter.
(Bild: KI-generiert)

Eine Warnung vor fehleranfälligen KI-Systemen verbessert nicht die Nutzerleistung – sie kann sie sogar verschlechtern. Zu diesem Schluss kommt die Studie „Interacting with fallible AI: Is distrust helpful when receiving AI misclassifications?“ des Sonderforschungsbereichs Transregio (TRR) 318 an der Universität Paderborn. In zwei kontrollierten Experimenten untersuchten Tobias Peters und Prof. Dr. Ingrid Scharlau, ob explizite Hinweise zur Skepsis gegenüber KI-Empfehlungen die Fähigkeit verbessern, fehlerhafte Entscheidungen zu erkennen und abzulehnen.

In der Studie sollten Testpersonen geometrische Formen kategorisieren oder zwischen echten und KI-generierten Bildern unterscheiden – gestützt durch eine KI, deren Genauigkeit sich im Verlauf des Experiments systematisch verschlechterte. Eine Gruppe erhielt die neutrale Instruktion, eine zweite wurde explizit zur kritischen Prüfung jeder KI-Antwort aufgefordert.

Das Ergebnis: Der Aufruf zur Skepsis führte nicht zu einer besseren Entscheidung. Im Gegenteil, die Leistung verschlechterte sich in der Tendenz.

Vertrauen bröckelt bei Fehlern – und bleibt unten

Begleitende Selbstauskünfte zeigten, dass das Vertrauen in die KI mit zunehmender Fehlerzahl sank – unabhängig von der Anweisung. Auch nachdem sich die KI-Leistung wieder stabilisierte, erholte sich das Vertrauen nicht. Ein Muster, das laut Peters bekannten Befunden aus der Vertrauensforschung entspricht: Vertrauen ist schnell zerstört, aber schwer wiederherzustellen.

Um die Urteilsqualität im Detail zu analysieren, nutzte das Team eine Bayes-Analyse auf Basis der Signalentdeckungstheorie. Diese erfasste, wie zuverlässig Probanden zwischen korrekten und falschen KI-Ratschlägen unterscheiden konnten. Auch hier zeigte sich: Die skeptische Instruktion brachte keinen erkennbaren Vorteil.

„Sobald die Ratschläge der KI schlechter wurden, haben die Versuchspersonen der KI weniger vertraut und mehr misstraut“, erklärt Peters. „Auch als die KI-Leistung wieder besser wurde, ist das Vertrauen und Misstrauen nicht auf das ursprüngliche Niveau zurückgekehrt. Dies stimmt mit bisheriger Vertrauensforschung und einem dort üblichen Befundmuster überein, dass Vertrauen leicht zu verlieren und schwer zu gewinnen ist.“

Konsequenzen für Chatbots und Disclaimers

Die Studie legt nahe, dass pauschale Warnhinweise, wie sie etwa bei Sprachmodellen wie ChatGPT üblich sind, keinen Schutz vor Fehlentscheidungen bieten. Im Gegenteil: Sie könnten das Vertrauen weiter schwächen, ohne die Urteilsfähigkeit der Nutzer zu stärken.

„Unsere Ergebnisse liefern wichtige Impulse für den aktuellen Diskurs über den Umgang mit Fehleranfälligkeit und Misstrauen gegenüber KI-Systemen – insbesondere mit Blick auf Warnhinweise, sogenannte Disclaimers, vor der Nutzung von sprachbasierten Chatbots wie ChatGPT“, resümiert Peters.

(ID:50489666)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte