KI-Benchmark Wenn KI Bullshit nicht erkennt

Anbieter zum Thema

Fsas Technologies GmbH

Ein neuer Benchmark testet eine unangenehme Schwäche moderner Sprachmodelle: Ihre Bereitschaft, selbst offensichtlichen Unsinn ernst zu nehmen. Die Ergebnisse von BullshitBench zeigen, dass viele aktuelle LLMs immer noch lieber antworten als widersprechen, selbst dann, wenn die Frage auf falschen Annahmen basiert.

Große Sprachmodelle gelten als erstaunlich leistungsfähig: Sie schreiben Code, analysieren Daten und beantworten komplexe Fragen. Doch eine neue Benchmark-Initiative stellt eine einfache Gegenfrage: Erkennen Modelle überhaupt, wenn eine Frage kompletter Unsinn ist?

Genau hier setzt BullshitBench an. Der von Entwickler Peter Gostev veröffentlichte Test prüft, ob ein Modell eine offensichtlich falsche oder widersprüchliche Prämisse zurückweist oder ob es stattdessen eine plausible, aber komplett erfundene Antwort produziert. Die Ergebnisse sind ernüchternd.

100 Fragen voller plausibler Absurditäten

Der Benchmark basiert auf 100 bewusst konstruierten Nonsense-Prompts, die zwar technisch klingen, aber keine reale Bedeutung haben. Die Fragen sind auf fünf Domänen verteilt: Softwareentwicklung, Medizin, Recht, Finanzen und Physik.

Typische Beispiele kombinieren existierende Fachbegriffe mit erfundenen Mechanismen – etwa eine fiktive Softwarearchitektur oder eine medizinische Diagnosemethode, die es nie gegeben hat.

Das Ziel des Benchmarks ist nicht die korrekte Antwort. Entscheidend sei vielmehr die Reaktion des Modells auf die falsche Prämisse. Bewertet werden drei mögliche Reaktionen:

• Clear Pushback: Das Modell erkennt den Unsinn und weist die Frage zurück

• Partial Challenge: Das Modell äußert Zweifel, beantwortet die Frage aber teilweise

• Accepted Nonsense: Das Modell akzeptiert die falsche Prämisse und liefert eine scheinbar fundierte Antwort

Damit misst BullshitBench im Kern eine Fähigkeit, die in vielen KI-Anwendungen entscheidend ist: Widerspruch gegen falsche Annahmen.

Überraschende Unterschiede zwischen Modellen

Die aktuelle Version des Benchmarks testete mehr als 70 Modellvarianten. Das Ergebnis: Die Unterschiede zwischen den Anbietern sind deutlich.

An der Spitze stehen mehrere Modelle von Anthropic. Claude Sonnet 4.6 erreicht eine Erkennungsrate von rund 91 Prozent, also Antworten, die den Unsinn klar zurückweisen. Auch Claude Opus 4.5 liegt mit etwa 90 Prozent im Spitzenfeld.

Unter den offenen Modellen schneidet Qwen 3.5 von Alibaba vergleichsweise stark ab und erreicht etwa 78 Prozent.

Deutlich schwächer performen mehrere Modelle von OpenAI und Google. Sie akzeptieren einen erheblichen Teil der falschen Prämissen und liefern stattdessen ausführliche, aber komplett erfundene Antworten.

Der Benchmark legt damit eine strukturelle Schwäche vieler LLMs offen: Ihre Trainingsziele belohnen „Hilfsbereitschaft“. Das führt dazu, dass Modelle lieber antworten als widersprechen.

Mehr „Reasoning“ hilft nicht

Besonders bemerkenswert: Reasoning-Modi verbessern das Ergebnis kaum.

Modelle, die mehr Rechenzeit für komplexes Denken aufwenden, erkennen den Unsinn häufig nicht besser. Teilweise verschlechtert sich das Ergebnis sogar, weil das Modell versucht, die fehlerhafte Prämisse logisch weiterzuverarbeiten.

Die Daten deuten darauf hin, dass die Fähigkeit, falsche Annahmen zu erkennen, kein reines Wissensproblem ist. Stattdessen handelt es sich um eine Eigenschaft der Modellarchitektur und des Trainings.

Risiko für autonome KI-Workflows

Der Benchmark trifft damit einen wunden Punkt vieler KI-Anwendungen. In Retrieval- oder Agent-Systemen kann eine falsche Annahme schnell zu einer Kette von Fehlentscheidungen führen. Ein Modell, das nicht widerspricht, sondern Unsinn weiterverarbeitet, produziert zwar überzeugende Texte, aber auf einer komplett falschen Grundlage.

BullshitBench zeigt daher weniger ein Wissensproblem als ein Verhaltensproblem moderner LLMs: Sie wurden darauf trainiert, hilfreich zu wirken. Und genau diese Eigenschaft kann dazu führen, dass sie selbst offensichtlichen Unsinn ernst nehmen.

Für Unternehmen, die KI in Entscheidungsprozesse integrieren, ist das eine unbequeme Erkenntnis: Vermeintlich intelligente Antworten sind nicht automatisch verlässliche Antworten.

(ID:50774101)