Benchmarks für medizinische KI-Agenten Stanford-Studien: KI-Agenten scheitern an der Klinikbürokratie

Anbieter zum Thema

Disy Informationssysteme GmbH

QUNIS GmbH

Fivetran Germany GmbH

Medizinische Staatsexamen bestehen große Sprachmodelle fast fehlerfrei. Im simulierten Klinikalltag sieht das allerdings anders aus: In zwei neuen Stanford-Benchmarks erledigen selbst die besten KI-Agenten weniger als die Hälfte realistischer Aufgaben. Es hapere weniger am medizinischen Wissen als an der Koordination über Systeme hinweg.

Die Forscher um Nigam Shah und Jonathan Chen von der Stanford University und Stanford Health Care halten Wissenstests für die falsche Messlatte. Prüfungsfragen bildeten nicht ab, was im Krankenhaus tatsächlich anfalle: mehrstufige Arbeit über Patientenakten, Kostenträgerportale und Faxgeräte hinweg.

Ausgangspunkt ist das Evaluations-Framework MedHELM: Mit 29 Medizinern und anderen medizinischen Fachkräften entwickelten die Autoren eine Taxonomie aus 121 Aufgaben und testeten neun Modelle, darunter GPT-4o, Claude 3.5 Sonnet und DeepSeek R1. Gut schnitten sie bei klinischen Notizen und Patientenkommunikation ab, am schwächsten bei Entscheidungsunterstützung und Verwaltung. Ausgerechnet dort ließe sich am meisten sparen: Die US-Gesundheitsverwaltung kostet nach Angaben der Forscher jährlich mehr als eine Billion US-Dollar.

AI Index Report 2026

KI-Modelle entwickeln sich schneller, als wir „Benchmark“ sagen können

PhysicianBench: 46 Prozent im besten Fall

PhysicianBench misst klinische Arbeit. Die 100 Aufgaben stammen aus realen Konsultationen zwischen Hausärzten und Fachärzten aus 21 Disziplinen. Ein Agent braucht dafür im Schnitt 27 Tool-Aufrufe in einer elektronischen Patientenakte. GPT-5.5 schnitt unter zwölf Modellen am besten ab und löste 46 Prozent der Aufgaben im ersten Versuch, das beste Open-Source-Modell DeepSeek V4-Pro kam auf 19 Prozent. Über drei Durchläufe hinweg löste GPT-5.5 nur 28 Prozent der Aufgaben jedes Mal korrekt.

Rund die Hälfte der verfehlten Prüfpunkte geht auf das klinische Reasoning zurück, meist auf unvollständige Begründungen oder knapp verfehlte Ergebnisse. Bei GPT-5.5 betrafen 62 Prozent der Ausführungsfehler denselben Fall, bei Claude Opus 4.6 sogar 73 Prozent: Der Agent hielt die richtige Maßnahme in der Notiz fest, legte die Anordnung im System aber nie an.

HealthAdminBench: Verwaltung per Mausklick

Für die Verwaltung entwickelte das Team mit Stanford Health Care und dem Start-up Kinetic Systems HealthAdminBench. Der Benchmark simuliert vier Oberflächen: eine Patientenakte, zwei Kostenträgerportale und ein Faxsystem. Per Screenshot, Klick und Tastatur bearbeiten die Agenten dort 135 Aufgaben zu Vorabgenehmigungen, Widersprüchen und Hilfsmittelbestellungen. Am weitesten kam Claude Opus 4.6 im Computer-Use-Modus, das 36,3 Prozent der Aufgaben vollständig erledigte. GPT-5.4 bestand mit 82,8 Prozent die meisten Teilschritte, brachte aber nur 26,7 Prozent der Abläufe zu Ende.

Den Autoren zufolge lag das vor allem an Abhängigkeiten zwischen den Systemen. Die Agenten hielten früh gesammelte Informationen nicht fest, ließen Uploads und Downloads aus und gingen selten zurück, um eigene Fehler zu korrigieren.

Was die Autoren daraus ableiten

Bessere Agentenarchitektur, mehr Gedächtnis und ein besserer Harness könnten laut den Forschern ebenso viel bringen wie größere Modelle. Direkt vergleichbar seien die Zahlen beider Benchmarks allerdings nicht, belastbar sei nur die Tendenz. Umgebungen, Leaderboard und Code von HealthAdminBench sind öffentlich. Beide Benchmarks sollen in das quelloffene MedHELM einfließen.

(ID:51012167)