Stanford-Harvard-Studie: Klinische KI-Systeme schneiden bei realen Patientenfällen signifikant besser ab
Ein Benchmark von Stanford und Harvard zeigt, dass klinische KI-Systeme generalistische Modelle übertreffen. Über 80 % der schweren Fehler entstehen durch Unterlassung, nicht durch Fehlinformationen…
- Data und KI
Klinische KI-Systeme sind generalistischen Sprachmodellen in der Patientenversorgung signifikant überlegen. Das zeigt der NOHARM-Benchmark, den Forschende der Stanford University School of Medicine und der Harvard Medical School entwickelt haben. Der erste Benchmark, der KI-Empfehlungen an realen ärztlichen Konsultationsfällen misst.
Grundlage sind 100 unbereinigt übernommene Patientenfälle sowie 1.000 ärztlich abgewandelte Varianten. 29 Fachärztinnen und -ärzte bewerteten 4.249 Handlungsoptionen mit 12.747 Anmerkungen. Geprüft wurden 24 Systeme, darunter über 20 generalistische Modelle und vier klinisch spezialisierte KI-Tools.
Mehr als 80 % der schweren Fehler entstanden durch Unterlassung, also durch ausbleibende Empfehlungen, nicht durch falsche Angaben. Ein System, das im Zweifel schweigt, ist damit nicht automatisch sicherer. Die „Nichtstun“-Referenz belegt: In 37 % der Fälle ohne KI-Handlung bestand das Potenzial für schweren Schaden.
Den höchsten schweregradgewichteten F1-Wert erzielte AMBOSS AI LiSA mit 86,15 % bei einer Fehlerquote von 2,9 %. In einem randomisierten Studienteil verbesserten KI-Empfehlungen die Entscheidungsqualität von Fachärztinnen und -ärzten. Fachlich bedeutende Empfehlungen blieben dabei jedoch häufig unberücksichtigt.
Für Kliniken leiten die Autoren drei Konsequenzen ab: unabhängige Evidenz einfordern, Vollständigkeit als Bewertungskriterium etablieren und Nutzungskompetenz systematisch aufbauen.
Gebündelt, stets aktuell und immer handverlesen werden alle Neuigkeiten gesammelt und anwenderbezogen aufbereitet.