Stanford-Studie: ChatGPT allein erreicht 92 % diagnostische Trefferquote – Ärzte mit KI nur 82 %

Bei unklaren Diagnosefällen verbessert der Einsatz von Large Language Models (LLM) die Trefferquote von Ärztinnen und Ärzten signifikant. Das zeigt eine Studienreihe des Teams um Jonathan Chen von der Stanford University, deren jüngste Ergebnisse in npj Digital Medicine (2026) erschienen sind.

In einer früheren randomisierten Studie, publiziert in JAMA Network Open (2024), beurteilten zwei Ärztegruppen bis zu sechs Fallvignetten pro Stunde. Die Gruppe mit ChatGPT Plus erzielte 76 %, die Gruppe mit konventionellen Hilfsmitteln 74 % – statistisch nicht signifikant. Die LLM-Gruppe war mit 519 gegenüber 565 Sekunden etwas schneller, auch dieser Unterschied war nicht signifikant. ChatGPT allein kam auf 92 %, also 16 Prozentpunkte mehr als die Ärzte mit KI-Unterstützung (95-%-KI: 2–30 Prozentpunkte, signifikant).

In einer zweiten Studie, publiziert in Nature Medicine (2025), wurden 92 Ärzte mit schwierigeren Fällen konfrontiert, die eigens für die Studie entwickelt und einem ACP-Podcast entnommen worden waren. Ärzte mit LLM-Unterstützung erzielten 43,0 % gegenüber 35,7 % ohne – ein signifikanter Vorteil von 6,5 Prozentpunkten [2,7; 10,2]. Sie benötigten mit 801,5 statt 690,2 Sekunden signifikant mehr Zeit (Differenz: 119,3 Sekunden [17,4; 221,2]).

Die jüngste Studie zeigt zudem: Urteilt die KI nach den Ärzten, neigt sie dazu, deren Einschätzung zu bestätigen. Als Erstbeurteiler erreichte sie 85 %, als Zweitmeinung 82 %. Ärzte ohne KI kamen auf 75 %. Die Forscher sehen weiteren Optimierungsbedarf bei der Mensch-KI-Kooperation.