Studie in Nature Medicine: Allgemeine KI-Modelle schlagen spezialisierte Medizin-KI in allen Testbereichen

Spezialisierte Medizin-KI ist allgemeinen Sprachmodellen nicht überlegen. Das zeigt eine Studie des NYU Langone Health, veröffentlicht in Nature Medicine. In allen drei Testbereichen lagen GPT-5.2, Gemini 3.1 Pro Preview und Claude Opus 4.6 vor den klinischen Systemen OpenEvidence und UpToDate Expert AI.

Das Studiendesign umfasste drei Benchmarks: 500 Fragen im Stil der US-Zulassungsprüfung (MedQA), 500 Aufgaben aus dem HealthBench sowie 100 anonymisierte Echtanfragen von Ärztinnen und Ärzten (Real-Clinical-Queries-Benchmark). Letztere wurden von zwölf US-Medizinern verblindet nach klinischer Korrektheit, Vollständigkeit, Sicherheit und Verständlichkeit bewertet.

Im MedQA-Benchmark erreichte Gemini 97,4 Prozent, GPT-5.2 94,2 Prozent und Claude 90,2 Prozent. OpenEvidence und UpToDate Expert AI kamen auf 89,6 bzw. 88,4 Prozent. Im HealthBench-Test erzielte GPT-5.2 88,0 von 100 Punkten, die spezialisierten Systeme lagen bei 62,6 und 61,3 Punkten. Bei den realen Arztanfragen erzielten die allgemeinen LLMs Mittelwerte zwischen 3,52 und 3,62 auf einer vierstufigen Skala, die klinischen Systeme 3,17 und 3,24.

Ärztliche Beurteiler notierten bei OpenEvidence und Google AI Overview häufig unvollständige Inhalte und sicherheitsrelevante Auslassungen. UpToDate Expert AI verweigerte 19 Prozent der Anfragen, bei den allgemeinen LLMs lag dieser Anteil zwischen einem und drei Prozent.

Die Autoren empfehlen strengere, unabhängige Evaluationen vor der breiten Integration von KI in klinische Abläufe. Für Beschaffung und Regulierung sollte die nachgewiesene Leistung in realistischen Tests maßgeblich sein, nicht die Vermarktung als klinisches Spezialprodukt.