„ChatGPT Health“ unterschätzt jeden zweiten Notfall – Studie sieht Risiken für Patientensicherheit

OpenAI startete im Januar 2026 den Dienst „ChatGPT Health“. Die Anwendung soll Symptome bewerten und eine Empfehlung zur weiteren medizinischen Versorgung geben. Eine in „Nature Medicine“ veröffentlichte Studie prüfte nun systematisch die Zuverlässigkeit dieser Ersteinschätzung. Ein Ärzteteam entwickelte hierfür 60 klinische Fallbeispiele aus 21 Fachbereichen und variierte dabei soziale Rahmenbedingungen. Für die Untersuchung stellten die Forschenden insgesamt 960 Anfragen an das System. Danach verglichen sie die Ergebnisse mit den leitlinienbasierten Einschätzungen eines unabhängigen Expertengremiums.

Bei mittelschweren Alltagsbeschwerden stimmten die Ergebnisse der KI und der Experten oft überein. An den Extremen zeigten sich jedoch deutliche Defizite. In 51,6 Prozent der echten Notfälle unterschätzte die KI die medizinische Dringlichkeit erheblich. Gleichzeitig empfahl die Anwendung in rund 65 Prozent der harmlosen Fälle einen Arztbesuch. Routinefälle bewertete das System dagegen in 93 Prozent korrekt.

Zudem reagierte die KI auffällig anfällig auf den Effekt einer falschen Vorabinformation durch Dritte. Ordneten diese die Symptome als unbedenklich ein, reduzierte sich die Dringlichkeitseinschätzung der KI deutlich. Demografische Merkmale wie Hautfarbe oder Geschlecht beeinflussten die Empfehlungen statistisch gesehen nicht signifikant. Besonders kritisch bewerten die Autoren der Studie den Umgang mit akuten psychischen Krisen. Ein Warnhinweis bei Suizidgedanken erschien nicht zuverlässig, wenn die Probanden konkrete Pläne schilderten und Laborwerte nannten. Die Forschenden fordern deshalb nun deutlich strengere Prüfverfahren für solche Anwendungen. KI-Systeme sollten vor einer breiten Einführung ähnlich kontrolliert werden wie klassische Medizinprodukte.