Mediziner übertreffen ChatGPT 3.5 bei der Pharmakotherapie-Beratung
ChatGPT 3.5 unterlag in 70 realen Anfragen klar. Ärztinnen und Ärzte lieferten verlässlichere, vollständigere und seltener fehlerhafte Antworten…
- Data und KI
Die Untersuchung verglich Antworten von ChatGPT 3.5 mit fachlich geprüften Auskünften des klinisch-pharmakologischen Informationsdienstes der MHH. Basis waren 70 Anfragen aus Juni bis Oktober 2023, überwiegend patientenspezifisch. Drei verblindete Gutachterinnen und Gutachter bewerteten Informationsqualität, Korrektheit, Präferenz und Sprache.
Ergebnis: Deutlich bessere Informationsqualität bei den menschlichen Antworten; ChatGPT enthielt signifikant häufiger sachliche Fehler. Bevorzugt wurden fast durchgängig die ärztlichen Stellungnahmen. Die Sprachqualität wurde teils ähnlich, teils zugunsten der Menschen beurteilt. KI-Antworten waren länger, aber inhaltlich weniger treffsicher. Besonders kritisch: einzelne gravierende Fehlzuordnungen mit potenziellen klinischen Folgen.
Fazit: Für die Pharmakotherapie-Beratung ist ChatGPT 3.5 ungeeignet und professionelle Prüfung bleibt unerlässlich. Gleichartige Studien mit den inzwischen verfügbaren neueren LLM-Modellen stehen aus und könnten zu abweichenden Ergebnissen kommen.
Gebündelt, stets aktuell und immer handverlesen werden alle Neuigkeiten gesammelt und anwenderbezogen aufbereitet.