KI-Tool verfälscht Patientengespräche

Das KI-basierte Transkriptionstool Whisper von OpenAI zeigt bei der Aufzeichnung von Patientengesprächen teilweise gravierende Fehler, indem es gewaltbezogene oder unsinnige Sätze erfindet, was zu ernsthaften Sicherheitsbedenken in Kliniken führt.

31. Oktober 2024
  • IT
  • Medizin


Das KI-Modell Whisper, das zur Transkription von Arzt-Patientengesprächen in Krankenhäusern eingesetzt wird, sorgt durch sogenannte Halluzinationen für Bedenken. Dabei schreibt das System nicht gesagte Sätze wie Gewaltfantasien oder fiktive Medikationen in die Gesprächsprotokolle, die dann als Dokumentation im Krankenhaus vorliegen. Forscher*innen der Cornell University fanden in einer Studie heraus, dass rund ein Prozent der Transkriptionen solche unsinnigen oder gefährlichen Inhalte enthält, vor allem bei undeutlicher Sprache oder längeren Pausen. Laut OpenAI sollen Maßnahmen gegen diese Fehler entwickelt werden, und es wird von der Anwendung in risikoreichen Bereichen wie Krankenhäusern abgeraten…

Quelle:

t3n.de


Medinfoweb
Die etablierte Informationsplattform für Informatik, Ökonomie, Marketing und Qualitätsmanagement im Gesundheitswesen.

Gebündelt, stets aktuell und immer handverlesen werden alle Neuigkeiten gesammelt und anwenderbezogen aufbereitet.