Dresdner Forschungsteam identifiziert drei Risikoklassen beim KI-Einsatz in der Medizin

Große Sprachmodelle werden in klinischen Arbeitsabläufen eingesetzt, häufig bevor institutionelle Leitlinien oder Sicherheitsmaßnahmen vorhanden sind. Ein interdisziplinäres Team vom Else Kröner Fresenius Zentrum (EKFZ) für Digitale Gesundheit an der TU Dresden und dem Dresdner Universitätsklinikum hat gemeinsam mit nationalen und internationalen Partnern diese Risiken systematisch untersucht. Die Ergebnisse erschienen 2026 in der Fachzeitschrift „Nature“.

Die Autoren unterscheiden drei Risikoklassen. Sicherheitsrisiken entstehen durch manipulierte Trainingsdaten, Prompt Injections oder IT-Schwachstellen. Modellinhärente Risiken umfassen Halluzinationen sowie die Tendenz, Erwartungen der Nutzenden zu verstärken. Risiken in der Mensch-KI-Interaktion betreffen Automation Bias und Confirmation Bias, die klinische Entscheidungen fehlleiten können.

Zusätzlich weisen die Autoren auf strukturelle Probleme hin, denn viele Systeme laufen nicht lokal, was Datenschutzfragen aufwirft. Verbreitet ist zudem eine informelle Schattennutzung ohne formale Aufsicht.

Als Gegenmaßnahmen empfehlen die Forschenden sichere Entwicklungsprozesse, sorgfältige Trainingsdatenaufbereitung, kontinuierliches Monitoring sowie spezialisierte institutionelle Einheiten, sogenannte Security Operations Centers for AI. Die Autoren betonen, dass menschliche Kontrolle zentral bleibt.

Regulatorisch sehen sie erhebliche Lücken, da nur ein kleiner Teil der KI-Systeme als Medizinprodukt zugelassen ist, und der bestehende Rahmen nicht auf sich kontinuierlich weiterentwickelnde Technologien ausgerichtet ist.