Dresdner Forschungsteam analysiert LLM-Risiken in der Medizin und fordert klare Strukturen für den klinischen Alltag

Große Sprachmodelle werden in Kliniken bereits für Dokumentation, Wissensaufbereitung und Entscheidungsunterstützung genutzt, oft jedoch ohne institutionelle Leitlinien oder formale Aufsicht. Ein interdisziplinäres Forschungsteam des Else Kröner Fresenius Zentrums (EKFZ) für Digitale Gesundheit an der Technischen Universität Dresden und des Dresdner Universitätsklinikums hat gemeinsam mit nationalen und internationalen Partnern die damit verbundenen Risiken systematisch untersucht. Die Ergebnisse erschienen in der Fachzeitschrift Nature.

Die Autoren unterscheiden drei Risikoklassen: Sicherheitsrisiken durch manipulierte Trainingsdaten, Prompt Injections oder IT-Schwachstellen; modellinhärente Risiken wie Halluzinationen und die Anpassung von Antworten an Nutzererwartungen; sowie Risiken in der Mensch-KI-Interaktion, etwa Automation Bias oder Confirmation Bias. Risiken entstehen entlang des gesamten Lebenszyklus eines KI-Systems, vom Design über das Training bis zur klinischen Anwendung.

Zusätzlich weisen die Autoren auf strukturelle Probleme hin, da viele Systeme nicht lokal betrieben werden, was Datenschutzfragen aufwirft. Verbreitet ist zudem eine informelle Schattennutzung ohne Sicherheitsmaßnahmen.

Als Gegenmaßnahmen empfehlen die Forschenden sichere Entwicklungsprozesse, sorgfältige Trainingsdatenaufbereitung, kontinuierliches Monitoring sowie den Aufbau spezialisierter institutioneller Einheiten, sogenannter Security Operations Centers for AI. Die Analyse zeigt zudem Regulierungslücken auf, weil nur ein kleiner Teil der KI-Systeme als Medizinprodukt zugelassen und der bestehende Rahmen nicht auf kontinuierlich lernende Systeme ausgelegt ist.