Automation-Bias in der Klinik und was Führungskräfte dagegen tun können

Erklärbare KI ist im klinischen Kontext keine technische Zusatzfunktion, sondern Grundbedingung für verantwortungsvolle Entscheidungsprozesse. Das betont Philipp A. Toussaint, wissenschaftlicher Mitarbeiter am TUM Campus Heilbronn und Doktorand am KIT sowie am Deutschen Krebsforschungszentrum Heidelberg, in einem Interview über KI, Entscheidungspsychologie und Patientensicherheit.

Intransparente Modelle, sogenannte Black Boxes, sind im klinischen Alltag nicht tragfähig, weil medizinische Entscheidungen gegenüber Patienten, Tumorboards und im Zweifel vor Gericht begründbar sein müssen. Der EU AI Act verschärft diesen Anspruch. Ab 2027 gelten für KI im Gesundheitswesen umfassende Anforderungen an Dokumentation, Nachvollziehbarkeit und menschliche Aufsicht, die sowohl Hersteller als auch Kliniken als Anwender betreffen.

Explainable AI (XAI) setzt genau hier an. Methoden wie Shapley-Werte, Heatmaps in der Bildgebung oder regelbasierte Approximationen machen Modellentscheidungen für Anwender einordbar. Dabei muss die Erklärung auf die jeweilige Zielgruppe zugeschnitten sein. Ein Pathologe benötigt andere Informationen als ein behandelnder Arzt, der eine Therapieentscheidung kommuniziert.

Toussaint warnt zudem vor dem empirisch belegten Automation-Bias. Studien zeigen, dass die Polypen-Erkennungsrate nach längerer KI-Nutzung sinkt, fehlerhafte Empfehlungen bei britischen Allgemeinmedizinern in 5,2 Prozent der Fälle zu falschen Verschreibungen führten und die Diagnosegenauigkeit von Radiologen bei fehlerhaften KI-Hinweisen abnahm, besonders bei weniger erfahrenen Fachkräften. Gegenmaßnahmen wie Cognitive Forcing oder Human-in-the-Loop-Systeme können dem entgegenwirken.

Für medizinische Führungskräfte empfiehlt Toussaint drei Maßnahmen: eine Beschaffung, die Transparenzmechanismen und EU-AI-Act-Konformität prüft, systematische Qualifizierung des Fachpersonals an der Schnittstelle von Medizin und Datenanalyse sowie klare Governance-Strukturen mit kontinuierlichem Systemmonitoring.