Warum KI-Systeme im Klinikalltag versagen und wie ein neues Prüfkonzept aus Bristol das verhindern soll
Mit dem „Learning Ensemble“ schlagen Forscher der University of Bristol einen Prüfrahmen für medizinische KI vor, der sich an der Arzneimittelzulassung orientiert…
- Data und KI
Forscher der University of Bristol fordern, medizinische KI-Systeme vor dem klinischen Einsatz nach dem Vorbild der Arzneimittelzulassung systematisch zu prüfen. Ihr Konzept, das „Learning Ensemble“, gibt Entwicklern eine gemeinsame Struktur, um Verlässlichkeitsprobleme früher zu erkennen.
Das Konzept gliedert sich in drei Prüfbereiche. Der erste erfasst die Einsatzgrenzen, also für welche Einrichtungen und Hardware ein System gedacht ist und mit welchen Patientendaten es trainiert wurde. Eine Studie aus 2021, in der ein KI-System zur COVID-Erkennung auf Röntgenbildern sich an zufälligen Bildmerkmalen statt an Krankheitszeichen orientierte und beim Einsatz in einer anderen Klinik versagte, belegt die Relevanz.
Der zweite Bereich prüft die Zuverlässigkeit über alle Patientengruppen. Eine durchschnittliche Trefferquote kann täuschen: Röntgen-KI-Systeme erkannten Krankheiten bei unterversorgten Bevölkerungsgruppen laut einer Studie aus 2021 deutlich seltener.
Den dritten Bereich, die klinische Eignung, halten die Autoren für den wichtigsten. Ein technisch funktionierendes System kann im Alltag unbrauchbar sein. Als Beispiel nennen sie ein System, das Asthma-Patienten mit Lungenentzündung als Fälle mit geringem Sterberisiko einstufte, weil diese Gruppe in den Trainingsdaten intensiver behandelt wurde. Für die Triage war das Ergebnis wertlos.
Die Autoren verstehen ihren Rahmen als Ausgangspunkt. Der Aufbau verlässlicher medizinischer KI bleibe ein aufwendiger Prozess aus Fachwissen, externer Prüfung und kontinuierlichem Nachjustieren.
Gebündelt, stets aktuell und immer handverlesen werden alle Neuigkeiten gesammelt und anwenderbezogen aufbereitet.