Hochrisiko oder nicht? Warum die Einordnung von KI-Systemen im Krankenhaus über Haftung entscheidet

Der EU AI Act (Verordnung 2024/1689) ist seit August 2024 in Kraft, und zahlreiche Krankenhäuser haben die damit verbundenen Pflichten noch nicht umgesetzt. Besonders relevant für Kliniken sind Hochrisiko-KI-Systeme. Dazu zählen radiologische Bildanalyse, Triage-Assistenz, Sepsisfrühwarnung und klinische Entscheidungsunterstützung, die eigenständig Diagnosen oder Therapieempfehlungen generiert. Reine Kodier- und Abrechnungssoftware fällt dagegen nicht unter diese Kategorie.

Der am häufigsten beobachtete Fehler ist der datenschutzwidrige Einsatz von KI-Tools. Mitarbeitende nutzen allgemeine Large-Language-Models wie ChatGPT für klinische Aufgaben, ohne zu prüfen, ob Patientendaten dabei an externe Server übertragen werden. Zweckänderungen bestehender Systeme müssen dokumentiert und datenschutzrechtlich bewertet werden.

Ein weiteres Risiko ist fehlende Validierung. Neuronale Netze sind in ihrer Entscheidungslogik nicht transparent, was eine sachgerechte menschliche Überprüfung erschwert. Hinzu kommt Automation Bias. Mitarbeitende vertrauen Maschinenempfehlungen oft stärker als dem eigenen Urteil.

Seit Februar 2025 gilt Artikel 4 der KI-Verordnung, unter welchem Betreiber sicherstellen müssen, dass Mitarbeitende über ausreichende KI-Kompetenz verfügen. Diese Schulungspflicht ist dokumentationspflichtig und ab August 2026 sanktionsbewehrt. Bußgelder von bis zu 35 Millionen Euro sind möglich.

Strukturell fehlt es vielen Häusern an einer zentralen Verantwortlichkeit sowie einem KI-Inventar, das Anbieter, Risikokategorie, CE-Kennzeichnung und interne Zuständigkeiten erfasst. Für 2026 empfiehlt der Autor drei Maßnahmen: KI-Inventar erstellen, Schulungsprogramm aufsetzen und einen KI-Beauftragten benennen.