Eine neue Übersichtsarbeit von Forschenden am Else Kröner Fresenius Zentrum (EKFZ) für Digitale Gesundheit an der Technischen Universität Dresden (TUD) und am Dresdner Universitätsklinikum bündelt Erkenntnisse aus medizinischer KI-Forschung, Cybersicherheit, Regulatorik, Ethik und Verhaltenspsychologie. Sie zeigt interdisziplinäre Wege für einen vertrauenswürdigen und verantwortungsvollen Einsatz von Künstlicher Intelligenz (KI) in der klinischen Praxis auf.
LLMs unterstützen das medizinische Personal bereits in vielen Bereichen, häufig fehlen jedoch institutionelle Leitlinien oder klare Regeln. Daher braucht es neue Anforderungen für Patientensicherheit, Datenschutz und Verantwortlichkeit, weil Risiken entlang des gesamten Lebenszyklus von KI-Systemen bestehen: vom Modell-Design über Trainingsdaten und Implementierung bis hin zur klinischen Anwendung.
Drei verschiedene Risikoarten
Sicherheitsrisiken entstehen etwa durch manipulierte Trainingsdaten („Data Poisoning“), gezielte Eingriffe in das Verhalten der Modelle oder Prompt Injections. Bei diesen werden versteckte Anweisungen in Befehle eingebettet. Sie können zu fehlerhaften oder potenziell gefährlichen Ergebnissen führen, etwa, wenn ein Tumor in einer Gewebeprobe nicht erkannt wird. Auch Schwachstellen in der IT-Infrastruktur können sensible Daten von Patienten gefährden oder Systeme beeinträchtigen.
Modellinhärente Sicherheitsrisiken ergeben sich aus der Funktionsweise der Systeme: LLMs können Halluzinationen erzeugen, die plausibel klingen, aber inhaltlich falsche Informationen enthalten. Diese falschen Diagnosen gefährden die Patientensicherheit. Wenn die Modelle ihre Antworten zu stark an die Erwartungen der Nutzerinnen und Nutzer anpassen, können sie fehlerhafte Annahmen verstärken.
Risiken in der Mensch-KI-Interaktion betreffen die Anwendung im Alltag: Die Art der Nutzung kann klinische Entscheidungen beeinflussen. So könnten überzeugend formulierte Antworten zu einer übermäßigen Abhängigkeit führen („Automation Bias“) oder bestehende Überzeugungen verstärken („Confirmation Bias“).
Strukturelle und ethische Herausforderungen
Die veröffentlichte Arbeit weist zudem auf strukturelle und ethische Herausforderungen hin. Viele Systeme werden nicht lokal betrieben, daher bestehen relevante Fragen zu Datenkontrolle und Datenschutz. Die Information der Mediziner über LLMs im klinischen Alltag bezeichnet man als Schattennutzung, die häufig ohne entsprechende Sicherheitsmaßnahmen passiert. „Unsere Analyse zeigt, dass große Sprachmodelle klinische Arbeitsabläufe sinnvoll unterstützen können. Ihr sicherer Einsatz ist jedoch nicht selbstverständlich. Risiken entstehen an vielen Stellen und müssen vor sowie parallel zur klinischen Umsetzung systematisch und umfassend adressiert werden.“, sagt Dr. Jan Clusmann, Postdoktorand in der Forschungsgruppe von Prof. Jakob N. Kather am EKFZ für Digitale Gesundheit an der TUD und Erstautor der Publikation.
Strategien für einen sicheren Einsatz
Zur Risikoreduktion zählen sichere Entwicklungsprozesse, sorgfältige Aufbereitung von Trainingsdaten, systematische Evaluation und kontinuierliches Monitoring von Modellen. Ebenso notwendig sind klar definierte Zuständigkeiten innerhalb von Gesundheitseinrichtungen. Sicherheit ist keine allein technische Frage, sondern erfordert ein abgestimmtes Vorgehen zwischen Forschung, klinischer Praxis und Regulierung. Die menschliche Kontrolle bleibt zentral. „Die Entwicklung medizinischer KI endet nicht mit leistungsfähigen Modellen. Ebenso wichtig ist es, Sicherheit, Transparenz und Nutzen für die klinische Praxis wissenschaftlich zu untersuchen. Dass unsere Forschenden hierfür evidenzbasierte Grundlagen schaffen, ist ein wichtiger Beitrag für eine verantwortungsvolle Digitalisierung der Medizin“, sagt Prof. Esther Troost, Dekanin der Medizinischen Fakultät Carl Gustav Carus der TU Dresden.
Konkret empfehlen die Forschenden den Aufbau klarer Strukturen, etwa spezialisierter Teams vor Ort, die den Einsatz von KI-Systemen im Klinikalltag koordinieren und überwachen. Diese zentralen Einheiten – Security Operations Centers (SOCs) for AI – können Vorfälle institutionsübergreifend erkennen und koordinierte Gegenmaßnahmen ergreifen.
„KI wird schon jetzt im Gesundheitswesen eingesetzt – häufig ohne formale Aufsicht. Entscheidend ist daher, wie wir diese Systeme transparent, robust und im Einklang mit klinischer Verantwortung implementieren“, sagt Prof. Jakob N. Kather, Professor für Klinische Künstliche Intelligenz am EKFZ für Digitale Gesundheit an der TUD, Arzt am Universitätsklinikum Dresden sowie Wissenschaftler am Nationalen Centrum für Tumorforschung Heidelberg.
Regulierung an dynamische KI-Systeme anpassen
Die Analyse zeigt Lücken in der aktuellen Regulierung: Nur wenige KI-Systeme sind bislang als Medizinprodukt zugelassen. Der bestehende regulatorische Rahmen ist nicht auf anpassungsfähige Technologien ausgelegt, die sich kontinuierlich weiterentwickeln. „Um die Patientensicherheit zu gewährleisten und zugleich einen zeitnahen Nutzen für Patienten sowie das Gesundheitssystem durch KI-Systeme zu ermöglichen, braucht es geeignete regulatorische Ansätze, die eine konsistente Bewertung und kontinuierliche Überwachung sicherstellen. Technologische Entwicklung sowie Aufsichts- und Überwachungsmechanismen müssen enger verzahnt werden, um das Potenzial großer Sprachmodelle sicher zu nutzen“, sagt Prof. Stephen Gilbert, Professor für Medical Device Regulatory Science am EKFZ für Digitale Gesundheit an der TU Dresden.
Quelle: idw/TUD
Artikel teilen
