Mit dem vorgestellten Tool sollen Trainingsdaten nach subtilen Mustern durchsucht werden, die KI-Modelle zu falschen Schlussfolgerungen verleiten können. Wird dies nicht entdeckt, kann dies zu einer Gefährdung der Patientenversorgung führen. Die Forschenden wollen damit erreichen, dass künstliche Intelligenz für den klinischen Alltag zuverlässiger und vertrauenswürdiger wird. „Die Modelle, die der Präzisionsmedizin zugrunde liegen, lernen, klinische Ergebnisse aus den Daten abzuleiten, mit denen sie trainiert wurden. In vielen Fällen funktioniert das hervorragend, kann aber auch zu interessanten Fehlern führen, die nicht sofort offensichtlich sind“, sagt bspw. Senior-Autor Mathias Unberath, Experte für KI-gestützte Medizin an der Johns Hopkins University. „Das von uns entwickelte Tool vermittelt ein klares Verständnis dafür, welche Metadaten-Elemente das größte Risiko bergen, dass das Modell eine Verzerrung – einen sogenannten Bias – übernimmt.“
Kluger-Hans-Phänomen vermeiden
Um das Problem zu verdeutlichen, verweisen die Wissenschaftlerinnen und Wissenschaftler auf das „Kluger-Hans-Phänomen“. Dies geht auf ein Pferd namens Hans zurück, das Anfang des 20. Jahrhunderts berühmt wurde, weil es angeblich rechnen konnte und die richtigen Antworten mit dem Huf aufklopfte. Am Ende stellte sich damals allerdings heraus, dass Hans gar nicht rechnen konnte, sondern sehr geschickt darin war, die Körpersprache seines menschlichen Gegenübers zu lesen, die unbeabsichtigt verriet, wie er reagieren sollte. Letztlich war es damit ein Meilenstein für die experimentelle Psychologie. Medizinische KI-Modelle können sich ähnlich verhalten wie Hans, so Unberath: Sie gelangen zu Schlussfolgerungen, indem sie die falschen Signale interpretieren.
Worauf stützt ein Modell seine Vorhersage?
„Modelle nutzen dieselben Abkürzungen“, sagt er und verweist auf eine KI, die darauf trainiert war, das Geschlecht einer Person anhand der Augen präzise vorherzusagen. Es stellte sich heraus, dass sich das Modell auf das Vorhandensein von Wimperntusche stützte, anstatt auf biologische Merkmale. „Wir trainieren Modelle auf maximale Vorhersagekraft, haben aber keinerlei Kontrolle darüber, worauf das Modell seine Vorhersage stützt.“ Während andere Ansätze Schutzmechanismen auf der Grundlage der Leistung eines KI-Modells entwickeln, soll das neue Tool („Generalized Attribute Utility and Detectability-Induced Bias Testing“; kurz: G-AUDIT) die Trainingsdaten selbst untersuchen. Es sucht nach Anzeichen dafür, dass ein Modell eher aus unbeabsichtigten Hinweisen als aus klinisch relevanten Signalen lernen könnte. „Das Spannendste daran ist der Wandel in unserer Arbeitsweise“, sagte Mitautor Mitchell Pavlak, Doktorand in Unberaths Labor an der Johns Hopkins University. „Wir überprüfen unsere Arbeit nicht erst im Nachhinein. Wir analysieren die Daten, um herauszufinden, wo wahrscheinlich Probleme auftreten könnten.“
Einfluss von Bildgebungssystemen
Die Forschenden testeten das System anhand verschiedener medizinischer Datensätze, darunter Bilder, Texte und Tabellen. Dabei wurden versteckte Mängel bei der Datenerfassung, den Aufnahmebedingungen und anderen Faktoren aufgedeckt, die zu falschen Schlussfolgerungen über den Gesundheitszustand von Patienten führen könnten. Ein Datensatz zu Hautkrebs enthielt beispielsweise Bilder aus einer auf Hochrisikopatienten spezialisierten Krebsklinik sowie Bilder aus einer allgemeinen dermatologischen Praxis, in der weniger Krebsfälle behandelt wurden. Da sich die Bildgebungssysteme der beiden Einrichtungen in ihrer Qualität unterschieden, hätte eine mit diesen Daten trainierte KI fälschlicherweise schlussfolgern können, dass die Kameraqualität ein entscheidender Indikator für Krebs ist. Oder sogar, dass das Vorhandensein von Maßstäben auf den Bildern auf Krebs hindeutet – einfach deshalb, weil in der Krebsklinik häufig Maßstäbe mitfotografiert wurden, um das Wachstum von Veränderungen im Zeitverlauf zu dokumentieren.
Scheinkorrelationen entdecken
„Stellen Sie sich vor, man setzt diesen Algorithmus in der Praxis mit einer Smartphone-Kamera ein“, sagte Unberath. „Dort gibt es keinen Maßstab. Die Kameraqualität spielt überhaupt keine Rolle. Das Modell hat jedoch gelernt, ‚Maßstab‘ und ‚Kamera‘ mit der Diagnose zu verknüpfen. Damit hat man gerade erst eine gesundheitliche Ungleichheit geschaffen.“ Das Team plant, das Tool weiterzuentwickeln und auszubauen. Es lasse sich nach Ansicht der Forschenden auch für Bereiche außerhalb des Gesundheitswesens anpassen. „Die wichtigste Erkenntnis ist, dass Modelle zwar bereits überprüft werden, man aber oft gar nicht genau weiß, worauf man eigentlich achten muss. Das ändern wir gerade“, sagte Unberath. „Wenn man nur auf Dinge achtet, die einem gerade in den Sinn kommen, übersieht man wahrscheinlich viele Faktoren, die zu Scheinkorrelationen führen könnten.“
Quelle: Johns Hopkins University
Artikel teilen
