Gefahr für Machine-Learning-Modelle?

Mit „Model Hijacking Attack“ die Modelle kapern
lz
Model Hijacking Attack
Eine neuartige Attacke erlaubt es Angreifer/-innen, Machine-Learning-Modellen unentdeckt neue Aufgaben unterzujubeln und diese für sie arbeiten zu lassen. CISPA
Newsletter­anmeldung

Bleiben Sie auf dem Laufenden. Der MT-Dialog-Newsletter informiert Sie jede Woche kostenfrei über die wichtigsten Branchen-News, aktuelle Themen und die neusten Stellenangebote.


Machine-Learning-Modelle spielen auch in der Medizin eine zunehmende Rolle. Eine neuartige Attacke scheint es Angreifern zu erlauben, diesen Modellen unentdeckt neue Aufgaben unterzujubeln und sie für sich arbeiten zu lassen.

Maschinelles Lernen gilt als Schlüsseltechnologie der künstlichen Intelligenz und kommt zum Beispiel in vielen sensiblen Bereichen wie der Medizin, dem autonomen Fahren, bei Finanzanwendungen oder in Authentifizierungslösungen wie Face ID zum Einsatz. Mithilfe von Lernalgorithmen werden mittlerweile komplexe Modelle entwickelt, die aus Erfahrung „klug“ werden und so selbständig Vorhersagen und Entscheidungen treffen können. Ähnlich einem Menschen, der sich durch das Lesen vieler Bücher weiterbildet, benötigt ein Modell in der Trainingsphase viel Dateninput, um später gut zu funktionieren. „Da Trainingsdaten schwer zu beschaffen sind und teils Millionen Datensätze für das Training gebraucht werden, arbeiten häufig verschiedene Nutzer/-innen zusammen, um ein Modell mit den entsprechenden Datensätzen zu trainieren. Daten aus verschiedenen Quellen zusammenzuführen, birgt allerdings Risiken“, sagt Ahmed Salem, der das sogenannte „Model Hijacking Attack“ (dt.: Modell-Entführungsattacke) während seines PhD-Studiums am CISPA entwickelt hat.

Manipulation während es Trainingsprozesses

Mit sogenannten „Data Poisoning Attacks“ (dt.: Datenvergiftungsattacken) können Daten und damit die Modelle schon während des Trainingsprozesses manipuliert werden. „Zum Beispiel könnte das Bild eines Apfels als Banane gelabelt werden und so das Modell in die Irre geführt werden“, erklärt Salem. Solche Attacken sind normalerweise recht einfach zu entdecken, da die manipulierten Datensätze anders aussehen und zudem die Modelle die Original-Aufgabe nach einer Manipulation nicht mehr gut erfüllen. Den Eingriff zu verschleiern, ist allerdings möglich. Mehr noch ist sogar möglich, das Modell zusätzlich zur eigentlichen Aufgabe eine fremde Aufgabe ausführen zu lassen, ohne dass die Modell-Eigentümer es merken, wie Ahmed Salem in seinem Paper zeigt.

Rechtliche Risiken für die Modelleigentümer

Angreifer können so nicht nur die mittlerweile enorm kostspieligen Modelle kapern und kostenlos nutzen. Die Attacke kann auch zu rechtlichen Risiken für die Modelleigentümer/-innen führen, die unbemerkt ihre Modelle unter Umständen auch für illegale oder unethische Zwecke hergeben. „Angreifer/-innen könnten zum Beispiel ein Modell so manipulieren, dass es für sie massenweise Hasskommentare produziert, die dann über die Sozialen Medien verteilt werden können“, erklärt Salem.

Abwehr reduziert Funktion der Modelle

Es existieren laut dem Forscher schon Verteidigungsmechanismen, die gegen Model-Hijacking-Angriffe eingesetzt werden können. „Leider reduzieren diese Mechanismen häufig auch signifikant die Funktion der Modelle“, sagt Salem. Hier entsprechende Lösungen zu finden, die sowohl wirksam gegen die Angriffe sind als auch so wenig wie möglich in die Funktionalität der Modelle eingreifen, sei ein interessantes künftiges Forschungsfeld.

Ahmed Salem hat inzwischen sein PhD-Studium am CISPA abgeschlossen und arbeitet seit Februar 2022 als Postdoc bei Microsoft Research in Cambridge. Neben Datenschutz und Privatsphäre von Machine-Learning-Modellen beschäftigt ihn auch angewandte Kryptografie.

Literatur:
Ahmed Salem, Michael Backes, Yang Zhang: Get a Model! Model Hijacking Attack Against Machine Learning Models. arXiv:2111.04394 [cs.CR], DOI: doi.org/10.48550/arXiv.2111.04394.

Quelle: idw/CISPA Helmholtz Center for Information Security

Artikel teilen

Online-Angebot der MT im Dialog

Um das Online-Angebot der MT im Dialog uneingeschränkt nutzen zu können, müssen Sie sich einmalig mit Ihrer DVTA-Mitglieds- oder Abonnentennummer registrieren.

Stellen- und Rubrikenmarkt

Möchten Sie eine Anzeige in der MT im Dialog schalten?

Stellenmarkt
Industrieanzeige