Künstliche Intelligenz wird nicht nur für die Suche nach sachlichen Informationen genutzt. Die Nutzerinnen und Nutzer können sich mit Ihnen unterhalten, auch über Emotionen. Die KI spiegelt es wider, gibt Ratschläge und Tipps und zeigt scheinbare Empathie. Forschende aus Dresden haben nun zwei Fachartikel zur notwendigen Regulierung der KI geschrieben. Ein Hinweis zu Beginn, dass man sich mit einer künstlichen Intelligenz unterhalte und nicht mit einer echten Person, seien nicht ausreichend.
Psychische Krise nach Austausch mit KI
Der erste veröffentlichte Artikel „AI characters are dangerous without legal guardrails“ betont, dass klare Regeln für KI-Charaktere notwendig sind. Sie werden nicht als medizinische Produkte eingestuft, reagieren jedoch personalisiert und menschenähnlich – ein Problem, vor allem für Personen mit psychischen Belastungen. Sie können starke emotionale Bindungen zu diesen KI-Charakteren aufbauen, was sich negativ auf ihre Psyche auswirken kann. Es gibt bereits einen Fall aus Großbritannien, bei dem ein Jugendlicher über Monate mit einer KI gesprochen hat, vor allem über die emotionale Lage und Suizid, der sich am Ende, ohne Hilfe zu suchen, suizidiert hat.
Auch weitere Fälle sind publik geworden, in denen Jugendliche nach monatelangem Austausch mit einer KI in psychische Krisen geraten sind. Während für die Klinik oder Therapie entwickelte Produkte strengen Regeln unterliegen, ist das bei diesen KI-Assistenten nicht der Fall. Daher sehen die Forschenden hier einen dringenden Handlungsbedarf. Die Systeme müssten klar definierten Sicherheitsanforderungen entsprechen. Bisher durchlaufen die Systeme keine regulatorische Prüfung.
Kennzeichnung als medizinisches Produkt
Im zweiten Artikel „If a therapy bot walks like a duck and talks like a duck then it is a medically regulated duck“ weisen die Autorinenn und Autoren auf die steigende Anzahl an Chatbots hin, die ohne Zulassung medizinische oder therapieähnliche Ratschläge geben. Large Language Models (LLMs) mit solchen Funktionen müssen als Medizinprodukt eingestuft werden. So kann die KI Schaden anrichten, anstatt zu helfen und zu unterstützen.
Der Vorschlag der Forschenden: eine Schutzengel-KI. Sie soll mit der genutzten KI verknüpft werden und den Chatverlauf überwachen. Bei Bedarf kann sie eingreifen und frühe Warnsignale erkennen, um andere Hilfsangebote anzubieten. Zudem fordert das Team verbindliche Sicherheits- und Überwachungsstandards, die ergänzt werden durch freiwillige Leitlinien für Entwicklerinnen und Entwickler. LLMs müssen klar kommunizieren, dass sie keine zugelassenen Medizinprodukte sind. Sie dürfen nicht als Therapeutin oder Therapeut auftreten. Altersüberprüfungen sowie altersgerechte Sicherheitsmaßnahmen sollten ebenfalls vor Markteintritt einer KI bedacht werden.
Quelle: idw
Artikel teilen
