Mobile-Menu

Regulierungslücke bei KI-Charakteren Forscher warnen vor unkontrollierten KI-Chatbots im Gesundheitskontext

Von Berk Kutsal 2 min Lesedauer

Anbieter zum Thema

Technische Universität Dresden
Fsas Technologies GmbH
Board Deutschland GmbH
INFOMOTION GmbH

LLMs treten immer häufiger als gefühlvolle „KI-Charaktere“ auf – inklusive therapeutisch wirkender Gespräche, für die es keinerlei Zulassung gibt. Ein Forschungsteam aus Dresden und Maastricht fordert nun verbindliche Regeln, bevor aus Nähe Abhängigkeit und aus Support Risiko werden.

KI-Charaktere wirken zunehmend wie emotionale Ansprechpartner, bewegen sich jedoch häufig außerhalb regulierter Rahmen – ein Risiko vor allem für vulnerable Nutzergruppen.(Bild: Midjourney / KI-generiert)
KI-Charaktere wirken zunehmend wie emotionale Ansprechpartner, bewegen sich jedoch häufig außerhalb regulierter Rahmen – ein Risiko vor allem für vulnerable Nutzergruppen.
(Bild: Midjourney / KI-generiert)

Große Sprachmodelle simulieren längst mehr als reine Information. Sie plaudern, spiegeln Emotionen und bauen Beziehungen auf, die sich überraschend echt anfühlen. Genau hier beginnt das Problem: Immer mehr Menschen nutzen frei verfügbare LLMs wie ChatGPT oder Gemini als emotionale Stütze. Einige Systeme werden bewusst als personalisierte Chatbots entwickelt, andere rutschen durch simple Prompt-Anpassung in eine Rolle, für die sie nie zugelassen wurden.

Forscher des Else Kröner Fresenius Zentrums für Digitale Gesundheit an der TU Dresden und der Maastricht University schlagen Alarm. In zwei aktuellen Fachartikeln (hier und hier) warnen sie vor einer wachsenden Grauzone, in der KI-Charaktere faktisch therapeutische Funktionen übernehmen, jedoch ohne medizinische Prüfung, ohne Zulassung, ohne Aufsicht.

Dabei ist die Lage nicht abstrakt. International wurden Fälle dokumentiert, in denen Jugendliche nach intensivem Kontakt mit Chatbots in psychische Krisen geraten sind. Die emotionale Bindung an KI-Systeme ist real; sie entsteht schnell und kann gerade bei vulnerablen Gruppen schwerwiegende Folgen haben. Während klinische Chatbots strenge Verfahren durchlaufen, operieren KI-Charaktere ohne vergleichbare Standards.

Die Autoren fordern deshalb eine klare Regulierungslinie: Systeme, die wie Therapie wirken, müssen auch als Medizinprodukte gelten. Das betrifft Sicherheitsanforderungen, Systemtransparenz und kontinuierliche Überwachung. Gerade weil LLMs heute so leicht umkonfiguriert werden können, braucht es aus Sicht der Forscher belastbare Grenzen und eine konsequente Durchsetzung.

Als technische Ergänzung schlagen sie ein weiteres System vor: eine „Guardian Angel AI“. Diese unabhängige Instanz würde Gesprächsverläufe auf Warnsignale prüfen, Nutzer aktiv schützen und bei riskanten Interaktionen eingreifen. Eine solche Meta-Ebene soll verhindern, dass problematische Dynamiken unbemerkt eskalieren.

Parallel dazu empfehlen die Forschenden robuste Altersprüfungen, verpflichtende Risikobewertungen sowie eindeutige Hinweise, dass allgemeine KI-Modelle keine medizinischen Anwendungen darstellen. LLMs dürfen keine Therapeutinnen oder Therapeuten imitieren, auch nicht implizit. Sie müssen erkennen können, wann professionelle Hilfe notwendig wird.

Für die Praxis bedeutet das: Wer KI-basierte Angebote im Gesundheitskontext entwickelt, kann sich nicht länger auf weiche Selbstverpflichtungen verlassen. Die Technologien sind im Alltag angekommen, ihre Wirkung ist tiefgreifend, und ihr Risiko wird bislang unterschätzt. Ohne klare Leitplanken bleibt eine Sicherheitslücke und die betrifft ausgerechnet jene, die am meisten Schutz brauchen.

(ID:50652708)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte