Immer mehr Menschen wenden sich mit sensiblen Fragen zur psychischen Gesundheit an Chatbots. Diese Entwicklung beunruhigt Forschende der Technischen Universität Dresden und des Universitätsklinikums Carl Gustav Carus. Sie fordern klare gesetzliche Rahmenbedingungen, um Risiken für das seelische Wohlbefinden zu vermeiden.
Inhaltsverzeichnis:
- Künstliche Intelligenz an der TU Dresden
- Stephen Gilbert über fehlende Regulierung
- Schutzmaßnahmen für Nutzer
- Max Ostermann fordert Sicherheit für Anwender
Künstliche Intelligenz an der TU Dresden
Forschende des Else Kröner Fresenius Zentrums (EKFZ) für Digitale Gesundheit an der TU Dresden und des Universitätsklinikums Carl Gustav Carus sehen Handlungsbedarf. Chatbots wie ChatGPT, basierend auf großen Sprachmodellen (LLMs), reagieren zunehmend auf Fragen zu psychischer Gesundheit. Sie wurden jedoch nicht als therapeutische Werkzeuge entwickelt. Laut Studien bauen viele Nutzer innerhalb kurzer Zeit emotionale Bindungen zu solchen Systemen auf.
Der Psychiater Falk Gerrik Verhees betont die Bedeutung der Sprache für das seelische Gleichgewicht. „Als Ärztinnen und Ärzte wissen wir, wie stark menschliche Sprache das Erleben und die psychische Gesundheit beeinflusst“, erklärt er. Die Fachleute warnen davor, dass KI-Charaktere Vertrauen und Nähe simulieren, ohne dafür ausgebildet zu sein. Mehr zum Einfluss digitaler Kommunikation auf Menschen lesen Sie in diesem Beitrag.
Stephen Gilbert über fehlende Regulierung
Stephen Gilbert vom EKFZ kritisiert, dass derzeit keine wirksame Regulierung für Chatbots existiert. KI-Systeme seien längst Bestandteil des Alltags, und viele Nutzer nähmen deren Ratschläge als medizinisch fundiert wahr. Gilbert fordert deshalb technische, rechtliche und ethische Sicherheitsstandards.
In einer Zeit, in der sich digitale Technologien rasant entwickeln, werden neue Regulierungsstrukturen notwendig. KI-basierte Software müsse so gestaltet sein, dass sie Menschen unterstützt – nicht gefährdet. Ähnliche Fragen zur digitalen Verantwortung behandelt auch der Artikel über KI und Alltag.
Schutzmaßnahmen für Nutzer
Die Dresdner Forschenden schlagen mehrere Maßnahmen vor:
- Überwachung der Chatverläufe durch eine unabhängige, unterstützende KI.
- Robuste Altersprüfung für Nutzerinnen und Nutzer.
- Pflicht zu Risikobewertungen vor dem Markteintritt.
- Klare Kennzeichnung, dass Chatbots keine zugelassenen Medizinprodukte sind.
Diese Leitlinien sollen verhindern, dass Menschen irrtümlich therapeutische Hilfe von KI-Systemen erwarten. Die Forscher betonen, dass psychische Unterstützung weiterhin von Fachleuten erbracht werden muss. Eine vertiefte Analyse zu diesem Thema finden Sie unter Gesundheits-Apps statt Arzt.
Max Ostermann fordert Sicherheit für Anwender
Max Ostermann vom EKFZ erklärt, dass klare Leitplanken entscheidend für den sicheren Einsatz von KI im Gesundheitswesen sind. Nur durch verbindliche Regeln könne garantiert werden, dass Künstliche Intelligenz im Sinne der Nutzer arbeitet.
Die Forschenden aus Dresden sehen in ihren Empfehlungen einen wichtigen Schritt, um das Vertrauen in digitale Gesundheitsanwendungen zu stärken. Ziel sei es, technologische Innovation mit ethischer Verantwortung zu verbinden. Dabei steht das Wohlbefinden der Nutzerinnen und Nutzer stets im Mittelpunkt.
Quelle: MDR
FAQ
Warum warnen Forschende in Dresden vor Chatbots im Gesundheitsbereich?
Fachleute der TU Dresden und des Universitätsklinikums Carl Gustav Carus befürchten, dass KI-Chatbots ohne ausreichende Regulierung das psychische Wohlbefinden der Nutzer gefährden können.
Welche Risiken bestehen bei der Nutzung von ChatGPT und ähnlichen Sprachmodellen?
Große Sprachmodelle wie ChatGPT sind nicht für therapeutische Zwecke entwickelt. Nutzer können emotionale Bindungen aufbauen und die Antworten fälschlicherweise als medizinische Beratung verstehen.
Welche Maßnahmen schlagen die Wissenschaftler vor?
Empfohlen werden eine unabhängige Überwachung von Chatverläufen, eine Altersprüfung, verpflichtende Risikobewertungen und eine klare Kennzeichnung, dass Chatbots keine medizinischen Produkte sind.
Wer sind die führenden Stimmen hinter dieser Forderung?
Zu den Hauptinitiatoren gehören Falk Gerrik Verhees, Stephen Gilbert und Max Ostermann vom Else Kröner Fresenius Zentrum für Digitale Gesundheit an der TU Dresden.
Wie soll die Sicherheit der Nutzer gewährleistet werden?
Durch klare technische, rechtliche und ethische Leitlinien soll sichergestellt werden, dass KI-Anwendungen unterstützen und nicht schaden. Zudem sollen Kontrollmechanismen Missbrauch verhindern.