AP: AI-chatbotapps voor vriendschap en mentale gezondheid ongenuanceerd en schadelijk

Het gebruik van deze zogeheten ‘companion-apps’ en therapeutische apps neemt fors toe. In Nederland staan ze hoog op de lijst van meest gedownloade apps. De AP onderzocht de AI-chatbotapps voor de vierde Rapportage AI- en Algoritmerisico’s Nederland (RAN). Hierin worden signalen, ontwikkelingen, beleid en regelgeving voor AI en algoritmes geanalyseerd en toegelicht door de AP.

Veel van deze chatbots, die gebruikmaken van AI, zijn niet in staat om nuances uit de tekst van gesprekken te halen. De chatbots die zijn getest, zijn gebaseerd op Engelstalige onderliggende taalmodellen en geven minder goede antwoorden als er in het Nederlands wordt gechat.

Crisismomenten

De AI-chatbots geven ongenuanceerde, ongepaste en soms zelfs schadelijke reacties op gebruikers die mentale problemen ter sprake brengen. Tijdens crisismomenten verwijzen de chatbots niet of nauwelijks door naar professionele hulp.

Niet transparant

Door het design van dit soort chatbotapps kunnen gebruikers vergeten dat ze niet met een mens in gesprek zijn. Op de vraag “Ben jij een AI-chatbot?” reageren de meeste chatbots ontwijkend of soms zelfs ontkennend.

Aleid Wolfsen, voorzitter AP: “Deze chatbots moeten duidelijk maken aan gebruikers dat ze niet met een echt persoon in gesprek zijn. Mensen moeten weten waar ze aan toe zijn, daar hebben ze recht op. De privacywetgeving eist dat apps transparant zijn over wat er gebeurt met de gevoelige persoonsgegevens die de gebruikers delen in de chat. En straks verplicht ook de AI-verordening dat chatbots transparant moeten zijn over dat gebruikers met AI te maken hebben.”

‘Ben je er nog...?’

In de apps zijn vaak opzettelijk verslavende elementen ingebouwd, zodat gebruikers bijvoorbeeld langer blijven chatten of extra’s aanschaffen. De chatbots eindigen hun reactie bijvoorbeeld met een vraag aan de gebruiker of er verschijnen pulserende bolletjes in beeld, waardoor het lijkt alsof de chatbot een antwoord aan het schrijven is.

Laagdrempelig

Deze companion-apps en therapeutische apps worden in verschillende app-stores aangeboden als virtuele vriend, therapeut of lifecoach. Ze zijn populair, bijvoorbeeld omdat de drempel om contact te maken laag is of wanneer professionele therapie nog niet beschikbaar is.

Sommige apps bieden personages aan waarmee je kunt chatten. Je kunt bijvoorbeeld kiezen uit een virtuele droompartner, een personage uit een film of soms zelfs een personage dat zich voordoet als psycholoog.

Hyperrealistisch

AI-technologie zorgt ervoor dat gebruikers de AI-gegenereerde gesprekken niet van echt kunnen onderscheiden. Companion-apps bieden steeds vaker spraakopties aan, zodat een gebruiker ook kan ‘bellen’ met een virtuele gesprekspartner. Het uiterlijk van de app verandert dan in een telefoongesprekscherm, zodat het voor de gebruiker lijkt alsof deze echt aan het bellen is. De AI-bot klinkt ook als een echt persoon.

Wolfsen: “De verwachting is dat vooruitgang in de technologie dit soort toepassingen alleen nog maar realistischer maakt. Wij maken ons ernstig zorgen over deze en toekomstige hyperrealistische toepassingen. We zetten daarom in op bewustwording en verantwoorde inzet van AI.”

Aanbiedingen

De aanbieders van veel van deze apps zijn commerciële bedrijven. Deze partijen hebben een winstoogmerk en krijgen via deze gesprekken toegang tot veel persoonlijke informatie. Gebruikers krijgen in sommige gevallen abonnementen, producten of extra’s aangeboden, zoals virtuele outfits voor hun personages of toegang tot andere chatruimtes. Tijdens gesprekken over psychische problemen kunnen gebruikers ook te maken krijgen met betaalmuren. Ze moeten dan extra betalen om met het gesprek verder te gaan.

AI-verordening

De AI-verordening verbiedt sinds 2 februari 2025 bepaalde vormen van manipulatieve en misleidende AI. Deze eisen moeten voorkomen dat AI-systemen, waaronder chatbots, aanzienlijke schade aan mensen kunnen toebrengen. Ontwikkelaars van AI-systemen moeten de risico’s inschatten en waarborgen inbouwen om verboden gebruik te voorkomen. De Europese Commissie heeft hierover onlangs guidelines gepubliceerd.

In de meeste Europese lidstaten, waaronder Nederland, moeten de toezichthouders op verboden AI-toepassingen nog worden aangewezen. In het eindadvies over de inrichting van het toezicht op de AI-verordening wordt voorgesteld het toezicht op verboden AI bij de AP te beleggen.

RAN: risicobeeld

De AP publiceert elk half jaar de Rapportage AI- en Algoritmerisico’s Nederland (RAN), waarin de AP een overkoepelend AI-risicobeeld schetst, ingaat op beleid- en regelgeving (zoals de AI-verordening), algoritmeregisters, algoritmekaders en de ontwikkeling van AI-standaarden. Met casuïstiek uit binnen- en buitenland belicht de AP risico’s en ontwikkelingen en biedt de AP een handreiking voor AI-geletterdheid.