AI-tool die gebruikt wordt door ziekenhuizen zou hallucineren

Het gaat om een tool van het bedrijf Nabla. De tool wordt door zo’n 30.000 artsen en 40 medische groepen in de Verenigde Staten gebruikt om doktersbezoeken op te nemen en samen te vatten. In totaal zou de tool al zo’n 7 miljoen medische conversaties hebben samengevat. Probleem, zo schrijft ABC News op basis van een onderzoek, is dat Nabla gebaseerd is op het Whisper AI-model van OpenAI, en dat model durft al eens de ‘hallucineren’. Dat betekent dat het mogel soms passages tekst verzint die nooit door de dokter of patiënt werden uitgesproken.

Whisper

Een groep onderzoekers aan onder meer de Cornell Universiteit en de Universiteit van Washington rapporteerden in een studie dat Whisper in 1 procent van de transcripties hallucineert. Daarbij verzint het model zinnen en zet het soms agressieve emoties of nonsensicale tekst op de plek waar in de eigenlijke opnames een lange stilte valt.

Nog uit de studie moet blijken dat het model soms medische klachten verzint of zinnetjes invoegt die je verwacht in een YouTube video, zoals ‘bedankt om te kijken’. OpenAI reageert aan Amerikaanse media met de melding dat het Whisper model niet gebruikt mag worden in belangrijke of gevoelige omgevingen. Nabla, van zijn kant, zegt dat het werkt aan een oplossing voor het probleem.

In samenwerking met Data News.