Hallucinaties bij gebruik van AI in de zorg verminderen
In deze blogreeks van Delphyr Engineering delen we praktische inzichten over het bouwen van AI-systemen voor echt klinisch gebruik. Vorige maand onderzochten we tien technieken die het gebruik van Large Language Models (LLM’s) in de zorg veiliger maken. In deze blog gaan we dieper in op een van de belangrijkste uitdagingen binnen dit vakgebied: hallucinaties.
Wat zijn hallucinaties?
Hallucinaties zijn situaties waarin een AI-model informatie genereert die niet is onderbouwd, onjuist is of volledig verzonnen. Bij dagelijks gebruik van AI, bijvoorbeeld voor het plannen van een vakantie of een verbouwing, zijn hallucinaties misschien vooral vervelend. En als je je bewust bent van het risico op hallucinaties, herken je ze vaak snel. In de zorg zijn de gevolgen echter veel groter.
Stel dat een zorgprofessional een AI-systeem vraagt om een samenvatting van het recente gedrag van een patiënt op een psychiatrische afdeling. Als het model ten onrechte vermeldt dat de patiënt zich de afgelopen week agressief heeft gedragen (terwijl er geen enkel incident hierover in het patiëntendossier staat) dan heeft het systeem deze informatie gehallucineerd. Zelfs als de uitspraak plausibel klinkt en met vertrouwen wordt gepresenteerd, is deze niet gebaseerd op de onderliggende data.
Zoals je kunt voorstellen, is dit bij gebruik van AI in de zorg een probleem. Een gegenereerde uitspraak zonder betrouwbare basis in patiëntgegevens of klinisch bewijs kan het vertrouwen ondermijnen, verwarring veroorzaken of bijdragen aan onveilige besluitvorming. Een collega die de samenvatting tijdens een overdracht leest, kan bijvoorbeeld ten onrechte aannemen dat de patiënt een acuut gevaar vormt. Dit kan leiden tot onnodige opschaling van zorg, aanpassingen in medicatie of het vastleggen van onjuiste informatie in het EPD.
Waarom hebben AI-modellen van nature de neiging om te hallucineren?
AI-modellen zijn taalmodellen en géén databases of zoekmachines. Ze “kennen” feiten niet (terwijl mensen dit vaak wel denken). In plaats daarvan, zijn het voorspellingssystemen die zijn getraind om het statistisch meest waarschijnlijke volgende woord te genereren op basis van patronen uit enorme hoeveelheden tekst.
Dat maakt AI-modellen zo krachtig in het genereren van vloeiende en natuurlijk klinkende taal. Maar het verklaart ook waarom hallucinaties kunnen ontstaan. Wanneer informatie onvolledig, dubbelzinnig of afwezig is, kan een (zwakker) model toch proberen een samenhangend antwoord te produceren in plaats van te zeggen: “Ik weet het niet.” Met andere woorden: het model is geoptimaliseerd om het gesprek overtuigend voort te zetten, niet om te garanderen dat elke uitspraak feitelijk correct is.
Methoden om hallucinaties te verminderen
In dit blog bespreken we twee technieken die kunnen helpen om hallucinaties te minimaliseren: het afdwingen van bronvermelding en grounding (een preventietechniek) en het continu evalueren van outputs (een evaluatietechniek).
Preventietechniek: bronvermelding en onderbouwing afdwingen
Een belangrijke techniek om hallucinaties te verminderen is het verplicht stellen van bronvermeldingen voor feitelijke claims. In plaats van het model volledig synthetische antwoorden te laten genereren, kan het systeem eisen dat uitspraken expliciet gekoppeld worden aan onderliggende bronnen. In de praktijk betekent dit dat het model voor elke feitelijke uitspraak moet aangeven waar de informatie vandaan komt.
Deze aanpak zorgt voor een belangrijke verandering in hoe het model zich gedraagt. Het model wordt niet langer aangemoedigd om “de gaten op te vullen” puur op basis van statistische waarschijnlijkheid. In plaats daarvan wordt het gestuurd om antwoorden te baseren op opvraagbare informatie uit vertrouwde databronnen.
Om dit mogelijk te maken, spelen retrieval-systemen een centrale rol. Voordat een antwoord wordt gegenereerd, moet eerst relevante informatie worden opgehaald uit geïndexeerde databronnen zoals patiënt-documentatie, klinische notities of medische richtlijnen. Vervolgens genereert het model een antwoord op basis van deze opgehaalde fragmenten, waarbij gegenereerde claims worden gekoppeld aan hun oorspronkelijke bronnen. Dit biedt verschillende voordelen:
Zorgprofessionals kunnen controleren waar informatie vandaan komt
Niet-onderbouwde claims worden eenvoudiger te detecteren
Het systeem wordt transparanter en beter toetsbaarder
De kans op verzonnen informatie neemt af
Belangrijk om te benadrukken is dat bronvermelding op zichzelf geen garantie is voor correctheid. Een model kan opgehaalde informatie nog steeds verkeerd interpreteren of samenvatten. Toch beperkt expliciete onderbouwing de vrijheid van het model aanzienlijk om ongefundeerde feiten te verzinnen zonder traceerbaarheid. Daarnaast kunnen aanvullende validatietechnieken dit proces verder versterken, bijvoorbeeld door te controleren of gegenereerde claims daadwerkelijk ondersteund worden door de geciteerde brontekst in plaats van alleen oppervlakkig een referentie toe te voegen.
Bronvermelding en grounding in de praktijk
Voor AI-modellen die in de zorg worden gebruikt, is een methode om bronvermeldingen af te dwingen het toepassen van een strikte structuur voor bronvermeldingen in de prompt. Elke feitelijke claim moet worden verpakt in <cit><source_id>N</source_id>letterlijk fragment</cit>. Hierdoor krijgt het model expliciet de instructie dat het fragment letterlijk uit de opgehaalde bron moet komen en niet geparafraseerd mag worden.
Daarnaast kun je een real-time controlemechanisme voor bronvermeldingen gebruiken dat elk <cit>-fragment tijdens het genereren vergelijkt met de daadwerkelijke brontekst. Als het fragment nergens in de bronnen voorkomt, wordt de verwijzing gemarkeerd, zodat de frontend de zorgprofessional kan waarschuwen.
Tot slot kunnen modellen worden gedwongen hun output te onderbouwen met een controlemechanisme tegen hallucinaties in bronvermeldingen. Dit detecteert wanneer het model een <cit> genereert terwijl er geen opgehaalde bronnen beschikbaar zijn (bijvoorbeeld in een algemene chat-context) en blokkeert het antwoord volledig.
Continue evaluaties (evals)
Naast preventie-mechanismen, vereisen betrouwbare AI-modellen in de zorg ook continue evaluatie, vaak aangeduid als evals. Evals zijn systematische tests waarmee wordt gemeten hoe goed een AI-systeem presteert op specifieke taken. In plaats van te vertrouwen op subjectieve indrukken bieden evals herhaalbare manieren om te controleren of een model correcte, betrouwbare en consistente outputs produceert onder gedefinieerde omstandigheden.
Binnen healthcare AI zijn evals vooral belangrijk om te beoordelen of outputs feitelijk gebaseerd zijn op brondata en om problemen zoals hallucinaties, inconsistenties of overmoedig redeneren te detecteren.
Groundedness / verificatie van bronvermeldingen
Een goed voorbeeld van een eval, is controleren of outputs daadwerkelijk gebaseerd zijn op brondata. Het idee is eenvoudig: wanneer een model een claim genereert met bronvermelding, controleert het systeem of die bronnen de uitspraak echt ondersteunen.
Als het model bijvoorbeeld stelt dat een patiënt vorige week meer angst ervoer, controleert de evaluatie of dit daadwerkelijk terug te vinden is in klinische notities, patiëntdossiers of andere opgehaalde bronnen. Als er geen ondersteunend bewijs gevonden wordt, wordt de uitspraak gemarkeerd als (mogelijke) hallucinatie.
Consistentie- en contradictiecontroles
Een andere categorie evals richt zich op interne consistentie. Hierbij controleert het systeem of gegenereerde outputs in tegenspraak zijn met bestaande patiëntgegevens, eerdere notities of gevestigde medische kennis.
Als bijvoorbeeld in een dossier staat dat een patiënt suïcidale gedachten ontkent, maar een gegenereerde samenvatting het tegenovergestelde beweert, kan deze inconsistentie automatisch worden gemarkeerd.
Evaluatie door een tweede AI-model
Bij deze aanpak wordt een tweede model gebruikt om de output van het eerste model te beoordelen. Het evaluatiemodel krijgt de opdracht om niet-onderbouwde claims te identificeren of te beoordelen of uitspraken voldoende gebaseerd zijn op de aangeleverde bronnen.
Dit maakt het een schaalbaar alternatief voor menselijke beoordeling, vooral bij grootschalige tests. Tegelijkertijd introduceert deze methode ook eigen risico’s, omdat het evaluatiemodel zelf fouten of hallucinaties kan produceren.
Testen met gesimuleerde scenario’s
Specifieke testsets kunnen worden ontworpen om hallucinatie-gedrag doelgericht te onderzoeken. Deze bevatten vaak bewust misleidende of onjuiste inputs, zoals verzonnen diagnoses, niet-bestaande medicatie of dubbelzinnige klinische scenario’s. Het model wordt vervolgens beoordeeld op de vraag of het deze ongefundeerde informatie correct uitdaagt of afwijst. Dit type test is met name nuttig voor het stresstesten van de robuustheid van systemen.
Kalibratie van vertrouwen en onzekerheid
Hallucinaties gaan niet alleen over of informatie klopt, maar ook over hoe zeker een AI-model klinkt in zijn antwoord. Een belangrijke vraag bij het evalueren van AI-systemen is daarom of het model onzekerheid op de juiste manier communiceert. Antwoorden die overtuigend klinken maar feitelijk onjuist zijn, vormen een groot risico in de zorg, omdat ze makkelijk kunnen worden gezien als medische feiten.
Beoordeling door menselijke experts
Ondanks de vooruitgang in automatisering blijft beoordeling door klinische experts een van de meest betrouwbare manieren om hallucinaties te beoordelen. Experts kijken daarbij onder andere naar de vraag of de output feitelijk klopt, of er ongefundeerde uitspraken in staan, of belangrijke informatie ontbreekt en of de mate van zekerheid past bij het beschikbare bewijs.
Hoewel deze aanpak kostbaar is, blijft deze essentieel voor workflows met een hoog risico en voor het valideren van geautomatiseerde evaluatiemethoden.
Op weg naar betrouwbare AI in de zorg
Het voorkomen van hallucinaties draait uiteindelijk niet om het bereiken van volledige zekerheid. Ook binnen de klinische praktijk is er sprake van onzekerheid, interpretatie en onvolledige informatie. Het doel is daarom om systemen te bouwen die transparant zijn over wat ze wel weten, wat ze niet weten en waar informatie vandaan komt.
Dit vraagt om meer dan alleen slimme prompts. Het vereist een gelaagd systeemontwerp met retrieval-infrastructuur, mechanismen voor bronvermelding, evaluatiekaders, validatiestrategieën en continue monitoring. Naarmate AI-systemen steeds meer geïntegreerd raken in klinische workflows, worden goede onderbouwing en traceerbaarheid steeds belangrijker. Betrouwbare AI ontstaat namelijk niet alleen uit het model zelf, maar vooral uit de beveiligingen en technische keuzes daaromheen.
De kern van het verhaal
Grote taalmodellen kunnen ongelooflijk krachtig zijn binnen de zorg, maar alleen wanneer hun outputs onderbouwd, verifieerbaar en transparant blijven. Het verminderen van hallucinaties is daarom geen enkele feature of geïsoleerde techniek. Het is een voortdurende inspanning waarin retrieval-systemen, verplichte bronvermelding, verschillende evaluatietechnieken en continue verfijning samenkomen.