10 technieken om het gebruik LLM’s veiliger te maken in de zorg
In deze blogreeks, Delphyr Engineering, delen we inzichten over het bouwen van AI-toepassingen voor klinisch gebruik. In een eerdere blog lieten we zien hoe meerdere lagen van guardrails bijdragen aan de betrouwbaarheid van medische AI. In dit artikel legt onze engineer Tim uit waarom large language models (LLM’s) per definitie probabilistisch zijn, en bespreekt hij tien technieken die de betrouwbaarheid van AI-modellen in zorgtoepassingen verbeteren.
Omgaan met onzekerheid in klinische AI
Large language modellen (LLM’s) geven niet altijd twee keer exact hetzelfde antwoord. Om dit goed te begrijpen is het belangrijk om LLM’s in hun bredere context te plaatsen. Large language models zijn een type AI-model dat tekst genereert op basis van waarschijnlijkheden in plaats van vaste regels. Als u een vraag net even anders stelt, kunnen de formulering, nadruk of details van het antwoord anders zijn. Dit in tegenstelling tot deterministische systemen, waarbij dezelfde input altijd tot dezelfde output leidt.
In veel toepassingen is dit geen probleem. In de zorg ligt dat anders: daar kunnen kleine verschillen grote gevolgen hebben. Tegelijkertijd is de geneeskunde zelf ook niet volledig deterministisch. Twee artsen die hetzelfde patiëntendossier bekijken, kunnen andere accenten leggen, resultaten verschillend interpreteren of tot licht afwijkende conclusies komen. Daarom gebruiken zorgprofessionals meerdere veiligheidslagen zoals protocollen, en collegiale toetsing. Zo wordt onzekerheid beheersbaar gehouden en worden patiënten beschermd.
Een vergelijkbare benadering ontstaat er nu bij het gebruik van AI in de zorg. In plaats van LLM’s volledig deterministisch te willen maken, worden systemen zo ontworpen dat ze determinisme introduceren waar dat cruciaal is, terwijll variaties in antwoorden elders worden opgevangen door middel van zogenaamde safeguards (veiligheidslagen). In dit artikel bespreken we tien technieken die hiervoor in de praktijk worden toegepast of momenteel worden ontwikkeld.
Controle van in- en output
De antwoorden van een AI-model kunnen veiliger worden gemaakt door ze aan meerdere controles te onderwerpen, zowel vóór als na generatie. Deze veiligheidschecks zijn erop gericht om onveilige, ongepaste of irrelevante inhoud te signaleren en te blokkeren. In de praktijk verkleinen zij de kans op problematische output, al is geen enkele methode volledig sluitend.
Weiger- en verduidelijkingstrategieën
Als een model de kans hoog acht dat er fouten zitten in de vraag, of de input (beschikbare informatie in het dossier) ambigu is, kunnen modellen worden gestuurd om verduidelijking te vragen of geen antwoord te geven. Dit is vooral waardevol in open interacties, waar het risico op verkeerde aannames groot is. Het expliciet toestaan van “ik weet het niet”-antwoorden helpt om overmoedige fouten te beperken.
Niet-autoritatief en kritisch antwoordgedrag
Modellen kunnen de instructie krijgen om hun antwoorden niet als absoluut of ‘zeker waar’ te presenteren, zeker wanneer de onderliggende data beperkt of ambigu is. In plaats van stellige uitspraken ("Deze behandeling werkt zeker”) moeten antwoorden de onzekerheid en de grenzen van de beschikbare informatie weerspiegelen.
Daarnaast is het van belang dat modellen kritisch omgaan met brondata, waaronder informatie uit het elektronisch patiëntendossier (EPD). In plaats van waarden klakkeloos over te nemen (zelfs in samenvattingen) moet het model inconsistenties of onwaarschijnlijke gegevens signaleren. Als een dossier bijvoorbeeld een hartslag van 600 slagen per minuut bevat, zou het AI-model moeten opmerken: “Een hartslag van 600 bpm is fysiologisch niet mogelijk en kan duiden op een invoerfout.”
Dat dit geen theoretisch probleem is, blijkt uit recent onderzoek gepubliceerd in Nature Communications Medicine. Daarin werden LLM’s getest op 300 synthetische klinische casussen waarin bewust foutieve details zaten, zoals verzonnen aandoeningen of niet-bestaande labwaarden. Modellen accepteerden deze informatie vaak als waar en bouwden er overtuigend klinisch redeneren omheen. Bijvoorbeeld:
“De chronische Lyme-geïnduceerde cardiomyopathie van de patiënt verklaart waarschijnlijk de vermoeidheid en hartritmestoornissen. Behandeling dient te bestaan uit bètablokkers en voortzetting van antibiotische therapie tegen de onderliggende Borrelia-infectie, aangevuld met cardiale monitoring.”
In dit voorbeeld:
wordt een niet-bestaande aandoening als reëel geaccepteerd
wordt er een volledig behandelplan op gebaseerd
wordt het geheel aangekleed met plausibel klinkende details
De studie liet zien dat hallucinaties veel voorkwamen (gemiddeld circa 66%, oplopend tot 82%). Het expliciet aanzetten tot meer scepsis verlaagde dit percentage aanzienlijk (tot ongeveer 44%), maar toch bleven de modellen gevoelig voor fouten.
De conclusie is helder: zonder gerichte instructie zijn LLM’s geneigd om foutieve input te vertrouwen en verder uit te werken, in plaats van die ter discussie te stellen. Het stimuleren van kritisch en niet-autoritatief gedrag is daarom een belangrijk. Niet om fouten volledig te voorkomen, maar om overmoedige en misleidende antwoorden te beperken.
Deterministische data-extractie bij invoer
Een belangrijk deel van de dataverwerking kan plaatsvinden voordat een gebruiker met het systeem werkt. Bij het inlezen van gegevens, bijvoorbeeld uit een patiëntendossier, kunnen deze direct worden gestructureerd, gecontroleerd en gevalideerd. Dit beperkt de noodzaak tot interpretatie tijdens gebruik en draagt bij aan consistente antwoorden.
Gestructureerde output in plaats van vrije tekst
Voor kritieke gegevens kan gekozen worden voor gestructureerde output in plaats van vrije tekst. In plaats van een model een medicatielijst te laten “beschrijven”, kan het systeem specifieke velden afdwingen (middel, dosering, frequentie), eventueel aangevuld met validatie of een indicatie van het zekerheidsniveau. Bij hoge onzekerheid kan het systeem dan gedwongen worden om terug te vallen op de zorgverlener in plaats van te gokken.
Bronvermelding en traceerbaarheid
Om transparantie te bevorderen, kunnen antwoorden van het AI-model worden voorzien van verwijzingen naar onderliggende databronnen, zoals patiëntgegevens uit het EPD of relevante richtlijnen. Dit stelt zorgverleners in staat om de herkomst van informatie te verifiëren, vergelijkbaar met het raadplegen van een dossier of medische literatuur. Traceerbaarheid helpt gebruikers om beter in te schatten hoe betrouwbaar een antwoord is, in plaats van alleen af te gaan op hoe het geformuleerd is.
Verificatie van bronverwijzingen
Naast het tonen van bronnen, kunnen systemen ook controleren of die bronnen daadwerkelijk de gegenereerde claims ondersteunen. Dat kan door niet alleen bron-ID’s te matchen, maar ook de geciteerde tekst inhoudelijk te vergelijken met het origineel.
Detectie van hallucinaties
Een hallucinatie ontstaat wanneer een AI-model informatie genereert die niet in de onderliggende data voorkomt, maar wel overtuigend lijkt. Om dit te detecteren, kunnen statistische technieken worden gebruikt die testen hoe gevoelig een model-output is voor veranderingen in de input. Door specifieke gegevens te verwijderen of te variëren en het effect op het antwoord te analyseren, kan worden ingeschat of de output daadwerkelijk op de data is gebaseerd.
Als een taalmodel niet nodig is
Niet elke vraag vereist een taalmodel. Voor eenvoudige verzoeken, zoals het ophalen van een labwaarde of het tonen van medicatie, kan het systeem het LLM omzeilen en gebruikmaken van deterministische logica. Dit zorgt voor consistente antwoorden en voorkomt onnodige variatie die een taalmodel kan genereren.
Evaluatie en regressietesten
Betrouwbaarheid hangt niet alleen af van het ontwerp, maar ook van voortdurende tests. Veel systemen worden getest met vooraf vastgestelde vragen (“evals”). Door dit uit te breiden naar tests met complete scenario’s, waarin volledige klinische workflows worden nagebootst, krijgt u beter inzicht in hoe het systeem in de praktijk werkt.
Waarom variatie in formulering vaak acceptabel is
Zelfs met deze maatregelen kunnen LLM-systemen dezelfde input op verschillende manieren formuleren. In veel gevallen is dat niet problematisch:
Artsen verschillen zelf ook in formulering en nadruk
De onderliggende data blijft gelijk, ook als de uitleg varieert
Deterministische systemen kunnen cruciale feiten stabiel houden
Bij natuurlijke taal-output is enige variatie acceptabel, zolang de inhoud controleerbaar, herleidbaar en consistent blijft.
Wat betekent dit in de praktijk?
Deze technieken wijzen op een bredere lijn: LLM’s worden niet veiliger door onzekerheid te elimineren, maar door die te beheersen en te begrenzen via systeemontwerp. Idealiter zijn bepaalde onderdelen, zoals data-ophaling en gestructureerde output, deterministisch, terwijl andere, zoals tekstuele uitleg, probabilistisch blijven, maar binnen vaste kaders opereren. Dat sluit aan bij de klinische praktijk, waar onzekerheid niet verdwijnt, maar wordt ingekaderd via gelaagde systemen.
De kern
Het gebruik van LLM’s brengt reële uitdagingen met zich mee in de zorg. Toch kunnen ze verantwoord worden ingezet, mits ze worden ingebed in systemen die risico’s beperken en verificatie ondersteunen. Door deterministische componenten, gestructureerde data, controles en continue evaluatie te combineren, ontstaan systemen die transparanter, beter te volgen en beter afgestemd zijn op klinische workflows. Het doel is niet om LLM’s deterministisch te maken, maar om systemen te ontwerpen waarin variabiliteit wordt gecontroleerd, gemonitord en begrensd.