Klinische AI & onvolledige of tegenstrijdige data - Delphyr
In deze blogserie, Delphyr Engineering, delen we praktische inzichten over het bouwen van AI-systemen voor echte klinische toepassingen. In dit blog duikt onze AI engineer Tim in een belangrijke vraag: wat gebeurt er wanneer er belangrijke informatie in het elektronische patiëntendossier ontbreekt?
Het EPD is een representatie van de patiënt
Het is verleidelijk om een elektronisch patiëntendossier als absolute waarheid te zien. In de praktijk is het een weergave: samengesteld over tijd, door verschillende mensen, onder verschillende omstandigheden. Diagnoses die niet meer relevant zijn, staan soms nog als actieve episode geregistreerd. Medicatie die maanden geleden is gestopt, kan nog steeds vermeld staan. En, minder voor de hand liggend, velden die ingevuld hadden moeten zijn, zijn soms leeg.
Dit is geen fout die specifiek is voor één EPD. Het is een structureel kenmerk van documentatie in de zorg: het dossier weerspiegelt wat is ingevoerd, niet noodzakelijk wat op dit moment waar is. Elk AI-systeem dat bovenop een EPD is gebouwd, neemt dit over.
Wanneer een zorgprofessional het niet eens is met het systeem
Soms geeft een zorgprofessional aan dat de interpretatie van het dossier door Delphyr niet overeenkomt met wat zij weten over een patiënt. Dit roept direct een vraag op: wanneer een gebruiker met veel overtuiging tegen een feitelijke bewering ingaat, moet het systeem (Delphyr) dan toegeven, zichzelf corrigeren, of vasthouden aan zijn gelijk?
Het instinctieve antwoord is "geef de zorgprofessional gelijk": zij kennen de patiënt, het systeem niet. Maar dat is niet automatisch het juiste antwoord. Soms heeft de zorgprofessional gelijk en mist Delphyr data. Soms heeft het systeem gelijk en vergist de zorgprofessional zich, of denkt hij aan een ander consult. Simpelweg meebewegen met wie het hardst tegenspreekt is geen manier om het AI-model veiliger te maken. Het zorgt er slechts voor fouten die gemist worden.
Ontwerpen voor meningsverschillen
Hier ligt volgens ons het duurzame antwoord: probeer niet vast te stellen wie gelijk heeft, maar wees expliciet over waar een stukje informatie vandaan komt. En, hou die herkomst zichtbaar.
Dossiers zullen namelijk altijd hiaten blijven hebben, en zorgprofessionals zullen dingen blijven weten die niet in het dossier staan. Een systeem dat ervan uitgaat dat het EPD compleet is, zal fouten maken. Een systeem dat ervan uitgaat dat de zorgprofessional altijd gelijk heeft, zal op een andere, moeilijker te herkennen manier fout zitten, omdat het stopt met checken.
Dit is deels waarom Delphyr is ontworpen voor het samenvatten van data in het dossier en niet voor interpretatie van de onderliggende data. De afstand tussen die twee is groter dan hij lijkt. Het maken van een samenvatting brengt namelijk "summary-risk" met zich mee: het risico om iets weg te laten, of iets zo weer te geven dat het gewicht ervan verschuift.
Interpretatie van data, oftewel advies geven, brengt datzelfde risico met zich mee, plus nog een risico daarbovenop: een representatie-risico. Hiervan spreken we als de interpretatie van het dossier door het systeem het dossier zelf kan gaan vervangen. Dat is met name relevant vanwege automation bias: de neiging van gebruikers om de uitkomst van een systeem te volgen zonder daar dezelfde kritische blik op toe te passen (zoals je bij een collega zou doen). Bovendien: hoe zelfverzekerder een systeem antwoorden geeft, hoe groter dat risico wordt (het niet meer dubbel checken van de input).
Daarom is het duurzame antwoord (voorlopig) om het EPD als één bron te blijven behandelen en duidelijk te maken wat uit het dossier komt, versus wat de zorgverlener zegt. Dat is natuurlijk niet zo fijn als een systeem dat altijd "het antwoord weet", maar het zorgt er wel voor dat de zorgprofessional degene blijft die afweegt.
Kort samengevat
Een EPD is vaak een gedeeltelijke, soms verouderde weergave van een patiënt. Klinische AI bouwen bovenop dat dossier, betekent ontwerpen vóór die kloof: eerlijk zijn over wat bevestigd is versus door de zorgverlener wordt gezegd. En zorgprofessionals altijd inzicht blijven geven in hoe antwoorden tot stand komen.