AI en de digitale transformatie in de oncologie

Het is inmiddels duidelijk dat de rol van artificiële intelligentie (AI) in de gezondheidszorg alsmaar groter wordt. In combinatie met de supercomputercapaciteit (high-performance computing) beschikbaar vandaag de dag en de mogelijkheden om grote hoeveelheden data op te slaan, kunnen nieuwe AI-algoritmes de gezondheidszorg digitaal transformeren. Met het oog op de oncologie bespreken we de stand van zaken, maar ook de ethische kwesties die zich hierdoor opdringen.

AI omvat de ontwikkeling van computeralgoritmes die taken kunnen uitvoeren die geassocieerd worden met menselijke intelligentie. Onder meer 'machine learning' (ML) en 'deep learning' (DL) vallen hieronder. ML-algoritmes kunnen na blootstelling aan trainingsdata verborgen patronen herkennen die vervolgens gebruikt kunnen worden om taken uit te voeren, zonder voorafgaande programmering.

DL is een subgroep van ML en heeft de afgelopen jaren tot heel wat doorbraken geleid. Het is gebaseerd op multigelaagde 'artificiële neurale netwerken' en heeft een sterk logisch redeneer- en leervermogen dat de menselijke denkwijze in hoge mate kan nabootsen. In tegenstelling tot ML heeft DL geen gestructureerde data nodig.

Het algemeen doel van deze technologieën in de geneeskunde is om relevante informatie uit grote hoeveelheden medische data bloot te leggen en beslissingsondersteuning aan te bieden in de klinische setting, waardoor patiënten betere uitkomsten krijgen, terwijl het gezondheidszorgsysteem meer wordt ontlast.

Door de hoge kankerprevalentie en de aanzienlijke hoeveelheid van data die gegenereerd wordt tijdens een kankerbehandeling, is er een specifieke en groeiende interesse voor mogelijke AI-toepassingen in de oncologie. Deze ontwikkelingen kunnen onder meer leiden tot risicovoorspellingen en patiëntstratificatie, verhoogde diagnostische accuraatheid, nieuwe behandelingen, een meer gepersonaliseerde aanpak en een beter management van de nazorg.

Opkomst AI-beeldanalyse

Op het gebied van medische beeldanalyse nemen we een snelle opmars van nieuwe DL-algoritmes waar, die gebaseerd zijn op 'convolutionele neurale netwerken'. Deze ontwikkelingen kunnen voor een hogere diagnostische efficiëntie en nauwkeurigheid zorgen, en zouden voornamelijk een groot effect kunnen hebben op vlak van radiologie en digitale pathologie. Zo kan een AI-model honderdduizenden afbeeldingen op pixelniveau verzamelen en categoriseren, maar deze ook analyseren om verschillende aandoeningen te identificeren.

In de klinische setting zou het ingezet kunnen worden om bepaalde tijdrovende taken van radiologen en pathologen over te nemen, en aldus de werklast te verkleinen. Voornamelijk in de context van borstkankerdetectie en -classificatie in screeningsmammografie zijn de potentiële mogelijkheden van AI-algoritmes uitgebreid onderzocht. Enerzijds zou het in een triagesetting als screeningstool gebruikt kunnen worden om röntgenfoto's te analyseren op de kans op maligniteiten, en op basis daarvan de beelden te selecteren die eerst door een radioloog geïnterpreteerd dienen te worden.

Daarnaast zou AI gebruikt kunnen worden als een interactief hulpmiddel voor een betere diagnostische evaluatie. Verschillende studies hebben een synergetisch effect aangetoond wanneer clinici met geavanceerde AI-systemen samenwerken, resulterend in accuratere diagnostiek. Meer nog, recente studies hebben voor verschillende AI-algoritmes aangetoond dat deze de sensitiviteit en specificiteit van de menselijke specialist kunnen bereiken, en in sommige gevallen deze zelfs kunnen overstijgen (1-6). Hierdoor zou het in de context van screeningsmammografieën mogelijk de nood aan een beschikbare, tweede radioloog (reader) kunnen wegnemen. Belangrijk om op te merken is dat deze studies dit voornamelijk in de retrospectieve setting onderzochten, en de echte klinische waarde nog onderzocht moet worden in grote prospectieve, klinische studies.

AI zou in een triagesetting bij borstkankerscreening gebruikt kunnen worden om röntgenfoto's te analyseren op de kans op maligniteiten, en op basis daarvan de beelden te selecteren die eerst door een radioloog geïnterpreteerd dienen te worden

Hoewel AI-technieken menselijke capaciteiten kunnen versterken of deze zelfs kunnen overtreffen, zijn er momenteel nog verscheidene factoren waarover we waakzaam dienen te zijn (zie hieronder).

Europese Commissie

Het DG-Connect-orgaan van de Europese Commissie dat zich toelegt op de digitale informatiemaatschappij en digitale diensten, ondertekent het belang van een ondersteunend kader rond de toenemende mogelijkheden van high-performance computing (HPC), AI- algoritmes en dataopslagtechnologieën in de gezondheidszorg.

De beschikbaarheid en continue toevoer van voldoende gezondheidsgegevens (health data) is noodzakelijk voor het initieel trainen van AI-algoritmen, maar ook voor de continue training, validering en vooruitgang. Voor wijdverspreide implementatie dienen data gedeeld te worden tussen verschillende instellingen, en mogelijks ook tussen landen. In Europa is er echter een tekort aan dataverwerkings- en opslagoplossingen, en ook de toegankelijkheid van deze data blijft problematisch. Zo zou slechts 9% van de Europese ziekenhuizen hun patiënten toegang verlenen tot hun elektronisch patiëntendossier en slechts 4% gezondheidsgegevens uitwisselen met andere gezondheidsorganisaties uit andere EU-landen.

De Europese Commissie heeft zich politiek en financieel toegewijd om de digitalisering van de gezondheidszorg te stimuleren. Met 'Digitaal Europa' en 'Connecting Europe Facility' wordt er onder meer geïnvesteerd in HPC, AI, geavanceerde digitale vaardigheden, maar ook de onderliggende technologische infrastructuren die de digitale voortgang verder mogelijk moeten maken over heel de EU. Gezondheidszorg vormt hierin een aandachtsgebied.

Een belangrijk initiatief dat in 2018 van start is gegaan, betreft de gefedereerde toegang van genoom-databanken. Hiermee poogt men onderzoekers toegang te bieden tot meer dan één miljoen genomen overheen de EU, en op die manier nieuwe, klinisch relevante inzichten uit onderzoek te ondersteunen. Meer bepaald kan genomics leiden tot een verbeterde ziektepreventie en een snellere transitie naar gepersonaliseerde geneeskunde. Ook in de strijd tegen kanker zal dit ontegensprekelijk zijn nut hebben.

Meer recent vormt kankerbestrijding één van de vijf missies van 'Horizon Europe', een EU-financieringsprogramma in het kader van onderzoek en innovatie. Een groep van experts heeft een reeks adviezen opgesteld om tegen 2030 wereldwijd meer dan drie miljoen mensen van kanker te redden. De nadruk ligt op het beter begrijpen van kanker, kankerpreventie, de optimalisatie van diagnostiek en behandeling, de ondersteuning van de levenskwaliteit, en het verzekeren van een gelijke gegevenstoegang. De digitale versnelling zal in deze aanpak dus een grote rol spelen.

Projecten

Op het gebied van medische beeldvorming in de oncologie, worden de projecten EuCanImage en INICISIVE gefinancierd. EuCanImage heeft als doel een grootschalig, gefedereerd, Europees beeldvormingsplatform te bouwen voor next-generation AI in oncologie. INCISIVE streeft naar de ontwikkeling en validatie van een AI-toolbox die door onderzoekers, maar ook door innovators gebruikt kan worden om bestaande beeldvormingstechnieken accurater te maken. Hiervoor wil men een gefedereerd, pan-Europese opslagplaats voor medisch beeldmateriaal genereren, die gebruikt kan worden om AI te trainen op verscheidene kankertypes.

Andere projecten zijn gekoppeld aan specifieke kankers, zoals hoofd- en halskanker (BD2Decide), prostaat- (ProCAncer-I), borst- (BOUNCE), en pediatrische kankers (iPC), waarbij de ontwikkeling van een beslissingsondersteunend systeem centraal staat. Verder zijn er projecten die zich richten op de data-analyse post-behandeling, waaronder verhoging van de levenskwaliteit door identificatie van risicofactoren (CLARIFY), een coachingsysteem (CAPABLE), een patiëntgericht zorgplan over survivorship (PERSIST), alsook het monitoren van de mentale toestand (FAITH).

Deze initiatieven worden aangevuld met grootschalige onderzoeksinitiatieven om kanker beter te begrijpen op moleculair niveau door middel van AI en HPC. In dat opzicht vormt 'DigiTwins' een belangrijk project, waarbij men een virtuele kopie van elke Europeaan wil bouwen die onder andere gebruikt kan worden om het effect van behandelingen op individueel niveau te onderzoeken.

Nieuwe projecten die binnenkort van start zullen gaan, richten zich op onderzoek naar gepersonaliseerde vroege risicovoorspelling, preventie en interventie op basis van AI en 'big data'-technologieën, maar ook op de verdere ontwikkeling van een platform voor in silico clinical trials, waarbij computersimulaties gebruikt worden voor het testen van geneesmiddelen en medische toestellen.

Ethische kwesties

Naast de duidelijke opportuniteiten die AI-algoritmes met zich mee kunnen brengen, moeten we echter ook rekening houden met verschillende factoren in de ontwikkeling van deze modellen, net als voor de implementatie in de klinische praktijk. Dat brengt ons ook tot enkele ethische vraagstellingen die hieruit voortspruiten.

Vaak wordt gedacht dat AI-algoritmes meer objectieve, robuuste en evidence- based klinische beslissingen kunnen maken dan een menselijke arts, en dit een enorm voordelige samenwerking tussen arts en machine kan bewerkstelligen. AI-technologie is inderdaad automatisch, en autonoom in die zin dat het zelflerend is uit de interactie met zijn omgeving en uit een veel grotere datahoeveelheid dan mensen kunnen. Doch moeten we waakzaam blijven over het vertrouwen dat we in AI leggen.

Zo is een door AI gevonden patroon niet noodzakelijk ook betekenisvol. Door bijvoorbeeld een te grote hoeveelheid aan data beschikbaar te stellen, bestaat het risico dat AI-algoritmes voorspellingen maken die gebaseerd zijn op onechte correlaties in de data (overfitting). Dit kan leiden tot overschattingen over accuraatheid van het model en prestaties in de real world. Hiervoor dienen deze algoritmes onafhankelijk gevalideerd te worden.

Daarnaast kan de prestatiekwaliteit enkel hoog zijn als de onderliggende dataset kwalitatief en neutraal is. Zo zal elke bias in een dataset ook gereflecteerd worden in de beslissingen die het algoritme voorlegt. Bijvoorbeeld, wanneer de inputdata enkel een blanke, mannelijke populatie omvat, zal dit leiden tot onjuiste en tevens discriminerende voorspellingen voor vrouwen of mensen met een andere etnische achtergrond.

Dit brengt ons tot de volgende uitdaging: transparantie. Enerzijds dienen de onderliggende annotaties (toegevoegde kenmerkende informatie) die ingevoerd zijn in het algoritme transparant te zijn voor evaluatie van het trainingsproces. Anderzijds zou men ook in staat moeten zijn om te begrijpen hoe een technologie tot een bepaald besluit of voorspelling is gekomen. Als men de 'redenering' kan verklaren, zou men ook de betrouwbaarheid kunnen verifiëren. In de gezondheidszorg is dit van uitermate belang om bijvoorbeeld een diagnose of behandelingsadvies te kunnen rechtvaardigen. Maar voor dergelijke complexe AI-systemen, met name DL, is dit allesbehalve vanzelfsprekend en spreekt men van een ' black box'-technologie.

Het project 'DigiTwins' wil van elke Europeaan een virtuele kopie bouwen die onder andere gebruikt kan worden om het effect van behandelingen op individueel niveau te onderzoeken

Uiteraard rijzen hierdoor enkele andere kwesties, want niet enkel is het besluitvormend proces van een algoritme een black box, maar ook de gehele keten van actoren die deel uitmaken van het eindproduct is zeer complex. Dit maakt het enorm moeilijk om enerzijds fouten op te sporen en deze op te lossen, maar ook om uit te maken wie verantwoordelijk is en aansprakelijk gesteld kan worden.

Verder moeten we ons de vraag stellen in welke mate we klinische besluitvorming moeten delegeren naar AI-gezondheidssystemen en wanneer deze de autonomie van zowel de patiënt, als die van de zorgverlener in het gedrang brengen. Eigen beslissingen kunnen bijvoorbeeld toch subtiel beïnvloed worden door de suggesties die het AI-systeem maakt. Daarnaast is het moeilijker om bij te dragen aan AI-beslissingen wanneer men het hele onderliggende proces niet verstaat (black box). Tenslotte moeten we beseffen dat algoritmische uitkomsten probabilistisch zijn en niet onfeilbaar. Deze zijn zelden voldoende om een causaal verband aan te tonen.

Referenties:

1. Rodriguez-Ruiz A, et al. J Natl Cancer Inst 2019; 111: 916-22.

2. Becker AS, et al. Invest Radiol 2017; 52: 434-40.

3. McKinney SM, et al. Nature 2020; 577: 89-94.

4. Kim H-E, et al. Lancet Digital Health 2020; 2: e138-e148.

5. Akselrod-Ballin A, et al. Radiology 2019; 292: 331-342.

6. Bejnordi BE, et al. JAMA 2017; 318: 2199-2210.

Op basis van een educatieve sessie van ESMO 2020

AI omvat de ontwikkeling van computeralgoritmes die taken kunnen uitvoeren die geassocieerd worden met menselijke intelligentie. Onder meer 'machine learning' (ML) en 'deep learning' (DL) vallen hieronder. ML-algoritmes kunnen na blootstelling aan trainingsdata verborgen patronen herkennen die vervolgens gebruikt kunnen worden om taken uit te voeren, zonder voorafgaande programmering. DL is een subgroep van ML en heeft de afgelopen jaren tot heel wat doorbraken geleid. Het is gebaseerd op multigelaagde 'artificiële neurale netwerken' en heeft een sterk logisch redeneer- en leervermogen dat de menselijke denkwijze in hoge mate kan nabootsen. In tegenstelling tot ML heeft DL geen gestructureerde data nodig. Het algemeen doel van deze technologieën in de geneeskunde is om relevante informatie uit grote hoeveelheden medische data bloot te leggen en beslissingsondersteuning aan te bieden in de klinische setting, waardoor patiënten betere uitkomsten krijgen, terwijl het gezondheidszorgsysteem meer wordt ontlast. Door de hoge kankerprevalentie en de aanzienlijke hoeveelheid van data die gegenereerd wordt tijdens een kankerbehandeling, is er een specifieke en groeiende interesse voor mogelijke AI-toepassingen in de oncologie. Deze ontwikkelingen kunnen onder meer leiden tot risicovoorspellingen en patiëntstratificatie, verhoogde diagnostische accuraatheid, nieuwe behandelingen, een meer gepersonaliseerde aanpak en een beter management van de nazorg. Op het gebied van medische beeldanalyse nemen we een snelle opmars van nieuwe DL-algoritmes waar, die gebaseerd zijn op 'convolutionele neurale netwerken'. Deze ontwikkelingen kunnen voor een hogere diagnostische efficiëntie en nauwkeurigheid zorgen, en zouden voornamelijk een groot effect kunnen hebben op vlak van radiologie en digitale pathologie. Zo kan een AI-model honderdduizenden afbeeldingen op pixelniveau verzamelen en categoriseren, maar deze ook analyseren om verschillende aandoeningen te identificeren. In de klinische setting zou het ingezet kunnen worden om bepaalde tijdrovende taken van radiologen en pathologen over te nemen, en aldus de werklast te verkleinen. Voornamelijk in de context van borstkankerdetectie en -classificatie in screeningsmammografie zijn de potentiële mogelijkheden van AI-algoritmes uitgebreid onderzocht. Enerzijds zou het in een triagesetting als screeningstool gebruikt kunnen worden om röntgenfoto's te analyseren op de kans op maligniteiten, en op basis daarvan de beelden te selecteren die eerst door een radioloog geïnterpreteerd dienen te worden. Daarnaast zou AI gebruikt kunnen worden als een interactief hulpmiddel voor een betere diagnostische evaluatie. Verschillende studies hebben een synergetisch effect aangetoond wanneer clinici met geavanceerde AI-systemen samenwerken, resulterend in accuratere diagnostiek. Meer nog, recente studies hebben voor verschillende AI-algoritmes aangetoond dat deze de sensitiviteit en specificiteit van de menselijke specialist kunnen bereiken, en in sommige gevallen deze zelfs kunnen overstijgen (1-6). Hierdoor zou het in de context van screeningsmammografieën mogelijk de nood aan een beschikbare, tweede radioloog (reader) kunnen wegnemen. Belangrijk om op te merken is dat deze studies dit voornamelijk in de retrospectieve setting onderzochten, en de echte klinische waarde nog onderzocht moet worden in grote prospectieve, klinische studies. Hoewel AI-technieken menselijke capaciteiten kunnen versterken of deze zelfs kunnen overtreffen, zijn er momenteel nog verscheidene factoren waarover we waakzaam dienen te zijn (zie hieronder). Het DG-Connect-orgaan van de Europese Commissie dat zich toelegt op de digitale informatiemaatschappij en digitale diensten, ondertekent het belang van een ondersteunend kader rond de toenemende mogelijkheden van high-performance computing (HPC), AI- algoritmes en dataopslagtechnologieën in de gezondheidszorg. De beschikbaarheid en continue toevoer van voldoende gezondheidsgegevens (health data) is noodzakelijk voor het initieel trainen van AI-algoritmen, maar ook voor de continue training, validering en vooruitgang. Voor wijdverspreide implementatie dienen data gedeeld te worden tussen verschillende instellingen, en mogelijks ook tussen landen. In Europa is er echter een tekort aan dataverwerkings- en opslagoplossingen, en ook de toegankelijkheid van deze data blijft problematisch. Zo zou slechts 9% van de Europese ziekenhuizen hun patiënten toegang verlenen tot hun elektronisch patiëntendossier en slechts 4% gezondheidsgegevens uitwisselen met andere gezondheidsorganisaties uit andere EU-landen. De Europese Commissie heeft zich politiek en financieel toegewijd om de digitalisering van de gezondheidszorg te stimuleren. Met 'Digitaal Europa' en 'Connecting Europe Facility' wordt er onder meer geïnvesteerd in HPC, AI, geavanceerde digitale vaardigheden, maar ook de onderliggende technologische infrastructuren die de digitale voortgang verder mogelijk moeten maken over heel de EU. Gezondheidszorg vormt hierin een aandachtsgebied. Een belangrijk initiatief dat in 2018 van start is gegaan, betreft de gefedereerde toegang van genoom-databanken. Hiermee poogt men onderzoekers toegang te bieden tot meer dan één miljoen genomen overheen de EU, en op die manier nieuwe, klinisch relevante inzichten uit onderzoek te ondersteunen. Meer bepaald kan genomics leiden tot een verbeterde ziektepreventie en een snellere transitie naar gepersonaliseerde geneeskunde. Ook in de strijd tegen kanker zal dit ontegensprekelijk zijn nut hebben. Meer recent vormt kankerbestrijding één van de vijf missies van 'Horizon Europe', een EU-financieringsprogramma in het kader van onderzoek en innovatie. Een groep van experts heeft een reeks adviezen opgesteld om tegen 2030 wereldwijd meer dan drie miljoen mensen van kanker te redden. De nadruk ligt op het beter begrijpen van kanker, kankerpreventie, de optimalisatie van diagnostiek en behandeling, de ondersteuning van de levenskwaliteit, en het verzekeren van een gelijke gegevenstoegang. De digitale versnelling zal in deze aanpak dus een grote rol spelen. Op het gebied van medische beeldvorming in de oncologie, worden de projecten EuCanImage en INICISIVE gefinancierd. EuCanImage heeft als doel een grootschalig, gefedereerd, Europees beeldvormingsplatform te bouwen voor next-generation AI in oncologie. INCISIVE streeft naar de ontwikkeling en validatie van een AI-toolbox die door onderzoekers, maar ook door innovators gebruikt kan worden om bestaande beeldvormingstechnieken accurater te maken. Hiervoor wil men een gefedereerd, pan-Europese opslagplaats voor medisch beeldmateriaal genereren, die gebruikt kan worden om AI te trainen op verscheidene kankertypes. Andere projecten zijn gekoppeld aan specifieke kankers, zoals hoofd- en halskanker (BD2Decide), prostaat- (ProCAncer-I), borst- (BOUNCE), en pediatrische kankers (iPC), waarbij de ontwikkeling van een beslissingsondersteunend systeem centraal staat. Verder zijn er projecten die zich richten op de data-analyse post-behandeling, waaronder verhoging van de levenskwaliteit door identificatie van risicofactoren (CLARIFY), een coachingsysteem (CAPABLE), een patiëntgericht zorgplan over survivorship (PERSIST), alsook het monitoren van de mentale toestand (FAITH). Deze initiatieven worden aangevuld met grootschalige onderzoeksinitiatieven om kanker beter te begrijpen op moleculair niveau door middel van AI en HPC. In dat opzicht vormt 'DigiTwins' een belangrijk project, waarbij men een virtuele kopie van elke Europeaan wil bouwen die onder andere gebruikt kan worden om het effect van behandelingen op individueel niveau te onderzoeken. Nieuwe projecten die binnenkort van start zullen gaan, richten zich op onderzoek naar gepersonaliseerde vroege risicovoorspelling, preventie en interventie op basis van AI en 'big data'-technologieën, maar ook op de verdere ontwikkeling van een platform voor in silico clinical trials, waarbij computersimulaties gebruikt worden voor het testen van geneesmiddelen en medische toestellen. Naast de duidelijke opportuniteiten die AI-algoritmes met zich mee kunnen brengen, moeten we echter ook rekening houden met verschillende factoren in de ontwikkeling van deze modellen, net als voor de implementatie in de klinische praktijk. Dat brengt ons ook tot enkele ethische vraagstellingen die hieruit voortspruiten. Vaak wordt gedacht dat AI-algoritmes meer objectieve, robuuste en evidence- based klinische beslissingen kunnen maken dan een menselijke arts, en dit een enorm voordelige samenwerking tussen arts en machine kan bewerkstelligen. AI-technologie is inderdaad automatisch, en autonoom in die zin dat het zelflerend is uit de interactie met zijn omgeving en uit een veel grotere datahoeveelheid dan mensen kunnen. Doch moeten we waakzaam blijven over het vertrouwen dat we in AI leggen. Zo is een door AI gevonden patroon niet noodzakelijk ook betekenisvol. Door bijvoorbeeld een te grote hoeveelheid aan data beschikbaar te stellen, bestaat het risico dat AI-algoritmes voorspellingen maken die gebaseerd zijn op onechte correlaties in de data (overfitting). Dit kan leiden tot overschattingen over accuraatheid van het model en prestaties in de real world. Hiervoor dienen deze algoritmes onafhankelijk gevalideerd te worden. Daarnaast kan de prestatiekwaliteit enkel hoog zijn als de onderliggende dataset kwalitatief en neutraal is. Zo zal elke bias in een dataset ook gereflecteerd worden in de beslissingen die het algoritme voorlegt. Bijvoorbeeld, wanneer de inputdata enkel een blanke, mannelijke populatie omvat, zal dit leiden tot onjuiste en tevens discriminerende voorspellingen voor vrouwen of mensen met een andere etnische achtergrond. Dit brengt ons tot de volgende uitdaging: transparantie. Enerzijds dienen de onderliggende annotaties (toegevoegde kenmerkende informatie) die ingevoerd zijn in het algoritme transparant te zijn voor evaluatie van het trainingsproces. Anderzijds zou men ook in staat moeten zijn om te begrijpen hoe een technologie tot een bepaald besluit of voorspelling is gekomen. Als men de 'redenering' kan verklaren, zou men ook de betrouwbaarheid kunnen verifiëren. In de gezondheidszorg is dit van uitermate belang om bijvoorbeeld een diagnose of behandelingsadvies te kunnen rechtvaardigen. Maar voor dergelijke complexe AI-systemen, met name DL, is dit allesbehalve vanzelfsprekend en spreekt men van een ' black box'-technologie. Uiteraard rijzen hierdoor enkele andere kwesties, want niet enkel is het besluitvormend proces van een algoritme een black box, maar ook de gehele keten van actoren die deel uitmaken van het eindproduct is zeer complex. Dit maakt het enorm moeilijk om enerzijds fouten op te sporen en deze op te lossen, maar ook om uit te maken wie verantwoordelijk is en aansprakelijk gesteld kan worden. Verder moeten we ons de vraag stellen in welke mate we klinische besluitvorming moeten delegeren naar AI-gezondheidssystemen en wanneer deze de autonomie van zowel de patiënt, als die van de zorgverlener in het gedrang brengen. Eigen beslissingen kunnen bijvoorbeeld toch subtiel beïnvloed worden door de suggesties die het AI-systeem maakt. Daarnaast is het moeilijker om bij te dragen aan AI-beslissingen wanneer men het hele onderliggende proces niet verstaat (black box). Tenslotte moeten we beseffen dat algoritmische uitkomsten probabilistisch zijn en niet onfeilbaar. Deze zijn zelden voldoende om een causaal verband aan te tonen.