Predictiemodellen op de korrel

Een predictiemodel kan zeer nuttig zijn, zeker nu ziekenhuizen worden overspoeld door patiënten, zegt statisticus Laure Wynants (KU Leuven en universiteit van Maastricht). "We weten uit eerder onderzoek dat een degelijk uitgewerkt predictiemodel de zorg efficiënter maakt en de uitkomst van de patiënt verbetert." "Als een diagnostisch predictiemodel uitwijst dat een patiënt ofwel een zeer hoog ofwel een zeer laag risico heeft om met het SARS-CoV-2 besmet te zijn, kan men meteen overstappen op gerichte diagnostiek, wat tijd en middelen uitspaart", geeft ze een voorbeeld. "Overigens staat in de Belgische richtlijnen dat overbevraagde diensten Intensieve zorg moeten triëren op basis van de prognose. Maar nergens leest men hoe dat moet worden geoperationaliseerd. Hoe weeg je een jongere patiënt met co-morbide aandoeningen af tegen een oudere patiënt in goede algemene gezondheid? Een predictiemodel kan hier helpen: het is mogelijk de prognose uit te drukken onder vorm van één cijfer, rekening houdend met een hele reeks variabelen eigen aan de patiënt." Diagnostische en prognostische predictiemodellen kunnen een zeer uiteenlopende graad van sofisticatie hebben. De Score-tabel voor het bepalen van het cardiovasculair risico is iedereen bekend. Maar aan het andere uiteinde van het spectrum staan geavanceerde systemen gebaseerd op artificiële intelligentie, waarmee men CT-beelden automatisch kan scoren om na te gaan of ze compatibel zijn met een diagnose van Covid-19. De media en de wetenschappelijke literatuur melden dat sommige predictiemodellen nu al worden gebruikt in ziekenhuizen. Bijvoorbeeld in Nederland, Italië, de Verenigde Staten, China en zelfs in ons land. Blijkbaar zijn ze dus welkom, maar dan moeten ze wel hun deugdelijkheid bewezen hebben. En daar knelt het schoentje. Het team van experts in predictiemodellering (*) maakte een overzicht van alle wetenschappelijke artikels die een predictiemodel voor Covid-19 voorstellen. Dat behelst zowel preprints als gepubliceerde artikels. Ieder artikel werd door twee onafhankelijke reviewers gelezen. Telkens werd een gestandaardiseerde risk of bias assessment uitgevoerd. Met andere woorden: hoe groot is het risico dat de evaluatie van het predictiemodel in een studie tot vertekende resultaten geleid heeft, omdat er sprake was van methodologische zwakheden? Voor het bepalen van het risk of bias bestaan er instrumenten die door Cochrane worden aanbevolen.De onderzoekers hebben intussen 51 studies tegen het licht gehouden. Ze stelden vast dat alle publicaties een gemeenschappelijk kenmerk hebben: telkens concluderen de auteurs dat het door hen onderzochte model goed tot uitstekend presteert, als het erop aankomt de diagnose van Covid-19 te stellen of het overlijdensrisico van de patiënt te voorspellen.En toch: geen van de publicaties werd door de reviewers betrouwbaar bevonden. In het slechtste geval had het onderzoek een hoog risk of bias. In het beste geval zijn de publicaties onduidelijk over de manier waarop het predictiemodel werd gemaakt of getest, of over de populatie waarvoor het bedoeld is, zodat men geen concrete conclusies kan trekken. Prof. Wynants: "Een vaak gemaakte fout met een prognostisch model dat moet voorspellen wie sterft of wie overleeft, is dat men patiënten die bij het einde van de studie noch overleden noch genezen zijn, niet in de berekeningen meeneemt. Nu moet je toch geen expert zijn om te begrijpen dat dit de resultaten scheeftrekt. Of nog iets anders: in een diagnostisch model vergelijkt men CT-scans van Covid-patiënten met beelden van gezonde patiënten die werden gemaakt vóór het coronatijdperk of in een ander land. Zulke vergelijkingen zijn niet representatief voor de populatie die momenteel op een spoedgevallendienst toestroomt." De onderzoekers publiceerden hun resultaten in British Medical Journal. Omdat er voortdurend nieuwe studies rond predictiemodellen uitkomen, maakten British Medical Journal en Cochrane met de onderzoekers afspraken rond updates om de twee à drie weken. "Bovendien zullen sommige preprints misschien via peer review bijgeschaafd worden, zodat ze op het ogenblik van publicatie een nieuwe beoordeling verdienen", kadert prof. Wynants.Betreurenswaardig is dat artsen in ziekenhuizen vertrouwen op predictiemodellen waarvan de kwaliteit niet aangetoond is. Moet men niet een structuur creëren om die modellen te homologeren? "In onze publicatie bevelen we wel aan een register bij te houden van modellen die een potentieel blijken te hebben", vertelt de onderzoekster. "Die modellen zouden in Europa kunnen worden gevalideerd en in Belgische ziekenhuizen verfijnd, zodat ze alsnog als een betrouwbaar instrument kunnen worden ingezet."