Predictiemodellen zijn niet zonder meer toepasbaar. Ze moeten getest worden bij een andere groep patiënten. Maar dat blijkt vaak niet te gebeuren. En als het wel gebeurt, vallen de resultaten tegen.
Predictiemodellen zijn in de mode: steeds meer onderzoekers proberen met de verzamelde gegevens een – inmiddels gerealiseerde – uitkomst te voorspellen. Dat gebeurt door gemeten kenmerken van de onderzoeksgroep te selecteren en met een multivariaat model, waarbij de verschillende kenmerken vaak ook nog een verschillend gewicht krijgen, de uitkomst zo goed mogelijk te voorspellen. Een voorbeeld is het artikel van Van der Mark et al. over het voorspellen van de diagnose astma bij peuters met luchtwegsymptomen (H&W december 2014). Het hogere doel is om clinici gereedschap te geven om te anticiperen op een gewenste of ongewenste uitkomst.
De deskundigen zijn het erover eens dat zo’n ontwikkeld model niet zonder meer toepasbaar is. Het moet getest worden bij een andere groep patiënten. Externe validering heet dat. Maar gebeurt dat wel?
Een groep onderzoekers onder leiding van John Ioannidis voerde een systematische review uit om deze vraag te beantwoorden. Ze vonden 127 nieuw ontwikkelde predictiemodellen, gepubliceerd tussen 1973 en 2010. Van driekwart van die modellen konden ze op het moment van de inventarisatie (zomer 2013) geen externe valideringsonderzoek vinden.
Wanneer er wel zo’n nieuw onderzoek werd gevonden, bleek het onderscheidend vermogen bijna altijd lager dan in het oorspronkelijke artikel. De les voor de praktijk: wees terughoudend met het toepassen van nieuwe, niet extern gevalideerde predictieregels, want ze geven meestal te rooskleurige resultaten. Voorspellen valt niet mee, ook niet als je de uitkomst al weet!
Hans van der Wouden
Literatuur
- 1.Siontis GC, et al. External validation of new prediction models is infrequent and reveals worse prognostic discrimination. J Clin Epid 2015;68:2534.
Reacties
Er zijn nog geen reacties.
