Beoordeling van de kwaliteit van rapportage van diagnostisch onderzoek

Inleiding

Diagnostisch onderzoek heeft lange tijd veel minder aandacht gekregen dan therapeutisch onderzoek. Daardoor laat de kwaliteit van diagnostisch onderzoek nog steeds veel te wensen over. Een al oud overzicht van de diagnostische literatuur gepubliceerd in vier medische toptijdschriften van 1978 tot 1993 liet zien dat het met de kwaliteit van dit onderzoek droevig was gesteld: slechts in 50 tot 60% van de publicaties werden belangrijke oorzaken van bias (systematische fouten) vermeden.1 Toch is valide diagnostische informatie uitermate belangrijk voor een clinicus, omdat deze informatie richting geeft aan het verdere beleid ten aanzien van verrichtingen en behandelingen. Tests kunnen op verschillende manieren worden beoordeeld. Er bestaat onderzoek dat gericht is op de haalbaarheid, veiligheid of reproduceerbaarheid van tests; met ander onderzoek kan worden nagegaan of patiënten door het testen beter af zijn. Het gaat meer om de gevolgen van het testen. Een groot deel van het onderzoek naar tests is echter gericht op de diagnostische accuratesse. Dat diagnostisch onderzoek is gericht op het beoordelen van de validiteit van symptomen, lichamelijk onderzoek of aanvullende diagnostiek (verder aangeduid als ‘diagnostische test’). Dergelijk onderzoek beoordeelt het vermogen van een diagnostische test om zo accuraat mogelijk een onderscheid te maken tussen ‘zieken’ en ‘niet-zieken’, of tussen verschillende stadia van ziekte. In onderzoek naar de diagnostische accuratesse worden de resultaten van een test vergeleken met de bevindingen van de referentiestandaard: de beste manier om de aan- of afwezigheid van ziekte vast te kunnen stellen. De bevindingen worden vervolgens samengevat met behulp van kengetallen als de sensitiviteit en de specificiteit.

Beoordelen methodologie

De beoordeling van de methodologische kwaliteit van diagnostische onderzoeken wordt erg bemoeilijkt door de slechte kwaliteit van de rapportage. Naast bedreigingen voor de validiteit kunnen er ook beperkingen zijn wat betreft de toepasbaarheid. Tests zijn niet in alle omstandigheden op dezelfde manier toe te passen. Het is belangrijk te weten waar en hoe de tests zijn afgenomen, om vervolgens tot een oordeel te kunnen komen over de toepasbaarheid van de resultaten van het onderzoek. Als elk observationeel onderzoek staat het diagnostisch onderzoek bloot aan verschillende vormen van systematische fouten wanneer aan bepaalde methodologische criteria niet wordt voldaan. Een methode voor het evalueren van diagnostisch onderzoek werd al gepubliceerd in 1986,2 maar expliciete richtlijnen voor het beoordelen van de kwaliteit en voor het rapporteren van diagnostisch onderzoek kwamen slechts enkele jaren geleden beschikbaar.3456789 Over de methodologische beoordeling van publicaties van diagnostisch onderzoek voor eventuele inclusie in een systematische review publiceerden wij min of meer uitgebreid in andere tijdschriften.101112

Cruciale informatie over de opzet en uitvoering van het onderzoek en een adequate presentatie van de resultaten ontbreken vaak. Daarom werd het initiatief genomen om allereerst de kwaliteit van rapportage te verbeteren door een aantal items te formuleren die minimaal in een publicatie over diagnostische accuratesse dienen voor te komen. In september 2000 werden tijdens een internationale workshop in Amsterdam, de STAndards for Reporting results of Diagnostic research (STARD) voorgesteld (www.consort-statement.org/stardstatement.htm). STARD heeft niet enkel als doel om als standaard voor het rapporteren van diagnostisch onderzoek aangenomen te worden door de belangrijkste medische tijdschriften, maar indirect ook om de kwaliteit van het diagnostisch onderzoek zelf te verbeteren. Met deze lijst kunnen dus de waarde en validiteit van een diagnostisch onderzoek zelf worden beoordeeld. Huisarts en Wetenschap, het Nederlands Tijdschrift voor Geneeskunde en meer dan tien internationale peer-reviewed tijdschriften hebben intussen deze richtlijnen gepubliceerd, zoals vorig jaar ook in H&W al werd aangegeven.131415 We zullen hier de STARD-checklist ( tabel) volgen en trachten aan te geven waarom de verschillende items in die lijst belangrijk zijn voor een methodologische beoordeling van de kwaliteit van het uitgevoerde onderzoek. Een aantal van de items betreffen de interne validiteit van het onderzoek afhankelijk van de methodologische opzet, andere items hebben meer betrekking op de externe validiteit of de generaliseerbaarheid van de onderzoeksresultaten.

STARD-checklist

De checklist geeft de auteurs van een publicatie over diagnostisch onderzoek een overzicht van de informatie die je als lezer nodig hebt om de interne en externe validiteit van het onderzoek zo goed mogelijk te kunnen beoordelen. De lijst volgt dan ook de opbouw van een wetenschappelijke publicatie en behandelt achtereenvolgens titel en abstract, inleiding, methoden, resultaten en discussie. We beginnen met de inleiding.

Aanbevolen wordt in de titel en abstract duidelijk te maken dat het om een publicatie over diagnostische accuratesse gaat ( item 1). Auteurs zouden bij voorkeur de Mesh ( Medline subheading)-term sensitivity en specificity moeten gebruiken. Bovendien moet meteen duidelijk zijn wat het specifieke onderzoeksdoel is ( item 2): gaat het om onderzoek naar de accuratesse van een diagnostische test of gaat het om een vergelijking van de accuratesse tussen verschillende tests of tussen verschillende patiëntenpopulaties? Met dergelijke informatie kan de lezer gemakkelijker de tabellen met de resultaten lezen en weet hij wat hij mag verwachten in de resultatensectie.

De items 3-6 geven aan dat de populatie patiënten aan het onderzoek zo volledig mogelijk moet worden omschreven. Hoe groter het contrast tussen de personen met de ziekte en de deelnemers zonder de ziekte, hoe eenvoudiger een indextest dat onderscheid kan maken. Het contrast kan kunstmatig versterkt worden door de opzet van het onderzoek zelf en leiden tot overschatting van de accuratesse. In een reële klinische situatie wordt een diagnostische test slechts uitgevoerd bij een geïndiceerde populatie zieken met gemengde ziektebeelden; de indextest moet dan onderscheid kunnen maken tussen personen met de ziekte en diegenen met klachten maar zonder deze specifieke ziekte. Inclusie- en exclusiecriteria moeten bekend zijn, evenals de plaats (‘setting’) waar het onderzoek plaatsvond ( item 3). Dit heeft alles te maken met het patiëntenspectrum en mogelijke referralbias: een vorm van selectiebias die ontstaat door verwijzing, bijvoorbeeld door de huisarts.16 Het maakt natuurlijk nogal wat uit of patiënten in het begin van het ziektebeloop of in een gevorderd stadium van het ziekteproces aan het onderzoek deelnamen. Dit heeft vaak ook te maken met het niveau in het zorgsysteem waar het diagnostisch onderzoek werd uitgevoerd: de patiëntenpopulatie en de bijhorende pathologie bij een huisarts zal anders samengesteld zijn dan in een polikliniek of in een ziekenhuis bij de medisch specialist. Het patiëntenspectrum heeft een effect op de validiteit van een diagnostische test ( spectrumbias).17

In een meta-analyse naar de accuratesse van de urinedipstick bleek de nitriettest een significant hogere accuratesse te hebben in de polikliniek ten opzichte van de huisartsenpraktijk.18 Patiënten op een polikliniek werden vaak doorverwezen door de eerste lijn. In hetzelfde onderzoek bleek dat de prevalentie van urineweginfectie onder de geteste patiënten in de huisartsenpraktijk veel hoger was dan onder patiënten opgenomen in het ziekenhuis, waar de test vaak standaard toegepast wordt om patiënten te screenen op een mogelijke infectie. Gegevens over de patiëntenpopulatie en de setting moeten de lezer inzicht geven in welke mate de diagnostische test wel onderscheid kan maken tussen ‘zieken’ en ‘niet-zieken’. Hoe werden de patiënten ingesloten voor het onderzoek, welke informatie was al voorhanden? ( item 4) Gebeurde dit naar aanleiding van symptomen, eerdere diagnostische tests, op basis van de te onderzoeken test of op basis van de referentiestandaard, ook wel de ‘gouden standaard’ genoemd: de tot dan toe wetenschappelijk erkende standaardtest. Of – indien deze niet voorhanden is – op basis van het klinisch beloop van de ziekte over een gedefinieerde periode? Met andere woorden, door welk referral filter gingen de ingesloten deelnemers? Belangrijk is of men kan inschatten welke invloed deze selectie of bijkomende informatie gehad kan hebben op de testresultaten of de interpretatie van deze resultaten. Meestal staat een diagnostische test niet op zichzelf, maar maakt de test deel uit van een serie tests. Of patiënten door verwijzingen geselecteerd zijn of dat een bepaalde patiëntencategorie geïndiceerd is voor een test leidt tot onderlinge afhankelijkheid tussen verschillende tests.19 Verder is het belangrijk om te weten hoe de steekproef werd samengesteld: werd er een opeenvolgende serie patiënten ingesloten volgens de eerder vermelde criteria? ( item 5) Eerder onderzoek toonde aan dat diagnostische onderzoeken met een andere opzet – bijvoorbeeld case-controlonderzoeken met gezonde controles – gevoelig zijn voor spectrumbias en daardoor ten onrechte een te accuraat beeld van de test geven.20 Dit bleek ook zo te zijn wanneer de patiëntenpopulatie onvoldoende beschreven werd. Ten slotte kan het eveneens van belang zijn om te weten of het onderzoek vooraf (prospectief) gepland werd of achteraf (retrospectief) ( item 6), en dan waarschijnlijk gebruik moest maken van medische gegevens en metingen die niet voor onderzoek bedoeld waren. In het laatste geval is veel informatie over patiëntenselectie niet of onvolledig voorhanden, en gebeurde de praktische uitvoering van het onderzoek niet op een gestandaardiseerde wijze.

Onder de items7-9 wordt gedetailleerde informatie verwacht over de referentietest en de diagnostische test waarvan de diagnostische accuratesse onderzocht wordt (indextest). Men kan volstaan door naar referenties van de producent van de tests te verwijzen en te vermelden dat men volgens bepaalde richtlijnen heeft gehandeld. Het is omwille van standaardisatie, vergelijking van onderzoeksresultaten en mogelijke herhaling van het onderzoek belangrijk om te weten hoe de tests werden uitgevoerd, welke afkappunten voor positieve en negatieve testresultaten gehanteerd werden, of in welke categorieën testresultaten werden ingedeeld. Een belangrijke bron van variatie in de resultaten tussen verschillende onderzoeken over dezelfde diagnostische test is het hanteren van verschillende afkappunten. Bij laboratoriumtests worden directe – vaak getalsmatige – afkappunten gehanteerd. Bij beeldvormende diagnostiek maakt men gebruik van indirecte – vaak beschrijvende – afkappunten die afhankelijk zijn van de expertise van diegenen die één of beide tests hebben uitgevoerd ( item 10). Het al dan niet geblindeerd zijn voor de resultaten van de indextest en de referentietest kan leiden tot reviewer- of informatiebias ( item 11).2021 Niet-geblindeerde onderzoeken geven meestal een overschatting van de accuratesse.20

In het geval van de urinedipstick is er bij de nitriettest geen hard afkappunt: de kleuromslag is gevoelig voor interpretatie van diegene die de test afleest. In een meta-analyse naar de accuratesse van de test van Lasègue meldden slechts 6 van de 11 onderzoeken het afkappunt voor een positief testresultaat en dit varieerde van een hoek van 70° tot een hoek van 90°.22

Men verwacht van de auteurs een beschrijving hoe men de maten van diagnostische accuratesse heeft berekend, met vermelding van de betrouwbaarheidsintervallen ( items 12-13). Hetzelfde geldt voor de reproduceerbaarheid van de indextest, voorzover dit in hetzelfde onderzoek werd uitgevoerd – wat zelden het geval is. Het is in elk geval belangrijk dat de lezer de maten voor accuratesse zelf kan uitrekenen om te zien of de berekeningen van de onderzoekers wel kloppen. Daarvoor heeft men een dusdanig minimaal aantal gegevens nodig dat men de diagnostische 2 x 2-tabel opnieuw kan reproduceren. Vaak is dit niet mogelijk door het gebrek aan absolute aantallen ‘zieken’ en ‘niet-zieken’ of aantallen positieve en/of negatieve testresultaten.

Zoals ook bij interventieonderzoek gebruikelijk is, dienen ook hier ( items 14-16) de deelnemers zo volledig en gedetailleerd mogelijk beschreven te worden en wel om twee redenen: alle mogelijke factoren die de testuitslagen zouden kunnen beïnvloeden, moeten bekend zijn en het moet duidelijk zijn voor welke patiënten de resultaten van dit onderzoek gelden. Het is uiterst belangrijk om te weten of alle deelnemers zowel de indextest als de referentiestandaard hebben ondergaan, om opnieuw zicht te krijgen op mogelijke selectie, die zou kunnen leiden tot verificatiebias.2123 In sommige omstandigheden kan het bijvoorbeeld voorkomen dat alleen de deelnemers met een positief testresultaat op de indextest de referentiestandaard ondergaan. Dit komt vooral voor wanneer deze laatste een ingrijpende of belastende test is. In dat geval kunnen onderzoekers hun toevlucht zoeken bij een alternatieve, minder ingrijpende referentiestandaard voor deelnemers met een negatief testresultaat op de indextest. In het geval dat deze alternatieve standaard minder valide zou zijn, kan dit volgens Lijmer et al. leiden tot differential reference standard bias.20 In screeningsonderzoek is het omwille van efficiëntie vaak gebruikelijk om slechts een kleine proportie van de deelnemers met een negatieve uitslag op de indextest, ook aan de referentiestandaard te onderwerpen. Dit kan, wanneer dit aantal aselect getrokken werd en indien deze steekproeftrekking achteraf in de berekening van de maten van accuratesse verrekend wordt.

In de meta-analyse naar de accuratesse van de urinedipstick bleek de samenstelling van de patiëntenpopulatie in de verschillende afzonderlijke onderzoeken de belangrijkste bron voor de variatie in de accuratesse van de nitriettest.18 Zo heeft de test bijvoorbeeld een significant hogere accuratesse onder zwangere vrouwen en ouderen vergeleken met een doorsnee patiëntenpopulatie. In de meta-analyse naar de accuratesse van de test van Lasègue bleek één onderzoek een uitbijter te zijn.2224 De ‘niet-zieke’ patiënten hadden ook lage-rugpijn, maar waren wegens een normaal myelogram niet geopereerd. De hernia van de ‘zieken’ daarentegen werd bevestigd door de operatie. De status ‘ziek/niet ziek’ werd dus bepaald op basis van twee verschillende referentiestandaarden en dit had zijn weerslag op de accuratesse van de Lasègue-test. In de overige onderzoeken waren zowel ‘zieken’ als ‘niet-zieken’ geopereerd en werd hun herniastatus bepaald door de uitslag tijdens de operatie. Het maakte echter opnieuw uit of eerder geopereerde patiënten al dan niet mee ingesloten werden in het onderzoek.

Het tijdinterval tussen indextest en referentiestandaard wordt bij voorkeur zo kort mogelijk gehouden, zodat bepaalde factoren of het ziektebeloop zelf de uitslagen tussen beide metingen niet kunnen beïnvloeden ( item 17). Nadat bij de opzet van het onderzoek de inclusie- en exclusiecriteria en verder de selectie van de patiënten zijn beschreven, is het voor de lezer informatief om de klinische kenmerken van de uiteindelijke populatie te weten: voor de personen met de aandoening gaat het om de ernst van de aandoening (het spectrum) en bij de personen zonder de aandoening betreft dit de alternatieve diagnoses in deze groep ( item 18). Een kruistabel geeft duidelijk inzicht zowel in het uiteindelijke aantal deelnemers die het volledige onderzoek hebben ondergaan, als in de verdeling van de resultaten over de indextest en de referentiestandaard. De kruistabel zou aan het licht moeten brengen of er uitval was, of er onduidelijke resultaten waren, of alle deelnemers beide tests hebben ondergaan en of alle berekeningen van effectschattingen wel kloppen ( item 19). Bijwerkingen van één of beide tests zouden hun invloed kunnen hebben op selectieve uitval of op de testresultaten, maar ook op de toepasbaarheid van de tests in de praktijk ( item 20).

Bij item 21 gaat het niet alleen om de effectschattingen voor de accuratesse (sensitiviteit, specificiteit, voorspellende waarden, odds-ratio of likelihood ratio) maar ook om de weergave van de precisie waarmee die maten geschat werden. Lezers weten dat deze schattingen nauwkeuriger zijn bij grotere aantallen dan bij kleine aantallen deelnemers, waardoor de betrouwbaarheidsintervallen dan ook kleiner worden. Ook moet beschreven worden of onduidelijke of ontbrekende testuitslagen al dan niet meegenomen werden in de berekening van de effectmaten: een onduidelijke uitslag kan bijvoorbeeld weggelaten worden uit de schattingen of als negatief beschouwd worden. Dit heeft natuurlijk zijn invloed op de schattingen van de accuratesse ( item 22). Ontbrekende resultaten kunnen samenhangen met de resultaten van de indextest en/of referentiestandaard en dan opnieuw tot bias leiden. Daarom verwacht de lezer informatie over alle onduidelijke en ontbrekende testuitslagen.

In 72 onderzoeken naar de accuratesse van de urinedipstick waren er 29 (40%) waarvan een aantal resultaten ontbraken of onduidelijk waren. In 8 van de 29 stond hierover verder geen informatie. De helft van de onderzoeken had geen informatie over mogelijke contaminatie van de urine. In de overige onderzoeken werden deze urinemonsters uitgesloten, als negatief beschouwd of er werd een tweede keer urine verzameld. Het hoeft geen betoog dat deze verschillen hun weerslag kunnen hebben op de accuratesse van de test. Zelden vormen de deelnemers aan een onderzoek een homogene groep. Bepaalde kenmerken van de deelnemers kunnen de testresultaten beïnvloeden. Indien dit het geval is, verwachten we dat de onderzoekers de variatie van de accuratesse bespreken tussen subgroepen van patiënten.17 Zo kunnen de resultaten geëxtrapoleerd worden naar specifieke doelgroepen. Indien het voor de testresultaten uitmaakt door wie of waar de tests uitgevoerd worden, verwacht de lezer ook hierover informatie in de publicatie ( item 23). Zoals eerder aangegeven, wordt de reproduceerbaarheid niet altijd in hetzelfde onderzoek gemeten of in éénzelfde publicatie vermeld ( item 24). Maar het zou de informatie over de waarde van de test wel compleet maken, zeker wanneer de indextest en/of de referentiestandaard gebaseerd zijn op subjectieve waarnemingen.

De lezer mag bij item 25 een vertaling van de resultaten naar de klinische praktijk verwachten. Het dient duidelijk te worden of het zinvol is deze test toe te passen en bij welke patiëntenpopulatie.

Conclusie

De STARD-checklist bevat een uitgebreide lijst van items die als handleiding kan dienen voor auteurs van publicaties over diagnostisch onderzoek maar ook voor de lezer daarvan. Naarmate er meer items in de publicatie beschreven worden, kan men zich een beter oordeel vormen over de kwaliteit van het gepubliceerde onderzoek en de mogelijke zwakke punten in de opzet van het besproken onderzoek. Wanneer de opzet van het onderzoek aanleiding geeft tot allerlei vormen van bias, kan men vraagtekens zetten bij de validiteit van de testuitslagen en dus de gepubliceerde accuratesse. De vereiste specifieke details over de deelnemers aan het onderzoek en de eventuele vermelding van testuitslagen in subgroepen moeten het de lezer mogelijk maken om deze te extrapoleren naar de eigen patiëntenpopulatie. Ontbreken deze gegevens, dan zijn de resultaten onvoldoende generaliseerbaar en eigenlijk van weinig nut voor de clinicus. Huisartsen zouden deze checklist dus ook kunnen gebruiken als een criterialijst voor het beoordelen van diagnostisch evaluatieonderzoek, zeker na lezing van dit artikel. Hopelijk hebben zij inzicht gekregen in het relatieve belang van en de rationale achter elk van de verschillende items in de lijst. Onderzoek om te beoordelen of de publicatie van deze STARD-checklist ook daadwerkelijk de kwaliteit van de publicaties over diagnostische onderzoeken verbetert, is in gang gezet.

Dankwoord

De auteurs danken prof.dr.ir. H.C.W. de Vet voor haar commentaar op dit artikel.