Vertekend

Onderzoekers doen onderzoek, schrijven de resultaten op en publiceren die in wetenschappelijke tijdschriften. Dit lijkt een rechttoe rechtaan proces, maar schijn bedriegt. In elke fase zijn er factoren die kunnen leiden tot vertekening.

Laten we bij het begin beginnen: welke onderzoeksvraag kiest een onderzoeker? Veel onderzoek wordt uitgevoerd in het kader van een promotietraject, resulterend in een proefschrift en een doctorstitel. Vaak ligt de globale vraagstelling al vast op het moment dat de promovendus nog moet worden geworven. Zo’n vraagstelling bouwt dan voort op eerder onderzoek van de onderzoeksgroep. Het is begrijpelijk dat onderzoeksgroepen kiezen voor onderzoekslijnen (kennisaccumulatie, herkenbaarheid onderzoeksgroep) maar deze keuze laat weinig ruimte om onderzoek op andere terreinen te ontwikkelen.

De onderzoeksagenda van farmaceutische bedrijven wordt vooral bepaald door commerciële drijfveren. Nieuwe geneesmiddelen zijn het meest lucratief bij veelvoorkomende, chronische ziektes. Alledaagse en voorbijgaande klachten zijn niet interessant. Verder is de rol van subsidieprogramma’s van belang. Medisch-wetenschappelijk onderzoek op de universiteiten wordt grotendeels betaald uit externe gelden, waarbij onderzoeksgroepen met elkaar concurreren om de altijd schaarse middelen. De collectebusfondsen – zoals voor hart- en vaatziekten, astma, diabetes en kanker – zijn medebepalend voor de onderzoeksvragen die aangepakt worden, en ook veel programma’s van ZonMw zijn tamelijk restrictief in de keuze van onderzoeksvraag en design.

Als het onderzoek is voltooid, kunnen de resultaten openbaar worden gemaakt en ook in die fase treedt vertekening op. Hoe mooier de resultaten, hoe meer de onderzoeker zijn best zal doen deze te publiceren. Wanneer de resultaten tegenvallen, kan het zelfs gebeuren dat ze helemaal niet gepubliceerd worden.

De redacties van wetenschappelijke tijdschriften doen vrolijk mee. Wanneer een nieuwe behandeling mooie resultaten laat zien, wordt een artikel makkelijker gepubliceerd, en in een ‘hoger’ blad, dan wanneer de nieuwe behandeling niet beter blijkt dan wat dokters al deden. Het komt regelmatig voor dat de eerste juichende resultaten van een nieuwe behandeling in later onderzoek niet bevestigd kunnen worden. Het toeval is hier de boosdoener: wanneer je honderd keer dezelfde trial zou uitvoeren, zal de uitkomst steeds een beetje variëren, en trials met de mooiste resultaten worden het makkelijkst gepubliceerd. Dit leidt ertoe dat zo’n eerste publicatie van een nieuwe behandeling vaak een overschatting geeft van het werkelijke effect.

Valt er wat te doen aan al deze bronnen van vertekening? Jazeker. Bij de subsidieprogramma’s van de overheid zijn er gelukkig nog steeds zogenaamde open programma’s zonder voorgekookte thema’s en ontwerprestricties. Het risico dat gerandomiseerde trials die niet de gewenste resultaten opleverden, niet worden gepubliceerd, wordt aangepakt met trialregisters. Onderzoekers zijn verplicht hun onderzoek bij aanvang te registreren in deze openbare registers, zodat duidelijk is dat dit onderzoek is gestart. Een logische volgende stap is om onderzoekers ook te verplichten hun resultaten openbaar te maken. En te rooskleurige resultaten van nieuwe behandelingen kunnen we corrigeren door het onderzoek te herhalen en de opeenvolgende resultaten te bundelen in systematische reviews.

Tot het zover is, zal H&W, net als alle andere wetenschappelijke tijdschriften, een vertekende blik op de werkelijkheid geven.