Het protocol voor een wetenschappelijk onderzoek moet worden geschreven door een genie (u dus) maar het onderzoek moet worden uitgevoerd door een blind paard (uw vijand dus). Alleen zo kunt u vertekening, questionable research practices en fraude voorkomen. Wel is het lastig dat uw vijand dan noodgedwongen tweede auteur wordt en u voor het volgende onderzoek op zoek moet naar een ander blind paard.
De belangrijkste, maar weinig onderkende bedreiging van wetenschappelijk onderzoek is misschien wel de hope bias: niemand begint een onderzoek zonder hoop op een goede afloop. Veel andere vormen van vertekening zijn een eerste of tweede afgeleide van die hope bias, en de enige manier om die tegen te gaan, is hem te neutraliseren door iemand die het onderzoek volstrekt geen warm hart toedraagt, die geen enkel belang heeft bij het welslagen van uw onderneming, en die deze liever ziet mislukken dan slagen.
De kwaliteit van wetenschappelijk onderzoek, zo leert reeds de vluchtigste rondgang door de Cochrane-bibliotheek, wordt het meest bedreigd door mislukte blindering. Er is bijna geen meta-analyse te vinden waarin niet de kolom ‘blindering’ de meeste rode stippen krijgt: het risico op bias door onvolledige blindering achtten de meta-analytici hoog. Blindering is de zwakke stee in misschien wel elk wetenschappelijk onderzoek.
Natuurlijk, bij chirurgische ingrepen, zoals knieoperaties, is blindering moeilijk (al zijn er ingenieuze oplossingen voor bedacht), maar de Captopril Prevention Trial is het andere uiterste: daarin moeten een of meer onderzoekers geregeld stiekem in de randomisatie-enveloppen hebben gekeken om ervoor te zorgen dat hun ernstigste patiënten niet in de placebogroep terechtkwamen.1
En wie herinnert zich niet het onderzoek van de Franse immunoloog Jacques Benveniste, die in 1988 beweerde dat basofielen nog op homeopatische verdunningen van antigenen reageerden. Het groeide uit tot een enorme rel, maar een eenvoudige statistische analyse had direct duidelijk kunnen maken dat de tellingen in zijn lab, opzettelijk of onopzettelijk, onvoldoende geblindeerd waren. Over de te mooie uitkomsten van Gregor Mendel bij diens kruisingsproeven wordt nog steeds gedebatteerd, en in de sociale psychologie schijnt dit soort ingrepen bijna de normale gang van zaken te zijn – ‘iedereen doet het’.
Diezelfde sociale psychologie leert ons ondertussen wel dat het voor onderzoekers onmogelijk is geheel vertekeningsvrij te werken. Er zijn eenvoudig te veel valkuilen. De grondlegger van de evidence-based medicine, David Sackett, onderscheidde al 35 soorten bias,2 Bernard Choi en Anita Pak gaven er in hun artikel over in de Encyclopedia of biostatistics3 al 65, later kwamen ze tot 109, plus nog eens 48 die in vragenlijsten kunnen sluipen. Op Wikipedia staat een voorproefje.4
Hans van Maanen is wetenschapsjournalist.
Literatuur
- 1.↲Peto R. Failure of randomisation by ‘sealed’ envelope. Lancet 1999;354:73.
- 2.↲Sackett DL. Bias in analytic research. J Chronic Dis 1979;32:51-63.
- 3.↲Armitage P, Colton T. Encyclopedia of biostatistics. New York: Wiley, 2104. http://onlinelibrary.wiley.com/book/10.1002/0470011815.
- 4.↲↲http://en.wikipedia.org/wiki/List_of_cognitive_biases.
- 5.Shun-Shin M, Francis DP. Why are some studies of cardiovascular markers unreliable? The role of measurement variability and what an aspiring clinician scientist can do before it is too late. Prog Cardiovasc Dis 2012;55:14-24.
Reacties
Er zijn nog geen reacties.
