We waren gebleven bij de constatering dat wie alleen op significantie let, zich om de tuin laat leiden en verzuimt naar de echt belangrijke cijfers te kijken, zoals de grootte van het effect en de nauwkeurigheid van de meting. Een mooie aanleiding om die draad hier weer op te pakken is een bericht onder op de tweede pagina van de Volkskrant enige tijd geleden: ‘Man met grotere ballen zorgt slechter voor zijn kinderen’.1
Maar voordat we het over effectgrootte en zo gaan hebben: geloofde u dit bericht? Of meer specifiek: waarom geloofde u het niet? Is het zo erg gesteld met de wetenschapsjournalistiek (of de wetenschap) dat u aanneemt dat u dat soort berichten zonder wroeging ongelezen kunt laten? Ook al staat het op de op één na belangrijkste plek van de op één na belangrijkste krant van Nederland? Daar zouden we het ook nog wel eens over kunnen hebben.
We doen echter voor deze column net alsof we het bericht nog serieus nemen. Om snel te bepalen of een wetenschappelijke vinding van belang is of niet, hoeven we eigenlijk alleen maar het antwoord te zoeken op de Allereerste Vraag: hoe groot is het effect?
Het is tekenend dat het krantenbericht ons onmiddellijk in de steek laat, maar het oorspronkelijke artikel geeft enige duidelijkheid.2 De correlatie tussen testikelgrootte en zorgzaamheid is gelijk aan -0,29. Dat betekent dat verschillen in balmaat -0,29 × -0,29 = 8% van de verschillen in zorg voor de baby ophelderen. Men kan erover twisten of dat voor de wetenschap veel of weinig is, maar het betekent in elk geval dat 92% van de zorgzaamheid aan andere factoren ligt.
Een wat ouder voorbeeld. Roken is ‘riskanter voor vrouwen’, meldden de media ergens in mei 2013, want rokende vrouwen hadden een 19% verhoogd risico op de ziekte, terwijl rokende mannen een 8% verhoogd risico hadden.3 Hoe groot was het effect werkelijk? Van 600.000 mensen kregen er in de loop van 14 jaar 4000 darmkanker, oftewel 67 op 10.000. Dat zijn rokers, ex-rokers en niet-rokers samen, dus zeg voor de vuist weg dat van de niet-rokers 61 op 10.000 darmkanker krijgen. Dan is het risico bij (ex-)rokende vrouwen verhoogd tot 73 op 10.000, bij mannen tot 66 op 10.000. Verschil tussen vrouwen en mannen: 7 op elke 10.000 diagnoses. Een erg klein effect, maar de kranten stonden er vol van.
Soms is het nog wat ingewikkelder, als het ene effect het andere niet is. In september 2012 liet een onderzoeksgroep van de Vrije Universiteit in Amsterdam onder leiding van Martijn Katan en Jaap Seidell zien dat jongeren die anderhalf jaar een blikje frisdrank met zoetstof dronken, minder waren aangekomen dan jongeren die zo’n blikje met suiker kregen.4
Het scheelde wel: de queteletindex ging in de suikergroep met 0,15 standaardafwijkingen omhoog, in de zoetstofgroep met 0,02. Als alle Nederlandse schoolkinderen erin zouden slagen anderhalf jaar lang 1 suikerdrankje te vervangen door 1 zoetstofdrankje, wordt de schooljeugd 1 kilo minder zwaar. Op populatieniveau zou dat een behoorlijk effect kunnen zijn, maar voor ieder kind op zich maakt het demotiverend weinig uit.
Hans van Maanen is wetenschapsjournalist.
Literatuur
- 1.↲Seijlhouwer M. de Volkskrant 10 september 2013; http://tinyurl.com/p85jqqb.
- 2.↲Mascaro JS, Hackett PD, Rilling JK. Testicular volume is inversely correlated with nurturing-related brain activity in human fathers. Proc Natl Acad Sci USA. 2013;110:15746-5.
- 3.↲Parajuli R, Bjerkaas E, Tverdal A, Selmer R, Le Marchand L, Weiderpass E, et al. The increased risk of colon cancer due to cigarette smoking may be greater in women than men. Cancer Epidemiol Biomarkers Prev 2013;22:862-71.
- 4.↲De Ruyter JC, Olthof MR, Seidell JC, Katan MB. A trial of sugar-free or sugar-sweetened beverages and body weight in children. N Engl J Med 2012;367:1397-406.
Reacties
Er zijn nog geen reacties.
