De wet van Lasagna

Inleiding

Onderzoek in de huisartsgeneeskunde is essentieel om bewijs te genereren ter onderbouwing van het handelen van de huisarts.1 Onderzoek in de huisartsenpraktijk is de laatste decennia aanzienlijk toegenomen.2 In 1999-2003 was het aantal onderzoeksartikelen uit de Nederlandse huisartsenpraktijk verviervoudigd ten opzichte van tien jaar eerder.3 In het algemeen blijkt het werven van patiënten voor onderzoek vaak veel meer tijd te kosten dan onderzoekers inschatten. Dit verschijnsel staat bekend als de wet van Lasagna, naar de Amerikaanse klinisch-farmacoloog Louis Lasagna (foto), die vaststelde dat wanneer een onderzoek start, het aantal patiënten dat in aanmerking komt vaak maar een fractie is van de schattingen van de onderzoekers.4
Voor zover er in de literatuur aandacht is besteed aan wervingsproblemen, ging het veelal om case reports van individuele onderzoeken.56789 Zo publiceerde Huisarts en Wetenschap al in 1967 een fraai voorbeeld van een mislukt onderzoek waarbij 62 van de 142 deelnemende huisartsen geen enkele patiënt includeerden.10
Foy et al. stelden vast dat aanbevelingen voor het werven van patiënten voor gerandomiseerd onderzoek in de eerste lijn nauwelijks zijn onderbouwd met empirisch onderzoek.11 Een systematisch literatuuroverzicht over wervingsproblemen vond 78 gerandomiseerde onderzoeken (periode 1986-1996), maar hiervan waren er slechts drie uitgevoerd in de huisartsenpraktijk.12 Onze zoektocht in de literatuur leverde maar beperkt bewijs voor de invloed van onderzoekskenmerken en interventies op de werving van patiënten. Een Cochrane-review concludeerde dat specifieke interventies uit afzonderlijke trials zich lastig laten generaliseren.13 Doel van ons onderzoek was om factoren in kaart te brengen die van invloed zijn op succes en falen van werving van patiënten in de huisartsenpraktijk voor onderzoek, door potentieel relevante factoren te onderzoeken in een groot aantal patiëntgebonden onderzoeken in de Nederlandse huisartsenpraktijk.

Methode

Projecten

In overleg met projectleiders van de acht afdelingen huisartsgeneeskunde in ons land, het NIVEL en het Centre for Quality of Care Research (WOK), stelden we een lijst op van onderzoeksprojecten die voldeden aan de volgende criteria:

• Daadwerkelijke betrokkenheid van patiënten, hetzij als proefpersonen in een interventieonderzoek of als respondenten van vragenlijsten.
• De huisartsenpraktijk speelde een cruciale rol bij de werving van patiënten.
• Patiënten werden geworven tussen 1 januari 1999 en 31 december 2003.
• Er was minstens één onderzoeker in loondienst aangesteld op het project.

Bij de inventarisatie werd extra doorgevraagd om projecten die voortijdig werden afgebroken boven tafel te krijgen. Uit de uiteindelijke lijst hebben we projecten geselecteerd voor verdere gegevensverzameling. We waren daarbij meer geïnteresseerd in projecten die qua werving erg succesvol waren of juist helemaal niet, dan in projecten die zich in het ‘grijze midden’ bevonden, omdat we aannamen dat deze laatste projecten minder informatief zouden zijn.

Vragenlijst

We ontwierpen een vragenlijst van twaalf pagina’s op basis van ons literatuuronderzoek en een focusgroepbijeenkomst. De vragenlijst bevatte vragen over de onderzoeksopzet, hoe de huisartsen en de patiënten werden gerekruteerd, het benodigde aantal patiënten, onderzoeksperiode, de hoeveelheid werk voor de praktijkmedewerkers, vergoedingen, hoezeer praktijkassistentes bij het project betrokken werden, of er een pilotonderzoek plaats had gevonden, het feitelijke aantal patiënten dat uiteindelijk werd geïncludeerd en de totale duur van de wervingsperiode.

Dataverzameling

Vijf van de auteurs voerden de interviews uit, meestal face-to-face bij de respondenten op het werk. De meeste respondenten waren promovendi die hun proefschrift aan het afronden waren. Enkele interviews werden om praktische redenen telefonisch afgenomen. De interviews duurden dertig tot zestig minuten en vonden plaats tussen september 2004 en februari 2005.

Analyse

Primaire uitkomstmaat voor het succes van de werving was het aantal geïncludeerde patiënten gedeeld door het aantal dat men bij aanvang had gepland. Andere uitkomsten waren het deelnamepercentage van huisartsen en patiënten in verhouding tot het aantal dat was uitgenodigd; of het geplande aantal patiënten binnen de geplande wervingsperiode was bereikt en of de wervingsperiode met minstens 50% moest worden verlengd. Voor continue uitkomstmaten berekenden we, vanwege scheve verdelingen, de mediaan en het bereik. Onderzoekskenmerken die mogelijk gerelateerd waren aan het succes van de werving werden bivariaat geanalyseerd. Verschillen toetsten we met de Mann-Whitney-toets. Voor categorische uitkomstmaten werden verschillen getoetst met de χ²-toets. Alle toetsen waren tweezijdig, wanneer p kleiner was dan 0,05 spraken we van een statistisch significante relatie tussen een onderzoekskenmerk en succesvolle werving. Voor de secundaire uitkomstmaten presenteren we alleen de statistisch significante relaties.

Resultaten

De inventarisatie leverde 125 projecten op, waarvan we er 85 selecteerden voor een interview. Uiteindelijk leidde dit tot 78 geslaagde interviews over evenzoveel projecten (92%) (figuur). Redenen voor mislukken van een interview waren dat een project bij nader inzien toch niet voldeed aan onze criteria of dat de persoon die de vragen kon beantwoorden niet beschikbaar was.

Beschrijving van de projecten

Tabel 1 geeft de belangrijkste kenmerken weer van de 78 projecten. Interventieonderzoeken waren in de meerderheid. Er was aanzienlijke variatie in omvang van het onderzoek en succes van de rekrutering. Van de huisartsen die werden benaderd deed 33% (mediaan) mee, voor patiënten bedroeg dit 70%. Minder dan de helft van de projecten slaagde erin om binnen de geplande tijd het geplande aantal patiënten te halen, meer dan de helft verlengde de wervingsperiode omdat de werving minder succesvol was dan verwacht.

Samenhang tussen onderzoekskenmerken en succesvolle patiëntenwerving

De samenhang tussen onze primaire uitkomstmaat (geworven patiënten als percentage van het geplande aantal) en kenmerken van het onderzoek staat in tabel 2. Drie factoren bleken een sterk verband te vertonen. Onderzoeken die mikten op patiënten met een al bekende (prevalente) klacht of ziekte bleken succesvoller dan onderzoeken die alleen patiënten met een nieuw (incident) probleem toelieten. Onderzoek waarbij de huisarts tijdens het spreekuur bedacht moest zijn op potentieel geschikte patiënten waren minder succesvol dan onderzoeken waar dit niet voor gold. Ten slotte waren onderzoeken waarbij de huisarts of praktijkassistente de eerste was die de patiënt informeerde over het onderzoek minder succesvol dan onderzoeken waarin patiënten eerst een brief thuis kregen. De drie genoemde kenmerken hingen onderling sterk samen: bij onderzoek naar incidente gevallen moest de huisarts meestal alert zijn tijdens het spreekuur en was hij ook degene die de patiënt als eerste over het onderzoek vertelde. Voor 58 projecten beschikten de onderzoekers over gegevens over het aantal geïncludeerde patiënten als proportie van het aantal dat gevraagd was om deel te nemen. De mediaan was 70%, maar de spreiding was maximaal (0-100%). Slechts één kenmerk liet een statistisch significant verband zien met deze uitkomst: als patiënten weerstand toonden tegen het onderwerp of de interventie was de deelname lager (50% versus 71%, p = 0,04). Bijna de helft van de projecten slaagde erin om het geplande aantal patiënten binnen de geplande tijd te werven. Voor onderzoek naar nieuwe patiëntproblemen bedroeg dit slechts 28% en voor onderzoek naar al bekende patiëntproblemen 57% (p = 0,04). Projecten waarbij de huisarts tijdens het spreekuur bedacht moest zijn op potentiële patiënten waren ongeveer half zo succesvol als wanneer dat niet het geval was (32% versus 62%, p = 0,01). Er was een duidelijk verband tussen de complexiteit van de inclusieprocedure (zoals ervaren door de onderzoeker) en het succes van de werving. Meer dan de helft van de projecten met een simpele procedure was succesvol, tegenover slechts 19% van de projecten met een complexe procedure (p = 0,02). Wanneer de procedures werden aangepast aan de wensen van de praktijk leidde dit vaker tot succesvolle werving (63% versus 38%, p = 0,02).

Samenhang tussen onderzoekskenmerken en succesvolle huisartsenwerving

De mediaan van de deelname van huisartsen bedroeg 33% van het aantal gevraagde huisartsen. Ook hierbij was de spreiding groot (1-100%). Aan beschrijvend onderzoek deden benaderde huisartsen vaker mee dan aan interventieonderzoek (52% versus 30%). Wanneer de huisarts nascholingspunten of een cursus werd aangeboden leidde dit tot minder deelnemende huisartsen dan wanneer dit niet het geval was (respectievelijk 26 versus 44%, p = 0,02 en 26 versus 44% p = 0,03). Ook onderzoek waarin eerst een pilotonderzoek was uitgevoerd resulteerde in minder huisartsen (26% versus 46%, p = 0,03), evenals projecten waarbij sprake was van personeelswisselingen in het onderzoeksteam (28% versus 47%, p = 0,045). Huisartsen die deel uitmaakten van een bestaand onderzoeksnetwerk waren veel meer bereid mee te doen dan huisartsen waarvoor dit niet gold (75% versus 30%, p &lt 0,01). Als huisartsen individueel werden benaderd of per post, was de respons lager dan wanneer de huisartsen via het gezondheidscentrum of telefonisch werden benaderd (verschillen variërend van 35% tot 42%, p = 0,01 of kleiner). Het gebruik van andere manieren om de huisarts te benaderen of te informeren dan per post of telefoon, hing sterk samen met deelname van de huisarts aan een onderzoeksnetwerk.

Wervingsperiode

In meer dan de helft van de projecten (40/78) moest de wervingsperiode verlengd worden omdat het aantal geïncludeerde patiënten als onvoldoende werd beschouwd, 30 projecten (38%) verlengden de periode met tenminste 50%. Opnieuw bleek het alert moeten zijn van de huisarts tijdens het spreekuur een boosdoener (53% versus 25% verlenging veldwerk, p = 0,02). Als een praktijkmedewerker de patiënten mondeling informeerde over het onderzoek, moest de wervingsperiode veel vaker verlengd worden dan wanneer de patiënten thuis een brief ontvingen (51% versus 17%, p = 0,02). Van projecten waarbij eerst een pilotonderzoek was uitgevoerd hoefde de inclusiefase minder vaak te worden verlengd (28% versus 51%, p = 0,04).

Discussie

Deze inventarisatie van 78 onderzoeksprojecten laat een aanzienlijke variatie zien in de deelname van zowel huisartsen als patiënten. Hoewel we een uiteindelijke deelname van 87% (mediaan) van het geplande patiëntenaantal positief kunnen duiden, bleken veel projecten aanzienlijk meer tijd nodig te hebben om voldoende patiënten te includeren. Bijna 40% van de projecten verlengde de inclusiefase met tenminste 50%. We onderzochten verschillende uitkomstmaten als parameter voor het succes van de werving. Onderzoekskenmerken die hier het meest consistent mee samenhingen waren of het om prevalente cases ging, of de huisarts niet alert hoefde te zijn tijdens het spreekuur en of patiënten per post werden uitgenodigd. De complexiteit van de inclusie- en exclusiecriteria vertoonde ook een verband met verschillende uitkomstmaten, maar dit was slechts significant voor één uitkomstmaat, het bereiken van het vereiste aantal patiënten in de geplande tijdsperiode. Het verschil in succes tussen onderzoek met incidente gevallen (patiënten die voor het eerst met hun klachten bij de huisarts komen) en onderzoek met prevalente gevallen (patiënten met een probleem dat al bekend is bij de huisarts) kunnen we verklaren door het feit dat de laatste groep meestal eenvoudig in het huisartsinformatiesysteem (HIS) is te selecteren. Incidente gevallen vragen veel meer inspanning, omdat de huisarts zich dan tijdens het spreekuur moet realiseren dat patiënten mogelijk voor het onderzoek in aanmerking komen, en hij ze bovendien moet informeren over het onderzoek en uitnodigen om deel te nemen. Dit kan het spreekuur danig ophouden. Voor het werven van huisartsen bleek de wijze van benaderen en informeren belangrijk. Het benaderen van individuele huisartsen en het benaderen van huisartsen per post was veel minder succesvol dan andere methoden, zoals via HAGRO’s of bestaande netwerken.

Vergelijking met de literatuur

Verschillende onderzoekskenmerken die samenhingen met succes van de werving zijn ook door anderen genoemd, hoewel slechts weinig ervan getest zijn in vergelijkend onderzoek. Zo noemden ook andere auteurs de flexibele, op de praktijk gerichte procedures.14151617 Een vergoeding voor deelnemende huisartsen kwam eerder als positief naar voren.51718 Dit konden wij niet bevestigen.

Beperkingen

Hebben we al het eerstelijnsonderzoek in Nederland gedekt? Nee, we beperkten ons tot afdelingen Huisartsgeneeskunde, NIVEL en WOK. Zodoende sloten we onderzoek van zowel andere universitaire afdelingen als van de farmaceutische industrie uit. We vinden deze beperkingen niet bezwaarlijk omdat het ons ging om het genereren van gegevens die relevant zijn voor de academische huisartsgeneeskunde. We richtten ons vooral op aspecten van onderzoeksopzet, wervingsstrategieën en de betrokkenheid van de praktijkmedewerkers. We hebben in dit retrospectieve onderzoek geen patiënten geïnterviewd. Ook andere kenmerken, zoals persoonlijke eigenschappen van de projectmedewerkers, subsidiebron en ‘touch and feel’ van een project bleven buiten beschouwing. Deze kenmerken kunnen ook een rol spelen. We selecteerden voor ons onderzoek de meerderheid van projecten die gedurende een periode van vijf jaar door de universitaire afdelingen werden uitgevoerd, maar toch is het aantal projecten beperkt. Veel van de verschillen tussen projecten met succesvolle of minder succesvolle werving waren aanzienlijk, maar niet statistisch significant. Gegeven de valkuilen van meervoudig toetsen (in ons geval met de verschillende uitkomstmaten) moeten de analyses als exploratief beschouwd worden. Combineren van onze gegevens met die van toekomstig vergelijkbaar onderzoek kan de power van de analyse vergroten.

Door meer onderzoek aan de uiteinden van de verdeling van het wervingsspectrum toe te laten (zeer succesvol / weinig succesvol onderzoek) zouden we ‘spectrum bias’ hebben kunnen veroorzaken, bekend uit het domein van diagnostisch onderzoek,19 waardoor de samenhang tussen onderzoekskenmerken en de uitkomst mogelijk wordt versterkt. Het ging ons echter niet zozeer om de sterkte van de samenhang, maar vooral om de informatie over mogelijke determinanten van succesvolle werving, die van belang is bij het opzetten van toekomstig onderzoek.

Dit is een observationeel onderzoek, waardoor we geen uitspraken kunnen doen over de causaliteit van de gevonden relaties. Tegengesteld aan onze verwachtingen, vonden we dat onderzoek dat vooraf werd gegaan door een pilotonderzoek meer moeite had om voldoende huisartsen te werven dan onderzoeken zonder pilotonderzoek. Een mogelijke verklaring is dat wanneer onderzoekers wervingsproblemen verwachten vanwege een complexe onderzoeksopzet, ze vaker een pilotonderzoek uitvoeren. Overigens bleek dat uitvoering van een pilotonderzoek wel een gunstig effect had op de duur van de wervingsperiode.

Aanbevelingen

Elke onderzoeker droomt ervan om zijn onderzoek binnen de geplande tijd af te ronden, maar de realiteit leert dat dit vaak niet lukt. Onderzoekers zullen doorgaan met het onderzoeken van moeilijke onderwerpen en het ontwerpen van soms complexe onderzoeken ter onderbouwing van het huisartsgeneeskundig handelen. Een adequate planning en een goede voorbereiding (inclusief pilotonderzoek) kunnen in onze ogen veel problemen voorkomen. Kader 1 geeft enkele aanbevelingen die voortvloeien uit onze resultaten. Bij het opzetten van een onderzoek heeft de aard van de te onderzoeken aandoening consequenties voor de logistiek. Onderzoek naar patiënten die voor het eerst met een ziekte of klacht bij de huisarts komen blijft nodig, bijvoorbeeld om antwoorden te vinden op vragen rond infecties of cardiovasculaire gebeurtenissen. In dergelijke gevallen dienen de door de huisarts te verifiëren inclusiecriteria zo eenvoudig mogelijk te zijn. Een softwaremodule gekoppeld aan het HIS kan helpen om de huisarts te attenderen op patiënten die in aanmerking komen. Soms kan een patiënt die met een nieuwe klacht bij de huisarts komt ook ná het spreekuur worden benaderd en ingesloten. Kader 2 geeft enkele aanbevelingen voor huisartsen die worden benaderd voor onderzoek. In aanvulling op de checklist die Bakkenist et al. in 2003 publiceerden,20 ligt onze focus op het verhogen van de kans op het rekruteren van voldoende patiënten. Als onderzoekers met elkaar concurreren om de schaarse subsidie stellen zij in de onderzoeksvoorstellen de instroom van patiënten vaak te rooskleurig voor, terwijl ze de hindernissen onderschatten. Subsidiegevers dienen gedetailleerde informatie te eisen over de wervingsstrategie en de onderbouwing van het aantal beschikbare patiënten. We concluderen dat de wet van Lasagna ook in de Nederlandse huisartsenpraktijk geldt. Veel onderzoekers kampen met wervingsproblemen en moeten hun veldwerkperiode verlengen om genoeg patiënten te vinden. Een aantal onderzoekskenmerken zijn gerelateerd aan het wervingssucces, en sommige van de kenmerken heeft de onderzoeker in eigen hand. Maar bovenal is krachtiger bewijs nodig, liefst uit gerandomiseerd onderzoek waarin aspecten van de werving gevarieerd en vergeleken worden.