Samenvatting
Van der Wouden JC, Blankenstein AH, Huibers JH, Van der Windt DAWM, Stalman WAB, Verhagen AP. De wet van Lasagna. Problemen bij het werven van patiënten voor onderzoek in de huisartsenpraktijk. Huisarts Wet 2007:50(13):650/5.
Achtergrond De laatste decennia is het onderzoek in de huisartsenpraktijk sterk toegenomen, maar het werven van patiënten geeft vaak problemen. De wet van Lasagna stelt dat medisch onderzoekers te optimistisch zijn bij het inschatten van het aantal patiënten dat ze kunnen insluiten voor hun onderzoek. We stelden ons ten doel om factoren op te sporen die samenhangen met succes en falen van patiëntenwerving in de huisartsenpraktijk.
Methode Beschrijvend onderzoek onder onderzoekers in de huisartsenpraktijk. We hebben onderzoekers geïnterviewd die betrokken waren bij 78 projecten over hun onderzoeksopzet, veldwerkkenmerken, en de resultaten van de patiëntenwerving.
Resultaten Onderzoek dat zich richtte op patiënten met al bekende klachten was vaker succesvol dan onderzoek waarvoor patiënten vereist waren die voor het eerst met een probleem kwamen. Onderzoek waarbij de huisarts tijdens het spreekuur alert moest zijn op mogelijke deelnemers slaagde er minder vaak in het vereiste patiëntenaantal te bereiken. Wanneer de huisarts of de praktijkassistent de patiënt als eerste over het onderzoek moest informeren ging het minder goed dan wanneer de patiënt een brief kreeg thuis gestuurd. Deze factoren bleken onderling sterk gecorreleerd.
Conclusie De wet van Lasagna is ook van toepassing op onderzoek in de Nederlandse huisartsenpraktijk: veel onderzoekers hebben moeite om voldoende patiënten te werven. Onderzoekers dienen zich bewust te zijn van bevorderende en belemmerende factoren en hier bij hun onderzoeksopzet rekening mee te houden.
Wat is bekend?
- De wet van Lasagna geeft aan dat medische onderzoekers vaak te optimistisch zijn bij het inschatten van het aantal patiënten dat ze kunnen insluiten.
Wat is nieuw?
- Ook in de Nederlandse huisartsenpraktijk blijkt de patiëntenwerving regelmatig problemen op te leveren.
- Diverse factoren hangen samen met wervingssucces. Door hier rekening mee te houden, kunnen onderzoekers de succeskans van hun onderzoek vergroten.
Inleiding
Onderzoek in de huisartsgeneeskunde is essentieel om bewijs te genereren ter onderbouwing van het handelen van de huisarts.1 Onderzoek in de huisartsenpraktijk is de laatste decennia aanzienlijk toegenomen.2 In 1999-2003 was het aantal onderzoeksartikelen uit de Nederlandse huisartsenpraktijk verviervoudigd ten opzichte van tien jaar eerder.3
In het algemeen blijkt het werven van patiënten voor onderzoek vaak veel meer tijd te kosten dan onderzoekers inschatten. Dit verschijnsel staat bekend als de wet van Lasagna, naar de Amerikaanse klinisch-farmacoloog Louis Lasagna (foto), die vaststelde dat wanneer een onderzoek start, het aantal patiënten dat in aanmerking komt vaak maar een fractie is van de schattingen van de onderzoekers.4
Voor zover er in de literatuur aandacht is besteed aan wervingsproblemen, ging het veelal om case reports van individuele onderzoeken.56789 Zo publiceerde Huisarts en Wetenschap al in 1967 een fraai voorbeeld van een mislukt onderzoek waarbij 62 van de 142 deelnemende huisartsen geen enkele patiënt includeerden.10
Foy et al. stelden vast dat aanbevelingen voor het werven van patiënten voor gerandomiseerd onderzoek in de eerste lijn nauwelijks zijn onderbouwd met empirisch onderzoek.11 Een systematisch literatuuroverzicht over wervingsproblemen vond 78 gerandomiseerde onderzoeken (periode 1986-1996), maar hiervan waren er slechts drie uitgevoerd in de huisartsenpraktijk.12 Onze zoektocht in de literatuur leverde maar beperkt bewijs voor de invloed van onderzoekskenmerken en interventies op de werving van patiënten. Een Cochrane-review concludeerde dat specifieke interventies uit afzonderlijke trials zich lastig laten generaliseren.13
Doel van ons onderzoek was om factoren in kaart te brengen die van invloed zijn op succes en falen van werving van patiënten in de huisartsenpraktijk voor onderzoek, door potentieel relevante factoren te onderzoeken in een groot aantal patiëntgebonden onderzoeken in de Nederlandse huisartsenpraktijk.
Methode
Projecten
In overleg met projectleiders van de acht afdelingen huisartsgeneeskunde in ons land, het NIVEL en het Centre for Quality of Care Research (WOK), stelden we een lijst op van onderzoeksprojecten die voldeden aan de volgende criteria:
- Daadwerkelijke betrokkenheid van patiënten, hetzij als proefpersonen in een interventieonderzoek of als respondenten van vragenlijsten.
- De huisartsenpraktijk speelde een cruciale rol bij de werving van patiënten.
- Patiënten werden geworven tussen 1 januari 1999 en 31 december 2003.
- Er was minstens één onderzoeker in loondienst aangesteld op het project.
Bij de inventarisatie werd extra doorgevraagd om projecten die voortijdig werden afgebroken boven tafel te krijgen. Uit de uiteindelijke lijst hebben we projecten geselecteerd voor verdere gegevensverzameling. We waren daarbij meer geïnteresseerd in projecten die qua werving erg succesvol waren of juist helemaal niet, dan in projecten die zich in het ‘grijze midden’ bevonden, omdat we aannamen dat deze laatste projecten minder informatief zouden zijn.
Vragenlijst
We ontwierpen een vragenlijst van twaalf pagina’s op basis van ons literatuuronderzoek en een focusgroepbijeenkomst. De vragenlijst bevatte vragen over de onderzoeksopzet, hoe de huisartsen en de patiënten werden gerekruteerd, het benodigde aantal patiënten, onderzoeksperiode, de hoeveelheid werk voor de praktijkmedewerkers, vergoedingen, hoezeer praktijkassistentes bij het project betrokken werden, of er een pilotonderzoek plaats had gevonden, het feitelijke aantal patiënten dat uiteindelijk werd geïncludeerd en de totale duur van de wervingsperiode.
Dataverzameling
Vijf van de auteurs voerden de interviews uit, meestal face-to-face bij de respondenten op het werk. De meeste respondenten waren promovendi die hun proefschrift aan het afronden waren. Enkele interviews werden om praktische redenen telefonisch afgenomen. De interviews duurden dertig tot zestig minuten en vonden plaats tussen september 2004 en februari 2005.
Analyse
Primaire uitkomstmaat voor het succes van de werving was het aantal geïncludeerde patiënten gedeeld door het aantal dat men bij aanvang had gepland. Andere uitkomsten waren het deelnamepercentage van huisartsen en patiënten in verhouding tot het aantal dat was uitgenodigd; of het geplande aantal patiënten binnen de geplande wervingsperiode was bereikt en of de wervingsperiode met minstens 50% moest worden verlengd. Voor continue uitkomstmaten berekenden we, vanwege scheve verdelingen, de mediaan en het bereik. Onderzoekskenmerken die mogelijk gerelateerd waren aan het succes van de werving werden bivariaat geanalyseerd. Verschillen toetsten we met de Mann-Whitney-toets. Voor categorische uitkomstmaten werden verschillen getoetst met de χ2-toets. Alle toetsen waren tweezijdig, wanneer p kleiner was dan 0,05 spraken we van een statistisch significante relatie tussen een onderzoekskenmerk en succesvolle werving. Voor de secundaire uitkomstmaten presenteren we alleen de statistisch significante relaties.
Resultaten
De inventarisatie leverde 125 projecten op, waarvan we er 85 selecteerden voor een interview. Uiteindelijk leidde dit tot 78 geslaagde interviews over evenzoveel projecten (92%) (figuur). Redenen voor mislukken van een interview waren dat een project bij nader inzien toch niet voldeed aan onze criteria of dat de persoon die de vragen kon beantwoorden niet beschikbaar was.
Beschrijving van de projecten
Tabel 1 geeft de belangrijkste kenmerken weer van de 78 projecten. Interventieonderzoeken waren in de meerderheid. Er was aanzienlijke variatie in omvang van het onderzoek en succes van de rekrutering. Van de huisartsen die werden benaderd deed 33% (mediaan) mee, voor patiënten bedroeg dit 70%. Minder dan de helft van de projecten slaagde erin om binnen de geplande tijd het geplande aantal patiënten te halen, meer dan de helft verlengde de wervingsperiode omdat de werving minder succesvol was dan verwacht.
| |
beschrijvend onderzoek | 31% |
Interventieonderzoek | 69% |
incidente gevallen prevalente gevallen beide/anders | 41% 36% 23% |
huisarts moest alert zijn tijdens spreekuur | 49% |
huisarts vroeg informed consent | 33% |
huisarts deed interventie (n =51 interventieonderzoeken) | 69% |
huisarts kreeg vergoeding | 27% |
praktijkassistenten betrokken | 56% |
benodigde tijd per patiënt (n = 49) | 10 minuten (1-360) |
totale tijd per huisarts (n = 41) | 3,5 uur (0,5 min-210 uur) |
35 (2-400) | |
100 (5-1500) | |
24 (2-200) | |
42 (5-350) | |
33% (1-100%) | |
280 (4-6800) | |
231 (0-6595) | |
87% (0-200%) | |
70% (0-100%) | |
46% | |
2-24 maanden | |
9 maanden (1-28 maanden) |
Samenhang tussen onderzoekskenmerken en succesvolle patiëntenwerving
De samenhang tussen onze primaire uitkomstmaat (geworven patiënten als percentage van het geplande aantal) en kenmerken van het onderzoek staat in tabel 2. Drie factoren bleken een sterk verband te vertonen. Onderzoeken die mikten op patiënten met een al bekende (prevalente) klacht of ziekte bleken succesvoller dan onderzoeken die alleen patiënten met een nieuw (incident) probleem toelieten. Onderzoek waarbij de huisarts tijdens het spreekuur bedacht moest zijn op potentieel geschikte patiënten waren minder succesvol dan onderzoeken waar dit niet voor gold. Ten slotte waren onderzoeken waarbij de huisarts of praktijkassistente de eerste was die de patiënt informeerde over het onderzoek minder succesvol dan onderzoeken waarin patiënten eerst een brief thuis kregen. De drie genoemde kenmerken hingen onderling sterk samen: bij onderzoek naar incidente gevallen moest de huisarts meestal alert zijn tijdens het spreekuur en was hij ook degene die de patiënt als eerste over het onderzoek vertelde. Voor 58 projecten beschikten de onderzoekers over gegevens over het aantal geïncludeerde patiënten als proportie van het aantal dat gevraagd was om deel te nemen. De mediaan was 70%, maar de spreiding was maximaal (0-100%). Slechts één kenmerk liet een statistisch significant verband zien met deze uitkomst: als patiënten weerstand toonden tegen het onderwerp of de interventie was de deelname lager (50% versus 71%, p = 0,04). Bijna de helft van de projecten slaagde erin om het geplande aantal patiënten binnen de geplande tijd te werven. Voor onderzoek naar nieuwe patiëntproblemen bedroeg dit slechts 28% en voor onderzoek naar al bekende patiëntproblemen 57% (p = 0,04). Projecten waarbij de huisarts tijdens het spreekuur bedacht moest zijn op potentiële patiënten waren ongeveer half zo succesvol als wanneer dat niet het geval was (32% versus 62%, p = 0,01). Er was een duidelijk verband tussen de complexiteit van de inclusieprocedure (zoals ervaren door de onderzoeker) en het succes van de werving. Meer dan de helft van de projecten met een simpele procedure was succesvol, tegenover slechts 19% van de projecten met een complexe procedure (p = 0,02). Wanneer de procedures werden aangepast aan de wensen van de praktijk leidde dit vaker tot succesvolle werving (63% versus 38%, p = 0,02).
| |||
totaal | 87% | ||
87% 94% | NS | ||
nieuw (n = 32) bekend (n = 27) | 75% 100% | p = 0,01 | |
Huisarts moest alert zijn tijdens spreekuur: | 73% 100% | p < 0,01 | |
- huisarts of praktijkmedewerker (n = 25) - onderzoeksmedewerker (n = 41) | 94% 87% | NS | |
Wie deed inclusie?: | 84% 88% | NS | |
82% 89% | NS | ||
88% 82% | NS | ||
Beloningen voor de praktijk: | 89% 84% | NS | |
Financiële vergoeding: | 81% 88% | NS | |
Nascholingspunten: | 82% 89% | NS | |
Cursus of training: | 82% 89% | NS | |
Kleine presentjes: | 77% 87% | NS | |
Beloning afhankelijk van aantal patiënten: | 83% 94% | NS | |
Rol voor praktijkassistente: | 97% 81% | NS | |
Praktijkassistente aanwezig bij introductie onderzoekers: | 98% 85% | NS | |
Patiënt geïnformeerd over onderzoek: | 76% 100% | p < 0,01 | |
Hoelang deed huisarts mee?: | 79% 100% | NS | |
In- en exclusiecriteria: | 94% 77% | NS | |
Weerstand bij huisarts tegen onderwerp of interventie: | 76% 98% | NS | |
Weerstand bij patiënten tegen onderwerp of interventie: | 83% 94% | NS | |
Pilotonderzoek uitgevoerd: | 94% 84% | NS | |
Procedures aangepast aan wensen praktijk: | 100% 80% | NS | |
Personeelswisseling onderzoek: | 82% 90% | NS |
Samenhang tussen onderzoekskenmerken en succesvolle huisartsenwerving
De mediaan van de deelname van huisartsen bedroeg 33% van het aantal gevraagde huisartsen. Ook hierbij was de spreiding groot (1-100%). Aan beschrijvend onderzoek deden benaderde huisartsen vaker mee dan aan interventieonderzoek (52% versus 30%). Wanneer de huisarts nascholingspunten of een cursus werd aangeboden leidde dit tot minder deelnemende huisartsen dan wanneer dit niet het geval was (respectievelijk 26 versus 44%, p = 0,02 en 26 versus 44% p = 0,03). Ook onderzoek waarin eerst een pilotonderzoek was uitgevoerd resulteerde in minder huisartsen (26% versus 46%, p = 0,03), evenals projecten waarbij sprake was van personeelswisselingen in het onderzoeksteam (28% versus 47%, p = 0,045). Huisartsen die deel uitmaakten van een bestaand onderzoeksnetwerk waren veel meer bereid mee te doen dan huisartsen waarvoor dit niet gold (75% versus 30%, p < 0,01). Als huisartsen individueel werden benaderd of per post, was de respons lager dan wanneer de huisartsen via het gezondheidscentrum of telefonisch werden benaderd (verschillen variërend van 35% tot 42%, p = 0,01 of kleiner). Het gebruik van andere manieren om de huisarts te benaderen of te informeren dan per post of telefoon, hing sterk samen met deelname van de huisarts aan een onderzoeksnetwerk.
Wervingsperiode
In meer dan de helft van de projecten (40/78) moest de wervingsperiode verlengd worden omdat het aantal geïncludeerde patiënten als onvoldoende werd beschouwd, 30 projecten (38%) verlengden de periode met tenminste 50%. Opnieuw bleek het alert moeten zijn van de huisarts tijdens het spreekuur een boosdoener (53% versus 25% verlenging veldwerk, p = 0,02). Als een praktijkmedewerker de patiënten mondeling informeerde over het onderzoek, moest de wervingsperiode veel vaker verlengd worden dan wanneer de patiënten thuis een brief ontvingen (51% versus 17%, p = 0,02). Van projecten waarbij eerst een pilotonderzoek was uitgevoerd hoefde de inclusiefase minder vaak te worden verlengd (28% versus 51%, p = 0,04).
Discussie
Deze inventarisatie van 78 onderzoeksprojecten laat een aanzienlijke variatie zien in de deelname van zowel huisartsen als patiënten. Hoewel we een uiteindelijke deelname van 87% (mediaan) van het geplande patiëntenaantal positief kunnen duiden, bleken veel projecten aanzienlijk meer tijd nodig te hebben om voldoende patiënten te includeren. Bijna 40% van de projecten verlengde de inclusiefase met tenminste 50%. We onderzochten verschillende uitkomstmaten als parameter voor het succes van de werving. Onderzoekskenmerken die hier het meest consistent mee samenhingen waren of het om prevalente cases ging, of de huisarts niet alert hoefde te zijn tijdens het spreekuur en of patiënten per post werden uitgenodigd. De complexiteit van de inclusie- en exclusiecriteria vertoonde ook een verband met verschillende uitkomstmaten, maar dit was slechts significant voor één uitkomstmaat, het bereiken van het vereiste aantal patiënten in de geplande tijdsperiode. Het verschil in succes tussen onderzoek met incidente gevallen (patiënten die voor het eerst met hun klachten bij de huisarts komen) en onderzoek met prevalente gevallen (patiënten met een probleem dat al bekend is bij de huisarts) kunnen we verklaren door het feit dat de laatste groep meestal eenvoudig in het huisartsinformatiesysteem (HIS) is te selecteren. Incidente gevallen vragen veel meer inspanning, omdat de huisarts zich dan tijdens het spreekuur moet realiseren dat patiënten mogelijk voor het onderzoek in aanmerking komen, en hij ze bovendien moet informeren over het onderzoek en uitnodigen om deel te nemen. Dit kan het spreekuur danig ophouden. Voor het werven van huisartsen bleek de wijze van benaderen en informeren belangrijk. Het benaderen van individuele huisartsen en het benaderen van huisartsen per post was veel minder succesvol dan andere methoden, zoals via HAGRO’s of bestaande netwerken.
Vergelijking met de literatuur
Verschillende onderzoekskenmerken die samenhingen met succes van de werving zijn ook door anderen genoemd, hoewel slechts weinig ervan getest zijn in vergelijkend onderzoek. Zo noemden ook andere auteurs de flexibele, op de praktijk gerichte procedures.14151617 Een vergoeding voor deelnemende huisartsen kwam eerder als positief naar voren.51718 Dit konden wij niet bevestigen.
Beperkingen
Hebben we al het eerstelijnsonderzoek in Nederland gedekt? Nee, we beperkten ons tot afdelingen Huisartsgeneeskunde, NIVEL en WOK. Zodoende sloten we onderzoek van zowel andere universitaire afdelingen als van de farmaceutische industrie uit. We vinden deze beperkingen niet bezwaarlijk omdat het ons ging om het genereren van gegevens die relevant zijn voor de academische huisartsgeneeskunde. We richtten ons vooral op aspecten van onderzoeksopzet, wervingsstrategieën en de betrokkenheid van de praktijkmedewerkers. We hebben in dit retrospectieve onderzoek geen patiënten geïnterviewd. Ook andere kenmerken, zoals persoonlijke eigenschappen van de projectmedewerkers, subsidiebron en ‘touch and feel’ van een project bleven buiten beschouwing. Deze kenmerken kunnen ook een rol spelen. We selecteerden voor ons onderzoek de meerderheid van projecten die gedurende een periode van vijf jaar door de universitaire afdelingen werden uitgevoerd, maar toch is het aantal projecten beperkt. Veel van de verschillen tussen projecten met succesvolle of minder succesvolle werving waren aanzienlijk, maar niet statistisch significant. Gegeven de valkuilen van meervoudig toetsen (in ons geval met de verschillende uitkomstmaten) moeten de analyses als exploratief beschouwd worden. Combineren van onze gegevens met die van toekomstig vergelijkbaar onderzoek kan de power van de analyse vergroten.
Door meer onderzoek aan de uiteinden van de verdeling van het wervingsspectrum toe te laten (zeer succesvol / weinig succesvol onderzoek) zouden we ‘spectrum bias’ hebben kunnen veroorzaken, bekend uit het domein van diagnostisch onderzoek,19 waardoor de samenhang tussen onderzoekskenmerken en de uitkomst mogelijk wordt versterkt. Het ging ons echter niet zozeer om de sterkte van de samenhang, maar vooral om de informatie over mogelijke determinanten van succesvolle werving, die van belang is bij het opzetten van toekomstig onderzoek.
Dit is een observationeel onderzoek, waardoor we geen uitspraken kunnen doen over de causaliteit van de gevonden relaties. Tegengesteld aan onze verwachtingen, vonden we dat onderzoek dat vooraf werd gegaan door een pilotonderzoek meer moeite had om voldoende huisartsen te werven dan onderzoeken zonder pilotonderzoek. Een mogelijke verklaring is dat wanneer onderzoekers wervingsproblemen verwachten vanwege een complexe onderzoeksopzet, ze vaker een pilotonderzoek uitvoeren. Overigens bleek dat uitvoering van een pilotonderzoek wel een gunstig effect had op de duur van de wervingsperiode.
Aanbevelingen
Elke onderzoeker droomt ervan om zijn onderzoek binnen de geplande tijd af te ronden, maar de realiteit leert dat dit vaak niet lukt. Onderzoekers zullen doorgaan met het onderzoeken van moeilijke onderwerpen en het ontwerpen van soms complexe onderzoeken ter onderbouwing van het huisartsgeneeskundig handelen. Een adequate planning en een goede voorbereiding (inclusief pilotonderzoek) kunnen in onze ogen veel problemen voorkomen. Kader 1 geeft enkele aanbevelingen die voortvloeien uit onze resultaten. Bij het opzetten van een onderzoek heeft de aard van de te onderzoeken aandoening consequenties voor de logistiek. Onderzoek naar patiënten die voor het eerst met een ziekte of klacht bij de huisarts komen blijft nodig, bijvoorbeeld om antwoorden te vinden op vragen rond infecties of cardiovasculaire gebeurtenissen. In dergelijke gevallen dienen de door de huisarts te verifiëren inclusiecriteria zo eenvoudig mogelijk te zijn. Een softwaremodule gekoppeld aan het HIS kan helpen om de huisarts te attenderen op patiënten die in aanmerking komen. Soms kan een patiënt die met een nieuwe klacht bij de huisarts komt ook ná het spreekuur worden benaderd en ingesloten. Kader 2 geeft enkele aanbevelingen voor huisartsen die worden benaderd voor onderzoek. In aanvulling op de checklist die Bakkenist et al. in 2003 publiceerden,20 ligt onze focus op het verhogen van de kans op het rekruteren van voldoende patiënten. Als onderzoekers met elkaar concurreren om de schaarse subsidie stellen zij in de onderzoeksvoorstellen de instroom van patiënten vaak te rooskleurig voor, terwijl ze de hindernissen onderschatten. Subsidiegevers dienen gedetailleerde informatie te eisen over de wervingsstrategie en de onderbouwing van het aantal beschikbare patiënten. We concluderen dat de wet van Lasagna ook in de Nederlandse huisartsenpraktijk geldt. Veel onderzoekers kampen met wervingsproblemen en moeten hun veldwerkperiode verlengen om genoeg patiënten te vinden. Een aantal onderzoekskenmerken zijn gerelateerd aan het wervingssucces, en sommige van de kenmerken heeft de onderzoeker in eigen hand. Maar bovenal is krachtiger bewijs nodig, liefst uit gerandomiseerd onderzoek waarin aspecten van de werving gevarieerd en vergeleken worden.
Kader 1 Aanbevelingen voor onderzoekers
- Vraag deelname huisartsen niet uitsluitend per brief.
- Als patiënten via het huisartsinformatiesysteem te selecteren zijn, is dit verre te verkiezen boven benadering tijdens het spreekuur.
- Houd in- en exclusiecriteria simpel.
- Laat het niet aan praktijkmedewerkers over om de patiënt volledig te informeren, maar stel hier onderzoekspersoneel voor aan.
- Pas procedures aan de wensen van de praktijk aan.
- Zie de praktijkassistent niet over het hoofd
- Het is niet aangetoond dat het nuttig is om de praktijk een vergoeding aan te bieden.
- Voer een pilotonderzoek uit om wervingsprocedures te testen en om eventuele weerstanden tegen onderwerp of interventie op te sporen.
Kader 2 Adviezen voor huisartsen die uitgenodigd worden voor onderzoek
- Eis simpele in- en exclusiecriteria.
- Doe geen werk dat de onderzoekers ook kunnen doen.
- Vraag naar het precieze tijdsbeslag voor de praktijk.
- Laat u niet verleiden om patiënten tijdens het spreekuur uit te nodigen, als ze via het huisartseninformatiesysteem te selecteren zijn.
- Als de praktijkassistent een rol krijgt, betrek deze dan bij het gesprek met de onderzoeker en bij de besluitvorming over deelname.
Literatuur
- 1.↲Mant D. R&D in primary care. National Working Group Report. UK: Department of Health, 1997. (Report No. 97CC0138.) http://www.dh.gov.uk/assetRoot/04/02/41/50/04024150.pdf.
- 2.↲Ovhed I, van Royen P, Hakansson A. What is the future of primary care? Probably fairly bright, if we may believe the historical development. Scand J Prim Health Care 2005;23:248-53.
- 3.↲Bakkenist A, Zaat JOM. Wie onderzoekt wat? Een globaal overzicht van huisartsgeneeskundig onderzoek in Nederland. Huisarts Wet 2004;47:555-60.
- 4.↲Gorringe JAL. Initial preparation for clinical trials. In: Harris EL, Fitzgerald JD, editors. The principles and practice of clinical trials. Edinburgh/London: Livingstone, 1970.
- 5.↲↲Tognoni G, Alli C, Avanzini F, Bettelli G, Colombo F, Corso R, Marchioli R, Zussino A. Randomised clinical trials in general practice: lessons from a failure. BMJ 1991;303:969-71.
- 6.↲Peto V, Coulter A, Bond A. Factors affecting general practitioners’ recruitment of patients into a prospective study. Fam Pract 1993;10:207-11.
- 7.↲Tasche MJA. Practical aspects of a randomized controlled trial in general practice; patient recruitment, inclusion and follow-up from an academic centre. In: Tasche MJA. Prophylactic inhalation therapy in preschool children with asthma [Proefschrift]. Rotterdam: Erasmus Universiteit, 1999.
- 8.↲Van der Windt DAWM, Van Aarst M, Heemskerk MAMB, Koes BW, Bouter LM. Practical aspects of conducting a randomised trial. Br J Gen Pract 2000;50:371-4.
- 9.↲Huibers MJH, Bleijenberg G, Beurskens AJHM, Kant IJ, Knottnerus JA, Van der Windt DAWM, et al. An alternative trial design to overcome validity and recruitment problems in primary care research. Fam Pract 2004;21:213-8.
- 10.↲Nelemans FA. Een technisch mislukt onderzoek met ethacrynezuur. Huisarts Wet 1967;10:86-7.
- 11.↲Foy R, Parry J, Duggan A, Delaney B, Wilson S, Lewin-van den Broek NTh, et al. How evidence based are recruitment strategies to randomized controlled trials in primary care? Experience from seven studies. Fam Pract 2003;20:83-92.
- 12.Ross S, Grant A, Counsell C, Gillespie W, Russell I, Prescott R. Barriers to participation in randomised controlled trials: a systematic review. J Clin Epidemiol 1999;52:1143-56.
- 13.↲Mapstone J, Elbourne D, Roberts I. Strategies to improve recruitment to research studies. The Cochrane Database of Methodology Reviews 2002, Issue 3. Art. No.: MR000013.
- 14.↲Gray RW, Woodward NJ, Carter YH. Barriers to the development of collaborative research in general practice: a qualitative study. Br J Gen Pract 2001;51:221-2.
- 15.↲Murphy E, Spiegal N, Kinmonth AL. ‘Will you help me with my research?’ Gaining access to primary care settings and subjects. Br J Gen Pract 1992;42:162-5.
- 16.↲Jonker PL, Sumajow CA. Randomised clinical trials in general practice. BMJ 1992;304:508.
- 17.↲↲Smidt N. Discussion. In: Smidt N. Conservative treatments for tennis elbow in primary care [Proefschrift]. Amsterdam: Vrije Universiteit, 2001:143.
- 18.↲Ward E, King M, Lloyd M, Bower P, Friedli K. Conducting randomized trials in general practice: methodological and practical issues. Br J Gen Pract 1999;49:919-22.
- 19.Ransohoff DF, Feinstein AR. Problems of spectrum and bias in evaluating the efficacy of diagnostic tests. N Engl J Med 1978;299:926-30.
- 20.↲Bakkenist ARJ, Assendelft WJJ, Van Geldrop WJ. Wetenschappelijk onderzoek in de huisartsenpraktijk. Wie doet er mee? Huisarts Wet 2003;46:707-10.
Reacties
Er zijn nog geen reacties.