Samenvatting
Smits PBA, Verbeek JHAM, De Buisonjé CD. Probleemgestuurd onderwijs. Een systematische review van gecontroleerde evaluatieonderzoeken van onderwijs na het artsexamen. Huisarts Wet 2003;46(12):664-8. Doel Het vaststellen van de effectiviteit van probleemgestuurd onderwijs in medische vervolgopleidingen en bij- en nascholing met behulp van een systematisch literatuuronderzoek. Methode Een search in Medline en andere databases met als inclusiecriteria: probleemgestuurd onderwijs, medische bij- en nascholing en gecontroleerde onderzoeken. In de geselecteerde onderzoeken is de mate van bewijs voor de effectiviteit van het onderwijs vastgesteld voor de uitkomstvariabelen: kennis, performance, tevredenheid van deelnemers en gezondheidstoestand van patiënten. Resultaten We vonden zes onderzoeken die voldeden aan de inclusiecriteria. Vijf daarvan zijn gepubliceerd in de jaren negentig en één in 1988. In vijf onderzoeken gaat het om onderwijs aan huisartsen. In drie onderzoeken wordt probleemgestuurd onderwijs vergeleken met een andere vorm van onderwijs. Probleemgestuurd onderwijs bleek niet beter dan de andere vormen van onderwijs wat betreft de uitkomstvariabelen kennis, performance en gezondheid. Er blijkt wel matig bewijs aanwezig voor een grotere tevredenheid van de deelnemers met probleemgestuurd onderwijs. In de overige drie onderzoeken is probleemgestuurd onderwijs vergeleken met geen onderwijs. Deze onderzoeken leveren beperkte aanwijzingen dat probleemgestuurd onderwijs de uitkomstvariabelen positief beïnvloedt. Conclusie Er zijn beperkte aanwijzingen dat probleemgestuurd onderwijs in medische bij- en nascholing de kennis en performance van deelnemers en de gezondheid van patiënten verbetert. Er is matig bewijs dat artsen meer tevreden zijn met probleemgestuurd onderwijs. Nader onderzoek over dit onderwerp zou moeten worden opgezet als een quasi-experimenteel of gerandomiseerd experiment waarbij probleemgestuurd onderwijs wordt vergeleken met een andere vorm van onderwijs. De performance van artsen en gezondheid van patiënten zouden dan de uitkomstvariabelen moeten zijn.
Inleiding
Probleemgestuurd onderwijs is een van de best beschreven interactieve onderwijsmethoden. Algemeen wordt aangenomen dat probleemgestuurd onderwijs effectiever is wat betreft ‘lerenleren’- vaardigheden dan traditionelere onderwijsvormen en dat het ook leuker is.1 De conclusies van vier systematische literatuuronderzoeken in het begin van de jaren negentig wezen op een iets beter resultaat op de korte en lange termijn voor probleemgestuurd onderwijs dan voor traditioneel onderwijs.2345 Vanaf die tijd zijn er vele probleemgestuurde medische curricula ontstaan. Onlangs werd in een review weer een vraagteken gezet bij de waarde van probleemgestuurd onderwijs voor de artsopleiding.6 In de postacademische medische beroepsopleidingen en in de bij- en nascholing worden andere doelen nagestreefd dan in de artsopleiding. Het gaat niet alleen om verbetering van kennis en vaardigheden, maar ook om het verbeteren van de vakbekwaamheid en de performance van artsen. Uiteindelijk zal dit een betere gezondheid voor patiënten betekenen.7 Probleemgestuurd onderwijs kan in deze context ook effectief zijn.8 Er zijn aanwijzingen in de literatuur dat interactief opgezet onderwijs de praktijk van professionals kan veranderen, maar er zijn maar weinig goed opgezette onderzoeken uitgevoerd.910 Wij konden geen reviews vinden over de effectiviteit van probleemgestuurd onderwijs in postacademisch onderwijs. Als het gaat om de effectiviteit van onderwijsmethoden bieden gecontroleerde evaluatieonderzoeken de meest waardevolle informatie, dit in overeenstemming met de best evidence medical education (BEME)-benadering.11 Daarom voerden we een systematisch literatuuronderzoek uit om te bezien of probleemgestuurd onderwijs effectief is in het onderwijs na het artsexamen.
Wat is bekend?
- Uit literatuurreviews over probleemgestuurd onderwijs kan met enige voorzichtigheid geconcludeerd worden dat deze vorm van onderwijs tijdens de basisartsopleiding op de korte en lange termijn betere resultaten oplevert dan traditioneel onderwijs.
- Er is nog geen literatuurreview over de effectiviteit van probleemgestuurd onderwijs in medische bij- en nascholing.
Wat is nieuw?
- Probleemgestuurd onderwijs in medische bij- en nascholing lijkt de kennis en performance van deelnemers en de gezondheid van patiënten positief te beïnvloeden.
- Artsen lijken ook tevredener te zijn met probleemgestuurd onderwijs.
Methode
Literatuuronderzoek
Wij zochten in Medline, Embase, Psyclit, het Educational Resources Information Centre (ERIC), de Cochrane Library, en de Research and Development Resource Base in CME op het internet (RDRBWEB) van 1974 (het jaar dat Neufeld en Barrows hun nieuwe aanpak van medisch onderwijs publiceerden) tot augustus 2000. Wij zochten naar onderzoeken met de trefwoorden: problem- based (PBL), practice-based, self-directed, learner centred en active learning. Wij combineerden de resultaten van deze search met die van een andere zoektocht met de trefwoorden: continuing medical education (CME), continuing professional development (CPD), post-professional, postgraduate, en adult learning. Ten slotte trokken we ook referenties in de geïncludeerde onderzoeksartikelen na die ons relevant leken.
Inclusiecriteria
Een onderzoek werd geïncludeerd wanneer de auteurs aangaven dat de onderwijsinterventies probleemgestuurd zijn en dat de essentie van de gebruikte onderwijsmethode te vergelijken is met die van de McMaster Universiteit of de Universiteit van Maastricht.1213 De essentie van probleemgestuurd onderwijs bestaat uit probleemgestuurde onderwijsbijeenkomsten in een kleine groep, gefaciliteerd door een tutor. De zelfgestuurde groep begint met een brainstormsessie over een praktijkprobleem, waarbij een beroep wordt gedaan op bestaande kennis en ervaring. De groepsleden formuleren zelf hun leerdoelen en doen nieuwe kennis op door zelfstudie. De bijeenkomsten worden afgesloten met groepsdiscussie over de bereikte leerdoelen en een evaluatie. Voor dit literatuuronderzoek gebruikten we trefwoorden om relevante artikelen over onderwijs te vinden in het totale domein van postacademische opleidingen, bij- en nascholing ( continuing medical education) en deskundigheidsbevordering ( continuing professional development). Omdat er weinig gerandomiseerd opgezette onderzoeken werden gevonden, sloten we de overige typen gecontroleerd onderzoek niet uit. Op deze manier hoopten we alle relevante gecontroleerde onderzoeken over probleemgestuurd postacademisch onderwijs te vinden.
Reviewmethode bij geselecteerde onderzoeken
Twee reviewers (PBAS, JHAMV) bepaalden onafhankelijk van elkaar de kwaliteit van de geselecteerde onderzoeken, waarbij 5 kwaliteitscriteria werden gebruikt, ontleend aan Sackett et al. ( tabel 1).14 Elk criterium kon maximaal 10 punten krijgen, zodat de totaalscore maximaal 50 punten bedroeg. Een mogelijk zesde kwaliteitscriterium, dat groepen gelijkwaardig behandeld worden met uitzondering van de experimentele onderwijsinterventie, pasten we niet toe. Veel factoren kunnen namelijk het effect van onderwijs bepalen (zoals de tutor, het onderwijsmateriaal, de onderwijsruimten) en het bleek niet mogelijk om deze informatie uit de artikelen te halen. Daarom konden we gelijke behandeling van de groepen niet vaststellen.
– | Duidelijk als gerandomiseerd beschreven | 10 |
– | Quasi-experimenteel | 5 |
– | Follow-up van 3 maanden of meer | 5 |
– | Respons van >80% | 5 |
– | Respons van 50-80% | 3 |
– | Respons van | 0 |
– | Ja | 10 |
– | Nee | 0 |
– | Gebruikte onderwijsvormen zijn wat effectiviteit betreft aan de deelnemers gepresenteerd als ‘gelijkwaardig’. | 10 |
– | Geen informatie | 0 |
– | Ja | 10 |
– | Statistisch gecorrigeerd | 5 |
– | Geen informatie | 0 |
Uitkomstvariabelen
In elk onderzoek werd gekeken naar vier uitkomstvariabelen – kennis, performance en tevredenheid van de deelnemers en gezondheid van de patiënten – en stelden we de mate van bewijs voor die effecten vast. We waardeerden de mate van bewijs voor de effectiviteit van probleemgestuurd onderwijs als ‘sterk’ als we een positieve uitkomst vonden in twee onderzoeken van hoge kwaliteit, als ‘matig’ als er een positieve uitkomst was in één onderzoek van hoge en één van lage kwaliteit, als ‘beperkt’ als er een positieve uitkomst was in een onderzoek van hoge óf een onderzoek van lage kwaliteit en ten slotte als ‘geen bewijs’ als er tegengestelde bevindingen waren of geen bevindingen.
Resultaten van de literatuursearch
Zes gecontroleerde onderzoeken voldeden aan onze inclusiecriteria.15-20 Handmatig zoeken in de referenties van deze artikelen leverde geen nieuwe onderzoeken op die voldeden aan de inclusiecriteria. Vijf van de zes onderzoeken betroffen het effect van postacademisch onderwijs bij huisartsen. In vier onderzoeken waren meer dan vijftig deelnemers betrokken,16171820 in twee waren het er minder dan twintig.1519Tabel 2 geeft de resultaten weer van onze kwaliteitsbeoordeling van de zes onderzoeken. Twee onderzoeken waren van hoge kwaliteit, 1517 de andere van lage. Twee onderzoeken waren gerandomiseerd opgezet.1516 In het onderzoek van Heale et al. echter werd de groep van gerandomiseerd ingedeelde dokters gecombineerd met een groep die niet aan het gehele onderzoek wilde deelnemen.16 Of de randomisatie gelukt is wat betreft de eis van gelijkheid van groepen is onduidelijk.
Groepen gerandomiseerd ingedeeld? | Follow-up voldoende lang en compleet? | Analyse op basis intention to treat? | Deelnemers en onderzoekers geblindeerd? | Samenstelling van groepen gelijk bij start onderzoek? | |||
Chan et al. 1999 | 10 | 5 | 10 | 0 | 10 | 35 | hoog |
Heale et al. 1988 | 5 | 8 | 0 | 0 | 0 | 13 | laag |
Doucet et al. 1998 | 5 | 8 | 10 | 0 | 5 | 28 | hoog |
Benjamin et al. 1999 | 5 | 8 | 10 | 0 | 0 | 23 | laag |
Moran et al. 1996 | 0 | 8 | 10 | 0 | 0 | 18 | laag |
Premi et al. 1994 | 0 | 8 | 10 | 0 | 0 | 18 | laag |
Resultaten van de onderzoeken
Tabel 3 laat de resultaten van de zes onderzoeken zien. De meting van de uitkomst, het effect, was vaak beperkt tot één variabele. Geen van de onderzoeken stelde de beide uitkomstvariabelen vast die onze voorkeur hebben, namelijk performance van de deelnemer en gezondheid van patiënten. In een van de onderzoeken van hoge kwaliteit – probleemgestuurd onderwijs via e-mail vergeleken met het gebruik van internetbronnen – verbeterde de kennis van de deelnemers in geen van beide opzetten, maar de groepsgrootte was beperkt.15 Het andere onderzoek van hoge kwaliteit – probleemgestuurd onderwijs vergeleken met docentgestuurd onderwijs – liet positieve resultaten zien van probleemgestuurd onderwijs met betrekking tot kennis van deelnemers, klinisch redeneren en tevredenheid.17 Het is echter onduidelijk of deze effecten kunnen worden toegeschreven aan het probleemgestuurde onderwijs omdat de opleidingen niet van gelijke omvang waren.
Chan et al. 1999 | huisartsen | RCT | e-mail pgo | internet- bronnen | 8 | 11 | geen effect | nb | nb | nb | nb |
Heale et al. 1988 | huisartsen | RCT | kleine groep pgo | grote groep discussies, colleges | 22* | 39* | geen effect | geen effect | groter† | nb | geen effect ‡ |
Doucet et al. 1998 | huisartsen | CT | pgo | docentgestuurd | 34 | 29 | positief | positief | groter | nb | nb |
Benjamin et al. 1999 | staf van een polikliniek | CT | pgo | geen | ~50¶ | ~50¶ | nb | nb | nb | positief | positief § |
Moran et al. 1996 | huisartsen | CT | kleine groep gericht op de lerende | geen | 5 | 10 | nb | positief # | nb | nb | positief §,# |
Premi et al. 1994 | huisartsen | CT | kleine groep, praktijkgestuurd | geen | 78 | 46 | positief # | positief $ | hoge score @ | nb | nb |
Positiefresultaat | Negatiefresultaat | Positiefresultaat | Negatiefresultaat | Matevan bewijs* | |
– kennis van deelnemers | 1 | 1 | 0 | 1 | geen |
– performance van deelnemers | 1 | 0 | 0 | 1 | geen |
– tevredenheid van deelnemers | 1 | 0 | 1 | 0 | matig |
– gezondheidstoestand van patiënten | 0 | 0 | 0 | 0 | geen |
– kennis van deelnemers | 0 | 0 | 1 | 0 | beperkt |
– performance van deelnemers | 0 | 0 | 3 | 0 | beperkt |
– gezondheidstoestand van patiënten | 0 | 0 | 1 | 0 | beperkt |
Conclusies
Wij vonden een beperkt aantal relevante onderzoeken van uiteenlopende kwaliteit. Deze leveren geen consistente aanwijzingen dat probleemgestuurd onderwijs in postacademisch onderwijs beter is dan andere onderwijsvormen wat betreft het verbeteren van de kennis en de performance van de deelnemers, maar er was ‘matig bewijs’ dat deelnemers tevredener zijn met probleemgestuurd onderwijs. Er bleek ‘beperkt bewijs’ te zijn dat kennis en performance van dokters en de gezondheidstoestand van patiënten verbeteren door probleemgestuurd onderwijs vergeleken met geen onderwijs. Onderzoeken echter waarin de controlegroep geen onderwijs volgt, geven alleen uitsluitsel over het effect van het volgen van onderwijs op zich en niet over het effect van een specifieke vorm van onderwijs. In de onderzoeken die probleemgestuurd onderwijs vergelijken met een andere vorm van onderwijs om te achterhalen welke vorm effectiever is, zullen inhoud, vorm en beïnvloedende factoren van die beide onderwijsmethoden helder moeten zijn beschreven. De informatie die daarover in de drie onderzoeken wordt beschreven kan worden gewaardeerd als volledig afwezig,16 mager,15 en redelijk.17 Uit onderzoek dat zich niet beperkt tot probleemgestuurd onderwijs komen aanwijzingen naar voren dat interactieve onderwijsmethoden in onderwijs na de artsopleiding effectiever zijn in het veranderen van de performance van dokters en het verbeteren van de gezondheidstoestand van patiënten.9 De resultaten van dit literatuuronderzoek over probleemgestuurd onderwijs in onderwijs na het artsexamen lijken vergelijkbaar met die over probleemgestuurd onderwijs in het medische basisonderwijs.234 Het onderzoek naar de effectiviteit van onderwijs is complex,21,22 maar we zouden toch in staat moeten zijn om onderzoek van hogere kwaliteit uit te voeren dan de hier beschreven onderzoeken, vooral als het gaat om het vergelijken van verschillende onderwijsvormen. Zoals blijkt uit onze review is randomisatie van deelnemers over verschillende vormen van onderwijs niet onmogelijk. Daarbij zullen onderzochte onderwijsmethoden beter gedefinieerd moeten worden en moet beter beschreven worden wat er in de onderwijspraktijk precies gebeurt. Leerdoelen moeten helder worden aangegeven. Is het doel het verhogen van kennisniveaus, het veranderen van gedrag en attitudes of gaat het om het verbeteren van gezondheidszorg? Uitkomstvariabelen moeten corresponderen met de doelen. Bij voorkeur worden een aantal verschillende variabelen gemeten waaronder de performance van deelnemers aan het onderwijs en de gezondheidstoestand van patiënten.9 Er lijkt consensus over te bestaan dat een klein gevonden significant verschil relevant is en een aanwijzing voor effectiviteit.2123 Evaluatie van effectiviteit wordt verder bemoeilijkt door de professionele en sociale context waarin de dokters werken, zoals beschreven is in literatuur over implementatie van richtlijnen. 24 Hiermee wordt de noodzaak tot randomisatie nog eens extra benadrukt, omdat in observationele onderzoeken deze factoren de uitkomsten makkelijk kunnen vertekenen. Op grond van de grotere tevredenheid van deelnemers zou onze voorkeur voor nascholing uitgaan naar probleemgestuurd onderwijs. Deze review geeft naar onze mening echter geen aanleiding om probleemgestuurd onderwijs voor nascholing op dit moment op grote schaal te propageren.
Dankbetuiging
Dit onderzoek is ondersteund door de Nederlandse organisatie voor Wetenschappelijk Onderzoek (NWO), als onderdeel van het prioriteitprogramma over Psychische vermoeidheid en werk, en de Netherlands School of Public and Occupational Health.
Literatuur
- 1.↲Dolmans D, Schmidt HG. The advantages of problem-based curricula. Postgrad Med J 1996;72:535-8.
- 2.↲↲Albanese MA, Mitchell S. Problem based learning: a review of literature on its outcomes and implementation issues. Acad Med 1993;68:52-81.
- 3.↲↲Vernon DT, Blake RL. Does problem based learning work? A metaanalysis of evaluation research. Acad Med 1993;68:550-63.
- 4.↲↲Berkson L. Problem based learning: have the expectations been met. Acad Med 1993;68:579-88.
- 5.↲Norman GR, Schmidt HG. The psychological basis of problem-based learning: a review of evidence. Acad Med 1993;67:557-65.
- 6.↲Colliver JA. Effectiveness of problem-based learning curricula: research and theory. Acad Med 2000;75:259-66.
- 7.↲Bennett NL, Davis DA, Easterling WE, Friedmann P, Green JS, Koeppen BM, et al. Continuing Medical Education: A new vision of the professional development of physicians. Acad Med 2000;75:1167- 72.
- 8.↲David TJ, Dolmans DHJM, Patel L, Van der Vleuten CPM. Problem based learning as an alternative to lecture-based continuing medical education. J R Soc Med 1998;91:626-30.
- 9.↲↲↲Davis D, O'Brien MA, Freemantle N, Wolf FM, Mazmanian P, Taylor- Vaisey A. Impact of formal continuing medical education. Do conferences, workshops, rounds, and other traditional continuing education activities change physician behaviour or health care outcomes? JAMA 1999;282:867-74.
- 10.↲Sanci LA, Coffey CMM, Veit FCM, Carr-Gregg M, Patton GC, Day N, et al. Evaluation of the effectiveness of an educational intervention for general practitioners in adolescent health care: randomised controlled trial. BMJ 2000;320:224-30.
- 11.↲Wolf FM, Shea JA, Albanese MA. Towards setting a research agenda for systematic reviews of evidence of the effects of medical education. Teach Learn Med 2001;13:54-60.
- 12.↲Maudsley G. Do we all mean the same thing by Problem-based learning? A review of the concepts and formulation of the ground rules. Acad Med 1999;74:178-85.
- 13.↲Barrows HS. A taxonomy of problem-based learning methods. Med Educ 1986;20:481-6.
- 14.↲Sackett DL, Straus SE, Richardson WS, Rosenberg W, Haynes RB. Evidence-based Medicine: how to practice and teach EBM. 2th ed. New York: Churchill Livingston, 2000.
- 15.↲↲↲↲↲Chan DH, Leclair K, Kaczorowski J. Problem-based small-group learning via the internet among community family physicians: a randomised controlled trial. MD Computing 1999;16:54-8.
- 16.↲↲↲↲Heale J, Davis D, Norman G, Woodward C, Neufeld V, Dodd P. A randomised controlled trial assessing the impact of problem-based versus didactic teaching methods in continuing medical education. Research in medical education: proceedings of the Annual Conference in conjunct 1988;27:72-7.
- 17.↲↲↲↲Doucet MD, Purdy RA, Kaufman DM, Langille DB. Comparison of problem-based learning and lecture format in continuing medical education on headache diagnosis and management. Med Educ 1998;32:590-6.
- 18.↲Benjamin EM, Schneider MS, Hinchey KT. Implementing practical guidelines for diabetes care using problem-based learning. A prospective controlled trial using firm systems. Diabetes Care 1999;22:1672-8.
- 19.↲Moran JA, Kirk P, Kopelow M. Measuring the effectiveness of a pilot continuing medical education program. Can Fam Physician 1996;42:272-6.
- 20.↲Premi J, Shannon S, Hartwick K, Lamb S, Wakefield J, Williams J. Practice-based small-group CME. Acad Med 1994;10:800-2.
- 21.↲Norman GR, Schmidt HG. Effectiveness of problem-based curricula: theory, practice and paper darts. Med Educ 2000;34:721-8.
- 22.Albanese MA. Problem-based learning: Why curricula are likely to show little effect on knowledge and clinical skills. Med Educ 2000;34:729-38.
- 23.↲Ten Cate ThJ. What happens to the student? The neglected variable in educational outcome research. Adv Health Sci Edu Theory Pract 2001;6:81-8.
- 24.Grol R, Jones R. Twenty years of implementation research. Fam Pract 2000;17:S32-S35.
Reacties
Er zijn nog geen reacties.