Samenvatting
ABSTRACT
Smulders S, Sagasser MH, Essers GT, Nijveldt MJ, Van Dijk N. What can we learn from the national knowledge test? Huisarts Wet 2021;64:64:DOI:10.1007/s12445-021-1163-6.
Background The knowledge of general practice trainees has been evaluated since 1987 with the National General Practitioner Knowledge Test (Landelijke Huisartsgenees-kundige Kennistoets, LHK). The reliability and validity of this test have been assessed previously. In this study, the educational value of the test was evaluated, investigating how knowledge develops during GP training, how the LHK test is used and rated as assessment and learning tool, and how it can be better tailored to learning goals.
Method The study had two phases: a qualitative phase during which GP trainees, GP teachers, and GP trainers were interviewed (the latter in a focus group interview) and a quantitative phase during which GP trainees completed a questionnaire. The open interview questions were coded and descriptive statistics were used for the questionnaires.
Results Casuistry in the training practice was the main stimulus for knowledge development, in addition to day refresher training, questions raised by supervisors, and LHK results. GP trainees, teachers, and trainers were largely satisfied with the content and structure of the LHK, but there was only a limited explanation of the educational aspects. There was considerable emphasis on the selection aspect of the test – passing the test seemed most important for GP trainees. The total score (inadequate, adequate, and good) was reviewed and extensive feedback was analysed if students had inadequate scores. Results had only a limited effect on learning goals. Trainees who had received extensive feedback/discussion found the LHK of greater value for knowledge development. A better explanation and more attention for the extensive feedback are desirable in order to stimulate learning.
Conclusion The LHK is a valuable assessment instrument in GP training, but with the current use it is of limited value as learning tool.
Wat is bekend?
-
Sinds 1987 wordt de kennis van huisartsen in opleiding getoetst met een voortgangstoets.
-
Eerder onderzoek wees uit dat de LHK een valide en betrouwbaar meetinstrument is.
Wat is nieuw?
-
Zowel aiossen als docenten en opleiders waarderen de LHK als toetsinstrument.
-
Er ligt veel nadruk op het halen van de toets en weinig nadruk op wat aiossen van de toets kunnen leren.
-
Meer aandacht voor feedback op de toets vergroot de educatieve waarde van de LHK.
-
Betere uitleg vooraf en meer gestructureerde aandacht voor feedback achteraf, ook bij aiossen die voldoende scoren, vergroot de effectiviteit van de LHK als instrument om van te leren.
Voortgangstoetsing is een beproefde methode in probleemgestuurd medisch onderwijs.1 In 1987 werd de landelijke voortgangstoets voor huisartsen in opleiding geïntroduceerd. Wat begon als experiment werd later verfijnd tot de Landelijke Huisartsgeneeskundige Kennistoets (LHK).2 De toets was aanvankelijk bedoeld om de kennisontwikkeling inzichtelijk te maken voor de opleiding en aiossen individueel inzicht te geven in hun vorderingen. De uitslag had geen consequenties voor de studievoortgang. Na 1995 veranderde dit en werd de (halfjaarlijkse) LHK belangrijker. In 2005 werd de 50%-norm ingevoerd, waarbij aiossen in elk opleidingsjaar ten minste 1 LHK voldoende moesten maken. In 2016 werd die norm weer losgelaten, in de nieuwe visie op programmatisch toetsen kwam meer nadruk te liggen op veel verschillende meetmomenten om feedback te kunnen geven.3
Verschillende aspecten van de LHK – waaronder validiteit, betrouwbaarheid en representativiteit voor de competentie ‘medisch handelen in de dagelijkse praktijk’ – zijn al eens onderzocht.567 We hebben echter minder zicht op de manier waarop LHK-uitslagen binnen opleidingsinstellingen worden gebruikt in individuele opleidingsplannen. Om inzicht te krijgen in het verloop van de kennisontwikkeling bij aiossen formuleerden we de volgende onderzoeksvragen.8
-
Hoe verloopt het proces van kennisontwikkeling binnen de huisartsopleiding?
-
Hoe is het huidige gebruik van de LHK als toets- dan wel leerinstrument en wat zijn de opvattingen hierover?
-
Wat zou maken dat de LHK als toets- dan wel leerinstrument (nog) beter aansluit bij de leerbehoefte of kennisontwikkeling van aiossen?
De landelijke huisartsgeneeskundige kennistoets
De LHK wordt tweemaal per jaar afgenomen onder alle aiossen. De toets bestaat uit 120 meerkeuzevragen (met vraagtekenoptie) over medisch-inhoudelijke onderwerpen met een vaste verdeling over 16 ICPC-categorieën, en huisartsgeneeskundig-theoretische onderwerpen.4 Daarnaast zijn de vragen verdeeld over vaste nevenrubrieken: chronisch versus niet-chronisch, spoedeisend versus niet-spoedeisend, en leeftijd < 16, 16-75 of > 75 jaar. Iedere vraag begint met een casusbeschrijving die aansluit bij de dagelijkse praktijk.
De uitslag is het aantal goede minus het aantal foute antwoorden. Omdat elke LHK volledig nieuw wordt gemaakt, gebruikt men bij de beoordeling een relatieve norm: per referentiegroep worden de gemiddelde score, de standaarddeviatie en de grenswaarden voor onvoldoende, voldoende en goed bepaald. Aiossen krijgen een totale uitslag (onvoldoende, voldoende of goed) en uitgebreide feedback per deelonderwerp (ICPC en nevenrubriek).
Methode
Onze getrapte onderzoeksopzet omvatte achtereenvolgens kwalitatief onderzoek (interviews en focusgroep) en kwantitatief onderzoek (vragenlijst).
Interviews
Het kwalitatieve onderzoek had tot doel een beeld te krijgen op basis waarvan we een gerichte vragenlijst voor het kwantitatieve onderzoek konden opstellen. De Werkgroep Toetsing (het landelijk overleg van toetscoördinatoren) selecteerde per opleidingsinstituut 1 aios en 1 ervaren huisartsdocent, die we een semigestructureerd interview afnamen. Daarnaast organiseerden we een focusgroepinterview van opleiders, met een huisartsdocent als moderator. Eén onderzoeker (SS) nam de individuele interviews af tussen juni 2016 en januari 2017; de resultaten werden iteratief verwerkt in protocollen voor de volgende interviews. Het focusgroepinterview vond plaats in februari 2017. Alle deelnemers verleenden informed consent. De Ethical Review Board van de Nederlandse Vereniging voor Medisch Onderwijs gaf toestemming voor het onderzoek (NERB-dossier nr. 734).
Alle interviews werden volledig getranscribeerd en ingevoerd in Kwalitan®. Twee onderzoekers (SS en MN) pasten onafhankelijk van elkaar open (inductieve) codering toe op 2 interviewtranscripten, vergeleken de codes en discussieerden over verschillen totdat consensus was bereikt. Eén onderzoeker (SS) codeerde de overige transcripten, inclusief dat van de focusgroep. SS en MN identificeerden gezamenlijk thema’s en subthema’s, en bespraken deze met de andere onderzoekers. Als uit een interview geen nieuwe inzichten meer voortkwamen, vonden de auteurs dat saturatie was bereikt.
Vragenlijst
Na bespreking van de voorlopige interviewresultaten met de Werkgroep Toetsing formuleerden we de vragenlijst voor aiossen [addendum]. Deze lijst bevatte 22 gesloten en 3 open vragen over praktische, belevings- en educatieve aspecten van de LHK. Ook de vragenlijst werd goedgekeurd door de Ethical Review Board (NERB-dossier nr. 923).
We legden de vragenlijst, met een informatiebrief, voor aan alle aios die deelnamen aan de LHK van oktober 2017. Respondenten vulden de vragenlijst anoniem in en gaven informed consent.
Analyse
Statistische berekeningen zijn uitgevoerd met SAS®. Naast beschrijvende statistiek gebruikten we de chikwadraattoets om de samenhang tussen variabelen te beoordelen, met Cramer’s V als maat voor samenhang bij nominale variabelen. Voor de mate van samenhang (gering, middelgroot of groot) gebruikten we de richtlijnen van Cohen.9
Voor de open vragen werd kwalitatieve analyse gebruikt. Twee onderzoekers (SS en MN) pasten onafhankelijk van elkaar open codering toe op de eerste 200 antwoorden, vergeleken de resultaten en bereikten waar nodig consensus via discussie. SS codeerde de overige antwoorden volgens dezelfde methode.
Tot slot combineerden we de kwalitatieve en de kwantitatieve resultaten.
Resultaten
Algemene resultaten
In totaal interviewden we 8 aiossen en 8 docenten, in elke groep 4 vrouwen. Van de aiossen zaten er 5 in het derde jaar, 2 in het tweede jaar en 1 in het eerste jaar. De geïnterviewde docenten werkten als groepsbegeleider of hadden dat gedaan. Aan het focusgroepinterview namen 5 opleiders deel (3 vrouwen, 2 mannen), verbonden aan 3 verschillende instituten. Allen waren minstens 6 jaar opleider.
De vragenlijst werd voorgelegd aan 2325 aios; 1778 vragenlijsten (76%) kwamen ingevuld retour. De mediane leeftijd van deze aiossen (hierna kortweg ‘respondenten’ genoemd) was 29 jaar; 24% was man; 36% was eerstejaars, 29% tweedejaars en 35% derdejaars; 19% had eenmaal eerder onvoldoende gescoord op een LHK en 7% had meermaals onvoldoende gescoord.
Kennisontwikkeling en kennisniveau
Uit de interviews kwam het volgende beeld naar voren. Casuïstiek uit de praktijk was de belangrijkste aanleiding om kennislacunes te ontdekken en leeractiviteiten te ondernemen. Denk daarbij aan iets nazoeken in richtlijnen en literatuur, iets bespreken met de opleider of op de terugkomdag, en soms gericht aanpassen van het spreekuuraanbod. Zo’n activiteit leverde regelmatig nieuwe leervragen op. Ook lessen op terugkomdagen, kritische vragen van de opleider en de toets zelf werden vaak genoemd als aanleiding voor kennisontwikkeling.
Docenten en opleiders droegen bij aan kennisontwikkeling door te vertellen hoe je kennis in de praktijk toepast, door een rolmodel te zijn voor levenslang leren, door aios te stimuleren zelf tot een antwoord te komen en hen kritisch te bevragen, door feedback te geven na (video)observaties en door de kennisontwikkeling te structureren.
Docenten hechtten aan een goede kennisbasis. Zij lieten het oordeel van opleiders zwaar meewegen, maar hielden ook rekening met de toetsuitslagen en de inbreng tijdens terugkomdagen. Docenten vertelden dat uitschieters in kennisniveau vrij snel duidelijk waren, maar dat het moeilijker was een beeld te krijgen van de middengroep. Opleiders baseerden hun oordeel op nabesprekingen van casuïstiek en (in)directe observatie van consulten, soms checkten ze dossiers.
De LHK als toetsinstrument
De uitleg die aan de LHK voorafgaat, gaat vooral over de praktische kanten van de toets en minder over het educatieve doel ervan. De voorbereidingstijd van de aiossen varieerde sterk, een kwart zei zich niet voor te bereiden. De mediane voorbereidingstijd was 3 uur, dit werd significant minder naarmate de opleiding vorderde.
Tijdens de interviews viel op dat voor aiossen het halen van een voldoende het belangrijkst leek. De vragenlijst bevestigde dat beeld: de meeste aiossen (44%) gaven ‘een voldoende halen’ de hoogste prioriteit, 21% koos ‘inzicht in kennislacunes’, 16% koos ‘inzicht krijgen in mijn kennisniveau’, 15% koos ‘monitoren van de voortgang van mijn kennis’ en 4% koos ‘richting geven aan mijn leerdoelen/leerplan’.
Voor docenten heeft de LHK een duidelijk, maar niet absoluut gewicht bij voortgangsbeslissingen. Vooral in twijfelgevallen kan de uitslag bepalend zijn.
De geïnterviewden waren overwegend positief over de LHK als toetsinstrument. Aiossen vonden de vragen en onderwerpen relevant, met uitzondering van de ‘feitjesvragen’. Van de respondenten vond 74% de vragen en onderwerpen (zeer) relevant, 21% vond ze neutraal en 5% vond ze (helemaal) niet relevant.
Ook de geïnterviewde opleiders en docenten vonden de inhoud adequaat. Ze waardeerden de casusvorm van de vragen omdat deze goed aansluit bij de praktijk en ze schatten de betrouwbaarheid in als redelijk goed. Docenten vertelden dat de toets hun beeld van het kennisniveau overwegend bevestigde.
Zowel aiossen als docenten gaven aan dat aios rondom de LHK vaak druk ervoeren om een voldoende te halen, maar ook dat ze plezier hadden in het maken van de toets. Van de respondenten gaf 25% aan (veel) stress te hebben en 35% (veel) plezier.
De LHK als leerinstrument
Voor aios waren de LHK-vragen regelmatig aanleiding om antwoorden na te zoeken of te bespreken, zowel direct na de toets als na teruggave van het toetsboekje. Bij de uitslag keken aios voornamelijk naar de totale score en minder naar de uitgebreide feedback. Een minderheid van de respondenten (20%) gaf aan dat de LHK-uitslag daadwerkelijk leidde tot het aanpassen van hun eigen leerdoelen. Of de LHK inhoudelijk werd nabesproken verschilde per aiosgroep, maar de aios vonden het meestal nuttig om vragen na te bespreken.
Bij een voldoende op de LHK besteden docenten en opleiders – net als aios – weinig aandacht aan feedback. Van de respondenten had 4% na de vorige LHK de feedback besproken met hun docent en 16% met hun opleider. Bij een onvoldoende werd meer aandacht besteed aan feedback en werd van de aios vaak een plan van aanpak verwacht.
Aiossen hechtten desgevraagd wel waarde aan de feedback (in de vragenlijst 60%) en vonden dat het nuttig zou zijn daar meer aandacht aan te besteden. In de vragenlijst vroegen we in hoeverre de respondenten de LHK vonden bijdragen het opsporen van kennislacunes, het (her)formuleren van leerdoelen en de kennisontwikkeling [tabel 1].
Bij analyse van de antwoorden op de vragenlijst vonden we een significant verband tussen het al dan niet bekijken of bespreken van eerdere feedback (vraag 11) en de waardering voor de bijdrage van de LHK aan kennislacunes, leerdoelen en leerplan (vragen 14, 15 en 16). Respondenten die niets deden met de feedback, oordeelden negatief over deze bijdrage, respondenten die dat wél deden, oordeelden positief [tabel 2].
Aansluiting bij de leerbehoefte
Zowel aiossen als docenten gaven aan dat aan het begin van de opleiding meer uitleg over het educatieve doel van de LHK belangrijk is. Aiossen vonden het ook belangrijk duidelijkheid te hebben over hoe de LHK wordt meegewogen bij voortgangsbeslissingen.
Aiossen hadden commentaar op de ‘feitjesvragen’. Ze zouden graag meer vragen willen waarin klinisch redeneren centraal staat. Een aantal aiossen suggereerde dat een (gedeeltelijk) openboektentamen de toets meer in overeenstemming zou brengen met de dagelijkse praktijk.
Een aantal aiossen opperde de eerste LHK-uitslag als ‘nulmeting’ te beschouwen en niet mee te nemen bij de beoordeling; dit zou het educatieve karakter van de toets meer benadrukken.
Een veelgenoemde wens, zowel in de interviews als in de vragenlijst, was meer aandacht te besteden aan de feedback van de LHK, ook bij voldoende maken. Aiossen dachten dat snellere feedback hen zou helpen meer met de uitslag te doen.
Beschouwing
De LHK wordt gewaardeerd als toetsinstrument, maar komt als leerinstrument beperkt tot zijn recht. Het is vooral de casuïstiek in de opleidingspraktijk die kennisontwikkeling stimuleert – naast lessen op terugkomdagen, de LHK zelf en kritische vragen van de opleider. Dit is in lijn met eerder onderzoek.10111213 Voldoende en gevarieerd casuïstiekaanbod is dus van groot belang.
Aiossen, docenten en opleiders waarderen de LHK als toets-instrument en vinden de vragen en onderwerpen uit de toets relevant. Ook dit is in eerder onderzoek beschreven.25 Als leerinstrument komt de LHK minder uit de verf. Een positief effect is dat aiossen direct leren van de vragen (met bijbehorende casuïstiek) en inzicht krijgen in de eigen kennislacunes. Naar de feedback wordt echter vooral omgekeken bij een negatieve uitslag. Bij een voldoende uitslag gebeurt dat weinig en worden leerdoelen maar beperkt aangepast. Hierbij speelt mee dat aiossen het ‘halen van de toets’ als belangrijkste doel zien en tevreden zijn met een voldoende. Belangrijk is dat aiossen die meer aandacht besteden aan de feedback de LHK meer waarderen en ook meer inzetten als leerinstrument, wat past binnen het model van programmatisch toetsen.14
Sterke punten en beperkingen
Sterke punten van ons onderzoek zijn de getrapte onderzoeksopzet, waardoor uitkomsten uit de interviews konden worden onderzocht in hele populatie, en de hoge respons op de vragenlijst. Zwak punt was dat het aantal geïnterviewden van tevoren vastlag en niet werd bepaald door de mate van saturatie. Op veel punten werd saturatie bereikt, maar achteraf is onduidelijk of dat voor alle punten geldt. Door van elk instituut 1 aios en 1 docent te interviewen, konden we wel controleren op instituutsverschillen. Een beperking is dat de interviewer ook het coderen uitvoerde, wat kan hebben geleid tot ‘interviewerbias’. De tweede codeerder had deze bias echter niet. Een laatste beperking is dat, ondanks het anoniem invullen van de vragenlijst, aiossen bij het invullen mogelijk sociaal wenselijk hebben geantwoord en dat dit invloed heeft op de resultaten.”
Aanbevelingen
De LHK is opgezet om huisartsen in opleiding inzicht te geven in hun kennislacunes en te helpen in hun leerproces. Later is de nadruk steeds meer op het selectieve aspect komen te liggen. Het nadeel daarvan is dat aiossen die een voldoende halen (het overgrote deel) nauwelijks aandacht hebben voor feedback op de toets en dat opleiders en docenten hen daarin weinig stimuleren. Een aios die bij elke toets een voldoende eindscore haalt, kan op bepaalde deelgebieden structureel onvoldoende scoren zonder dat aan die gebieden extra aandacht wordt besteed. Dat is een gemiste kans.
De LHK is meer dan een meetinstrument. Het is ook een leerinstrument en het is belangrijk dat aiossen, docenten en opleiders de toets ook als zodanig gebruiken. Wij pleiten voor een aanpak met goede uitleg vooraf en een vaste routine rondom de uitslag, waarbij aiossen met hun opleider naar de feedback kijken, deze vergelijken met de feedback van eerdere LHK’s, waar nodig leerdoelen aanpassen en hierop terugkomen tijdens de terugkomdagen. Zo wordt de LHK een bruikbaar hulpmiddel in het leerproces.
Conclusie
De LHK wordt gewaardeerd als toetsinstrument binnen de huisartsopleiding, maar het is ook een leerinstrument. Doordat er te veel aandacht is voor het selectieve aspect en te weinig voor feedback op de uitslagen, komt het educatieve aspect te weinig tot zijn recht.
| Kunt u aangeven in hoeverre de LHK bijdraagt aan: | (Helemaal) niet | Neutraal | (Zeer) sterk |
|---|---|---|---|
| Opsporen kennislacunes | 19% | 27% | 54% |
| (Her)formuleren leerdoelen | 43% | 35% | 23% |
| Kennisontwikkeling | 14% | 30% | 56% |
| Actie op feedback (vraag 11) | Leerdoelen of opleidingsplan aangepast (vraag 14) | LHK draagt bij aan opsporen van kennislacunes (vraag 15) | LHK draagt bij aan (her)formuleren van leerdoelen of opleidingsplan (vraag 16) |
|---|---|---|---|
| Zelf bekeken en conclusies getrokken |
X2 25,7; p < 0,0001 Cramer’s V 0,12 geringe samenhang* |
X2 48,4; p < 0,0001 Cramer’s V 0,17 geringe samenhang* |
X2 11,9; p 0,0025 Cramer’s V 0,08 geen samenhang |
| Inhoudelijk besproken met docent |
X2 63,8; p < 0,0001 Cramer’s V 0,20 geringe samenhang* |
X2 6,5; p 0,04 Cramer’s V 0,06 geen samenhang |
X2 42,5; p < 0,0001 Cramer’s V 0,16 geringe samenhang* |
| Inhoudelijk besproken met opleider |
X2 188,8; p < 0,0001 Cramer’s V 0,34middel grote samenhang* |
X2 31,7; p < 0,0001 Cramer’s V 0,14 geringe samenhang* |
X2 69,8; p < 0,0001 Cramer’s V 0,20 geringe samenhang* |
| Niet inhoudelijk bekeken of besproken |
X2 75,1; p < 0,0001 Cramer’s V 0,21 middelgrote negatieve samenhang |
X2 104,2; p < 0,0001 Cramer’s V 0,25 geringe negatieve samenhang |
X2 75,0; p < 0,0001 Cramer’s V 0,21 geringe negatieve samenhang |
Literatuur
- 1.↲Van der Vleuten C, Verwijnen G, Wijnen W. Fifteen years of experience with progress testing in a problem-based learning curriculum. Medical Teacher 2009;18:103-9.
- 2.↲↲Van Niel A, Ket P, Düsman H. Hoe was de toets? Het oordeel van de deelnemers aan de Landelijk Huisartsgeneeskundige Kennistoets. Houten: Gezond Onderwijs Congres 6, 1997.
- 3.↲Van der Post K, Reinders M, Van de Vijver P, Nijveldt M. Landelijk opleidingsplan voor de opleiding tot huisarts. Utrecht: Huisartsopleiding Nederland, 2016.
- 4.↲Pollemans M, Van Leeuwen Y, Düsman H, Eekhof J, Mol S. Achtergronden blauwdruk huisartsgeneeskundige kennistoets. Utrecht: SV-IOH, 1993.
- 5.↲↲Van Leeuwen YD. Growth in knowledge of trainees in general practice: figures on facts [proefschrift]. Maastricht: Universitaire Pers Maastricht, 1995.
- 6.↲Pollemans M. Kennistoetsing bij huisartsen [proefschrift]. Maastricht: Universitaire Pers Maastricht, 1994.
- 7.↲Ram P. Comprehensive assessment of general practitioners: a study on validity, reliability and feasibility [proefschrift]. Maastricht: Universiteit Maastricht, 1998.
- 8.↲Smulders S, Sagasser G, Essers G, Nijveldt M, Van Dijk N. De Landelijke Huisartsgeneeskundige Kennistoets (LHK) onder de loep. Utrecht: Huisartsopleiding Nederland, 2020.
- 9.↲Cohen J. Statistical power analysis for the behavioral sciences. New York: Routledge, 1988.
- 10.↲Mordang SB, Vanassche E, Smeenk FW, Stassen LP, Könings KD. Residents’ identification of learning moments and subsequent reflection: impact of peers, supervisors and patients. BMC Med Educ 2020;20:484.
- 11.↲Van de Wiel MW, Van den Bossche P, Janssen S, Jossberger H. Exploring deliberate practice in medicine: how do physicians learn in the workplace? Adv Health Sci Educ Theory Pract 2011;16:81-95.
- 12.↲Teunissen PW, Scheele F, Scherpbier AJ, Van der Vleuten CP, Boor K, Van Luijk SJ, et al. How residents learn: qualitative evidence for the pivotal role of clinical activities. Med Educ 2007;41:763-70.
- 13.↲Teunissen PW, Boor K, Scherpbier AJ, Van der Vleuten CP, Van Diemen-Steenvoorde JA, Van Luijk SJ, et al. Attending doctors’ perspectives on how residents learn. Med Educ 2007;41:1050-8.
- 14.↲Heeneman S, Schut S, Donkers J, Van der Vleuten C, Muijtjens A. Embedding of the progress test in an assessment program designed according to the principles of programmatic assessment. Med Teach 2017;39:44-52.
Reacties
Er zijn nog geen reacties.
