Toetsing van huisartsopleiders

Inleiding

Het onderwijs dat in het laatste deel van de medische basisopleiding en in de vervolgopleidingen wordt gegeven, vindt voor een belangrijk deel plaats in een meester-gezel-situatie; vaak is dit de kern van het onderwijsproces. 1 Ook tijdens de huisartsopleiding brengt de aanstaande huisarts (haio) veel tijd door in de stagepraktijk van een opleider. Om deze één-op-één-onderwijssituatie optimaal te kunnen benutten, dienen de opleiders getraind te zijn in de daarvoor vereiste didactische kwaliteiten. Huisartsopleiders worden geschoold door stafleden van ‘hun’ afdeling Huisartsopleiding. Dat gebeurt tijdens een introductiecursus en acht verplichte scholingsdagen per jaar. 2 Daarnaast zijn er sinds 1994 landelijke cursussen voor opleiders – de Beekbergencursussen – waaraan inmiddels enkele honderden huisartsopleiders hebben deelgenomen. 3 Al in 1986 werd in het rapport ‘Evaluatie van huisartsopleiders’ voorgesteld om huisartsopleiders te toetsen. 4 Dit voorstel is destijds echter niet verder uitgewerkt en implementatie heeft niet plaatsgevonden. Bij elke toetsmethode gaat het om een beoordeling die volgt uit de trias meten – waarderen – beslissen. Dat houdt het volgende in:

• De meting moet valide en betrouwbaar zijn: men meet wat men wil m/weten, en de meting levert bij herhaling dezelfde gegevens op.
• Er moet een norm zijn: bij voorbaat staat vast hoe de gevonden gegevens worden gewaardeerd.
• Het doel van de toets moet duidelijk zijn. Gaat het om een beoordeling die moet leiden tot prestatieverbetering (een educatieve beoordeling met de toets als leermiddel) of om selectie? 5

• Welke toetsinstrumenten voor huisartsopleiders zijn momenteel in gebruik?
• In hoeverre voldoen deze instrumenten en de toetsing waarvoor ze gebruikt worden, aan de bovengenoemde voorwaarden?

Methode

Wij richtten aan alle afdelingen Huisartsopleiding in Nederland en aan het Interuniversitair Centrum voor de Huisartsenopleiding (ICHO) in Vlaanderen een schriftelijk verzoek om de in gebruik zijnde didactische toetsinstrumenten voor huisartsopleiders op te sturen. Letterlijk vroegen wij naar ‘de toetsen en de toetsinstrumenten voor opleiders, bijvoorbeeld een kennistoets (gericht op didactische kennis), checklists voor didactische vaardigheden, zelfbeoordelingsinstrumenten en scorelijsten bij observaties van (video's van) leergesprekken of andere didactische activiteiten’. Zaken als vakbekwaamheid en randvoorwaarden werden dus buiten beschouwing gelaten. Van de opgestuurde instrumenten werd per afdeling een overzicht gemaakt dat werd voorgelegd aan deze afdeling met de vraag of onze weergave correct was. De instrumenten uit de geaccordeerde overzichten werden gecategoriseerd naar toetsvorrn. Vervolgens werden de verschillende instrumenten vergeleken met de eisen van de toets-trias.

Resultaten

Alle acht afdelingen in Nederland en het ICHO voldeden aan het verzoek. De afdelingen reageerden alle op de toegestuurde overzichten en brachten correcties aan.

Methoden en instrumenten

De meest gebruikte methode is de beoordeling door de haio aan het eind van een opleidingsperiode ( tabel). De daarbij gebruikte instrumenten zijn lijsten met aandachtspunten, bijvoorbeeld: Hoe beoordeel je ten aanzien van de docentfunctie van de huisartsopleider (hao) op een schaal van 1-10:

• de leerzaamheid van de dagelijkse nabespreking?
• de leerzaamheid van de andere leergesprekken (themabespreking, casusbespreking)?
• de leerzaamheid van de spreekuur observaties?
• de leerzaamheid van de bespreking van de op video opgenomen haio-consulten?

Een tweede methode is het voeren van evaluatiegesprekken met de opleiders door een staflid (functionerings- of voortgangsgesprek). Een derde methode is de onderlinge toetsing en het invullen van zelfbeoordelingslijsten tijdens (of voorafgaand aan) scholingsdagen voor opleiders. Verder wordt gebruik gemaakt van toetsing van opleiders in een gestandaardiseerde setting, zoals een stationstoets. Bij het ICHO wordt daarbij ook gebruikt gemaakt van simulatie-haio's.

Validiteit meting

Voor een oordeel over de inhoudsvaliditeit van de gebruikte instrumenten zou men moeten beschikken over een ‘gouden standaard’, een profiel van de ideale opleider. Maastricht, het ICHO en de UvA beschikken over uitgebreide beschrijvingen van de kenmerken, persoonlijke eigenschappen, vaardigheden en houding van de ideale huisartsopleider; elders beperkt men zich tot hoofdlijnen. Waarop deze beschrijvingen zijn gebaseerd blijft onduidelijk, terwijl de criteria die bij het eerste instrument – de beoordeling door de haio – worden gebruikt, niet aansluiten bij deze profielen. Voor het tweede instrument – de evaluatiegesprekken met een staflid – bestaan geen vaste criteria; de gehanteerde criteria zijn hooguit indicatief geformuleerd. De validiteit van het derde instrument, de zelfbeoordeling, heeft veelal dezelfde criteria als het eerstgenoemde instrument. Ten slotte geldt voor de door het ICHO en aan de UvA ontwikkelde stationstoetsen dat zij door nauwkeurig uitgeschreven criteria beter scoren op het punt van validiteit. Deze toetsen meten vooral vaardigheden en in mindere mate houding, kennis en persoonlijke eigenschappen. Ook hier ontbreekt echter een expliciete operationalisatie van het profiel van de ideale opleider. Kortom, de geformuleerde criteria zijn niet onderbouwd en beslaan slechts een deel van de gouden standaard, waardoor de validiteit van elk instrument afzonderlijk beperkt is.

Betrouwbaarheid meting

De betrouwbaarheid van alle toetsinstrumenten is discutabel, behalve die van de stationstoetsen. Het enige instrument waarvan de betrouwbaarheid is onderzocht en gekwantificeerd, is de toets van het ICHO. 6,7

Normen

De instrumenten zijn ingebed in een toetsproces, de toetsmethode. De verdere stappen in dat proces volgen op de meting, die met behulp van het toetsinstrument is verricht. Nergens blijken normen voor de toetsen te zijn vastgelegd. Waar een profiel van de ideale opleider wordt gehanteerd, bestaat in feite alleen een referentiekader bij de verschillende toetsen; daarmee is geen norm geformuleerd, maar alleen het maximaal haalbare. Het is dus aan de haio, aan het staflid of aan de opleider zelf (bij zelfbeoordeling) om te bepalen welke kenmerken de opleider in voldoende mate bezit.

Beslissing

Nergens worden de toetsinstrumenten gebruikt als selectiemiddel. De te nemen beslissingen zijn steeds gericht op suggesties om de prestaties van de opleiders te verbeteren (feedback), dus educatief.

Beschouwing

Bij alle aangeschreven huisartsopleidingen zijn toetsinstrumenten in gebruik om de kwaliteit van opleiders vast te stellen. Onder het woord ‘toetsinstrument’ worden zeer uiteenlopende zaken verstaan. Het maakt een vergelijking van de kwaliteit van opleiders, maar ook van de gebruikte methoden lastig. In het algemeen wordt veel belang gehecht aan het opleidersgedrag in de praktijk. De relatie met het onderwijs, dat aan opleiders is gegeven, wordt alleen bij de toets van de UvA expliciet gelegd. De toetsinstrumenten sluiten qua formuleringen en criteria – áls die gegeven worden – niet aan bij bestaande profielen van de ideale opleider. Inmiddels is door eerder verricht onderzoek een profiel van de ideale opleider vastgesteld. 8 Nu bekend is wat men wil meten, kan dat een aanzet zijn voor de ontwikkeling van opleiderstoetsen met een betere validiteit. De toetsmethode die tegen het licht van de toets-trias als beste mag worden beschouwd is de stationstoets. Een bezwaar is dat de stationstoets qua organisatie ingewikkeld is, bovendien zeer arbeidsintensief en voornamelijk gericht op vaardigheden en minder op houding, kennis en persoonlijke eigenschappen. Er is nog geen norm vastgelegd voor deze toetsen. Bij alle overige methoden wordt (te) veel overgelaten aan het oordeel van de haio of van het staflid of aan de zelfbeoordeling van de opleider. Met name door dit laatste wordt overigens wel reflectie op het opleiderschap gestimuleerd. Het is duidelijk: de trias meten - waarderen – beslissen staat bij de verschillende methoden zwaar onder druk. Is het wellicht te streng om de maat van de toets-trias te gebruiken? Het zijn immers methoden die zijn ontwikkeld uit een behoefte om opleiders feedback te geven over hun kwaliteiten als opleider. Toch dient ook (juist) voor het geven van feedback een goede methode gebruikt te worden. Door de trias te hanteren wordt duidelijk op welke punten nog verbeteringen in de toets wenselijk en mogelijk zijn.

Conclusie

Het beoordelen van opleiders met een educatief doel is een belangrijke aanzet tot verbetering van de didactische kwaliteit van opleiders. De beoordeling zou een onderdeel moeten zijn van een cyclisch proces, waarbij de toetsing het onderwijs aan opleiders stuurt en het effect van dat onderwijs wordt beoordeeld met een volgende toetsing. Om op deze manier benut te kunnen worden, moet de toetsing voldoen aan een aantal basisvoorwaarden. Uit de beschreven inventarisatie blijkt dat er ook bij de huisartsopleiding nog veel winst te behalen valt op dit punt. Stapsgewijs zou gewerkt moeten worden aan het ontwikkelen van valide en betrouwbare toetsinstrumenten voor opleiders, gekoppeld aan het gegeven onderwijs. Opleiders kunnen dan op basis van de toetsuitslag hun didactisch gedrag zo nodig veranderen of gericht (bij)scholen. Mettertijd zal duidelijk moeten worden wat van de verschillende toetsen de norm of de ondergrens is, waaraan de opleiders (na het volgen van het onderwijs) moeten voldoen.

Dankbetuiging

Met dank aan de afdelingen Huisartsopleiding voor hun loyale medewerking aan dit onderzoek.