Kennis over consultvoering: een toets voor huisartsopleiders

Inleiding

De onderwijskundige kwaliteiten van huisartsopleiders zijn van groot belang voor de kwaliteit van de huisartsopleidingen, maar er bestaan weinig instrumenten om deze te toetsen. 1, 2 In het kader van een grootschalige toetsing van de opleiders ontwikkelde de huisartsopleiding AMC/UvA een toets om lacunes in de kennis over consultvoering van opleiders op te sporen en onderzocht de bruikbaarheid daarvan.

Achtergrond

In het voorjaar van 1998 hebben de huisartsopleiders van de Universiteit van Amsterdam deelgenomen aan een aantal toetsen. 3 De toetsing sloot aan op de introductie van een meerjarig curriculum voor opleiders met een andere opzet dan daarvoor en had een educatief doel. Enerzijds wilden wij aan individuele opleiders feedback kunnen geven over eigen kennis en vaardigheden, anderzijds op groepsniveau die onderwerpen vaststellen waarop bijscholing aangeboden zou kunnen worden. Een commissie bestaande uit huisartsopleiders, stafleden en haio's selecteerde de te toetsen onderwerpen en bepaalde de toetsvormen.

Eén van de onderdelen van de toetsing ging over consultvoering. Van huisartsopleiders wordt verwacht dat zij regelmatig een op video opgenomen consult van de haio nabespreken en de haio hierover feedback geven. Dit vereist van de huisartsopleider theoretische kennis op het gebied van de structuur en technieken van consultvoering en voldoende inzicht om, met behulp van de theorie, de sterkere en zwakkere onderdelen van een consult te kunnen benoemen. Omdat hiervoor geen kant-en-klaar toetsinstrument bestond, besloten wij in eigen beheer een toets te ontwikkelen en de bruikbaarheid ervan te onderzoeken.

Belangrijkste kwaliteitsmaten

Toetsen moeten voldoen aan twee belangrijke technische eisen: de validiteit (heeft men getoetst wat men beoogde te toetsen) en de betrouwbaarheid (zijn de toetsresultaten nauwkeurig en reproduceerbaar) moeten acceptabel zijn. Het doel van de toets en de zwaarte van de daaraan verbonden beslissingen bepalen uiteindelijk hoe strikt aan deze eisen de hand moet worden gehouden. Aan educatieve toetsen, die voor de deelnemers geen verstrekkende gevolgen kunnen hebben, worden minder hoge eisen gesteld dan aan selectieve toetsen. 4 Wij besloten de inhoudsvaliditeit en de betrouwbaarheid van de toets zo goed mogelijk procedureel te bewaken, en de uniformiteit van de beoordeling en de externe validiteit te onderzoeken. De uniformiteit van de beoordeling werd onderzocht door de scoringsresultaten van de drie beoordelaars onderling te vergelijken, die elk een willekeurig deel van de toetsen nakeken. Verwacht mocht worden dat eventuele verschillen geen ‘ware’ verschillen, maar beoordelingsverschillen zouden zijn. De externe (convergente) validiteit werd onderzocht door het oordeel van de eerstejaars haio's over de kwaliteiten van hun eigen opleider bij het onderwijzen van consultvoering te correleren met het eindresultaat van de toets. De beoordeling door de haio's en de toets vonden ongeveer gelijktijdig plaats. Daarnaast moest de toets goed uitvoerbaar zijn: de toets moest eenvoudig af te nemen zijn, zonder inzet van veel mankracht en technische faciliteiten. Ook de acceptatie door de deelnemers was voor ons een belangrijk criterium. Deze werd direct na afloop van de toets schriftelijk gevraagd.

Werkwijze

De toets werd ontwikkeld aan de hand van een video-opname van een consult van een haio in het eerste jaar van haar opleiding. We kozen juist dit consult omdat de haio in haar werkwijze zo duidelijk het consultmodel illustreerde dat in de opleiding wordt onderwezen. Een team van drie gedragswetenschappelijke medewerkers maakte de toetsvragen. Een eenvoudige toetsmatrijs specificeerde daarbij het domein van de toets: deze moest zowel kennis- als inzichtselementen omvatten, en in de vragen moesten verschillende consultfasen, gesprekstechnieken en specifiek jargon aan de orde komen. Na becommentariëring van de toets door andere docenten werden de definitieve vragen en de antwoordsleutel vastgesteld. De toets werd – onder examencondities – afgenomen bij de 79 deelnemende opleiders in groepen van 10-12 opleiders. De gemaakte toetsen werden door de drie opstellers van de toets blind beoordeeld. Eerst werd een steekproef van tien toetsen door alledrie nagekeken en besproken, om eventuele systematische verschillen in de interpretatie en/of beoordeling van antwoorden op te sporen en te verkleinen. Vervolgens werden de (geanonimiseerde) toetsen willekeurig over de drie beoordelaars verdeeld.

Resultaten

De toets bevatte de volgende vijf vragen:

• De haio begint met het verhelderen van de hulpvraag. Noem alle elementen van de hulpvraagverheldering die u waarneemt, zowel inhoudelijk als gesprekstechnisch.
• Hoe geeft de haio vorm aan de contracteringsfase van dit consult? Omschrijf haar formulering in enkele steekwoorden.
• In dit consult is goed te zien dat er gesprekstechnisch een verschil in vraagstijl is tussen de hulpvraagverheldering en de anamnese. Omschrijf dit verschil.
• De haio bespreekt haar bevindingen en het beleid met de patiënte. Wat vindt u de plus- en minpunten van haar aanpak? Licht uw antwoord toe, waarbij minstens drie onderdelen aan de orde komen.
• Wat vindt u van de afronding van het consult?

Voor elke vraag waren maximaal 2 punten te behalen, zodat de maximale score van de toets 10 punten was. De figuur geeft een overzicht van de totaalscores van de opleiders.

In tabel 2 is te zien hoe de toetsresultaten zich verhielden tot het oordeel van de haio's. Aan de haio's waren 7 stellingen voorgelegd waarmee zij de kwaliteiten van de opleider bij het consultvoeringsonderwijs op een vijfpuntsschaal nader konden specificeren. Wij berekenden de Pearson correlatiecoëfficient tussen de toetsscore van de opleider en het in de stellingen vervatte oordeel van de haio. Bij 5 van de 7 stellingen bleek het oordeel van de haio significant te correleren met de totaalscore van de opleider op de toets, waarbij de correlatiecoëfficiënten varieerden tussen 0,44 en 0,51.

Leerpunten en vervolg

Huisartsen in opleiding brengen gedurende twee jaar van hun opleiding vier dagen per week door in de praktijk van een huisartsopleider. De opleiders hebben dus een groot aandeel in het onderwijs en hebben, evenals de opleidingen, belang bij het krijgen van zicht op de kwaliteit daarvan. De door ons ontwikkelde kennistoets geeft hiervoor een bruikbaar instrument. Wij gingen bij het maken van de toets uit van de veronderstelling dat kennis over en inzicht in de structuur en technieken van consultvoering voorwaarden zijn om met succes consulten te kunnen nabespreken en dus bijdragen aan de kwaliteit van het onderwijs dat de opleider hierover aan de haio geeft. De huisartsopleiders deelden kennelijk die mening: zij vonden de toets relevant voor het opleiderschap en onderschreven daarmee de face-validity ervan. Ook bleken de toetsresultaten van de opleiders vrij hoog te correleren met het oordeel van de haio's over de kwaliteit van bijdrage van de opleider aan het consultvoeringsonderwijs. Opleiders die veel weten over consultvoering geven hierin in de ogen van de haio in het algemeen beter onderwijs dan opleiders die weinig weten. Hiermee is ook de externe validiteit van de toets aannemelijk gemaakt. Daarmee is niet gezegd dat het behalen van een hoge score op een toets als deze een voldoende voorwaarde is voor het geven van goed onderwijs door de opleider. Het nabespreken van een consult is een complexe activiteit, waarbij naast specifieke kennis en inzicht in consultvoering ook meer algemene onderwijskundige kennis en vaardigheden van de opleider een rol spelen. 5 De door ons ontwikkelde toets belicht daarmee slechts één aspect, en voor een meer representatief – en dus meer valide – beeld van de onderwijskundige kwaliteiten van opleiders zouden ook andere aspecten getoetst moeten worden. 6

Onze voornaamste conclusie is dat het mogelijk is gebleken om een toets te ontwikkelen die simpel is af te nemen, betrouwbaar kan worden beoordeeld, door de deelnemers relevant wordt gevonden en voldoende valide is. Omdat de toets relatief eenvoudig te maken is, kan hij gemakkelijk aangepast worden aan lokaal beschikbaar videomateriaal en toegespitst worden op het gegeven onderwijs. Wij hebben inmiddels zelf een tweede versie van de toets gemaakt, gebaseerd op een ander consult. Onlangs heeft een van de andere huisartsopleidingen nog een derde versie van de toets ontwikkeld voor een grootschalige toetsing. Dat niet alleen de toets zelf, maar ook de uitslag ervan voor de opleiders aanvaardbaar was, bleek tijdens de jaargesprekken die op de toetsing volgden. De opleiders vonden de feedback door de toetsresultaten over sterkere en zwakkere punten waardevol en wilden hierop ook actie ondernemen. De opleiding speelde op de resultaten in door het aanbod in consultvoeringsonderwijs aan de opleiders te verbreden. Al met al heeft de toets dus zowel voor de afdeling als voor de individuele huisartsopleiders richting gegeven aan het onderwijs. Daarmee is niet alleen het doel van de toetsing bereikt, maar ook een prikkel gegeven om op de ingeslagen weg door te gaan.