Hoe goed is de selectie voor de huisartsenopleiding?

Samenvatting

Vermeulen MI, Kuyvenhoven MM, Zuithoff NPA, Van der Graaf Y, Damoiseaux RAMJ. Hoe goed is de selectie voor de huisartsenopleiding? Huisarts Wet 2014;57(1):10-3.

De selectieprocedure voor de huisartsenopleiding bestaat uit semigestructureerde interviews. Een staflid, opleider en aios beoordelen onafhankelijk persoonlijke kwaliteiten van de kandidaat, zoals motivatie, beroepsoriëntatie, leerattitude en persoonlijke eigenschappen. Het doel van deze studie was, als onderdeel van een verbeteringsproces van de selectieprocedure, de betrouwbaarheid van dergelijke interviews te onderzoeken. Tevens werd nagegaan in hoeverre kwaliteitsscores samenhingen met toelating tot de huisartsenopleiding.

Observationeel onderzoek van de persoonskenmerken en kwaliteitsscores van alle kandidaten die zich tussen 2008 en 2010 aanmeldden bij de Utrechtse huisartsenopleiding. Wij bepaalden de interbeoordelaarsbetrouwbaarheid betreffende het kwaliteitsoordeel bij verschillende samenstellingen van de selectiecommissie en drukten de samenhang tussen persoonskenmerken en kwaliteitsscores enerzijds en toelating tot de huisartsenopleiding anderzijds uit als een relatief risico (RR).

De onderzoekspopulatie bestond uit 365 kandidaten, van wie er 206 door de selectie kwamen (56,4%). De interbeoordelaarsbetrouwbaarheid bij drie commissieleden was hoog (ICC 0,78-0,84). Die betrouwbaarheid zou licht dalen als men de selectie door twee beoordelaars zou laten doen, maar interviews met alleen een staflid en een opleider zouden nog steeds voldoende betrouwbaar zijn. Toelating tot de huisartsenopleiding hing samen met het kwaliteitsoordeel van de selectiecommissie (RR 1,34-1,76), niet met persoonskenmerken van de kandidaat.

De interbeoordelaarsbetrouwbaarheid van de selectiecommissies voor de huisartsenopleiding is hoog en zou niet onaanvaardbaar dalen als deze commissies slechts twee leden zouden tellen in plaats van drie.

Wat is bekend?

De toelating tot de huisartsenopleiding gebeurt, zoals in veel andere Europese landen, op basis van een brief en een semigestructureerd interview.
De selectiecommissie bestaat uit een staflid, een opleider en een aios.
De betrouwbaarheid van dit soort procedures is matig tot goed, maar de voorspellende waarde is niet groot.

Wat is nieuw?

De interbeoordelaarsbetrouwbaarheid bij drie beoordelaars is hoog en daalt slechts licht als het er twee zouden zijn.
De toelating tot de huisartsenopleiding hangt samen met het kwaliteitsoordeel van de selectiecommissie, niet met algemene persoonskenmerken.

Inleiding

In Nederland, zoals in veel Europese landen, maakt een semigestructureerd interview reglementair deel uit van de selectie voor de huisartsenopleiding.1 Tijdens dit interview beoordeelt een selectiecommissie, bestaande uit een staflid, een opleider en een aios, de persoonlijke kwaliteiten van de kandidaat, zoals motivatie, beroepsoriëntatie, leerattitude en persoonlijke eigenschappen. In het algemeen zijn semigestructureerde interviews tamelijk betrouwbaar,2 3 4 5 maar hun voorspellende waarde met betrekking tot het afronden van de opleiding is gering gebleken.6

Recentelijk hebben we laten zien dat de beslissing om een kandidaat toe te laten mede afhangt van de opleidingsplaats. Een kandidaat die bij de ene huisartsenopleiding wordt afgewezen, wordt soms bij een andere huisartsenopleiding wel aangenomen.1 Dit roept vragen op over de kwaliteit en de rechtvaardigheid van de selectie. Huisartsopleiding Nederland (HON) en de Stichting Beroeps Opleidingen Huisartsen (SBOH) streven ernaar, de procedure te verbeteren en efficiënter te maken.

Dit onderzoek had tot doel de betrouwbaarheid van de huidige interviewprocedure te onderzoeken en na te gaan in hoeverre deze zou dalen bij een reductie van drie naar twee beoordelaars. Daarnaast hebben we geëxploreerd in hoeverre de kwaliteiten en persoonskenmerken van kandidaten die voor het eerst solliciteerden meer samenhingen met de toelating tot de huisartsenopleiding dan de kenmerken van kandidaten die voor een tweede of derde keer solliciteerden.

Methode

Wij verrichtten een observationeel onderzoek met betrekking tot alle kandidaten die zich aanmeldden voor de selectieprocedure van de Utrechtse Huisartsenopleiding tussen april 2008 en april 2010.

Selectieprocedure

Na landelijke registratie vindt de selectie voor de huisartsenopleiding plaats op de afdeling die de kandidaat kiest.1 De lokale selectiecommissie, bestaande uit een staflid, een opleider en een aios, beslist op basis van de sollicitatiebrief welke kandidaten worden uitgenodigd voor een interview. Criteria zijn beheersing van de Nederlandse taal en motivatie. De leden van de selectiecommissie nemen vervolgens gezamenlijk het interview af, dat 30-45 minuten duurt. Daarna beoordeelt elk lid onafhankelijk van de andere de persoonlijke kwaliteiten van de kandidaat, zoals motivatie, leerattitude, beroepsoriëntatie en persoonlijke eigenschappen. Alle beoordelaars krijgen voor het begin van de procedure schriftelijk en mondeling instructie hoe zij vragen moeten stellen en kwaliteiten moeten scoren.

Voorbeeldvragen bij het interview

Motivatie

Wat maakt dat je huisarts wil worden?
Heb je ook over andere specialisaties gedacht?
Wat is de relevantie van je cv?

Leerattitude

Wat zijn de sterke en zwakke punten in jouw leerproces?
Hoe ontwikkel je kennis, vaardigheden en attitude?
Hoe is je bereidheid om mee te doen aan toetsing, reflectie en groepsgesprekken?

Beroepsoriëntatie

Wat weet je af van de verantwoordelijkheden van de huisarts?
Wat weet je van samenwerking met andere disciplines?
Wat is je toekomstbeeld als huisarts?

Persoonlijke eigenschappen (geef voorbeelden)

Hoe draag je verantwoordelijkheid?
Hoe ga je om met (tijds)druk en onzekerheid?
Hoe geef jij feedback en hoe ga je er zelf mee om?

Dataverzameling

Voor dit onderzoek hebben we de administratieve gegevens gebruikt van de Huisartsopleiding Utrecht. Omdat het routinematig verzamelde data betrof, was toestemming van de ethische commissie niet vereist voor dit onderzoek. Wij anonimiseerden alle gegevens voordat ze werden verwerkt, conform de gedragscode voor gebruik van persoonsgegevens in wetenschappelijk onderzoek.7

De verzamelde gegevens betroffen de persoonskenmerken van de kandidaat: geslacht, leeftijd, locatie van de artsenopleiding (Noordwest-Europa of elders), klinische ervaring als arts (korter of langer dan een jaar), aantal keren gesolliciteerd (eerste, tweede of derde sollicitatie). Verder verzamelden wij de beoordelingen van de kwaliteiten van de kandidaat, onafhankelijk van elkaar gescoord op een driepuntsschaal door de drie leden van de selectiecommissie: voldoet niet aan de verwachtingen (1), voldoet aan de verwachtingen (2) of stijgt boven de verwachtingen uit (3).

Onze uitkomstmaat was toelating tot de huisartsenopleiding.

Analyse

Bij ontbrekende data (1,7%) imputeerden wij het gemiddelde of de modale categorie.8 Voor elk van de persoonskenmerken en kwaliteitsbeoordelingen berekenden wij een gemiddelde met standaarddeviatie, en daarnaast maakten wij per kwaliteit een schatting van de interbeoordelaarsbetrouwbaarheid door de intraklassecorrelatiecoëfficiënt (ICC) te bepalen voor alle drie de beoordelaars gezamenlijk en voor elke combinatie van twee beoordelaars.9 De samenhang tussen persoonskenmerken en kwaliteiten enerzijds en toelating tot de huisartsenopleiding anderzijds drukten wij uit als relatief risico (RR).10 Daarbij gingen wij met een lineaire predictor na of het RR bij degenen die voor het eerst solliciteerden verschilde van het RR bij kandidaten die voor een tweede of derde keer solliciteerden.11

De analyses werden verricht in SPSS versie 17 en SAS versie 9.2.

Resultaten

Persoonskenmerken

Tussen april 2008 en april 2010 solliciteerden 394 kandidaten bij de Huisartsopleiding Utrecht. Zesentwintig kandidaten werden afgewezen op basis van hun sollicitatiebrief. Wij excludeerden kandidaten die al vaker dan drie keer gesolliciteerd hadden (n = 3). Van de 365 geïncludeerde kandidaten solliciteerden er 264 voor de eerste keer, 87 voor de tweede keer en 14 voor de derde keer. Een kwart van de kandidaten was man, de gemiddelde leeftijd was 29,7 jaar (SD 4,9) en 94,5% had de artsenopleiding gevolgd in Noordwest-Europa [tabel 1]. De groep die voor de tweede of derde keer solliciteerde was gemiddeld ouder en had meer klinische ervaring. De gemiddelde kwaliteitsscore varieerde van 2,0 (beroepsoriëntatie) tot 2,3 (motivatie).

Tabel1Baselinekenmerken van de kandidaten

	Eerste sollicitatie		Tweede of derde sollicitatie		Totaal
	n (SD)	%	n (SD)	%	n (SD)	%
Aantal	264	100,0	101	100,0	365	100,0
Persoonskenmerken
man	68	25,8	30	29,7	98	26,8
gemiddelde leeftijd, jaren	29,2 (4,7)		31(5,2)		29.7 (4,9)
artsenopleiding inNoordwest-Europa	251	95,1	94	93,1	345	94,5
klinische ervaring &lt 1 jaar	136	51,5	34	33,7	170	46,6
Kwaliteiten*
motivatie	2,3 (0,6)		2,4 (0,5)		2,3 (0,6)
beroepsoriëntatie	2,0 (0,5)		2,1 (0,5)		2,0 (0,5)
leerattitude	2,3 (0,5)		2,2 (0,6)		2,2 (0,5)
persoonlijke eigenschappen^†	2,3 (0,6)		2,1 (0,5)		2,2 (0,6)
Aangenomen	148	56,1	58	57,4	206	56,4

SD = standaarddeviatie.

* Gemiddelde van drie scores op een driepuntsschaal.

† Significant verschil tussen eerste en herhaalde sollicitatie 0,2 punt (95%-BI 0,1-0,3).

Interbeoordelaarsbetrouwbaarheid

De gemiddelde scores van de drie groepen beoordelaars verschilden nauwelijks [tabel 2]. De betrouwbaarheid van de kwaliteitsscores op basis van drie beoordelaars was hoog (ICC > 0,80), behalve voor leerattitude (ICC 0,78). De interbeoordelaarsbetrouwbaarheid nam af als er minder dan drie beoordelaars waren. De afname was het geringst wanneer de beoordelingen van de aios werden verwijderd (ICC 0,73-0,79), en het sterkst (ICC 0,68-0,75) als we de stafleden buiten beschouwing lieten. De interbeoordelaarsbetrouwbaarheid betreffende kandidaten die voor het eerst solliciteerden was even hoog als bij kandidaten die al vaker gesolliciteerd hadden (niet in tabel). Er was een matige tot sterke samenhang tussen de scores op de vier kwaliteiten (correlatiecoëfficiënt van Pearson 0,40-0,64).

Tabel2Gemiddelde scores op kwaliteiten van de beoordeelde (n = 365) volgens de interviewer en interbeoordelaarsbetrouwbaarheid

Kwaliteit	Staflid	Opleider	Aios	ICC
	gemiddeld (SD)	gemiddeld (SD)	gemiddeld (SD)	staflid, opleider, aios	zonder staflid	zonder opleider	zonder aios
Motivatie	2,3 (0,6)	2,3 (0,7)	2,3 (0,6)	0,84	0,75	0,81	0,79
Beroepsoriëntatie	2,0 (0,6)	2,0 (0,6)	2,0 (0,6)	0,84	0,75	0,78	0,79
Leerattitude	2,2 (0,6)	2,3 (0,6)	2,2 (0,6)	0,78	0,68	0,68	0,73
Persoonlijke eigenschappen	2,2 (0,7)	2,3 (0,6)	2,2 (0,7)	0,83	0,71	0,78	0,79

ICC = intraklassecorrelatiecoëfficiënt; SD = standaarddeviatie.

Kwaliteiten en toelating

In tegenstelling tot de persoonskenmerken hadden de beoordeelde kwaliteiten een onafhankelijke samenhang met de uiteindelijke toelating tot de opleiding (RR 1,34-1,76). Ook hierbij was er geen verschil tussen de kandidaten die voor het eerst solliciteerden en diegenen die een tweede of derde keer solliciteerden.

Beschouwing

Doordat wij gegevens uit vijf achtereenvolgende selectieprocedures konden gebruiken, was het mogelijk de beoordelingen van meer dan 300 kandidaten te analyseren. De gemiddelde scores, inclusief standaarddeviatie, die stafleden, opleiders en aios toekenden aan persoonlijke kwaliteiten waren ongeveer gelijk. De betrouwbaarheid van beoordelingen door drie beoordelaars was hoog. Dat kan het resultaat zijn van het structureren van de interviews en het trainen van de beoordelaars,6 zoals ook bevindingen in de literatuur suggereren.2 3 4 5 Bij exclusie van een groep beoordelaars (staflid, opleider of aios) neemt de betrouwbaarheid iets af, het minst bij exclusie van de aios en het sterkst bij exclusie van het staflid. Waarschijnlijk weerspiegelt dit het feit dat het staflid in het algemeen de meeste ervaring heeft.

In de literatuur pleit men ervoor om beslissingen waar veel van afhangt te baseren op verschillende instrumenten en diverse beoordelaars.12 Men kan de betrouwbaarheid laten toenemen door de procedure uit te breiden met meer instrumenten, zoals ‘multiple mini interviews’ (MMI’s) en minisimulaties, en door de interviews nog verder te structureren.13 14 15 Op de conferentie te Ottawa in 2010 over de selectie voor medische opleidingen is de aanbeveling gedaan selectieprocedures congruent te maken met de opleidingen, en die zijn competentiegericht.15 Wij onderschrijven die aanbeveling.

Wij hebben een onafhankelijke samenhang gevonden tussen het oordeel over de persoonlijke kwaliteiten van de kandidaat en diens toelating tot de huisartsenopleiding. Persoonskenmerken hebben geen invloed op deze beslissing.1 4 Of kandidaten voor het eerst solliciteren of voor een tweede of derde keer maakt hierin niet uit.

Ons onderzoek had een aantal beperkingen. Zo kan de gunstige interbeoordelaarsbetrouwbaarheid een gevolg zijn van de driepuntsschaal. Uit de literatuur is echter bekend dat de betrouwbaarheid van de beoordelingen aan de uiteinden van een schaal hoger is dan in het midden, dus de driepuntsschaal is in deze selectieprocedure mogelijk net zo bruikbaar als de algemenere vijfpuntsschaal.15 Een tweede beperking is dat de vrij sterke correlaties tussen de kwaliteiten een ‘halo-effect’ suggereren. De wisselende samenstelling van de selectiecommissies maakte het ons echter onmogelijk om te beoordelen hoe belangrijk dit effect geweest is.

Conclusie

De interbeoordelaarsbetrouwbaarheid in de onderzochte semigestructureerde selectie-interviews voor de huisartsenopleiding blijkt relatief hoog. Zou men de selectiecommissies verkleinen van drie tot twee leden, dan zou die betrouwbaarheid slechts licht dalen. Het verdient aanbeveling de selectieprocedure meer competentiegericht te maken door verschillende instrumenten in te zetten, zoals MMI’s en minisimulaties.15

Literatuur

1.↲↲↲↲Vermeulen MI, Kuyvenhoven MM, Zuithoff NPA, Tromp F, Graaf van der Y, Pieters HM. Selection for Dutch postgraduate GP training; time for improvement. Eur J Gen Pract 2012;18:201-5.
2.↲↲Kreiter CD, Yin P, Solow C, Brennan RL. Investigating the reliability of the medical school admissions interviews. Adv Health Sci Educ Theory Pract 2004;9:147-59.
3.↲↲Salvatori P. Reliability and validity of admissions tools used to select students for the health professions. Adv Health Sci Educ Theory Pract 2001;6:159-75.
4.↲↲↲Lumb AB, Homer M, Miller A. Equity in interviews: Do personal characteristics impact on admission interview scores? Med Educ 2010;44:1077-83.
5.↲↲Rao R. The structured clinically relevant interview for psychiatrist in training (SCRIPT): a new standardized assessment tool for recruitment in the UK. Acad Psychiatry 2007;31:443-6.
6.↲↲Siu E, Reiter HI. Overview: what’s worked and what hasn’t as a guide towards predictive admissions tool development. Adv Health Sci Educ Theory Pract 2009;14:758-75.
7.↲Gedragscode voor gebruik van persoonsgegevens in wetenschappelijk onderzoek. Amsterdam: Koninklijke Nederlandse Akademie van Wetenschappen, 2003.
8.↲Donders AR, Van der Heijden GJ, Stijnen T, Moons KG. Review: A gentle introduction to imputation of missing values. J Clin Epidemiol 2006;59:1087-91.
9.↲McGraw KO, Wong SP. Forming inferences about some intraclass correlations coefficients. Psychol Methods 1996;1:30-46.
10.↲McNutt LA, Wu C, Xue X, Hafner JP. Estimating the relative risk in cohort studies and clinical trials of common outcomes. Am J Epidemiol 2003;157:940-3.
11.↲Steyerberg EW, Eijkemans MJC, Harell FE, Habbema JDF. Prognostic modelling with logistic regression analysis: a comparison of selection and estimation methods in small data sets. Statist Med 2000;19:1059-79.
12.↲Van der Vleuten CPM, Schuwirth LW. Assessing professional competence: from methods to programmes. Med Educ 2005;39:309-17.
13.↲Eva KW, Reiter HI, Trinh K, Wasi P, Rosenfeld J, Norman GR. Predictive validity of the multiple mini-interview for selecting medical trainees. Med Educ 2009;43:767-75.
14.↲Patterson F, Ferguson E, Norfolk T, Lane P. A new selection system to recruit general practice registrars: preliminary findings from a validation study. BMJ 2005;330:711-4.
15.↲↲↲↲Prideaux D, Roberts C, Eva K, Centeno A, McCrorie P, McManus C, et al. Assessment for selection for the health care professions and specialty training: Consensus statement and recommendations from the Ottawa 2010 Conference. Med Teach 2011;33:215-23.

Reacties

Er zijn nog geen reacties.