Verbetert feedback van patiënten de consultvaardigheden van huisartsen-in-opleiding?

Inleiding

Het belang van adequaat communicerende artsen is alom erkend omdat er een relatie bestaat met enkele belangrijke uitkomsten van zorg, zoals verhoogde patiënttevredenheid, therapietrouw, symptoomverlichting en reductie van gezondheidszorgkosten.12 In Nederland zijn twijfels ontstaan over de kwaliteit van het reguliere onderwijs in communicatievaardigheden voor artsen in opleiding tot specialist huisartsgeneeskunde (aios), omdat er geen sprake was van verbetering in de consultvoering.3 Een focus op het nieuwe competentiegerichte onderwijs4 en mogelijkheden voor zelfsturend onderwijs5 in een op de praktijk gebaseerde leeromgeving zijn tegenwoordig gangbare thema’s in onderwijsprogramma’s. Het is nog niet duidelijk in hoeverre deze nieuwe onderwijsprincipes aios daadwerkelijk helpen bij het verbeteren van hun consultvaardigheden. Een veelbelovende educatieve methode is feedback van patiënten op consultvaardigheden van praktiserende artsen. Beoordeling van vaardigheden en het ontvangen van feedback hebben een sterk motiverende werking in het leerproces.67 Aios krijgen doorgaans geregeld feedback van hun opleiders of docenten, maar het is de patiënt die de aios geconsulteerd heeft en theoretisch dus in een goede positie verkeert om feedback te geven. Om die reden zou feedback door patiënten als educatieve methode in de opleiding moeten worden opgenomen.389 De toegepaste interventies met patiëntenfeedback lopen sterk uiteen. De meest praktische methode betreft het gebruik van een vragenlijst.1011121314 Andere toegepaste methoden zijn: individuele coaching van aios, waarbij de verzamelde resultaten van patiëntenenquêtes/-interviews worden besproken89 of gepresenteerd in een rapport,15 of groepsgewijze discussies over de resultaten van feedback16. Er zijn echter geen duidelijke aanwijzingen welke van de methoden het beste is.17 Op grond van eerder onderzoek hebben we geconcludeerd dat de educatieve waarde van patiëntenfeedback gerelateerd is aan de (medische) inhoud van het consult.1819 Deelnemers waardeerden de specifieke, aan het consult gerelateerde feedback en vonden deze uitvoerbaar in de huisartsenopleiding. Hoewel enkele onderzoeken hebben gerapporteerd over de waardering van patiëntenfeedbackprogramma’s,91820 is er nog slechts beperkt en tegenstrijdig bewijs voor de daadwerkelijke effecten op de verwerving of verbetering van consultvaardigheden.121521222324 Daarom vergelijken we in deze gecontroleerde trial het effect van een patiëntenfeedbackprogramma (interventie) met het reguliere communicatieonderwijs (controle). We hebben daarbij de volgende onderzoeksvragen gesteld:

• In welke mate verbeterden aios hun consultvaardigheden binnen de onderzoeksperiode?
• Leidt een patiëntenfeedbackprogramma tot meer verbetering in consultvaardigheden dan het reguliere communicatieonderwijs?
• Welke determinanten (kenmerken van aios, intensiteit van deelname aan het programma) hebben invloed op het effect van de interventie?

Methoden

Deelnemers

Alle eerstejaars-aios (cohort maart 2006) van het VUmc in Amsterdam kwamen in aanmerking voor inclusie. We sloten aios uit indien zij de opleiding definitief of tijdelijk beëindigd hadden vóór het tijdstip van de beginmeting of indien zij al eerder aan een patiëntenfeedbackprogramma hadden deelgenomen.

Allocatie

Omdat de opleiding van aios groepsgewijs en op vaste terugkomdagen plaatsvindt (5 groepen, met elk 7-13 aios), en ze soms gecombineerde groepen onderwijs krijgen, randomiseerden we op terugkomdagniveau. Ter voorkoming van contaminatie dichotomiseerden we aldus het cohort. Een onafhankelijke, geblindeerde medewerker verrichtte de allocatie van de subcohorten in de interventiegroep en de controlegroep.

Interventiegroep

Van september tot december 2006 nam de interventiegroep deel aan het patiëntenfeedbackprogramma, dat in 2005 ontwikkeld is op ons instituut.18 Het programma stelt aios in staat gestructureerde feedback op hun consultvaardigheden te verkrijgen van patiënten aan de hand van een gevalideerde vragenlijst, de Patient Feedback questionnaire on Consultation skills (PFC),19 een afgeleide van de Patient Perception of Patient-Centeredness questionnaire (PPPC). De PFC bevat zestien vragen (vierpuntsschaal) met betrekking tot onderwerpen van het competentieprofiel ‘communicator’ en heeft een hoge interne consistentie (Cronbach’s alfa 0,89). Er bestaan twee versies: een patiëntversie voor feedback (figuur 1) en een artsversie voor zelfbeoordeling. Het programma vormde een aanvulling op het reguliere onderwijs in arts-patiëntcommunicatie en stond onder toezicht van docenten. Voorafgaand ontvingen de docenten instructies, een protocol en een checklist van de punten die in het programma aan de orde dienden te komen. De interventie startte tijdens een terugkomdag met een instructieochtend. Het cursusmateriaal bestond uit digitale en gedrukte onderdelen. De aios konden met een simulatiepatiënt oefenen in het vragen om feedback en discussieerden onderling over de toepassing in de dagelijkse praktijk. Gedurende een periode van drie maanden dienden de aios feedback te vragen aan twintig patiënten van wie zij relevante feedback verwachtten te krijgen. Uit eerdere ervaringen bleek dat aios de verkregen patiëntenscores op de vragenlijsten vaak onrealistisch hoog vonden, en daardoor weinig educatief. Daarom werden de aios aangemoedigd juist na uitdagende consulten om feedback te vragen en de vragenlijsten vooral als educatief toegevoegde waarde te beschouwen. De patiënten voltooiden de PFC in de praktijk en retourneerden deze in een gesloten envelop aan de praktijkassistente. Aan de hand van de ontvangen feedback formuleerden de aios leerpunten, die zij in de artsversie van de PFC noteerden en met hun opleider bespraken. Aan het eind van het programma ontving het onderzoeksteam de vragenlijsten.

Controlegroep

De controlegroep nam niet deel aan het patiëntenfeedbackprogramma, maar volgde het reguliere onderwijs in arts-patiëntcommunicatie. Dat laatste bestaat uit op de praktijk gebaseerd ervaringsleren, onder toezicht van een huisarts-opleider, die feedback geeft op video-opnamen van consulten door de aios. Verder krijgen aios onderwijs tijdens terugkomdagen op de huisartsopleiding, waarin ze ongeveer 25% (2 uur) van de tijd besteden aan het ontwikkelen van consultvaardigheden.3 De verschillende fasen in het consult, interviewtechnieken (samenvatten, reflecteren, structureren) en patiëntgerichte consultvoering maken hiervan onderdeel uit.

Gegevensverzameling

We leidden drie simulatiepatiënten (professionele acteurs) op om zes consultscenario’s van vergelijkbare complexiteit te spelen. Voorafgaand en na afloop van de interventieperiode bezochten zij de 53 praktijken (random) tijdens het spreekuur van de aios en maakten van elk consult (een consult per bezoek) een video-opname. We kondigden de bezoeken aan en de aios gaven hun toestemming voor deelname. De simulatiepatiënten wisten niet of aios tot de interventie- of controlegroep behoorden.

Metingen

Acht docenten van de huisartsopleiding VUmc (vijf gedragswetenschappers, drie huisartsen) beoordeelden de video-opnamen van de consulten met de simulatiepatiënten. Om standaardisatie van de metingen te vergroten, trainde een expert de docenten in het gebruik van de MAAS-Globaal (een scorelijst die een indruk geeft van de communicatievaardigheden en het vakinhoudelijk handelen van de arts). De docenten bestudeerden de handleiding en oefenden in het scoren van gestandaardiseerde video-opnamen. Na afloop van de follow-upmetingen verdeelden we alle video-opnamen (begin- en eindmetingen) door middel van een random number generator over de acht beoordelaars (docenten). Twee beoordelaars scoorden alle consulten tweemaal. Ze waren geblindeerd voor elkaars scores en wisten niet of aios tot de interventie- of de controlegroep behoorden.

Primaire uitkomstmaat (MAAS-Globaal-score)

De primaire uitkomstmaat was de beoordeling van de consultvaardigheden met de MAAS-Globaal.2526 Wij maakten gebruik van elf onafhankelijke items met betrekking tot communicatieve vaardigheden (zevenpuntsschaal: 0 = afwezig, 6 = uitstekend). De eindscore was de opgetelde score van de afzonderlijke items, gedeeld door 11.

Evaluatieformulier

Aan het einde van de onderzoeksperiode vulden de aios een evaluatieformulier in, dat naast vragen over aios-kenmerken (leeftijd, geslacht, werkervaring als arts, de praktijklocatie en Nederlands als eerste taal) vragen bevatte over de intensiteit van de deelname en het opvoeren van patiëntenfeedback als leergesprek met de huisartsopleider. De resultaten van de Landelijke Huisartsgeneeskundige Kennistoets (peildatum oktober 2006) dienden als maat voor de verworven kennis van aios. Een score lager dan het gemiddelde - 1 sd beschouwden we als onvoldoende.

Procesmetingen

De intensiteit van deelname aan het programma relateerden we aan: a) het aantal verzamelde PFC’s, b) het aantal geformuleerde leerpunten en c) het gegeven of het thema patiëntenfeedback in het leergesprek met de huisarts-opleider was opgenomen. We gaven deze weer in gedichotomiseerde scores (maximale score = 3, minimale score = 0) (tabel 1).

Statistische methoden

We gebruikten een multiniveau lineaire regressieanalyse met fixed effects (onderzoeksgroep) en random-effecten (interventie, aios) om individuele veranderingen in de MAAS-Globaal-scores tussen begin- en follow-upmetingen te bepalen (p &lt 0,05 beschouwden we als significant). Een bijkomend voordeel van een mixed model-analyse van longitudinale gegevens is dat alle metingen worden gebruikt. Bij een tweede multiniveau lineaire regressieanalyse onderzochten we het effect van de procesmaten op het verschil in de MAAS-Globaal-scores in de tijd. De effectgrootte (d) bepaalden we door het verschil in begin- en follow-upscores van de MAAS-Globaal te delen door de gepoolde standaarddeviatie. We beschouwden een d van 0,2 als een klein effect, een d van 0,5 als een matig effect en een d van 0,8 als een groot effect.27

Resultaten

Figuur 2 toont het stroomschema van de 60 eerstejaars-aios, van wie we 53 includeerden en toewezen aan de interventiegroep (n = 23) of de controlegroep (n = 30). Redenen voor exclusie waren: een ander opleidingsschema (n = 2), zwangerschapsverlof (n = 1), beëindiging van de opleiding (n = 2) of deelname aan een eerder patiëntenfeedbackprogramma (n = 2). In de interventiegroep was één aios niet beschikbaar voor de beginmeting (maar deze nam wel deel aan het programma en de follow-upmeting) en één niet voor de follow-upmeting. Er was sprake van één protocolovertreding: deze aios hoefde vanwege de extra werklast niet deel te nemen aan het programma. In de controlegroep stopte een aios voortijdig met de opleiding en één was niet beschikbaar voor de follow-upmeting. De analyse ging uit van het intention-to-treatprincipe, dat wil zeggen dat we het uitvoerden op basis van de oorspronkelijke groepssamenstelling en ongeacht het individuele niveau van deelname aan het programma. De karakteristieken van de twee groepen zijn weergegeven in tabel 2. We verrichtten geen covariantieanalyse van baseline-variabelen.28 De beginmetingen verzamelden we in een periode van drie weken in september 2006 en de follow-upmetingen verkregen we in een periode van drie weken in december 2006-januari 2007 (na drie maanden). Dit kwam overeen met de zesde en negende maand van de opleiding.

Primaire uitkomstmaat

Zoals blijkt uit tabel 3 bedroegen de gemiddelde begin- en follow-upscores van de MAAS-Globaal van alle aios respectievelijk 3,29 (sd 0,75) en 3,54 (sd 0,66) (p = 0,047). In de interventiegroep verbeterde de score respectievelijk van 3,25 (sd 0,73) tot 3,46 (sd 0,57), wat weinig verschilde van de score in de controlegroep, die verbeterde van 3,33 (sd 0,75) tot 3,59 (sd 0,73) (p = 0,84).

Procesmetingen

Het gemiddelde aantal verkregen PFC’s was 10,4 (sd 6,0, spreiding 0-21); 19 aios (82,6%) slaagden er in om leerpunten te formuleren, met een gemiddeld aantal van 7,8 (sd 6,2, 0-21). Verder bespraken 11 (58%) aios de resultaten met hun opleider. Tabel 1 geeft de begin- en follow-upscores weer voor de gedichotomiseerde determinanten van deelname. Actief participerende aios (dichotome scores van 3 en 2 ) toonden een matige verbetering van de MAAS-Globaal-scores, met een verschilscore van 0,32 (sd 0,32). Niet actief participerende aios (dichotome scores van 1 en 0) lieten geen verbetering zien, met een verschilscore van 0,02 (sd 0,25) (p = 0,11).

Andere determinanten van verandering

Multivariate lineaire regressieanalyse identificeerde geen andere factoren (leeftijd, geslacht, klinische werkervaring, praktijklocatie, Nederlands als eerste taal, kennistoets) die van invloed waren op een verbetering van de MAAS-Globaal-score (we analyseerden de gegevens van de interventie- en de controlegroep gezamenlijk).

Beschouwing

De consultvaardigheden in het volledige cohort van aios verbeterden met een matige effectgrootte, binnen de observatieperiode van drie maanden. Aios in de interventiegroep verbeterden niet meer dan in de controlegroep. In de subgroep van aios die actief deelnamen aan het programma was er echter wel een verbetering te zien in consultvaardigheden, in tegenstelling tot degenen die niet actief deelnamen.

Interpretatie van de resultaten

Voor de verklaring van de beperkte effectiviteit van het programma is een aantal overwegingen van belang. Ten eerste toonden de aios een hoog beginniveau van consultvaardigheden (MAAS-Globaal-score van 3,29) in vergelijking met, bijvoorbeeld, een soortgelijk cohort in een eerder onderzoek (MAAS-Globaal-score van 2,2).3 Hoge uitgangswaarden zijn moeilijker te verbeteren. Ten tweede hebben we gekozen voor het bestuderen van het patiëntenfeedbackprogramma in de ‘natuurlijke setting’ door als onderzoekers niet te interveniëren in de feitelijke voortgang en deelname van de aios, vanwege de gevolgen voor de externe validiteit van de resultaten. De subgroepresultaten geven aan dat een striktere uitvoering misschien tot betere resultaten zou hebben geleid. Slechts een minderheid van de aios slaagde er namelijk in om feedback te krijgen van het geadviseerde aantal van twintig patiënten, zoals men aanbeveelt voor generaliseerbaarheid van de resultaten.13 Toch kunnen we niet concluderen dat actieve participatie de enige factor is voor de verschillen in de subgroepen: ook andere onbekende/ongedefinieerde covariabelen kunnen hiervoor verantwoordelijk zijn. Ten derde kunnen de relatief positieve reacties van patiënten het educatieve effect van patiëntenfeedback beperken,1013 mogelijk omdat patiënten mindere ervaringen niet als negatief rapporteren. Een ongelijke arts-patiëntverhouding weerhoudt de patiënten er mogelijk van om zich kritisch te uiten. Veel vragenlijsten worstelen met deze kwestie. Ook ons programma (en de PFC), dat patiënten stimuleert om kritisch commentaar te geven,19 heeft dit nog niet voldoende ondervangen. Andere methoden kunnen het educatieve effect van patiëntenfeedback echter intensiveren, bijvoorbeeld een gedetailleerdere mondelinge feedback van een geselecteerde steekproef van patiënten, het gezamenlijk met de patiënt terugkijken van een consult of een combinatie van methoden.

Context van de bestaande literatuur

Er is maar weinig literatuur beschikbaar over het effect van gestructureerd onderwijs op de verbetering van consultvaardigheden. Bovendien bevestigen29 en ontkennen3 onderzoeken het bewijs hiervoor. Dit geldt in het bijzonder voor patiëntenfeedbackinterventies: weinig literatuur en tegengestelde resultaten.1523

Sterkte en beperkingen

Voor het beoordelen van consultvaardigheden van aios beperkten we om redenen van preventie van bias (selectie van patiënten) ons niet tot de binnengekomen PFC’s, maar kozen we voor een onafhankelijke uitkomstmaat. Het feit dat we twee homogene subcohorten van eerstejaars-aios nauwlettend konden volgen, met slechts een beperkt verlies van follow-up, zal bijgedragen hebben aan de betrouwbaarheid van de resultaten. Een beperking van ons onderzoek is dat het groepsgewijze onderwijs geen randomisatie op aios-niveau toeliet. Ook clusterrandomisatie op groepsniveau met slechts vijf groepen zou betekenen dat er een risico van een misbalanced cohort zou ontstaan. Daarom leek het ons het beste om de twee subcohorten geblindeerd toe te wijzen. Een andere methodologische beperking van dit onderzoek is de geringe omvang van het cohort (relatief kleine power). Hoewel het verschil tussen begin- en follow-upscores weliswaar significant was, bleef de omvang van het effect beperkt. Voor een individuele beoordeling van de consultvaardigheden kan men het beste diverse consulten scoren.25 Om logistieke en financiële redenen hebben we gekozen voor de beoordeling van één beginconsult en een follow-upconsult met gestandaardiseerde patiënten, door twee onafhankelijke en geblindeerde beoordelaars.

Conclusie

Het gebruik van patiëntenfeedback voor leerdoeleinden blijft intrigeren. Het feit dat we niet duidelijk konden aantonen dat ons patiëntenfeedbackprogramma meer positieve effecten had op de consultvaardigheden dan het reguliere onderwijs in arts-patiëntcommunicatie, impliceert niet dat patiëntenfeedback niet relevant is. Het is bekend dat het ingewikkeld is om leerprocessen te bestuderen in relatie tot de inbreng van opleiders en patiënten, en om werkelijke gedragsveranderingen aan te tonen. Wij denken dat diverse en geïntegreerde feedback aan aios een essentieel element is in de ontwikkeling van een professionele houding en de nodige vaardigheden, en daarom benadrukken we het belang van verder onderzoek op dit specifieke gebied.