Evaluatie van het onderdeel medisch handelen van de accreditering

Inleiding

Voor transparantie in de zorg is het nodig om de kwaliteit van zorg te meten met behulp van indicatoren.1 De huisartsenpraktijk maakt in dit verband gebruik van het Visitatie Instrument Accreditatie (VIA). Verschillende indicatorsets brengen de uiteenlopende aspecten van de huisartsenzorg in kaart.2 Sinds 2005 zet men in de NHG-Praktijkaccreditering® het VIA in (box 1), dat bestaat uit de onderdelen praktijkorganisatie, patiëntenervaring en medisch handelen. De indicatoren zijn bedoeld om inzicht te krijgen in de kwaliteit van de zorg, waarbij de individuele huisartsenpraktijk het eigen handelen kan vergelijken met andere praktijken (benchmark). Deze wijze van terugkoppeling biedt de huisartsenpraktijk aanknopingspunten ter verbetering van de kwaliteit van de zorg. Het gebruik van dit type informatie neemt steeds meer toe, bijvoorbeeld in het kader van intern kwaliteitsbeleid, multidisciplinaire zorggroepen en publieke informatie. Vragen over de validiteit en betrouwbaarheid van deze informatie zijn dan van eminent belang. De validiteit en betrouwbaarheid van de onderdelen praktijkorganisatie en patiëntenervaring zijn eerder beschreven.34 Over het onderdeel medisch handelen is echter nog weinig bekend. Tijdens de ontwikkeling van deze indicatorset is wel voor de afzonderlijke indicatoren de content validity vastgesteld – dat wil zeggen dat een panel van experts heeft aangegeven dat het inhoudelijk goede indicatoren zijn om het medisch handelen te evalueren.25 Aan de hand van gegevens die men met het instrument heeft verzameld, is het ook mogelijk andere aspecten van betrouwbaarheid en validiteit te toetsen.67 In dit onderzoek toetsen wij het onderdeel medisch handelen aan de hand van vier klinimetrische criteria. Ten eerste moeten de diverse indicatorsets van het instrument een breed en divers spectrum aan klinische activiteiten beschrijven die plaatsvinden in de huisartsenpraktijk. Dit betekent dat de indicatorsets onderling niet te zeer met elkaar mogen samenhangen (lage correlatie tussen de indicatorsets). Ten tweede is het van belang dat de indicatoren binnen één set onderling samenhang vertonen, maar niet te zeer overlappende informatie geven (interne consistentie binnen een set). Ten derde willen we dat de indicatorscore een accuraat beeld van de praktijk oplevert. Dit betekent dat we gegevens moeten verzamelen over voldoende patiënten (betrouwbare indicatorscore). Ten vierde moet een benchmark op een voldoende aantal praktijken zijn gebaseerd om een stabiel en correct beeld te leveren. Ook moeten de praktijken op grond waarvan men de benchmark berekent representatief zijn voor de praktijk waarvoor men de vergelijking wenst (adequate en betrouwbare benchmark). Voor elk van deze criteria zijn wij nagegaan in welke mate het onderdeel medisch handelen van het Visitatie Instrument Accreditatie (VIA) hieraan voldoet.2

Methode

Onderzoekspopulatie en instrument

We hebben een observationeel onderzoek gedaan op basis van gegevens van 82 praktijken, die vrijwillig hebben deelgenomen aan de NHG-Praktijkaccreditering® in de periode 2005-2006. De praktijken verzamelden gegevens over drie veel voorkomende chronische aandoeningen (diabetes mellitus, astma en COPD), cardiovasculair risicomanagement, enkele specifieke preventieactiviteiten (griepvaccinatie en cervixscreening) en het antibioticabeleid. Naast procesindicatoren kwamen ook structuurindicatoren en uitkomstindicatoren voor.8 We hebben ons voor de toetsing van de criteria vooral gericht op de procesindicatoren, omdat deze de meest betrouwbare informatie geven over de kwaliteit van het eigen handelen. In tabel 1 staan als voorbeeld de negen gebruikte procesindicatoren in het kader van diabetes. Voor cardiovasculair risicomanagement gebruikten we acht procesindicatoren, voor COPD en astma vijf respectievelijk vier indicatoren, en voor griepvaccinatie, cervixscreening en antibioticabeleid ieder één indicator. Voor een aantal berekeningen hebben we ook enkele uitkomstindicatoren meegenomen, om ook zicht te krijgen op dit type informatie (met betrekking tot diabetes drie en CVR twee indicatoren). Een overzicht van alle indicatoren die we in het onderzoek hebben meegenomen staat in tabel 6 (pagina 146).

Gegevensverzameling

De huisartsenpraktijk verzamelde zelf de benodigde gegevens en het NPA/NHG stelde deze aan de onderzoekers ter beschikking. De bron van de gegevens was het medisch dossier. De gegevens waren echter meestal niet gemakkelijk uit het Huisartsen Informatie Systeem te extraheren, enerzijds omdat daartoe software ontbrak en anderzijds omdat de gegevens niet op uniforme wijze waren geregistreerd. Daarom konden praktijken er ook voor kiezen om gegevens over een steekproef van veertig patiënten te verzamelen. Als het totale aantal patiënten met de betreffende aandoening niet groter was dan veertig patiënten, moest men de gegevens van alle patiënten verzamelen. Het VIA vraagt gegevens te verzamelen voor dat deel van de betreffende patiëntengroep dat door de huisarts is behandeld. In plaats daarvan rapporteerde men echter vaak over alle patiënten met de betreffende aandoening. Voor de benodigde gegevens over het antibioticabeleid adviseerden we een beroep te doen op de preferente apotheker. De gegevensverzameling kon betrekking hebben op 1 huisarts of meer huisartsen als deze de patiëntenpopulatie deelden. Van de 82 praktijken includeerden we in totaal 97 patiëntenpopulaties; van elke populatie hadden we gegevens over alle onderwerpen.

Analyse

Om te achterhalen of de praktijken uit ons onderzoek representatief waren voor alle praktijken in Nederland hebben we onze onderzoekspopulatie vergeleken met de Nederlandse huisartsenpraktijken wat betreft praktijktype, urbanisatiegraad en apotheekhoudendheid. Bovendien keken we naar het aantal patiënten per fte huisarts. Om te toetsen of de onderwerpen binnen het medisch handelen uit het VIA voldoende van elkaar verschilden, hebben we de mate van samenhang tussen de verschillende onderwerpen (criterium 1) bepaald met behulp van Pearson’s correlatiecoëfficiënt. Voor het beoordelen van de interne consistentie (criterium 2) hebben we de samenhang tussen de verschillende indicatoren van 1 onderwerp bepaald met behulp van Cronbach’s α.9 Een Cronbach’s α tussen de 0,7 en 0,8 is gewenst, maar een α boven de 0,6 acht men voor dit soort indicatoren ook acceptabel.10 Per indicator hebben we voor elke patiëntenpopulatie het aantal benodigde patiënten berekend om tot een betrouwbare score te komen (criterium 3). Deze berekening baseerden we op de gevonden indicatorscore. We hebben een betrouwbaarheidsniveau van 95% aangehouden en een foutenmarge van zowel 5% als 10% getoetst. Per indicator hebben we vervolgens het maximum, de 75e percentielscore, het gemiddelde en de standaarddeviatie van de gevonden aantallen berekend om een goed beeld te krijgen van de scores en de mate van spreiding. Voor een schatting van het aantal benodigde patiëntenpopulaties voor een betrouwbare benchmark (criterium 4) maakten we ook gebruik van een power-berekening.11 Hiervoor hebben we een betrouwbaarheidsniveau van 95% aangehouden en toetsten we wederom een toegestane foutenmarge van 5 en 10%.

Resultaten

Onderzoekspopulatie

De meeste kenmerken van de huisartsenpraktijken uit ons onderzoek komen redelijk overeen met de kenmerken van de Nederlandse huisartsenpraktijken (tabel 2). Wel lijken er relatief minder solopraktijken voor te komen in ons onderzoek. Verder is het aantal patiënten per fte huisarts van onze onderzoekspopulatie hoger dan het landelijk aantal inwoners per fte huisarts.

Criterium 1: geringe onderlinge samenhang indicatorsets

We vonden geen sterke correlaties tussen de verschillende onderwerpen die aan bod kwamen binnen het onderdeel medisch handelen (zie tabel 3). Het onderwerp antibiotica hing met geen enkel ander onderwerp samen. Cervixscreening bleek enigszins samen te hangen met cardiovasculair risicomanagement; deze correlatie was echter zwak. Van de overige vijf onderwerpen hing astma het sterkst samen met de andere onderwerpen (diabetes, COPD, cardiovasculair risicomanagement en griepvaccinatie). Verder stelden we enige samenhang vast tussen diabetes en zowel cardiovasculair risicomanagement als griepvaccinatie.

Criterium 2: interne consistentie van de indicatorsets

In tabel 4 staan de gemiddelde scores op de indicatoren per onderwerp, de standaarddeviatie en de samenhang van de indicatoren per onderwerp (Cronbach’s α). De negen procesindicatoren die op diabetes betrekking hebben bleken onderling de grootste samenhang te vertonen. Deze indicatoren hadden een Cronbach’s α van 0,73. Deze score kan variëren tussen de 0 en de 1, waarbij 0 staat voor totaal geen samenhang en 1 voor sterke samenhang. Als de score richting de 0,9 of hoger gaat, is de samenhang zo sterk dat de indicatoren overlappende informatie geven. Men kan er dan voor kiezen indicatoren weg te laten. Scores richting de 0 duiden erop dat de indicatoren verschillende onderwerpen betreffen, wat betekent dat men de indicatoren beter niet kan samennemen. De 8 procesindicatoren met betrekking tot cardiovasculair risicomanagement hingen redelijk sterk samen, evenals de 5 indicatoren betreffende COPD (respectievelijk α = 0,64 en α = 0,67). De 4 astma-indicatoren hadden een iets minder sterke samenhang (α = 0,56). Een beschrijving van de samenhang aan de hand van Cronbach’s α is alleen mogelijk voor onderwerpen met meer dan 1 indicator.

Criterium 3: betrouwbare indicatorscores per patiëntenpopulatie

Gegeven de gevonden indicatorscores berekenden we voor elke patiëntenpopulatie per indicator het benodigde aantal patiënten. In tabel 5 staat per onderwerp het minimaal aantal benodigde patiënten. Voor onderwerpen met meer indicatoren hebben we dit voor elke indicator berekend; tabel 5 geeft het laagste en hoogste aantal benodigde patiënten per onderwerp weer. Voor de 9 diabetesprocesindicatoren was het laagste aantal 363 en het hoogste aantal 384 patiënten voor de berekening van een betrouwbare score bij een foutenmarge van 5%, gegeven de behaalde indicatorscores. Voor bijna alle onderwerpen zien we dat er minimaal 384 patiënten nodig zijn. Als we een afwijking van 10% acceptabel vinden, dan zouden we 96 patiënten moeten beoordelen om betrouwbare scores te kunnen berekenen. De gemiddelde populatiegrootte van de deelnemende praktijken was 3917 patiënten. Bij deze praktijkgrootte kunnen we betrouwbare indicatorscores (met een afwijking van 10%) alleen leveren voor aandoeningen met een minimale prevalentie van 2,4%. Dit geldt voor diabetes, astma en cardiovasculair risicomanagement (RIVM-site). De prevalentie van COPD ligt net iets onder de 2,4%. In huisartsenpraktijken is mogelijk sprake van onderregistratie, wat betekent dat we bij een verbeterde registratie ook voor COPD voldoende patiënten kunnen includeren om betrouwbare indicatorscores te kunnen leveren.

Criterium 4: betrouwbare benchmark

Het aantal benodigde patiëntenpopulaties ten behoeve van de berekening van een betrouwbare benchmark hangt af van de spreiding tussen de verschillende scores op de betreffende indicator. De standaarddeviatie per indicator varieerde tussen 5,1 bij de diabetesuitkomstindicator ‘percentage diabetespatiënten met een HbA1c boven de 8,5’ en 39,0 bij de diabetesprocesindicator ‘percentage patiënten met een volledig ingevuld risicoprofiel’. Omdat deze spreiding tussen de verschillende indicatoren sterk varieerde zijn er ook grote verschillen in het aantal benodigde patiëntenpopulaties per indicator. Zo varieert het minimum aantal benodigde patiëntenpopulaties voor de diabetesindicatoren tussen de 8 en 233 bij een foutenmarge van 5% (zie tabel 5). Om voor alle indicatoren een betrouwbare benchmark te kunnen berekenen zijn 233 patiëntenpopulaties nodig bij een foutenmarge van 5% en 58 populaties bij een foutenmarge van 10%. De huidige benchmarkcijfers die men ter referentie bij het VIA aanbiedt, zijn gebaseerd op 259 populaties, wat voor deze onderzoekspopulatie ruim voldoende is om een maximale foutenmarge van 5% te handhaven.

Beschouwing

Uit de resultaten blijkt dat het onderdeel medisch handelen van het VIA een relatief breed en divers beeld schetst van de huisartsenzorg. De onderwerpen die hierin zijn meegenomen, hangen onderling weinig samen. De samenhang die we wel vonden valt te verklaren doordat er overlap is tussen de verschillende groepen. Zo kan een patiënt die is geïncludeerd bij de indicatoren met betrekking tot cardiovasculair risicomanagement ook diabetes hebben. Deze patiënt komt dan ook in aanmerking voor een griepvaccinatie. In de toekomst kan men meer onderwerpen aan het instrument toevoegen, zodat de evaluatie completer wordt en het veld van de huisartsgeneeskunde breder wordt gedekt. De onderwerpen die in de huidige versie aan bod komen toetst men aan de hand van een set van indicatoren die onderling redelijk samenhangen. Alleen Cronbach’s α betreffende astma was aan de lage kant. Een mogelijke verklaring voor een lagere samenhang van astma-indicatoren is dat men voor astma een minder strikt controlebeleid hanteert, vooral als de patiënt geen of weinig medicatie gebruikt. Voor mensen met diabetes, cardiovasculair risicomanagement en COPD, waarbij de huisarts ook de gemeten indicatoren moet uitvoeren, is het controlebeleid strikter. Een redelijke tot goede samenhang tussen indicatoren duidt erop dat we één achterliggend concept meten. Ten aanzien van het verkrijgen van betrouwbare scores komt er bij de verschillende indicatoren vaak eenzelfde maximum aantal benodigde patiënten naar voren. Dit komt doordat er bij bijna alle indicatoren minimaal één patiëntenpopulatie een score van 50% had; statistisch gezien is bij deze score het grootste aantal patiënten nodig voor een betrouwbare score. Hoe meer de scores de 0% of 100% naderen, des te kleiner het aantal benodigde patiënten wordt. De betrouwbaarheid van de scores hangt verder ook af van de betrouwbaarheid van de gegevens op grond waarvan men deze scores heeft berekend. Indien de gegevens niet betrouwbaar zijn verzameld, bijvoorbeeld door problemen bij de dataverzameling, zullen de scores ook nooit betrouwbaar zijn. Uniforme rapportage is daarom ook van het grootste belang. Bovendien moet men van tevoren bepalen welke gegevens men in- en excludeert. De vraag hoeveel patiënten nodig zijn voor een betrouwbare score en welk betrouwbaarheidsinterval men nog acceptabel acht, hangt sterk af van het doel van de meting. Voor interne kwaliteitsverbetering hoeft de score niet op de procent nauwkeurig te zijn om een goed beeld te geven van mogelijke verbeterpunten. Waar we de grens precies moeten leggen is arbitrair en wordt mede bepaald door de haalbaarheid. Een praktijk heeft slechts een beperkt aantal patiënten uit de doelgroep in de praktijk. Ook is er een grens wat betreft de tijdsinvestering door de huisarts. De steekproef van 40 patiënten die momenteel bij het VIA is toegestaan, is betrouwbaar zolang men een foutenmarge van 15% accepteert. Bij gebrek aan grotere aantallen gegevens kunnen deze scores wel een redelijke indicatie bieden voor interne kwaliteitsverbetering. Bij het gebruik van het instrument stelt men strengere eisen aan het instrument naarmate dat beter moet kunnen differentiëren tussen verschillende praktijken of scores nauwkeuriger moet weergeven. Indien men het instrument wil gebruiken om praktijken van elkaar te onderscheiden, bijvoorbeeld in het kader van een pay-for-performance-systeem, zal men grotere aantallen patiënten moeten includeren. Voor dit doel is een foutenmarge van 5% of minder gewenst, wat betekent dat men alleen onderscheid kan maken op zorggroepniveau of tussen grotere praktijken. In ons onderzoek hebben we de berekeningen niet uitgevoerd op praktijkniveau, maar op patiëntenpopulatieniveau. In de meeste gevallen was er maar één populatie in de praktijk. Voor praktijken die gegevens aanleverden voor meer, gescheiden populaties kunnen we deze samennemen om een beter beeld te geven van de gehele praktijk. Bij de interpretatie van de gegevens moet men bedenken dat de scheiding tussen ‘betrouwbaar’ en ‘onbetrouwbaar’ niet zo hard is als deze wellicht lijkt. Ook indien men op basis van het aantal geïncludeerde patiënten moet concluderen dat een indicatorscore niet betrouwbaar is, kan de indicatorscore toch nog een redelijk beeld van de praktijk geven. Het is echter niet 95% zeker dat de score representatief is, wat wil zeggen dat men voorzichtig moet zijn bij het trekken van conclusies op basis van de gevonden cijfers. Door de foutenmarge te verhogen naar 15%, daalt het benodigde aantal patiënten of patiëntenpopulaties. Al naar gelang het doel kan men variëren met de gekozen foutenmarge en het aantal geïncludeerde patiënten om een zo betrouwbaar mogelijke score te krijgen.

Conclusie

Uit ons onderzoek blijkt dat het onderdeel medisch handelen van het VIA wat betreft de vier onderzochte criteria een betrouwbaar en valide onderdeel is. Hierbij geldt dat men bij de interpretatie van gegevens een acceptabele foutenmarge in acht moet nemen. Uniforme rapportage is van groot belang om de betrouwbaarheid van de gegevensverzameling te verbeteren. Voor de huisarts is het een waardevol instrument om inzicht te krijgen in het eigen handelen in vergelijking met landelijke referentiecijfers. Op basis van dit instrument kunnen huisartsen plannen ter verbetering van de kwaliteit van het medisch handelen opstellen. Met behulp van het instrument kan men ook landelijk kijken naar de kwaliteit van de zorg van het medisch handelen. Het aantal benodigde patiënten over wie men gegevens moet verzamelen, zal vanwege de hogere eisen aan de betrouwbaarheid wel groter moeten zijn, dan wanneer men het instrument voor eigen gebruik inzet.