Samenvatting
Burgers JS, Boluyt N. De kwaliteit van CBO-richtlijnen en NHG-Standaarden beoordeeld met het AGREE-instrument. Huisarts Wet 2004;47(9):394-9. Doel Nagaan in hoeverre de recente CBO-richtlijnen en NHG-Standaarden voldoen aan internationaal geaccepteerde kwaliteitscriteria. Methoden Er werden 5 CBO-richtlijnen en 5 NHG-Standaarden geselecteerd, gepubliceerd van januari 2002 tot maart 2003. De richtlijnen werden door twee onderzoekers beoordeeld met het AGREE Instrument. Dit bestaat uit 23 items, verdeeld over 6 domeinen: onderwerp en doel; betrokkenheid van belanghebbenden; methodologie; helderheid en presentatie; toepassing; en onafhankelijkheid van de opstellers. De gemiddelde domeinscores en de gemiddelde itemscores van de CBO-richtlijnen werden vergeleken met die van de NHG-Standaarden. Resultaten De CBO-richtlijnen scoorden op 4 domeinen >50%, de NHG-Standaarden op 3 domeinen >50%. Op 3 domeinen (‘methodologie’, ‘toepassing’ en ‘onafhankelijkheid van de opstellers’) scoorden de CBO-richtlijnen significant hoger dan de NHG-Standaarden, met name vanwege meer achtergrondinformatie. Op het domein ‘helderheid en presentatie’ scoorden de NHG-Standaarden hoger dan de CBO-richtlijnen. Conclusie De kwaliteit van de CBO-richtlijnen en NHG-Standaarden kan op onderdelen verbeterd worden. Aan de verslaglegging zou meer aandacht besteed moeten worden om te kunnen nagaan of er daadwerkelijk sprake is van evidence-based richtlijnen.
Inleiding
Nederland kent een lange traditie op het gebied van klinische richtlijnontwikkeling. Begin jaren tachtig van de vorige eeuw startte het Kwaliteitsinstituut voor de Gezondheidszorg CBO, destijds Centraal Begeleidingsorgaan voor de Intercollegiale Toetsing, met het ontwikkelen van landelijke richtlijnen voor medisch specialisten.1 In 1987 volgde het NHG als een van de eerste wetenschappelijke verenigingen met de ontwikkeling van NHG-Standaarden.2 Vanwege de lange ervaring en de zorgvuldige procedure – met de nadruk op systematisch literatuuronderzoek en explicitering van het wetenschappelijke bewijs – kunnen de richtlijnprogramma's van het CBO en het NHG beschouwd worden als voorlopers op het gebied van ‘evidence-based’ richtlijnontwikkeling. Inmiddels hebben zij samen meer dan 150 richtlijnen geproduceerd. De richtlijnen hebben als doel de dagelijkse praktijkvoering in de gezondheidszorg te ondersteunen. Bovendien zijn zij belangrijke hulpmiddelen bij het handhaven en verbeteren van de kwaliteit van de zorg. Dit kan echter alleen worden bereikt als de richtlijnen zelf ook aan bepaalde kwaliteitseisen voldoen. Onlangs zijn deze eisen vastgelegd in het AGREE (Appraisal of Guidelines for Research & Evaluation) Instrument, ontwikkeld door experts uit 13 landen en internationaal gevalideerd.3 Het instrument is bekrachtigd door de WHO en wordt formeel aanbevolen door de Raad van Europa.4 De Nederlandse vertaling van dit instrument is sinds najaar 2001 beschikbaar (en te downloaden vanaf www. wokresearch.nl of www.cbo.nl). In dit artikel gaan wij na in hoeverre de recente CBO-richtlijnen en NHG-Standaarden aan de kwaliteitscriteria van het AGREE Instrument voldoen.
Wat is bekend?
- De CBO-richtlijnen en NHG-Standaarden staan bekend als evidence-based richtlijnen.
- De kwaliteitseisen voor klinische richtlijnen zijn vastgelegd in het internationaal gevalideerde AGREE Instrument.
Wat is nieuw?
- De CBO-richtlijnen geven meer informatie dan de NHG-Standaarden, maar zijn minder helder en overzichtelijk.
- De verslaglegging van de gebruikte methoden en procedure is voor verbetering vatbaar.
Het AGREE Instrument is niet geschikt om de klinische validiteit van de aanbevelingen en de kwaliteit van de evidence te beoordelen.Methode
Selectie richtlijnen
We selecteerden 5 CBO-richtlijnen en 5 NHG-Standaarden, gepubliceerd van 2002 tot maart 2003 ( tabel 1). Het CBO had in deze periode 8 richtlijnen gepubliceerd, het NHG 5 richtlijnen. De CBO-richtlijnen over ‘kleine’, specialistische onderwerpen (foetaal weefsel, cervixcytologie, lymfoedeem) werden geëxcludeerd. De CBO-richtlijnen werden gedownload van de CBO-website (www.cbo.nl) en de NHG-Standaarden waren beschikbaar via publicaties in Huisarts en Wetenschap.
| Publicatiedatum | |
|---|---|
| CBO-richtlijnen | |
| – Osteoporose (tweede herziening) | 2002 |
| – Seksueel overdraagbare aandoeningen en herpes neonatorum | 2002 |
| – Chronisch hartfalen (eerste herziening) | 2002 |
| – Decubitus (tweede herziening) | 2002 |
| – Behandeling van het mammacarcinoom | 2002 |
| NHG-Standaarden | |
| – Diagnostiek van mammacarcinoom (eerste herziening) | Augustus 2002 |
| – Reumatoïde artritis (eerste herziening) | September 2002 |
| – Duizeligheid | Oktober 2002 |
| – Anemie | Januari 2003 |
| – Delier bij ouderen | Maart 2003 |
AGREE Instrument
Het instrument bestaat uit 23 items, verdeeld over 6 domeinen: onderwerp en doel; betrokkenheid van belanghebbenden; methodologie; helderheid en presentatie; toepassing en onafhankelijkheid van de opstellers ( tabel 2). Elk domein beslaat een aparte dimensie van kwaliteit van richtlijnen. De items worden gescoord op een vierpunts Likert-schaal, die loopt van ‘zeer eens’ naar ‘zeer oneens’. Het instrument bevat instructies voor het gebruik en aanvullende informatie bij elk item. Aan het eind van het instrument is een vraag over het algemene oordeel over de richtlijn opgenomen. Het instrument is uitgetest in 2 validatierondes, waarbij 100 richtlijnen uit 11 landen zijn beoordeeld door 264 beoordelaars. De domeinscores correleerden sterk met het algemene oordeel over de richtlijnen (0,67-0,88). De betrouwbaarheid ( intra class correlation), uitgaande van 4 beoordelaars per richtlijn, varieerde van 0,57 tot 0,91. Meer details over de ontwikkeling en validatie van het instrument zijn elders gepubliceerd.3
| CBO | NHG | p | |||
|---|---|---|---|---|---|
| I | Onderwerp en doel | 53,3 | 57,8 | 0,471 | |
| 1 | Het doel van de richtlijn is specifiek beschreven. | 2,0 | 2,2 | 0,347 | |
| 2 | De klinische vraag/vragen die in de richtlijn aan de orde komt/komen, is/zijn specifiek beschreven. | 3,4 | 3,0 | 0,347 | |
| 3 | De patiëntenpopulatie waarop de richtlijn van toepassing is, is specifiek beschreven. | 2,4 | 3,0 | 0,273 | |
| II | Betrokkenheid belanghebbenden | 61,7 | 53,3 | 0,240 | |
| 4 | De leden van de werkgroep die de richtlijn heeft ontwikkeld komen uit alle relevante beroepsgroepen. | 4,0 | 2,8 | 0,012 | |
| 5 | Het perspectief en de voorkeuren van patiënten zijn nagegaan. | 3,2 | 2,0 | 0,040 | |
| 6 | De beoogde gebruikers van de richtlijn zijn duidelijk benoemd. | 3,2 | 4,0 | 0,065 | |
| 7 | De richtlijn is getest onder de beoogde gebruikers. | 1,0 | 1,6 | 0,040 | |
| III | Methodologie | 60,0 | 33,3 | 0,000 | |
| 8 | Er zijn systematische methoden gebruikt voor het zoeken naar wetenschappelijk bewijsmateriaal. | 3,0 | 1,0* | 0,000 | |
| 9 | De criteria voor het selecteren van het wetenschappelijk bewijsmateriaal zijn duidelijk beschreven. | 1,8* | 1,0* | 0,004 | |
| 10 | De gebruikte methoden om de aanbevelingen op te stellen, zijn duidelijk beschreven. | 2,0* | 1,6* | 0,141 | |
| 11 | Gezondheidswinst, bijwerkingen en risico's zijn overwogen bij het opstellen van de aanbevelingen. | 2,8 | 3,2 | 0,195 | |
| 12 | Er bestaat een expliciet verband tussen de aanbevelingen en het onderliggende wetenschappelijke bewijsmateriaal. | 3,0 | 3,0 | n.v.t. | |
| 13 | De richtlijn is voor publicatie door externe experts beoordeeld. | 3,0 | 3,2 | 0,347 | |
| 14 | Een procedure voor herziening van de richtlijn is vermeld. | 4,0 | 1,0* | 0,000 | |
| IV | Helderheid en presentatie | 68,3 | 80,0 | 0,058 | |
| 15 | De aanbevelingen zijn specifiek en ondubbelzinnig. | 3,0 | 3,6 | 0,273 | |
| 16 | De verschillende beleidsopties zijn duidelijk vermeld. | 3,4 | 3,4 | 1,000 | |
| 17 | De kernaanbevelingen zijn gemakkelijk te herkennen. | 3,2 | 3,4 | 0,545 | |
| 18 | De toepassing van de richtlijn wordt ondersteund met hulpmiddelen. | 2,6 | 3,2 | 0,094 | |
| V | Toepassing | 44,4 | 13,3 | 0,016 | |
| 19 | De mogelijke organisatorische belemmeringen bij het toepassen van de aanbevelingen zijn besproken. | 2,4 | 1,6 | 0,195 | |
| 20 | De mogelijke kostenimplicaties van het toepassen van de aanbevelingen zijn overwogen. | 2,8 | 1,6 | 0,189 | |
| 21 | De richtlijn geeft de belangrijkste criteria om na te gaan en te toetsen of de richtlijn wordt gevolgd. | 1,8 | 1,0 | 0,065 | |
| VI | Onafhankelijkheid opstellers | 43,3 | 0,0 | 0,005 | |
| 22 | De richtlijn is niet beïnvloed door de opvattingen of belangen van de financierende instantie. | 2,4* | 1,0* | 0,000 | |
| 23 | Conflicterende belangen van leden van de werkgroep zijn vastgelegd. | 2,2* | 1,0* | 0,040 |
Beoordeling richtlijnen
Voor een betrouwbaar oordeel zijn ten minste twee onafhankelijke beoordelaars vereist.5 De beoordelaars (JB en NB) waren niet betrokken bij de ontwikkeling van de geselecteerde richtlijnen. De richtlijnen werden onafhankelijk beoordeeld, waarna de scores op de individuele items werden vergeleken en bediscussieerd. Dit is ook de gebruikelijke gang van zaken bij het beoordelen van onderzoeken in het kader van systematische reviews.6 De uiteindelijke score kwam tot stand op basis van consensus.
Analyse
De overeenstemming tussen onze oordelen (vóór overleg) werd berekend door de scores te dichotomiseren in ‘eens’ (‘zeer eens’ of ‘eens’) en ‘oneens (‘zeer oneens’ of ‘oneens’). Ook overwogen wij kappa's te rapporteren, een veel gebruikte maat voor interbeoordelaarsovereenstemming los van het toeval ( kader). Echter, een substantieel onevenredige verdeling van de marginale proporties maakt de interpretatie van de kappa volgens Cohens criteria in de context van het AGREE Instrument ongeschikt.78 De domeinscores werden berekend volgens de instructies in het AGREE Instrument. De gemiddelde domeinscores (maximaal 100%, minimaal 0%) en de gemiddelde itemscores (maximaal 4 en minimaal 1) van de CBO-richtlijnen werden vergeleken met die van de NHG-Standaarden. De significantie van het verschil werd bepaald door variantieanalyse ( one-way ANOVA) met behulp van SPSS 9.0.
Wat is…?
Kappa Cohens kappa wordt gebruikt als een maat voor overeenstemming tussen twee (of meer) beoordelaars. Ook als er geen enkele samenhang tussen beoordelaars zou zijn, zullen beoordelaars alleen op grond van het toeval het soms toch met elkaar eens zijn. De kappa corrigeert voor dat toeval en daarom is die een betere maat dan het kale ‘overeenstemmingspercentage’. De kappa is de ratio: (de bereikte overeenstemming – overeenstemming verwacht op grond van het toeval)/(maximale overeenstemming – overeenstemming op grond van het toeval). De waarde ligt tussen –1 en +1. Meer overeenstemming dan verwacht op grond van het toeval geeft een kappa >0. Een kappa >0,8 geldt als een goede overeenstemming in het oordeel van twee waarnemers. Knottnerus JA, Volovics A. Overeenstemming tussen beoordelaars. Huisarts Wet 1989;32:56-61,73.
Resultaten
Overeenstemming
Het gemiddelde overeenstemmingspercentage van de individuele itemscores voordat overleg had plaatsgevonden, bedroeg 76,5. Bij item 1 (doel van de richtlijn), item 10 (methoden om aanbevelingen op te stellen), item 11 (winst en risico's overwogen) en item 12 (expliciet verband tussen aanbevelingen en bewijs) was de overeenstemming het laagst (40-50%). Uitgaande van de vierpuntsschaal met een maximaal puntenverschil van 3 (‘zeer eens’ minus ‘zeer oneens’ = 4-1), bleek dat in 10,4% (24/230) van de oordelen het verschil 2 punten en in 1,7% (4/230) het verschil 3 punten was. De sterkste verschillen werden veroorzaakt doordat een van de beoordelaars bepaalde relevante passages over het hoofd had gezien. Na overleg kon in alle gevallen consensus over de score worden bereikt.
Algemeen
De CBO-richtlijnen scoorden op 3 van de 6 domeinen (methodologie, toepassing en onafhankelijkheid van de opstellers) significant hoger dan de NHG-Standaarden ( tabel 2). Op het domein ‘helderheid en presentatie’ scoorden de NHG-Standaarden meer dan 10% hoger dan de CBO-richtlijnen, maar dit verschil was niet significant. Op itemniveau scoorden de CBO-richtlijnen significant hoger op 7 items, terwijl de NHG-Standaarden op 1 item significant hoger scoorden.
Onderwerp en doel
Het doel van de richtlijn werd in bijna alle richtlijnen weinig specifiek geformuleerd. Alleen in de NHG-Standaard Duizeligheid werd gesteld dat met de richtlijn onder meer werd beoogd onnodig voorschrijven van medicatie te voorkomen. De uitgangsvragen waren in 3 van de CBO-richtlijnen (Seksueel overdraagbare aandoeningen en herpes neonatorum, Chronisch hartfalen, Decubitus) expliciet vermeld in de titel van de paragrafen. Bij de NHG-Standaarden werden de uitgangsvragen in een begeleidend document, het zogenaamde projectplan, geformuleerd,2 maar een verwijzing hiernaar in de onderzochte standaarden ontbrak. De patiëntenpopulatie leek in de NHG-Standaarden iets beter te zijn beschreven dan in de CBO-richtlijnen. Zo vermeldde de NHG-Standaard Diagnostiek van mammacarcinoom duidelijk dat het om richtlijnen gaat voor vrouwen van 50 tot en met 75 jaar die behoren tot de doelgroep van het bevolkingsonderzoek naar borstkanker. De CBO-richtlijn Behandeling van het mammacarcinoom volstond met dat het vrouwen betreft met een mammacarcinoom.
Betrokkenheid van belanghebbenden
De geselecteerde CBO-richtlijnen zijn multidisciplinaire richtlijnen waarbij alle relevante beroepsgroepen waren betrokken, terwijl de NHG-Standaarden vooral werden gemaakt door en voor huisartsen. Relevante informatie over de werkgroep ontbrak in de NHG-Standaarden, met uitzondering van de standaard Delier bij ouderen. Het perspectief en de voorkeuren van patiënten werden niet systematisch nagegaan in de NHG-Standaarden. In drie CBO-richtlijnen (Osteoporose, Chronisch hartfalen, Behandeling van het mammacarcinoom) werd dat wel gedaan door representanten van patiëntenverenigingen (Osteoporose Stichting, BorstkankerVereniging Nederland) zitting te laten nemen in de werkgroep of door het opnemen van een verslag van een panelpatiëntengesprek (in de richtlijn over hartfalen, met inbreng van de Nederlandse Hartstichting). Het testen van de richtlijnen onder de beoogde gebruikers werd bij geen van de CBO-richtlijnen uitgevoerd, terwijl in drie NHG-Standaarden melding werd gemaakt van een commentaarronde onder huisartsen.
Methodologie
Alle CBO-richtlijnen beschreven dat er systematische zoekacties waren verricht, waarbij meerdere databases (zoals Cochrane, Medline, Embase) waren geraadpleegd. Specifieke zoekstrategieën, inclusie- en exclusiecriteria voor het selecteren van literatuur, uitkomstmaten, methodologische kwaliteit van de gevonden literatuur en toepasbaarheid werden echter niet expliciet vermeld. De CBO-richtlijn Decubitus vormde hierop een uitzondering. In de NHG-Standaarden werd eveneens geen informatie gegeven over hoe de literatuur was verzameld en beoordeeld. Ook de methoden over de manier waarop de aanbevelingen waren opgesteld werden niet duidelijk beschreven in zowel de CBO-richtlijnen als de NHG-Standaarden. Een expliciet verband tussen de aanbevelingen en het onderliggende bewijsmateriaal was in alle richtlijnen aanwezig. De CBO-richtlijnen beschreven de evidence in afzonderlijke paragrafen voor elke aanbeveling, inclusief niveaus van bewijs en ‘overige overwegingen’, terwijl de NHG-Standaarden gebruikmaakten van een notenapparaat waarin de onderliggende onderzoeken en argumenten worden besproken. Uit onze analyse bleek echter dat bij de CBO-richtlijnen de onderbouwing van de aanbevelingen soms minder duidelijk en expliciet was dan de lay-out suggereerde. Hoewel de inleiding van alle CBO-richtlijnen vermeldde dat de beoordeling van de verschillende artikelen onder het kopje Wetenschappelijke onderbouwing was terug te vinden, was dit namelijk alleen maar in de CBO-richtlijn Chronisch hartfalen daadwerkelijk het geval. Alle richtlijnen bleken een externe reviewronde te hebben ondergaan. De gevolgde procedure werd echter niet duidelijk beschreven. Een punt waarop de CBO-richtlijnen zich duidelijk onderscheidden, is dat zij een termijn vermeldden waarop de richtlijn zal worden herzien, terwijl informatie hierover in de NHG-Standaarden ontbrak.
Helderheid en presentatie
In het algemeen waren de aanbevelingen in de NHG-Standaarden specifieker geformuleerd dan de CBO-richtlijnen, met uitzondering van de NHG-Standaard Delier bij ouderen. Ook de CBO-richtlijn Seksueel overdraagbare aandoeningen en herpes neonatorum bevatte zeer specifieke aanbevelingen, met name over het medicatiebeleid. De verschillende beleidsopties werden zowel in de CBO-richtlijnen als in de NHG-Standaarden redelijk tot goed weergegeven. De aanbevelingen waren in de CBO-richtlijnen goed te herkennen doordat ze in aparte kaders waren geplaatst, maar er was geen kadertekst met kernaanbevelingen. Alle NHG-Standaarden en drie CBO-richtlijnen waren vergezeld van een geplastificeerd samenvattingskaartje. De NHG-Standaard Anemie bevatte ook een handig algoritme.
Toepassing
De organisatie van de zorg werd in drie CBO-richtlijnen (Chronisch hartfalen, Decubitus, Behandeling van het mammacarcinoom) in een apart hoofdstuk of aparte paragraaf besproken. In de NHG-Standaard Reumatoïde artritis werden relevante voorzieningen en hulpmiddelen vermeld. Organisatorische belemmeringen en potentiële oplossingen werden echter in geen van de richtlijnen expliciet besproken. In drie CBO-richtlijnen (Osteoporose, Seksueel overdraagbare aandoeningen en herpes neonatorum, Decubitus) werd uitgebreid aandacht besteed aan de kosten en kosteneffectiviteit van de aanbevolen interventies, terwijl daar in de andere twee richtlijnen geen woord aan werd gewijd. De NHG-Standaard Anemie bevatte een noot over de kosten van ijzerpreparaten, op grond waarvan de keuze was bepaald. Geen enkele richtlijn was voorzien van toetsingscriteria om na te gaan of de richtlijn wordt gevolgd, met uitzondering van de CBO-richtlijn Decubitus die een bijlage met indicatoren bevatte.
Onafhankelijkheid van de opstellers
De CBO-richtlijn Chronisch hartfalen vermeldde als enige dat de werkgroepleden vrij waren van financiële of zakelijke belangen. De overige CBO-richtlijnen en de NHG-Standaarden bevatten te weinig (of geen) informatie om de onafhankelijkheid goed te beoordelen.
Beschouwing
De richtlijnprogramma's van het CBO en NHG voldoen in grote lijnen aan de internationale eisen.9 De richtlijnen worden ontwikkeld op basis van systematisch literatuuronderzoek en de aanbevelingen worden geformuleerd door zorgvuldig samengestelde werkgroepen. Toch kunnen de richtlijnen in sommige opzichten verbeterd worden. Vooral de gebruikte methoden en procedures, zoals de literatuurselectie en de totstandkoming van de aanbevelingen, kunnen meer inzichtelijk worden gemaakt in de richtlijn of in begeleidende documenten. Zeker met het oog op de toenemende samenwerking tussen richtlijnorganisaties, waarbij de opbrengst van literatuuronderzoek (evidence) zou kunnen worden uitgewisseld, is een adequate beschrijving van de zoekstrategie en selectiecriteria een conditio sine qua non.10 Ieder kan dan op basis van de gevonden evidence ‘eigen aanbevelingen’ formuleren, waarbij andere overwegingen kunnen leiden tot verschillende aanbevelingen. Voor klinische richtlijnen zouden vergelijkbare eisen aan de verslaglegging gesteld kunnen worden als voor klinische trials, zoals vastgesteld in de CONSORT-richtlijnen.1112 De hogere scores van de CBO-richtlijnen ten opzichte van de NHG-Standaarden in ons onderzoek kunnen voor een deel verklaard worden doordat de CBO-richtlijnen meer publicatieruimte ter beschikking hadden. De onderzochte CBO-richtlijnen zijn ‘boeken’ van meer dan 100 (soms meer dan 200) pagina's, terwijl de NHG-Standaarden in een beperkt aantal pagina's in Huisarts en Wetenschap werden gepubliceerd. Dit probleem zou echter kunnen worden ondervangen met behulp van verwijzingen naar aanvullende teksten op de website van het NHG. Een efficiënte verslaglegging in een papieren versie, met een beperkt aantal pagina's, heeft wel een positieve invloed op de helderheid en de bruikbaarheid van de richtlijn in de praktijk.13 Een andere verklaring voor de kwaliteitsverschillen is het meer multidisciplinaire karakter van de CBO-richtlijnen ten opzichte van de NHG-Standaarden. Dit vereist een meer expliciete beschrijving van de werkwijze en de betrokken partijen, waardoor de scores op een aantal items hoger uitvallen. De scores van de onderzochte richtlijnen weken niet veel af van de scores van de richtlijnen die in het internationale validatieonderzoek van het AGREE Instrument waren opgenomen.3 De gemiddelde domeinscores in dit onderzoek waren 69,3% voor onderwerp en doel, 36,1% voor betrokkenheid van belanghebbenden, 40,7% voor methodologie, 65,8% voor helderheid en presentatie, 36,9% voor toepassing en 30,3% voor onafhankelijkheid van de opstellers. De richtlijnen in dit onderzoek dateren echter van 1992 tot 1999 en zijn niet geheel representatief voor evidence-based richtlijnen. Hieruit kan worden opgemaakt dat de richtlijnen internationaal ook voor verbetering vatbaar zijn, maar ook dat het AGREE Instrument de lat erg hoog legt. Voldoende budget en expertise zijn vereist om een systematisch literatuuroverzicht te maken, het perspectief en de voorkeuren van patiënten adequaat na te gaan, de richtlijn uit te testen in de praktijk, kostenoverwegingen in de richtlijn op te nemen en om reviewcriteria of indicatoren op te stellen. Wij willen er daarom voor pleiten om bij het maken van richtlijnen de krachten te bundelen op landelijk niveau. Door uit te gaan van een analyse van knelpunten in de praktijk en door alle relevante beroepsgroepen van meet af aan bij de ontwikkeling en de implementatie te betrekken, kan worden voorkomen dat de richtlijnen te veel van bovenaf worden opgelegd.14 We onderzochten een aantal recente richtlijnen van het CBO en NHG, die mogelijk al onder invloed van het AGREE Instrument verbeterd zijn. Opvallend was dat er toch een aantal opmerkelijke verschillen waren tussen de richtlijnen van dezelfde organisatie. Bij sommige CBO-richtlijnen waren patiënten bij de ontwikkeling betrokken, bij andere niet. Mogelijk hangt dit samen met het onderwerp. Voor een richtlijn over soa of decubitus is het immers lastig om patiënten(organisaties) te vinden die bereid of in staat zijn mee te werken. Het is echter minder duidelijk waarom de organisatie van de zorg en de kosten niet bij alle CBO-richtlijnen evenveel aandacht hebben gekregen. Bij twee NHG-Standaarden ontbrak om onduidelijke redenen de totstandkomingsparagraaf waardoor er onvoldoende informatie beschikbaar was om over de samenstelling van de werkgroep te oordelen. De meest recente NHG-Standaard in ons onderzoek (Delier bij ouderen) onderscheidde zich door een kader met kernboodschappen te presenteren. Inmiddels worden alle NHG-Standaarden hiervan voorzien.
Mogelijkheden en beperkingen AGREE Instrument
Het AGREE Instrument biedt een kader om de kwaliteit van richtlijnen systematisch na te gaan, waarbij niet alleen de methodologie, maar ook het draagvlak en de toepasbaarheid bij het oordeel worden betrokken. Een voorwaarde voor een betrouwbare beoordeling is dat begeleidende documenten, bijvoorbeeld een projectplan of een beschrijving van de methodologie en de actualiseringsprocedure, ook worden gelezen. Wij hadden alleen de beschikking over de richtlijnen, waarin geen enkele verwijzing werd aangetroffen naar dergelijke informatie terwijl die wel aanwezig is.215 De scores moeten daarom met enige terughoudendheid worden geïnterpreteerd, omdat zij meer betrekking hebben op de verslaglegging in de richtlijn dan op de feitelijk gevolgde procedures. Zo zijn enkele items niet te beoordelen zonder voldoende achtergrondinformatie, bijvoorbeeld item 4 (werkgroep), 5 (patiëntenperspectief), 7 (praktijktest), 8 (literatuursearch), 9 (selectiecriteria), 10 (methoden opstellen aanbevelingen), 18 (hulpmiddelen), 22 (invloed financierende instantie) en 23 (conflicterende belangen). De overeenstemming tussen de scores bij een onafhankelijke beoordeling is matig, maar de verschillen zijn in de meeste gevallen niet groot en kunnen na overleg worden opgelost. Een beperking van het instrument is dat het geen criteria bevat die de klinische inhoud van de aanbevelingen op zijn merites beoordelen. Zo zouden twee verschillende richtlijnen met dezelfde aanbevelingen toch uiteenlopende kwaliteitsscores kunnen krijgen. Ook worden de validiteit van de zoekstrategie en de keuze van de selectiecriteria niet getoetst met het instrument. Alleen een beschrijving hiervan is voldoende voor het behalen van een hoge score op deze items (8 en 9). Hoewel de domeinscores nuttig kunnen zijn om richtlijnen te vergelijken, is het niet mogelijk om drempelwaarden vast te stellen die ‘goede’ of ‘slechte richtlijnen aanduiden. Om deze redenen moet het instrument niet worden gezien als een meetlat waarmee een definitief oordeel kan worden geveld, maar eerder als richtsnoer bij het beoordelen en ontwikkelen van richtlijnen. Dit maakt dat het instrument met name geschikt is voor richtlijnmakers als leidraad om de kwaliteit van richtlijnen verder te verbeteren. Voor de professional – de gebruiker van de richtlijn – zijn vooral de klinische inhoud van belang en een expliciete beschrijving van de overwegingen die tot de aanbevelingen hebben geleid. Voor het beoordelen van de kwaliteit van deze overwegingen is het AGREE Instrument minder geschikt.
Conclusie
De kwaliteit van de CBO-richtlijnen en NHG-Standaarden is gemiddeld redelijk tot goed te noemen, maar kan op onderdelen verbeterd worden. Met name aan de verslaglegging van de methodologie zou meer aandacht moeten worden besteed om daadwerkelijk te kunnen spreken van een evidence-based richtlijn. Het AGREE Instrument biedt een leidraad om de kwaliteit van de richtlijnen verder te verbeteren en aan te passen aan de internationale eisen. Het verdient aanbeveling in de richtlijn te verwijzen naar beschikbare beschrijvingen van de gevolgde procedures en implementatieplannen, bijvoorbeeld met links naar internetpublicaties. Dergelijke transparante richtlijnen bieden meer mogelijkheden tot samenwerking en afstemming, zowel nationaal als internationaal.
Literatuur
- 0.Van Everdingen JJE. Van consensus naar CBO-richtlijn. Ned Tijdschr Geneeskd 1999;143:2086-8.
- 0.Thomas S. Standaarden van het Nederlands Huisartsen Genootschap. Ned Tijdschr Geneeskd 1993;137:2135-8.
- 0.The AGREE Collaboration. Writing Group: Cluzeau FA, Burgers JS, Brouwers M, Grol R, Mäkelä M, Littlejohns P, Grimshaw J, Hunt C. Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project. Qual Saf Health Care 2003;12:18-23.
- 0.European Health Committee (CDSP). Recommendation Rec(2001)13 on developing a methodology for drawing up guidelines on best medical practices. Strasbourg: Council of Europe Publishing, 2001.
- 0.Burgers JS. Quality of clinical practice guidelines [Proefschrift]. Nijmegen: Universitair Medisch Centrum St Radboud, 2002.
- 0.Assendelft WJJ, Scholten RJPM, Van Eijk JTHM, Bouter LM. De praktijk van systematische reviews. III. Methodologische beoordeling van onderzoeken. Ned Tijdschr Geneeskd 1999;143:714-9.
- 0.Byrt T, Bishop J, Carlin JB. Bias, prevalence and kappa. J Clin Epidemiol 1993;46:423-9.
- 0.Hoehler FK. Bias and prevalence effects on kappa viewed in terms of sensitivity and specificity. J Clin Epidemiol 2000;53:499-503.
- 0.Burgers JS, Grol R, Klazinga NS, Mäkelä M, Zaat J, for The AGREE Collaboration. Towards evidence-based clinical practice: an international survey of 18 clinical guideline programs. Int J Qual Health Care 2003;15:31-45.
- 0.Baker R, Feder G. Clinical guidelines: where next? Int J Qual Health Care 1997;9:399-404.
- 0.Moher D, Schulz KF, Altman DG. The CONSORT statement: revised recommendations for improving the quality of reports of parallel-group randomised trials. Lancet 2001;357:1191-4.
- 0.Shiffman RN, Shekelle P, Overhage M, Slutsky, Grimshaw J, Deshpande AM. Standardizing reporting of clinical practice guidelines: a proposal from the conference on guideline standardization. Ann Intern Med 2003;139:493-8.
- 0.Watkins C, Harvey I, Langley C, Gray S, Faulkner A. General practitioners’ use of guidelines in the consultation and their attitudes to them. Br J Gen Pract 1999;49:11-5.
- 0.Grol R, Wensing M, redactie. Implementatie: effectieve verandering in de patiëntenzorg. Maarssen: Elsevier gezondheidszorg, 2001.
- 0.Kwaliteitsinstituut voor de gezondheidszorg CBO. Richtlijnontwikkeling binnen het Kwaliteitsinstituut voor de gezondheidszorg CBO. Handleiding voor werkgroepleden. Utrecht: CBO, 2000.
Reacties
Er zijn nog geen reacties.