Beoordelingscriteria voor websites met gezondheidsinformatie

Inleiding

Er zijn inmiddels veel websites van huisartsen waarop verschillende functies worden aangeboden: informatie over de praktijk, e-mailconsulten, herhaalrecepten en informatie over ziekte en gezondheid worden in wisselende mate aangeboden. Informatie over ziekte en gezondheid kan een huisarts natuurlijk zelf schrijven, maar veel vaker zal hij verwijzen naar bestaande websites. Is dit laatste het geval, dan neemt de huisarts in feite de verantwoordelijkheid op zich voor de kwaliteit van de websites waarnaar wordt verwezen. De kwaliteit van aangeboden informatie loopt uiteen en is moeilijk te herkennen. 1 , 2 , 3 Er zijn drie methoden bekend om dit kwaliteitsprobleem aan te pakken. Zo kan er een portal worden ingesteld: een centrale plaats waar goede informatie beschikbaar is, samengesteld door deskundigen. Een tweede mogelijkheid is certificering, waarbij een derde partij de kwaliteit van websites beoordeelt en keurmerken uitdeelt. Een evaluatie-instrument om websites mee te beoordelen, is de derde mogelijkheid. In het advies ‘Patiënt en Internet’ van de Raad voor de Volksgezondheid en Zorg 1 wordt in navolging van de succesvolle Amerikaanse portal Healthfinder 4 geadviseerd een portal in te richten. Dit advies heeft in november 2001 geresulteerd in een website. 5 De internationale organisatie HON (Health On the Net) 6 gelooft daarentegen net als de Consumentenbond meer in certificering van websites. Ten slotte zijn er een aantal evaluatie-instrumenten beschikbaar. Twee bekende daarvan zijn de IQ-tools van Mitretek 7 en het DISCERN-instrument van de Universiteit van Oxford. 8 Beide instrumenten zijn bedoeld voor gebruik door patiënten. Er zijn ook initiatieven die zich niet zo makkelijk laten indelen in één van deze categorieën. Zo staat TNO zelfregulering door de informatieaanbieders met de eigen organisatie (TNO) als externe toezichthouder als meest passende oplossing voor ogen. 9 Genoemde kwaliteitsmechanismen lijken misschien verschillend, de basis is steeds een set van criteria waarmee de kwaliteit van een medische website beoordeeld kan worden. Aan de kwaliteit van een website kan een inhoudelijke en een contextuele component worden onderscheiden. De inhoudelijke kwaliteit heeft betrekking op de inhoud van wat de aanbieder tracht over te brengen. Klopt het wat er beweerd wordt? De contextuele kwaliteit, de ‘verpakking’, heeft betrekking op de wijze waarop de boodschap wordt overgebracht. Is de boodschap in een mooi jasje gestoken? Bij het oordeel over de kwaliteit van een website zijn beide van belang. De inhoudelijke kwaliteit van een medische website kan namelijk nog zo goed zijn, bij een slechte contextuele kwaliteit wordt het uiteindelijke doel van informatieoverdracht niet bereikt omdat de boodschap niet overkomt. Wij vroegen ons af op welke kwaliteitsaspecten huisartsen zouden moeten letten bij het beoordelen van de kwaliteit van een website over ziekte en gezondheid. Hiertoe hebben we in de literatuur en op het internet gezocht naar aspecten van belang bij het evalueren van de kwaliteit van gezondheidswebsites. De conclusies legden we ten slotte voor aan Nederlandse huisartsen die op hun eigen website verwijzen naar andere websites.

Methoden

Literatuuronderzoek

Wij hebben gezocht in Medline, Embase en PsychLit en in Nederlandse medische tijdschriften. Een document werd geïncludeerd indien er over kwaliteitsaspecten of criteria werd geschreven, of indien deze empirisch werden onderzocht.

Medline en Embase

Voordat we met het literatuuronderzoek begonnen, kenden we al twee relevante onderzoeken. 10, 11 In de eerste plaats is gezocht op trefwoorden die in deze twee eerdere onderzoeken waren gebruikt. Vervolgens is de zoekstrategie uitgebreid met trefwoorden die aan de gevonden relevante artikelen waren toegekend. Dit leidde tot de volgende combinaties van trefwoorden:

• ((computer communication network OR internet.tw) OR world wide web.tw) AND quality control;
• ((computer communication network OR internet.tw) OR world wide web.tw) AND medical informatics AND evaluation studies AND quality.tw;
• ((computer communication network OR internet.tw) OR world wide web.tw) AND medical informatics AND evaluation studies AND criteria.tw;
• quality assurance, health care AND health education AND health promotion.

Met deze trefwoorden hebben wij in november 2000 met behulp van Ovid en PubMed in de Medline- en Embasedatabase naar literatuur vanaf 1966 gezocht.

PsychLit

In de PsychLit-database hebben we met de combinaties van trefwoorden ‘internet AND quality’, ‘quality AND world wide web’, en ‘(world wide web OR internet) AND criteria’ gezocht (november 1999, alle databases en alle talen).

Nederlandse medische tijdschriften

De Nederlandse medische tijdschriften Medisch Contact, Huisarts en Wetenschap en het Nederlands Tijdschrift voor Geneeskunde zijn handmatig doorzocht (tot en met oktober 2000). Aangezien het kwaliteitsprobleem bij medische informatie op internet niet vóór 1997 speelde, hebben wij alleen de jaargangen vanaf 1997 doorzocht.

Internetonderzoek

Wij hebben op internet gezocht om met name bestaande instrumenten op het spoor te komen waarover (nog) niet gepubliceerd was in de officiële literatuur. Hierbij zijn de volgende internetzoekmachines gebruikt: Google, Northern Light, Snap en Yahoo (tussen 15 februari en 13 maart 2000). Combinaties van de volgende trefwoorden zijn gebruikt: ‘rate, rating, rank, ranking, top, best, health, quality’ en ‘health information’ en variaties van ‘health rating, ranking, evaluate, award’ en ‘assess’. De keuze voor zoekmachines en trefwoorden is gebaseerd op onderzoeken naar de kwaliteit van zoekmachines 12, 13 en op systematische reviews van de kwaliteit van medische websites. 2, 3, 10, 11 Met relevante websites als startpunt hebben we verder aan de hand van hyperlinks het internet afgezocht.

Delphi-procedure

Doel van de Delphi-procedure was om via herhaalde meting in een groep deelnemers consensus te verkrijgen over de inclusie van aspecten in een te construeren evaluatie-instrument voor de kwaliteit van gezondheidswebsites. Om een panel voor de Delphi-procedure samen te stellen hebben we op het internet gezocht naar de websites van Nederlandse huisartsen waarop gezondheidsinformatie direct of indirect (in de vorm van verwijzingen) wordt verspreid (augustus 2000). Hiervoor gebruikten we eveneens de internetzoekmachines Google, Northern Light, Snap en Yahoo. We zochten op de combinatie van trefwoorden ‘huisarts’ en ‘website’. Daarnaast zijn de websites van het NHG en ‘Consult voor de huisarts’ (tegenwoordig ‘Mednet’) gebruikt om huisartsenwebsites te vinden. In de eerste Delphi-ronde vroegen we de huisartsen in hoeverre zij het eens waren met de uit het literatuur- en internetonderzoek voorgedragen kwaliteitsaspecten en of er hierbij aspecten ontbraken. Voorts vroegen we op een vijfpuntsschaal aan te geven hoe relevant zij deze aspecten vinden voor inclusie in een te construeren evaluatie-instrument. Op basis van de antwoorden deden wij in de tweede ronde een concreet in- en exclusievoorstel, waarbij wij per aspect hun instemming vroegen. Wij gingen uit van consensus over inclusie van een aspect bij een onderlinge overeenstemming van 70% of meer.

Resultaten

Literatuur- en internetonderzoek

Medline leverde 256 documenten op waarvan er 129 werden geïncludeerd. De Embase-database leverde geen extra relevante artikelen op. Met PsychLit vonden wij in totaal 43 documenten waarvan er 4 werden geïncludeerd. De handmatige zoektocht door de Nederlandse medische tijdschriften resulteerde in 3 relevante documenten. Uiteindelijk bleven 136 documenten over in de volgende vier categorieën:

• instrumenten: evaluatie-instrumenten, stelsels van richtlijnen en metadatasystemen (systemen waarbij informatie over de informatie (metadata) is opgenomen met als doel de raadpleger te ondersteunen bij het bepalen van de relevantie en waarde van de informatie) (n=79);
• reviews van websites (n=26);
• meta-onderzoeken: artikelen waarin instrumenten/reviews van websites worden vergeleken en documenten waarin onderzocht wordt welke kwaliteitsaspecten zijn gebruikt (n=5);
• overige (n=26).

De 136 documenten beschreven tal van aspecten, criteria en operationalisaties van criteria met veel verschillen in abstractie-niveau. Zo werd bereikbaarheid in verschillende operationalisaties gebruikt, variërend van ‘is er een sitemap op de website aanwezig?’ tot ‘is voor het bezoeken van de website registratie verplicht?’ Al deze operationalisaties werden door de eerste auteur (MdR) teruggebracht tot één aspect: bereikbaarheid. Op deze wijze brachten we alle gevonden aspecten, criteria en operationalisaties terug tot een basisset van 14 aspecten ( tabel). In geval van twijfel werden de overige auteurs geraadpleegd en werd gestreefd naar consensus.

Delphi-procedure

De zoektocht naar huisartsenwebsites waarop medische informatie wordt verspreid, leverde destijds 30 websites van huisartspraktijken op; 21 praktijken retourneerden de eerste enquête en 16 stuurden de tweede vragenlijst terug. Wanneer we er van uitgaan dat dit dezelfde respondenten zijn als in de eerste ronde, zou dit een respons betekenen van 76% (16/21). In de eerste Delphi-ronde gaven de respondenten aan dat ze het eens waren met de indeling in 14 basisaspecten. Hiervan kregen er 11 een gemiddelde relevantiescore > 2,5. Deze werden in de tweede ronde ter inclusie aangeboden. De drie aspecten ‘sponsoring’, ‘interactiviteit’ en ‘verantwoording’ kregen een gemiddelde relevantiescore < 2,5. Een aantal huisartsen die aan sponsoring een lage relevantiescore toekenden, schoof tegelijk ‘kans op vertekening van de inhoud’ als aspect naar voren. Omdat deze twee volgens ons dezelfde lading dekken, boden wij ‘kans op vertekening van de inhoud’ eveneens ter inclusie aan in de tweede ronde. De overige aspecten ‘interactiviteit’ en ‘verantwoording’ werden ter exclusie aangeboden. Uit de tweede Delphi-ronde bleek dat uiteindelijk alléén voor het item ‘verantwoording’ de onderlinge overeenstemming tussen de huisartsen over inclusie kleiner dan 70% was. Van de overige 13 aspecten vond telkens minstens 70% van de respondenten dat ze in een te construeren evaluatie-instrument voor de kwaliteit van een gezondheidswebsite opgenomen zouden moeten worden.

Discussie

Bij het bekijken van de set van kwaliteitsaspecten ( tabel) kan de vraag opkomen of ze allemaal even belangrijk zijn. In sommige onderzoeken wordt deze vraag ontkennend beantwoord en worden relatieve gewichten aan de kwaliteitsaspecten toegekend om het verschil in belang te laten doorwerken in de beoordeling. 14, 15 De meeste auteurs en huisartsen blijken het eens zijn dat aan de kwaliteit van een medische website veertien basisaspecten te onderscheiden zijn. Over dertien van deze aspecten is consensus behaald over het belang om deze in een te construeren evaluatie-instrument voor de kwaliteit van medische websites op te nemen. De uitkomsten van de Delphi-procedure geven de mening weer van een select aantal huisartsen. Het is de vraag of de hoge mate van consensus ook behaald zou zijn bij een groter aantal huisartsen met een meer gevarieerde achtergrond.

Het belang van de kwaliteitsaspecten is in ons onderzoek in eerste instantie bepaald op basis van frequentie van gebruik in huidige instrumenten en in reviews van de kwaliteit van medische websites. In tweede instantie is het belang bepaald op basis van het oordeel van huisartsen. In het bepalen van het belang van kwaliteitsaspecten op basis van de frequentie van toepassing in evaluatie-instrumenten schuilt een gevaar. Als een bepaald kwaliteitsaspect niet vaak wordt toegepast hoeft dat nog niet te betekenen dat het niet belangrijk is. In de praktijk blijkt dit echter de enige mogelijkheid om de meningen en inzichten binnen een bepaald vakgebied zinvol samen te vatten. Vergelijkbare onderzoeken gebruikten dezelfde methodiek. 10, 11 Onder een groep huisartsen met een eigen website bestaat consensus over de kwaliteitsaspecten waarop een gezondheidswebsite beoordeeld moet worden. Deze aspecten sluiten nauw aan bij de internationale literatuur. Er dient over de wijze van operationaliseren van de kwaliteitsaspecten nog verder onderzoek te worden gedaan. De eerste belangrijke stap van consensus over wat de belangrijkste kwaliteitsaspecten zijn, lijkt echter te zijn gezet.

Men kan zich de vraag stellen of consumenten bij hun zoekgedrag ook deze zelfde of geheel andere aspecten gebruiken. In een recent onderzoek 16 bleken consumenten weliswaar de bron en het webdesign van belang te achten, maar hier in hun feitelijke zoekgedrag (zo bleek uit het bestuderen van logfiles) niet op te letten. In dit onderzoek gebruikten consumenten algemene zoekmachines (dus geen specifieke portals), bekeken ze alleen de eerste paar links en herinnerden ze zich niet van welke website ze informatie hadden gehaald. Het is belangrijk om kwaliteitsaspecten los te zien van het kwaliteitsmechanisme waarin ze worden gebruikt. Of men nu een portalsite, een vorm van certificering of een instrument in handen van een huisarts of patiënt nastreeft, in al deze gevallen zullen de aspecten waarop een website met gezondheidsinformatie beoordeeld moet worden, dezelfde zijn. Natuurlijk zal deze selectie voor een huisarts gemakkelijker zijn dan voor een leek. De aspecten van belang in deze zijn dezelfde. Ook de huisarts zal websites willen ‘linken’ die zowel betrouwbaar, bereikbaar als leesbaar zijn.

Dankbetuiging

Met dank aan dr. J.O.M. Zaat voor de plezierige en inspirerende samenwerking tijdens het afstudeerproject.