Wat is bekend?
-
Calamiteiten op de huisartsenpost zijn zeldzaam, maar hebben grote impact.
-
Bij calamiteiten hebben de gebruikelijke onderzoeksmethoden last van hindsight bias omdat de afloop bekend is.
Wat is nieuw?
-
Telefonische triagegesprekken waarbij een acuut coronair syndroom gemist was, verschillen van triagegesprekken zonder catastrofale afloop, maar onvoldoende om toekomstige calamiteiten te voorkomen.
-
Ervaren huisartsen, die geblindeerd waren voor de uitkomst, beoordeelden triagegesprekken waarbij een calamiteit optrad vaker als onveilig en slecht, maar hun onderlinge overeenstemming was laag.
-
Leren van calamiteiten zou niet enkel gebaseerd moeten zijn op analyse van casuïstiek, maar ook op een vergelijking tussen een aantal calamiteiten en een controleconditie.
Telefonische triage op de huisartsenpost (HAP) is uitdagend en complex werk.1 De triagist moet op basis van een enkel telefoongesprek de urgentie bepalen die richting geeft aan het verdere proces. Er is een digitale beslishulp, de Nederlandse Triage Standaard, maar ook deze kan triagefouten niet altijd voorkomen, en dat kan leiden tot een calamiteit. De Wkkgz definieert een calamiteit als ‘een niet-beoogde of onverwachte gebeurtenis, die betrekking heeft op de kwaliteit van de zorg en die tot de dood van of een ernstig schadelijk gevolg voor een cliënt heeft geleid’.2 Calamiteiten op de HAP zijn zeldzaam, de jaarlijkse incidentie is 0,006%, maar ze hebben een grote weerslag op de betrokken patiënten, families en zorgverleners.35 De grootste groep calamiteiten (46,2%) is een gemiste acute cardiovasculaire aandoening, vooral acuut coronair syndroom (ACS).
In de wet is vastgelegd dat elke calamiteit direct moet worden gemeld, waarna een uitgebreide oorzakenanalyse volgt. Aangezien de uitkomst echter al bekend is, lijden deze analyses onder hindsight bias: de neiging om te verwachten dat de betrokkenen vooraf hadden kunnen weten wat achteraf daadwerkelijk gebeurde.69 Uit eerder onderzoek is gebleken dat experts die betrokken zijn bij oorzakenanalyses ook ten prooi vallen aan hindsight bias.1012 De maatregelen die uit deze oorzakenanalyses voortvloeien, zijn veelal defensief en bedoeld om soortgelijke voorvallen in de toekomst te voorkomen.1315 Zulke maatregelen kunnen echter ook negatieve gevolgen hebben, waaronder overbelasting van het zorgsysteem, overdiagnostiek en iatrogene schade.1516
Om van calamiteiten op de HAP te kunnen leren moeten we zoeken naar aanwijzingen voor structurele fouten in de triage. We moeten de calamiteiten dus vergelijken met een controleconditie. In dit case-controlonderzoek vergeleken we triagegesprekken met patiënten die naar de HAP belden vanwege pijn op de borst en waarin een ACS was gemist (cases) met vergelijkbare triagegesprekken waarin een ACS niet was gemist (controls), met als doel voorspellers van een gemist ACS te identificeren. Om vervolgens meer inzicht te krijgen in het effect van hindsight bias op het oordeel van experts bij calamiteitenanalyses onderzochten we ook of ervaren huisartsen op basis van hun oordeel over de veiligheid en kwaliteit van de triage in staat waren de cases te onderscheiden van de controls.
Methode
Onderzoeksopzet
In dit case-controlonderzoek gebruikten we opnames van initiële telefonische triagegesprekken die tussen 2013 en 2017 zijn gevoerd op 9 HAP’s in de regio Utrecht. Alle gesprekken betroffen pijn op de borst of andere klachten die konden wijzen op een ACS. Triagegesprekken die door huisartsen werden overgenomen en overleg tussen triagisten zijn niet meegenomen, want deze waren veelal niet beschikbaar. Het onderzoek is goedgekeurd door de medisch-ethische toetsingscommisie Utrecht (WAG/mb/16/003208).
Inclusie
Uit de calamiteitendatabase van de betrokken HAP’s zijn alle geregistreerde calamiteiten verzameld waarbij een ACS was gemist. Een onderzoeker die verder niet betrokken was bij de data-analyse matchte elke case op basis van leeftijd en geslacht met 8 triagegesprekken betreffende klachten die het vermoeden op een ACS konden wekken, maar die niet eindigden in een calamiteit.17 De opnames van de controlegesprekken werden verzameld uit een bestaande database.18 Gegevens over de uiteindelijke diagnose die volgde op het HAP-contact van de controls kwamen uit het elektronisch patiëntendossier van de eigen huisarts. Voor patiënten die naar het ziekenhuis werden doorverwezen, werd de uiteindelijke diagnose ACS afgeleid uit brieven van de afdeling Spoedeisende Hulp of Cardiologie. Voor details over de inclusie, de exclusie en de follow-up van controls verwijzen we naar een eerder artikel.18
Dataverzameling
Twee onderzoekers hebben de opnames, geblindeerd voor de uitkomst (wel of geen calamiteit), teruggeluisterd om informatie te verzamelen over klachtenpresentatie, voorgeschiedenis, medicatiegebruik en urgentiebepaling. Uit het elektronisch patiëntendossier van de HAP’s verzamelden we gegevens over leeftijd, geslacht en gesprekskenmerken (tijdstip van bellen, gespreksduur).
Expertpanel
We vroegen aan een expertpanel, bestaande een aselecte steekproef van 15 huisartsen met ruime triage-ervaring, de triagegesprekken terug te luisteren en een inschatting te maken over de aanwezigheid van ACS en over de veiligheid en kwaliteit van de triage. Deze artsen hadden minimaal 5 jaar regie-ervaring, bij voorkeur gecombineerd met een kaderopleiding hart- en vaatziekten of spoedzorg, of ervaring op het gebied van patiëntveiligheid. De triagegesprekken werden willekeurig verdeeld over de experts, zodanig dat elk gesprek werd beluisterd door 2 verschillende experts in steeds wisselende combinaties. Alle experts waren geblindeerd voor de uitkomst van de triagegesprekken. Voor details over de exacte werkwijze en de vragenlijst zie ons oorspronkelijke artikel.19
Analyse
Met conditionele logistische regressieanalyse analyseerden we verschillen tussen cases en controls en verschillen tussen de oordelen van de experts.2021 Het oordeel van de experts over de triagekwaliteit beschouwden we als ‘slecht’ indien zij een score ≤ 5 gaven op een schaal van 1-10. De 5 urgentieniveaus van de NTS verdeelden we in hoog (U1-U2) en laag (U3-U5). In alle analyses beschouwden we een p-waarde < 0,05 als statistisch significant .
Om de interbeoordelaarsbetrouwbaarheid van de experts te kwantificeren werd de intraclass correlation coefficient (ICC) berekend als een benadering van gewogen kappa.22 We beschouwden een ICC < 0,40 als indicatie van slechte interbeoordelaarsbetrouwbaarheid, een ICC 0,40-0,75 als redelijk tot goed en een ICC > 0,75 als uitstekend.1215 De statistische analyses werden uitgevoerd met SPSS versie 25.0 en SAS versie 9.4.
Resultaten
In totaal werden 15 cases en 120 controls geïncludeerd. Van de controls kregen er 21 (17,5%) uiteindelijk de diagnose ‘ACS’. Bij 26 patiënten (21,7%) was de oorzaak een niet-urgente cardiovasculaire aandoening zoals stabiele angina pectoris, bij 23 (19,2%) costomyogeen, bij 21 (17,5%) een aspecifieke thoracale klacht (cardiale oorzaak uitgesloten middels diagnostische work-up), bij 5 (4,2%) gastro-intestinaal, bij 5 (4,2%) psychogeen, bij 4 (3,3%) respiratoir en bij 5 (4,2%) een andere diagnose. Van 10 controls (7,8%) was de uiteindelijke diagnose niet te achterhalen.
De mediane leeftijd van de bellers was 62,0 jaar (interkwartielafstand (IQR) 54,0-72,0) en 46,7% was man. In vergelijking met de controls gebruikten de cases minder vaak cardiovasculaire medicatie (38,5 versus 64,1%; p = 0,05) en rapporteerden zij vaker pijn op de borst op andere locaties dan retrosternaal (63,3 versus 24,7%; p = 0,02). In beide groepen vonden de meeste triagegesprekken plaats in de avond (46,7 versus 31,7%; p = 0,27) en er waren geen significante verschillen in gespreksduur.
Bij de cases vond vaker overleg plaats tussen de triagist en de superviserende huisarts dan bij de controls (86,7 versus 49,2%; p = 0,02), en bij de cases werd minder vaak een hoge urgentie (U1-U2) toegekend dan bij de controls (33,3 versus 75,0%; p = 0,003) [tabel 1].
Expertbeoordelingen en interbeoordelaarsbetrouwbaarheid
Het expertpanel bestond uit 15 huisartsen (60% man) met een mediane werkervaring van 23,0 jaar (IQR 6,0-27,0), Van deze huisartsen hadden er 10 een aanvullende opleiding gevolgd (4 kaderhuisartsen hart- en vaatziekten, 6 kaderhuisartsen spoedzorg), de overige 5 hadden ervaring op het gebied van patiëntveiligheid, bijvoorbeeld als lid van een incidentenraad of calamiteitencommissie. Zij gaven in totaal 270 beoordelingen van 135 gesprekken [tabel 2].
Over de kwaliteit van de triage oordeelde het expertpanel (op een kwaliteitsschaal van 1-10) beduidend ongunstiger bij de cases dan bij de controls (gemiddelde score 5,8 (SD 2,0) versus 7,2 (SD 1,5); p < 0,001). Ook het percentage waarin de experts de triage als ‘slecht’ beoordeelden (≤ 5 op de kwaliteitsschaal) was hoger bij de cases dan bij de controls (33,3% versus 10,9%, p = 0,001), en dat gold eveneens voor het percentage ‘onveilige’ triages (73,3% versus 22,5%, p < 0,001).
De redenen voor ‘slechte’ triage die de experts het vaakst noemden, waren te traag tempo en onvoldoende doorvragen bij onduidelijkheid. De vaakst genoemde redenen voor ‘onveilige’ triage waren onvoldoende vasthouden aan de ABCD-systematiek en het ontbreken van een vangnetadvies. Toch beoordeelde het expertpanel de veiligheid en kwaliteit van de triage in 26,7% van de cases als voldoende.
Binnen de controls was het oordeel van de experts correct in 36 van de 42 beoordeelde triagegesprekken die een ACS betroffen (sensitiviteit 0,86; 95%-BI 0,71 tot 0,95) en in 91 van de 178 beoordeelde triagegesprekken die géén ACS betroffen (specificiteit 0,51; 95%-BI 0,43 tot 0,58).
De interbeoordelaarsbetrouwbaarheid (ICC) van het expertpanel hebben we berekend voor alle triagegesprekken samen en voor de cases en controls afzonderlijk. De ICC voor het urgentieniveau was redelijk, zowel in het hele bestand (0,53; SD 0,40-0,65) als binnen de cases en controls afzonderlijk. De ICC voor (een sterk vermoeden van) ACS bleek het laagst binnen de cases (0,28; SD 0,00-0,79). Er was zeer weinig overeenstemming over ‘onveilige’ triages, zowel binnen de cases (ICC 0,00; SD 0,00-0,66) als binnen de controls (ICC 0,09; SD 0,00-0,27) en de totale groep (ICC 0,16; SD 0,00-0,32) . Over ‘slechte’ triages was de overeenstemming gering binnen de controls (ICC 0,05; SD 0,00-0,23) en de totale groep (ICC 0,17; SD 0,00-0,33) en matig binnen de cases (ICC 0,40; SD 0,00-0,87).
Beschouwing
Kenmerkend voor triagegesprekken waarbij een ACS is gemist (in vergelijking met gesprekken die niet in een calamiteit uitmonden) zijn het aangeven van pijn op de borst op andere locaties dan retrosternaal, minder gebruik van cardiovasculaire medicatie en vaker overleg tussen triagist en superviserend huisarts. Ons geblindeerde expertpanel van huisartsen beoordeelde de triagegesprekken die in een calamiteit uitmondden vaker als onveilig en van slechte kwaliteit, maar de interbeoordelaarsbetrouwbaarheid was laag.
Criteria om te voorkomen dat een ACS gemist wordt
Dit is het eerste case-controlonderzoek waarin meerdere calamiteiten zijn vergeleken met een controleconditie. Een eerder onderzoek, waarin alle calamiteiten op de HAP in Nederland in 2012 geanalyseerd werden, identificeerde als risicofactoren mannelijk geslacht, leeftijd 45-74 jaar, meerdere contacten met de HAP, betrokkenheid van meerdere hulpverleners, nachtelijke contacten en eerder recent contact met de eigen huisarts.3 Bij dit onderzoek ontbrak echter een controleconditie.
De verschillen tussen cases en controls die wij vonden, lijken in de dagelijkse praktijk van weinig nut als criteria om te voorkomen dat een ACS gemist wordt. Dat cardiovasculaire medicatie 12-27% uitmaakt van alle medicatie die Nederlandse huisartsen voorschrijven, impliceert dat veel bellers sowieso geen cardiovasculaire medicatie gebruiken.23 Dat bij triagegesprekken waarbij een ACS is gemist vaker overleg plaatsvond met de huisarts en dat deze gesprekken vaker werden overgenomen door de huisarts suggereert dat triagegesprekken vanwege acute thoracale klachten lastiger zijn. Dit zijn wel geen specifieke voorspellers voor een calamiteit, maar het zou tot meer alertheid mogen leiden. Een mogelijk wél behulpzaam criterium is thoracale, niet-retrosternale pijn, maar deze pijn heeft juist vaker een goedaardige niet-cardiale oorzaak.2425 Een groot onderliggend probleem is natuurlijk dat calamiteiten erg zeldzaam zijn en daarom nagenoeg niet te voorspellen, zelfs bij klachten verdacht voor acute cardiovasculaire ziekten (0,03%).26
Overeenstemming tussen beoordelaars
Ons expertpanel beoordeelde triagegesprekken waarbij een ACS is gemist vaker als onveilig en van slechte kwaliteit. Dit doet vermoeden dat het panel aspecten oppikte die wij niet in ons onderzoek hebben gescoord, zoals communicatiepatronen (open of gesloten vragen, taalbarrière) of emotionele uitingen (angst, irritatie).2728 De geringe beoordelaarsbetrouwbaarheid is wel opmerkelijk. Dat binnen een groep ervaren huisartsen zo weinig overeenstemming kan bestaan over de veiligheid en kwaliteit van triagegesprekken plaatst vraagtekens bij de waarde van beoordelingen door slechts een of enkele deskundigen, zoals vaak gebeurt in calamiteitenonderzoek.29 Telefonische triage is weliswaar geprotocolleerd, maar het blijft mensenwerk en het triageproces is moeilijk in al zijn complexiteit te analyseren. Naast de triagegesprekken zelf zijn tal van andere factoren van invloed op het triageproces, bijvoorbeeld de individuele eigenschappen van patiënt, triagist en huisarts, en de samenwerking.
Wij denken dat leren van calamiteiten niet enkel gebaseerd zou moeten zijn op individuele analyses. Om een realistischer beeld te krijgen van de veiligheid en kwaliteit van telefonische triage en eventuele structurele veiligheidsproblemen, moeten calamiteiten vergeleken kunnen worden met een controleconditie uit de dagelijkse praktijk. Dat zou ook de potentieel schadelijke neiging om te streven naar foutloze en risicoloze praktijk kunnen dempen.3031
Sterke punten en beperkingen
Sterke punten van dit onderzoek zijn dat we originele triagegesprekken waarbij een ACS is gemist hebben vergeleken met een controleconditie van vergelijkbare gesprekken en dat de beoordeling daarvan geblindeerd plaatsvond, dus zonder hindsight bias. Een beperking is het relatief kleine aantal calamiteiten. Die beperking is vooral problematisch voor de gerapporteerde absolute aantallen en percentages, maar niet zozeer voor de interbeoordelaarsbetrouwbaarheid. De geringe incidentie van calamiteiten (0,006%) maakt het niet goed mogelijk ze in grote aantallen te analyseren,3 en gezien de beperkte omvang was de gekozen afkapwaarde voor significantie van 0,05 vrij conservatief. Volgende onderzoeken zouden, naast een groter aantal calamiteiten, ook over andere effectmaten moeten rapporteren.
Ten slotte stond in dit case-controlonderzoek alleen het eerste triagegesprek centraal. Eventuele vervolggesprekken (tussen triagist en beller, huisarts en beller of triagist en huisarts) zijn niet meegenomen. Kennis over de expliciete afwegingen van de betrokkenen zou een waardevolle toevoeging zijn en is wat ons betreft aanleiding voor vervolgonderzoek.
Conclusie
Telefonische triagegesprekken waarbij een ACS is gemist verschillen niet heel erg van triagegesprekken over vergelijkbare klachten waarbij een ACS niet werd gemist. Dat het onderscheid moeizaam blijft, blijkt ook uit de geringe overeenstemming binnen een panel ervaren huisartsen die, geblindeerd voor de uitkomst, de gesprekken hebben beoordeeld. Dat onderstreept dat leren van calamiteiten niet alleen gebaseerd moet zijn op analyses van enkelvoudige casuïstiek, maar ook op onderzoek waarin een groter aantal calamiteiten wordt vergeleken met een controleconditie – bij voorkeur geblindeerd .
Dankbetuiging
De auteurs danken de (voormalige) Stichting Primair Huisartsenposten voor de samenwerking. Ze danken ook de huisartsen die hebben deelgenomen aan het expertpanel, Eline Groenland voor haar bijdrage en Paul Westers en Peter Zuithoff voor hun hulp bij de data-analyse.
Kenmerk | Cases | Controls | p |
n | 15 | 120 | |
BELLER | |||
mediane leeftijd, jaren (IQR) | 63,0 (53,0-71,0) | 61,5 (54,0-72,0) | ns |
mannelijk geslacht | 7 (46,7) | 56 (46,7) | ns |
cardiovasculaire voorgeschiedenis (n = 103) | 4 (36,4) | 51 (55,4) | ns |
diabetes mellitus (n = 71) | 4 (44,4) | 8 (12,9) | ns |
hypertensie (n = 57) | 1 (16,7) | 22 (43,1) | ns |
hypercholesterolemie (n = 73) | 2 (25,0) | 20 (30,8) | 0,05 |
cardiovasculaire medicatie (n = 105) | 5 (38,5) | 59 (64,1) | ns |
geeft uiting aan zorgen (n = 117)* | 9 (90,0) | 64 (59,8) | ns |
SYMPTOMEN | |||
dyspneu (n = 98) | 6 (46,2) | 57 (67,1) | ns |
pijn op de borst (n = 131) | 11 (84,6) | 111 (94,1) | ns |
karakter: drukkend (n = 107) | 6 (60,0) | 68 (70,1) | ns |
locatie: retrosternaal (n = 100) | 4 (36,4) | 67 (75,3) | 0,02 |
pijn ontstaan < 12 uur geleden (n = 127) | 10 (71,4) | 96 (85,0) | ns |
duur pijn >15 min (n = 128) | 13 (100,0) | 111 (96,5) | ns |
uitstraling van pijn (n = 115) | 9 (90,0) | 67 (63,8) | ns |
pijnscore: hevig (VAS > 7) (n = 76) | 3 (42,9) | 26 (37,7) | ns |
vegetatieve verschijnselen (n = 133)† | 11 (78,6) | 63 (52,9) | ns |
TRIAGEGESPREKKEN | |||
ochtend (06:00-12:00 uur) | 2 (13,3) | 29 (24,2) | ns |
middag (12:00-18:00 uur) | 2 (13,3) | 27 (22,5) | ns |
avond (18:00-00:00 uur) | 7 (46,7) | 38 (31,7) | ns |
nacht (00:00 – 06:00 uur) | 4 (26,7) | 26 (21,7) | ns |
mediane gespreksduur, min:sec (IQR) | 07:28 (05:23-08:25) | 06:23 (04:52-08:25) | ns |
beller is iemand anders dan patiënt zelf (n = 135) | 10 (66,7) | 56 (46,7) | 0,02 |
overleg met superviserend huisarts | 13 (86,7) | 59 (49,2) | 0,00 |
superviserend huisarts neemt triagegesprek over | 6 (40,0) | 12 (10,0) | ns |
hoge urgentie toegewezen (U1 of U2) | 5 (33,3) | 90 (75,0) | 0,003 |
Cases | Controls | p | |
---|---|---|---|
Aantal beoordelingen | 30 | 240 | |
Aantal triagegesprekken | 15 | 120 | |
Urgentiebepaling door experts | |||
U1 | 17 (56.7) | 132 (55,0) | ns |
U2 | 11 (36,7) | 70 (29,2) | ns |
U3 | 1 (3,3) | 30 (12,5) | ns |
U4 | 1 (3,3) | 6 (2,5) | ns |
U5 | 0 (0,0) | 2 (0,8) | ns |
U1 of U2 | 28 (93,3) | 202 (84,2) | ns |
Verschil urgentiebepaling experts-triagisten | |||
experts hoog (U1-U2) versus triagisten laag (U3-U5) | 13 (43,4) | 13 (5,4) | < 0,001 |
experts laag (U3-U5) versus triagisten hoog (U1-U2) | 1 (3,3) | 23 (9,6) | ns |
Sterk vermoeden op ACS | 19 (63,3) | 135 (56,3) | ns |
vermoeden bevestigd bij diagnose | 19 (63,3) | 36 (16,2) | < 0,001 |
Triagekwaliteit, gemiddelde score op schaal 1-10 (SD) | 5,8 (2,0) | 7,2 (1,5) | 0,001 |
triagekwaliteit ‘slecht’ (score ≤ 5)† | 10 (33,3) | 26 (10,9) | 0,001 |
triage ‘onveilig’ | 22 (73,3) | 54 (22,5) | < 0,001 |
Literatuur
- 1.↲Giesen P, Smits M, Huibers L, Grol R, Wensing M. Quality of after-hours primary care in the Netherlands: a narrative review. Ann Intern Med 2011;155:108-13.
- 2.↲Wet kwaliteit, klachten en geschillen zorg, Staatsblad 2015, 407, laatstelijk gewijzigd Staatsblad 2021, 135.
- 3.↲↲↲Rutten MH, Kant J, Giesen P. Wat kunnen we leren van calamiteiten op de huisartsenpost? Huisarts Wet 2018;61:DOI:10.1007/ s12445-018-0155-7.
- 4.↲Vanhaecht K, Seys D, Schouten L, Bruyneel L, Coeckelberghs E, Panella M, et al. Duration of second victim symptoms in the aftermath of a patient safety incident and association with the level of patient harm: a cross-sectional study in the Netherlands. BMJ Open 2019;9:e029923.
- 5.↲Wu AW, Shapiro J, Harrison R, Scott SD, Connors C, Kenney L, et al. The impact of adverse events on clinicians: what’s in a name? J Patient Saf 2020;16:65-72.
- 6.↲Henriksen K, Kaplan H. Hindsight bias, outcome knowledge and adaptive learning. Qual Saf Health Care 2003;12 Suppl 2:ii46-50.
- 7.↲Zwaan L, Monteiro S, Sherbino J, Ilgen J, Howey B, Norman G. Is bias in the eye of the beholder? A vignette study to assess recognition of cognitive biases in clinical case workups. BMJ Qual Saf. 2017;26:104-10.
- 8.↲Wears RL, Nemeth CP. Replacing hindsight with insight: toward better understanding of diagnostic failures. Ann Emerg Med 2007;49:206-9.
- 9.↲Fischhoff B. Hindsight not equal to foresight: the effect of outcome knowledge on judgment under uncertainty. Qual Saf Health Care 2003;12:304-11; discussion 311-2.
- 10.↲Arkes HR, Wortmann RL, Saville PD, Harkness AR. Hindsight bias among physicians weighing the likelihood of diagnoses. J Appl Psychol 1981;66:252-4.
- 11.↲Dawson NV, Arkes HR, Siciliano C, Blinkhorn R, Lakshmanan M, Petrelli M. Hindsight bias: an impediment to accurate probability estimation in clinicopathologic conferences. Med Decis Making 1988;8:259-64.
- 12.↲↲Knoll MA, Arkes HR. The effects of expertise on the hindsight bias. J Behav Decis Making 2016;30:DOI:10.1002/bdm.1950.
- 13.↲Reason J. Human error. Cambridge (UK): Cambridge University Press, 1990.
- 14.↲Vincent C, Taylor-Adams S, Stanhope N. Framework for analysing risk and safety in clinical medicine. BMJ 1998;316:1154-7.
- 15.↲↲↲Peerally MF, Carr S, Waring J, Dixon-Woods M. The problem with root cause analysis. BMJ Qual Saf 2017;26:417-22.
- 16.↲Kellogg KM, Hettinger Z, Shah M, Wears RL, Sellers CR, Squires M, et al. Our current approach to root cause analysis: is it contributing to our failure to improve patient safety? BMJ Qual Saf 2017;26:381-7.
- 17.↲Hennessy S, Bilker WB, Berlin JA, Strom BL. Factors influencing the optimal control-to-case ratio in matched case-control studies. Am J Epidemiol 1999;149:195-7.
- 18.↲↲Erkelens DC, Wouters LT, Zwart DL, Damoiseaux RA, De Groot E, Hoes AW, et al. Optimisation of telephone triage of callers with symptoms suggestive of acute cardiovascular disease in out-of-hours primary care: observational design of the Safety First study. BMJ Open 2019;9:e027477.
- 19.↲Erkelens DC, Rutten FH, Wouters LT, De Groot E, Damoiseaux RA, Hoes AW, et al. Limited reliability of experts’ assessment of telephone triage in primary care patients with chest discomfort. J Clin Epidemiol 2020;127:117-24.
- 20.↲Pearce N. Analysis of matched case-control studies. BMJ 2016;352:i969.
- 21.↲Grobbee DE, Hoes AW. Clinical epidemiology: principles, methods, and applications for clinical research. Burlington (MA): Jones & Bartlett Learning, 2015. p. 255-301.
- 22.↲Fleiss J, Levin B, Paik M. Statistical methods for rates and proportions. Hoboken (US): Wiley, 2003. p. 598-626.
- 23.↲De Bekker-Grob EW, Van Dulmen S, Van den Berg M, Verheij RA, Slobbe LC. Primary prevention of cardiovascular diseases: a cost study in family practices. BMC Fam Pract 2011;12:69.
- 24.↲Eslick GD. Usefulness of chest pain character and location as diagnostic indicators of an acute coronary syndrome. Am J Cardiol 2005;95:1228-31.
- 25.↲Bennett KR. Atypical chest pain: it’s time to be rid of it. Am J Med 2013;126:191.
- 26.↲Jaarverslagen Primair Huisartsenposten 2014-2017. Utrecht: Stichting Primair Huisartsenposten, 2014-2017.
- 27.↲Roing M, Holmstrom IK. Malpractice claims in Swedish tele-nursing: lessons learned from interviews with telenurses and managers. Nurs Res 2015;64:35-43.
- 28.↲Ernesater A, Winblad U, Engstrom M, Holmstrom IK. Malpractice claims regarding calls to Swedish telephone advice nursing: what went wrong and why? J Telemed Telecare 2012;18:379-83.
- 29.↲Van Houten CB, Naaktgeboren CA, Ashkenazi-Hoffnung L, Ashkenazi S, Avis W, Chistyakov I, et al. Expert panel diagnosis demonstrated high reproducibility as reference standard in infectious diseases. J Clin Epidemiol 2019;112:20-7.
- 30.↲Thomas EJ. The harms of promoting ‘Zero Harm’. BMJ Qual Saf 2020;29:4-6.
- 31.↲Amalberti R, Vincent C. Managing risk in hazardous conditions: improvisation is not enough. BMJ Qual Saf 2020;29:60-3.
Reacties
Er zijn nog geen reacties.