Een gecombineerde maat om de kwaliteit van zorg in ziekenhuizen te meten. Hoe moet deze worden weergegeven om bruikbaar te zijn voor patiënten, kwaliteitsmedewerkers van ziekenhuizen en verzekeraars?
S.N. Hofstede en P.J. Marang-van de Mheen
Duizenden kwaliteitsindicatoren worden jaarlijks in Nederland verzameld in ziekenhuizen.(Ikkersheim D. 2016) Deze indicatoren worden gebruikt door verschillende partijen, zoals door professionals in ziekenhuizen om in te zetten voor kwaliteitsverbeteringen, door zorgverzekeraars voor de zorginkoop of door patiënten om voor een ziekenhuis te kiezen.
Maar wat zeggen deze indicatoren nu eigenlijk? Er is veel discussie over hoe betrouwbaar indicatoren daadwerkelijk kwaliteit van zorg in ziekenhuizen weer kunnen geven.
Een voorbeeld hiervan is de discussie rond de HSMR. De sterftecijfers zijn laag, waardoor ziekenhuizen op basis van sterfte niet betrouwbaar van elkaar kunnen worden onderscheiden (van Dishoeck et al. 2011).
Een ander probleem is dat indicatoren afzonderlijk geen goed beeld geven, omdat ze gerelateerd zijn (Hofstede et al. 2017). Zo kan een ziekenhuis weinig heropnames hebben, doordat patiënten overlijden of relatief lang in het ziekenhuis worden gehouden.
Een mogelijke oplossing is het combineren van indicatoren. Daarbij wordt rekening gehouden met relaties tussen uitkomsten en het aantal events dat hoger wordt, zodat ziekenhuizen betrouwbaarder van elkaar te onderscheiden zijn. Maar wat vinden potentiële gebruikers van een gecombineerde maat? Op welke manier moet deze worden weergegeven om bruikbaar te zijn?
Gecombineerde maat
Rekening houdend met onderliggende relaties, is een gecombineerde ordinale uitkomstmaat ontwikkeld op basis van de uitkomstmaten: lange ligduur, heropname en overlijden.
Gecombineerde maat van beste naar slechtste uitkomst:
- Overleven, geen heropname, normale opnameduur.
- Overleven, geen heropname, verlengde opnameduur.
- Overleven, heropname, normale opnameduur.
- Overleven, heropname, verlengde opnameduur.
- Overlijden.
De ordening is gebaseerd op bestaande literatuur (Marang-van de Mheen et al. 2007). De maat is voorgelegd tijdens een internationale bijeenkomst aan 100 experts op het gebied van kwaliteit van zorg.
Voor de toekomstige implementatie van deze maat is het relevant om te onderzoeken wat patiënten, kwaliteitsmedewerkers van ziekenhuizen en verzekeraars van deze maat vinden:
- Voor welke doelen kan deze maat gebruikt worden?
- Hoe moet deze maat worden vormgegeven om informatief en bruikbaar te zijn?
Vanuit het LUMC voerden we een studie uit met als doel om inzicht te krijgen in de voorkeuren van de verschillende doelgroepen.
Focusgroepen gehouden
Om inzicht te krijgen in de voorkeuren, werden drie focusgroepen van circa 2 uur gehouden. Eén vond plaats met patiënten (n=10), één met kwaliteitsmedewerkers in ziekenhuizen (n=9) en één met verzekeraars (n=7).
Tijdens de focusgroepen vroegen we of deelnemers de gecombineerde maat bruikbaar vonden en zo ja, voor welke doeleinden en wat zij als voor- en nadelen zagen. Vervolgens hebben we gevraagd hoe de gecombineerde maat moet worden weergegeven. De gesprekken in de focusgroepen zijn opgenomen, uitgetypt en samengevat. Na elke focusgroep ontvingen de deelnemers de samenvatting en waren zij in de gelegenheid hier op te reageren.
Wat vinden potentiële eindgebruikers?
Patiënten vonden de gecombineerde maat nuttig om ziekenhuizen met elkaar te kunnen vergelijken, omdat het meer openheid schept. Ook vonden ze ligduur, heropname en sterfte belangrijke uitkomsten. Als bijkomend voordeel zagen zij dat je kunt uitsplitsen, bijvoorbeeld een korte opname, maar dan komt er door vroeg ontslag een heropname en dat is niet gewenst. Op deze manier krijgen zij een beter en vollediger beeld.
Wel gaven zij aan dat de gecombineerde maat niet bruikbaar is bij acute opnames en bij sommige ziektebeelden die alleen in academische centra worden behandeld. Daarbij is er dus minder keus. Alhoewel de meeste patiënten positief tegen de gecombineerde maat aankeken, zou niet iedereen deze maat gebruiken. Een patiënt gaf aan weinig met cijfers te hebben. Diegene vond patiëntervaringen en op je gevoel afgaan belangrijker dan de gecombineerde maat.
Een mooie (toekomstige) uitbreiding zou zijn dat het mogelijk wordt om te kunnen doorklikken op één van de groepen binnen de gecombineerde maat en daar dan de patiëntervaringen van te zien, om te kijken wat dit voor een patiënt heeft betekend.
Kwaliteitsmedewerkers zagen de meerwaarde in de combinatie van verschillende indicatoren. Bijvoorbeeld, zijn er meer heropnames in de groep patiënten met een normale opnameduur of met een lange opnameduur? Dit geeft inzicht in de vraag bij welke patiëntengroep de heropnames gereduceerd kunnen worden.
De gecombineerde maat kunnen zij daarmee gebruiken als een specifieker signaal om te vinden wat er verbeterd kan worden via dossieronderzoek, bijvoorbeeld of de heropnames wellicht het gevolg zijn van te vroeg ontslagen patiënten.
Zij zagen voordeel in het direct dossiers kunnen selecteren voor een specifieke groep patiënten op basis van meerdere indicatoren, om ook te voorkomen dat potentieel drie keer hetzelfde dossier wordt opgevraagd voor iedere losse indicator om te kijken welke gebeurtenis mogelijk te voorkomen was. Daarnaast kan het vergelijken met andere ziekenhuizen op meerdere uitkomsten zorgen voor een completer beeld.
Suggesties waren er om de gecombineerde maat nog uit te breiden met korte opnameduur en onderscheid bij overlijden na normale versus verlengde opnameduur. Ook waren er kritische kanttekeningen, namelijk dat dit de discussies over kwaliteitsindicatoren niet oplost, waaronder de validiteit en het correct registreren van de indicatoren.
Verbeterpotentieel in ziekenhuizen
Verzekeraars gaven aan dat ze een gecombineerde maat kunnen gebruiken om te signaleren waar het verbeterpotentieel in ziekenhuizen ligt. Wanneer een ziekenhuis heel erg afwijkt kunnen zij dit ter sprake brengen en vragen waar dit aan ligt, wat ziekenhuizen er mee gaan doen om vervolgens inzicht te krijgen in waar ze zijn verbeterd.
Het is dus vooral belangrijk dat ziekenhuizen deze maat gaan gebruiken om inzicht te krijgen in wat zij doen en waar zij kunnen verbeteren. Zij gaven aan het niet te zullen gebruiken voor de zorginkoop, omdat ze zelden op basis van indicatoren de zorg zouden inkopen.
De verzekeraars gaven ook aan dat de kanttekeningen van losse indicatoren niet worden opgelost met een gecombineerde maat, zoals perverse prikkels om goed te scoren op indicatoren. Daarnaast moet er gekeken worden voor welke diagnosegroepen deze maat een zinvolle toevoeging is.
Hierbij moet gefocust worden op aandoeningen/ behandelingen waarbij de uitkomsten voornamelijk zijn toe te schrijven aan de ziekenhuiszorg, zoals bij veel electieve behandelingen. Terwijl bijvoorbeeld patiënten met COPD zelf ook invloed hebben op een heropname, door hun leefstijl wel of niet aan te passen. Ook moeten het behandelingen zijn waarbij patiënten nog de gelegenheid hebben een ziekenhuis te kiezen.
Hoe weergegeven?
Zowel patiënten, kwaliteitsmedewerkers als verzekeraars gaven aan dat het belangrijk is om de gecombineerde maat ziekte-specifiek weer te geven. Eén weergave voor alle ziekenhuisopnames zagen zij niet als zinvol. De weergave van de gecombineerde maat moet het mogelijk maken om ziekenhuizen met elkaar te kunnen vergelijken, maar voor kwaliteitsmedewerkers en verzekeraars is het ook belangrijk om trends in de tijd te kunnen zien per ziekenhuis.
Tabel 1 geeft de voorkeuren van de verschillende groepen weer.
De voorkeur van patiënten gaat uit naar een staafdiagram met balken naast elkaar voor elke categorie met een percentage en een beknopte toelichting, zodat het diagram te lezen en te beoordelen is. Daarnaast willen ze de mogelijkheid om door te klikken om zo uitgebreidere informatie op te zoeken. Ook vinden ze het belangrijk om uitleg te geven over wat de uitkomst precies betekent, bijvoorbeeld over een heropname.
Mooie PR voor het ziekenhuis
Patiënt 1: “Ik zeg het maar eerlijk, ik begrijp die heropname eigenlijk niet (…) Ik las het dus eerst van dat is een mooie PR voor een ziekenhuis, als je dus een paar keer op wordt genomen, dan kies je dus dat je weer naar hetzelfde ziekenhuis wilt.”
Ook gaven patiënten aan wat niet de voorkeur had. Zo vinden het lastig om verschillen te kunnen zien tussen de taartpunten in een cirkeldiagram, iets wat met balken duidelijker te zien was. Ook een weergave in sterren vonden ze geen goed idee:
Patiënt 2: “Ik ben anti-sterren (…) we hebben het niet over een restaurant of een boek of een film, het is een ziekenhuis. En dan vind ik sterren niet de juiste manier (…) een ziekenhuis is zo veel meer dan dat.”
Meer detailgegevens
Kwaliteitsmedewerkers geven de voorkeur aan een funnelplot. Dit om elk van de vijf groepen te kunnen vergelijken met andere ziekenhuizen naast bijvoorbeeld een staafdiagram, waarbij alle groepen per ziekenhuis optellen tot 100%. Daarnaast willen ze de onderliggende gegevens in meer detail. Zo kunnen ze beter analyseren waar ze kunnen verbeteren en in kunnen zoomen op patiëntniveau.
Zij gaven aan dat de gecombineerde maat mogelijk goed bruikbaar is, maar dat eerst binnen ziekenhuizen gekeken moet worden of het daadwerkelijk een goede uitkomstmaat is, voordat het openbaar gemaakt wordt voor patiënten.
Kwaliteitsmedewerker 1: “Uiteindelijk vind ik het belangrijkste dat het een goede uitkomstmaat is en dus moet je eerst experimenteren (…) is het een goede uitkomstmaat en dan na een paar jaar kun je gaan zeggen dat is het wel of dat is het niet en dan moet je de keuze als het het wel is dan mag het ook van mij openbaar zijn.”
Significante verschillen
Verzekeraars gaven aan vooral te willen kijken naar significante en klinisch relevante verschillen tussen ziekenhuizen. Ze willen een ziekenhuis kunnen vergelijken met zowel het landelijke gemiddelde en met de landelijke top (beste 5% of 10%).
Verzekeraar 1: “Er zitten ook een heleboel ziekenhuizen in die willen helemaal niet bij die top horen, een klein regionaal ziekenhuis daar gaat het niet om van ga je jezelf optrekken naar de top. Wat ik daar wel een issue vind is dat ze dus echt onder gemiddeld zijn, dus die vergelijking die je met de top zou maken zou ik ook graag maken met het gemiddelde.”
De ordening in een visuele weergave moet kunnen worden aangepast, om snel te kunnen zien hoe dit ziekenhuis scoort ten opzichte van andere ziekenhuizen in een categorie. Een alternatief zou kunnen zijn om per ziekenhuis een overzicht te ontvangen van 3-5 aandoeningen waar er iets aan de hand is. Dit kan input geven voor het gesprek met een ziekenhuis. Funnelplots vonden de verzekeraars, in tegenstelling tot de kwaliteitsmedewerkers, niet zinvol.
Verzekeraar 2: “Funnelplots, ik word daar nooit blij van omdat er nooit een outlier is en dan wordt er gezegd zie je wel we zijn goed.”
Conclusies
Wij onderzochten wat verschillende doelgroepen vonden van een nieuwe gecombineerde uitkomstmaat om verschillen tussen ziekenhuizen weer te geven. Over het algemeen waren de patiënten, kwaliteitsmedewerkers als verzekeraars positief over de maat, maar zij hadden ook enkele kritische kanttekeningen. Hiermee moet rekening gehouden worden bij toekomstige implementatie.
Patiënten, kwaliteitsmedewerkers en verzekeraars identificeerden verschillende doelen. Patiënten gaven aan de gecombineerde maat met name te gebruiken om ziekenhuizen te kunnen vergelijken, verzekeraars wilden de informatie vooral gebruiken om te kijken waar een verbeterpotentieel zit en vervolgens of ziekenhuizen verbeteren terwijl kwaliteitsmedewerkers er daadwerkelijk mee willen verbeteren.
De verschillende doelen leiden tot verschillende voorkeuren van weergave van de gecombineerde maat. Kwaliteitsmedewerkers willen de meest uitgebreide informatie, waaronder tabellen met de absolute getallen, terwijl patiënten voorkeur hebben voor een overzicht hoe ziekenhuis A het ten opzichte van ziekenhuis B doet en verzekeraars willen weten op welke aandoeningen ziekenhuizen kunnen verbeteren.
Op basis van deze preferenties kan dus voor elke groep het gewenste format worden ontwikkeld aansluitend bij dit doel, zodat de gecombineerde maat in de toekomst geïmplementeerd kan gaan worden.
Referenties
Hofstede, S. N., L. van Bodegom-Vos, D. S. Kringos, E. Steyerberg and P. J. Marang-van de Mheen (2017). “Mortality, readmission and length of stay have different relationships using hospital-level versus patient-level data: an example of the ecological fallacy affecting hospital performance indicators.” BMJ Qual Saf. Online First: 06 October 2017
Ikkersheim D., W. H., Thijssing L. (2016). Inzicht in uitgevraagde variabelen voor kwaliteitsmetingen en handvatten voor verbetering. PLEXUS.Marang-van de Mheen, P. J., N. van Duijn-Bakker and J. Kievit (2007). “Surgical adverse outcomes and patients’ evaluation of quality of care: inherent risk or reduced quality of care?” Qual Saf Health Care 16(6): 428-433.Van Dishoeck, A. M., H. F. Lingsma, J. P. Mackenbach and E. W. Steyerberg (2011). “Random variation and rankability of hospitals using outcome indicators.” BMJ Qual Saf 20(10): 869-874.
Dankwoord
Wij willen alle deelnemers van de focusgroepen bedanken voor hun tijd en inhoudelijke bijdrage.
Informatie over de auteurs
Dr. Stefanie Hofstede is gezondheidswetenschapper, epidemioloog en werkzaam als postdoctoraal onderzoeker op de afdeling Medische Besliskunde in het Leids Universitair Medisch Centrum. Dr. Perla Marang-van de Mheen is epidemioloog en werkzaam als associate professor bij de afdeling Medische Besliskunde in het Leids Universitair Medisch Centrum.
Dit onderzoek is gefinancierd door ZonMw (projectnummer 5160221513).
Lees ook Perioperatief antistollingsbeleid bezien vanaf de werkvloer
Harold van Garderen zegt
Dank voor dit mooie overzicht. Ik mis echter een achterliggende vraag: is kwaliteit van zorg wel meetbaar? Mijn eenvoudige antwoord is: dat ligt aan het soort zorg. Als het repetitieve handelingen betreft (zoals bijvoorbeeld veel uitgevoerde operaties, vergelijkbaar met KwikFit inde automarkt) dan is kwaliteit best goed te meten op outcome niveau (bijvoorbeeld aantal infecties of verbetering zicht), maar als het om zorg waar de diestencomponent de overhand heeft (zoals in langdurige zorg) dan lukt het echt niet. Dan kun je alleen contextueel evalueren. Dan moet je de vraag stellen: is de gegeven zorg conform de wensen en verwachtingen van de lokaal betrokkenen. Externe standaarden helpen dan eerder naar de afgrond dan naar de hemel. Om het allemaal een *beetje* overzichtelijk te houden spreken wij inmiddels van Kwaliteit 1.0 t’m Kwaliteit 4.0 als het gaat om systemen om kwaliteit te verbeteren of beter kwaliteiten (meervoud) continu in beeld het hebben bij de betrokkenen. Zie https://storyconnect.nl/kwaliteit-tevredenheid-meten-verbeteren/