Benchmarken in de GGZ: leren van betekenisvol vergelijken

Psychopraktijk | jaargang 5 | nummer 2 • april 2013

30

Beroep en Belang

Benchmarken in de GGZ: leren van betekenisvol vergelijken Beschreven wordt het doel van benchmarken in de GGZ en de relatie met Routine Outcome Monitoring. Belangrijk is dat er appels met appels vergeleken kunnen worden, dat de gegevens betrouwbaar en valide zijn en de gegevens veilig zijn opgeslagen, zodat de privacy van patiënten is gewaarborgd. Zorgaanbieders, zorgverzekeraars en op termijn ook patiënten krijgen zicht op de effectiviteit van de GGZ. Het is een leerproces over hoe we hierover met elkaar in gesprek kunnen gaan. De oplopende kosten voor de gezondheidszorg in tijden van economische teruggang leiden tot een hernieuwde belangstelling voor de kwaliteit, effectiviteit en doelmatigheid van zorgverlening. De GGZ heeft een voorhoedefunctie in de huidige ontwikkeling om meer transparantie te verkrijgen over de effectiviteit van geboden zorg. Deze voorhoedefunctie is te danken aan een al langer bestaande traditie van het meten van behandeluitkomsten in de GGZ, die men Routine Outcome Monitoring (ROM) noemt. Veel professionals in de GGZ evalueren de resultaten van behandelingen en bespreken deze met hun patiënten. Op basis daarvan stellen ze hun behandelplan bij. Of, zoals een behandelaar op een bijeenkomst met Stichting Benchmark GGZ (SBG) zei: ‘Met ROM zet je het raam van de behandelkamer open’. Daarnaast worden patiënten steeds mondiger en willen weten waar zij het beste met hun problemen en klachten terecht kunnen. Transparantie van het aanbod is hiervoor essentieel. Naast de vraag hoe het aanbod er uit ziet, gaat het hier om: waar, door wie, hoe en wanneer? Ook de uitkomsten van de zorg worden steeds belangrijker. Dat geldt in de somatische zorg, zoals 'het percentage patiënten bij wie niet bekend is of er tumorweefsel is achtergebleven na een eerste operatie’, maar ook in de GGZ.

Het bestuurlijk akkoord en het ontstaan van SBG In het bestuurlijk akkoord GGZ Nederland en Zorgverzekeraars Nederland van 5 juli 20101 en het Bestuurlijk Akkoord Toekomst GGZ 2013-20142 zijn afspraken gemaakt tussen

In deze rubriek vindt u informatie over wet- en regelgeving en de praktijkvoering van de hulpverlener. Drs. M. Franchimont, trainer/adviseur, is werkzaam bij Stichting Benchmark GGZ ([email protected]).

door Miranda Franchimont

beroepsbeoefenaren, patiënten, zorgaanbieders en zorgverzekeraars over het doen van uitkomstmetingen van zorg en klantervaringsmetingen. Deze gegevens zijn inzetbaar op meerdere niveaus: voor patiënt en behandelaar voor een goed beeld op het klachtverloop en het waar nodig bijstellen van de behandeling, voor zorgverkoop en zorginkoop, en tot slot voor onderzoek om te leren over de effectiviteit door professionals en zorginstellingen. GGZ-instellingen spraken de wens uit structureel te willen gaan meten en zorgverzekeraars willen op basis van een betrouwbare benchmark zorg gaan inkopen. De partijen stelden vast dat ROM aan het begin staat van een brede ontwikkeling. Praktisch stelden ze voor om met een landelijke registratie te werken, waarbij een zogenaamde Trusted Third Party (TTP) moest worden opgericht. Het bestaande Kenniscentrum Zorg Nederland (KZN) werd in 2011 omgezet tot een stichting, de Stichting Benchmark GGZ (SBG). Het stichtingsbestuur bestaat uit drie partijen: patiënten, zorgaanbieders en zorgverzekeraars. Het bestuur laat zich adviseren door een Wetenschappelijke Raad (WR). Deze toetst het wetenschappelijk kader waarbinnen SBG opereert en is belast met het toezicht daarop. De WR op zijn beurt krijgt advies van Expertraden (ER). Per doelgroep (bijvoorbeeld Volwassenen kort, Verslaving cure en Kinderen en jeugd) zijn Expertraden actief. In een ER zitten deskundigen vanuit het betreffende GGZ-veld en SBG bij elkaar om gezamenlijk zorg te dragen voor een goede afstemming tussen ROM voor de betreffende doelgroep en de benchmark.

ROM en benchmarken In de praktijk van de GGZ is het meten van behandeleffecten door middel van ROM steeds meer gemeengoed geworden3. ROM houdt in dat men met behulp van een gestandaardiseerd meetinstrument aan het begin van een behandeling bepaalt hoe het met een patiënt gaat. Mede op basis van de uitkom-

jaargang 5 | nummer 2 • april 2013 | Psychopraktijk 

31

Met ROM zet je het raam van de behandelkamer open.

sten hiervan wordt de behandeling ingericht. Het meten van bijvoorbeeld de klachten/symptomen of het functioneren wordt herhaald in de loop van de behandeling en aan het eind. Op deze manier houdt de behandelaar als het ware een vinger aan de pols. Het levert feedback over het verloop van de behandeling bij de individuele patiënt. Op basis van deze informatie kunnen behandelaar en patiënt besluiten om het behandelplan bij te stellen of te beëindigen, bijvoorbeeld omdat de patiënt geen vooruitgang meer boekt of het best haalbare is bereikt. Er is een zeer breed scala aan meetinstrumenten dat voor ROM wordt ingezet. Een deel ervan is klachtspecifiek, bijvoorbeeld rond eet- of angststoornissen. Daarnaast worden generieke instrumenten gebruikt, voor klachten en symptomen, kwaliteit van leven en functioneren. Voor benchmarken zijn generieke instrumenten het meest geschikt, omdat resultaten op deze instrumenten in principe onderling vergelijkbaar zijn. Voor het benchmarken gebruiken we geaggregeerde ROMgegevens4. Hiermee kunnen de behandeleffecten van groepen patiënten in beeld worden gebracht. Deze kunnen worden vergeleken met een norm, het landelijk gemiddelde. Onderlinge vergelijking kan leiden tot verbetering van de GGZ. Zijn er bijvoorbeeld aanwijzingen dat een bepaalde instelling, afdeling of team bovengemiddeld effectief is, dan kunnen anderen daarvan leren. Als behandeleffecten achterblijven is de vraag hoe dat komt. Hebben we te maken met een moeilijker te behandelen groep patiënten? Of is aanpassing nodig van het behandelprogramma? Kortom: 'Benchmarken is beter worden door te leren van vergelijken'. Waar ROM het raam opent van de behandelkamer, kan benchmarken een frisse wind laten waaien door de kamer van directie, management en behandelaars. Informatie over behandeleffecten over een groep patiënten zet deze mensen op een andere manier aan het denken.

Transparantie over de kwaliteit van de GGZ wordt breed gedragen. SBG is door de drie partijen opgericht om het benchmarken in de GGZ te ontwikkelen tot een voor alle partijen valide, betekenisvolle en bruikbare methodiek. SBG evalueert behandelingen en biedt spiegelinformatie aan zorgaanbieders, zorgverzekeraars en, in de toekomst, ook aan patiënten over behandeluitkomsten.

Appels en peren Zorgaanbieders leveren informatie aan van al hun DBCtrajecten: informatie over metingen en achtergrondvariabelen van de patiënt en de behandeling. De GGZ is heel divers in doelgroepen, behandeldoelen en in de wijze van meten van behandeleffecten. Wanneer men alle informatie op een hoop gooit, gaat men appels met peren vergelijken. En daar valt weinig van te leren. Daarom zijn manieren bedacht om uitkomsten met elkaar te kunnen vergelijken5. Om te komen tot meer homogene en vergelijkbare gegevens is de GGZ onderverdeeld in doelgroepen: zorgdomeinen. De groepen zijn vergelijkbaar wat betreft behandeldoel (care of cure), aard van de aandoening (wel of geen verslaving) en leeftijd. Voorbeelden van zorgdomeinen zijn volwassenen kort (curatieve ambulante zorg), volwassenen ernstige psychiatrische aandoeningen, kinderen & jeugd en verslaving cure. Door deze indeling ontstaan groepen behandelingen die met dezelfde meetinstrumenten en op dezelfde indicator de maat genomen worden. In de GGZ is beperkt zicht op welke kenmerken precies samenhangen met de complexiteit van de problematiek en de effectiviteit van behandeling. Kennis hiervan is relevant om een eerlijke vergelijking mogelijk te maken. De eerste onderverdeling in zorgdomeinen laat nog veel ruimte voor heterogeniteit in patiëntkenmerken, die mogelijk van invloed zijn op het resultaat van de behandeling. De rapportages van SBG

Psychopraktijk | jaargang 5 | nummer 2 • april 2013

32

1 Benchmarken voor vrijgevestigden Tot op heden werkte SBG aan het vergelijken van instellingen, grotere organisatorische eenheden. In het bestuurlijk convenant voor 2013/2014 zijn ook afspraken gemaakt over ROM en benchmarken bij vrijgevestigden. Hiertoe overlegt SBG met de verschillende beroepsverenigingen (NIP, NVvP, NVVP en LVE) en de zorgverzekeraars, vertegenwoordigd door Zorgverzekeraars Nederland (ZN) over hoe SBG de vrijgevestigde behandelaren van dienst kan zijn. Op dit moment, voorjaar 2013, kunnen vrijgevestigden zich aanmelden op de website van SBG. Na aanmelding krijgt men per mail een ontvangstbevestiging. Zodra er meer bekend is, informeert SBG hen over het vervolg.

bieden daarom de mogelijkheid om op basis van relevante achtergrondkenmerken homogene subgroepen samen te stellen. Door middel van deze subgroepselectie kan een steeds meer verfijnde groep worden samengesteld van onderling wél vergelijkbare patiënten. Zo kunnen subgroepen worden gemaakt naar bijvoorbeeld opleidingsniveau, diagnose en bestede behandeltijd. Mede gebaseerd op de adviezen van de ER’s en de WR heeft SBG om de vergelijkbaarheid zoveel mogelijk te waarborgen een aantal additionele ‘spelregels’ opgesteld: • men meet rond DBC’s en zorgtrajecten (voor vergelijkbare behandeleenheden); • men hanteert meetmarges6, zogenaamde koppelregels (voor vergelijkbare meetmomenten). Om ervoor te zorgen dat de scores op verschillende meetinstrumenten direct met elkaar vergeleken kunnen worden, zet SBG de scores om naar een gestandaardiseerde score, de zogenaamde genormaliseerde T-score.

Betrouwbare gegevens

waarbij men zicht krijgt op wat er werkelijk toe doet (betekenisvol) en bruikbaar voor iedereen die op zoek is naar wat het beste helpt bij wie4. Het einddoel is dat men met elkaar kan leren hoe de zorg op verantwoorde wijze zo doelmatig mogelijk kan worden aangeboden.

Gebruik van de gegevens Zorgaanbieders krijgen de beschikking over hun eigen gegevens met de webapplicatie Benchmark Rapportage Module (BRaM). Er zijn twee typen rapportage beschikbaar: het gemiddeld behandeleffect van alle volledig gemeten DBC-trajecten en het responspercentage van alle afgesloten DBC-trajecten (in hoeverre is er gemeten). Zoals gezegd is ROM-en binnen de GGZ sterk in ontwikkeling. Dit betekent dat bij veel zorgaanbieders van een groot deel van hun patiënten geen voor- én een nameting wordt verkregen. En als men van, bijvoorbeeld, 10% van de patiënten een voor- en een nameting heeft, wat zegt het behaalde effect voor deze groep dan over de totale groep? Een hoge respons is noodzakelijk om betrouwbare uitspraken te kunnen doen over de groep als geheel. Zorgaanbieders hebben met BRaM de unieke gelegenheid om zelf in hun data te kijken en te zien hoe zij presteren door zichzelf te vergelijken met het landelijk gemiddelde. Zorgaanbieders kunnen er voor kiezen om hun gegevens inzichtelijk te maken op het niveau van locaties, teams, behandelprogramma’s en/of behandelaren. Zo kunnen ook deze eenheden met elkaar vergeleken worden en wordt leren door intern benchmarken mogelijk. Men kan zelf subgroepen selecteren, bijvoorbeeld van een patiëntengroep waar een zorgaanbieder zich specifiek op richt, bijvoorbeeld patiënten met een bepaalde stoornis of met bepaalde achtergrondkenmerken. Op deze manier kan een zorgaanbieder op zoek gaan naar waar hun kracht zit, waarin zij zich positief onderscheiden. En wellicht ook waar verbetering mogelijk is en men stappen kan zetten om de effectiviteit van een behandeling te verbeteren. Op deze manier krijgt de informatie over behandeleffecten betekenis en zeggingskracht en hiermee kan het vertrouwen in de bruikbaarheid toenemen. Op verschillende niveaus kan het bespreken van de benchmarkuitkomsten interessant zijn. Gezamenlijk, in een team, kunnen behandelaren de eigen prestaties vergelijken met

De vrees is dat benchmarken er toe leidt dat ROM selectief wordt toegepast.

Naast vergelijkbaar moeten de verzamelde gegevens betrouwbaar en valide zijn. Daarom zijn naast ‘spelregels’ vooraf, ook controles op de data na ontvangst. SBG controleert de data op een aantal punten ter vergroting van de datakwaliteit. Belangrijk daarbij is dat de data accuraat, volledig, consistent, actueel, uniek (geen dubbeltellingen) en valide zijn. Voorbeelden van controles hierop zijn: • Is de data aanlevering compleet? (Zijn alle gedeclareerde DBC’s en variabelen aangeleverd?) • Is er sprake van selectieve uitval? (Zijn bepaalde DBC’s wel en andere niet gemeten? • Zijn de data consistent? (Zijn er grote verschillen in samenstelling tussen data aanleveringen?) • Zijn de aangeleverde waarden mogelijk, juist en in overeenstemming met verwachtingen van de zorgaanbieder? • Zijn de data tijdig aangeleverd, zodat naar actuele data wordt gekeken? • Fysieke check van juistheid van de gekozen meting en berekening van scores. Al deze controles zijn voorwaardelijk voor valide, betekenisvolle en bruikbare informatie. De resultaten moeten een zo juist mogelijke weergave van de werkelijkheid zijn (valide),

jaargang 5 | nummer 2 • april 2013 | Psychopraktijk 

het teamgemiddelde. Een team of afdeling kan zijn eigen resultaten vergelijken met die van een ander team binnen de eigen instelling of met een vergelijkbare patiëntengroep. Een organisatie kan zijn teams onderling vergelijken en met het landelijk gemiddelde van een vergelijkbare groep. Vragen die hierbij passeren zijn: Snap ik wat er staat? Gaat het over ons? En heb ik invloed op deze uitkomsten? Kortom: ‘Hoe gebruik ik het om bij te sturen?’7, 8 Voor patiënten kan de benchmarkinformatie ook nuttig zijn. SBG en Landelijk Platform GGZ bespreken welke rol benchmarken in de GGZ voor patiënten en/of patiëntenorganisaties kan spelen. Daarbij denken we aan het gebruik ervan zowel door individuele patiënten en burgers als door hun belangenorganisaties, zoals cliëntenraden en patiëntenverenigingen. De zorgverzekeraar die met een zorgaanbieder een contract heeft, heeft eveneens toegang tot de gegevens. De zorgverzekeraar ziet van de zorgaanbieder alleen de informatie over die GGZ-organisatie als geheel, dus niet de informatie over afdelingen of individuele behandelaren. Het is de bedoeling dat de zorgaanbieder en de zorgverzekeraar door BRaM-rapportages ondersteund worden om een gesprek te voeren over de kwaliteit van de zorg.

Benchmarken is ‘werk in uitvoering’ De vrees van sommigen is dat benchmarken er toe leidt dat ROM selectief wordt toegepast: alleen bij patiënten waar een gunstig behandeleffect wordt verwacht3, 9. Of dat ‘aan de poort’ selectie plaatsvindt van succesvol te behandelen patiënten. Daarom is het in eerste instantie belangrijk dat gegevens van een representatieve groep patiënten worden verkregen. Onderzoek met deze gegevens is noodzakelijk om zicht te krijgen op de invloed van selectieve non-respons, verschillen in samenstelling van de behandelpopulatie (case-mix) en variatie in gebruikte meetinstrumenten en meetmomenten. Pas bij betrouwbare en representatieve uitkomstgegevens is onderlinge vergelijking zinvol. Ervaringen uit het veld zijn nodig om de methodiek van benchmarken verder te ontwikkelen. Benchmarken is dan ook nog ‘werk in uitvoering’10. Ook de eerder genoemde Expertraden en de Wetenschappelijke Raad adviseren SBG hierin.

Wijze van gegevensverzameling: privacy en veiligheid Privacy en veiligheid bepalen de manier van dataverzameling en gegevensbeheer. Aanlevering van gegevens vindt plaats via een beveiligde verbinding en SBG beheert geen tot patiënten

33

herleidbare gegevens, zoals naam of burgerservicenummer. In de loop van 2013 vindt aanlevering plaats via een derde partij, ZorgTTP, die identificerende gegevens pseudonimiseert: Persoonsgegevens worden omgezet naar een niet tot de patiënt herleidbare unieke code. Het inzien van gegevens in BRaM is beveiligd en verloopt via een persoonlijk VECOZO-certificaat. Alleen geautoriseerde gebruikers krijgen, via de pc waarop dit certificaat is geïnstalleerd en na het invullen van een wachtwoord, toegang tot BRaM. SBG, een Trusted Third Party, werkt volgens de richtlijnen van het College Bescherming Persoonsgegevens (CBP) en voldoet daarmee aan de privacywetgeving. Ook heeft SBG een kwaliteitsfunctionaris aangesteld. Die bewaakt en bevordert de kwaliteit van interne werkprocessen en -procedures en is aangesteld als Functionaris voor de Gegevensbescherming, de bij het CBP gemelde interne toezichthouder op de verwerking van persoonsgegevens. Naast privacy van gegevens is veiligheid van de data van belang. SBG voldoet aan hoge eisen van informatiebeveiliging doordat zij een aantal maatregelen heeft genomen: • SBG heeft een juridische en organisatorische structuur die qua bescherming, gebruik en opslag van data voldoet aan de wettelijke voorwaarden en eisen. • SBG werkt met gescheiden databases en fysieke systemen. De databases zijn bij een derde partij ondergebracht, ‘hosting’. Deze partij voldoet aan noodzakelijke beveiligings- en back-up eisen. • SBG maakt gebruik van VECOZO-certificaten om toegang tot de applicatie te autoriseren en beveiligen. • Internetcommunicatie vindt plaats via een beveiligde internetverbinding. • Patiëntidentificerende gegevens en gegevens van behandelaars worden versleuteld opgeslagen.

Data-aanlevering in de praktijk De meeste zorgaanbieders leggen metingen vast in een applicatie die hiervoor speciaal bedoeld is, een zogenaamde ROMapplicatie. In sommige EPD-systemen is het ook mogelijk om meetgegevens te registreren. Voor het aanleveren van gegevens aan SBG moet de informatie van alle DBC-trajecten uit het EPD en van de metingen volgens de afgesproken spelregels aan elkaar gekoppeld worden. Daarna wordt een bestand in een bepaald formaat aan SBG geleverd (XML-bestand). Dit bestandsformaat zorgt voor uniformiteit in de aanlevering, wat de betrouwbaarheid ten goede komt en mogelijk maakt

Psychopraktijk | jaargang 5 | nummer 2 • april 2013

34

dat men maandelijks middels een grotendeels geautomatiseerd proces gegevens aanlevert. In de praktijk zijn er vier typen partijen betrokken bij de (automatisering van) de aanlevering van data aan SBG: • de (ICT-afdeling van de) zorgaanbieder zelf; • de leverancier van een EPD of ROM-pakket; • een koepelorganisatie waar verschillende zorgaanbieders bij zijn aangesloten en waar zij reeds soortgelijke data aanleveren; • een ‘derde partij’ die data uit elk type EPD en ROM-pakket kan combineren. Inzage in uw gegevens verkrijgt u door met een persoonlijk VECOZO-certificaat in te loggen in BRaM.

voldoende om te pootjebaden en nog niet voldoende om in te duiken. Anders gezegd: er zijn op basis van de beschikbare gegevens nog geen conclusies te trekken over de kwaliteit van zorg die een instelling of de GGZ in zijn geheel biedt. Het is de ambitie van SBG om gedifferentieerde informatie te bieden over de kwaliteit van zorgaanbieders wat betreft de resultaten van behandeling. Met de huidige ontwikkeling in de GGZ is een uniek project ingezet om zicht te krijgen op de effectiviteit van behandeling en de kwaliteit van zorg te verbeteren. Dat geldt zowel op individueel patiëntniveau, middels ROM, als op het niveau van groepen patiënten, middels benchmarken op basis van geaggregeerde ROM-gegevens.

Tweede en eerstelijns GGZ Op dit moment levert vooral de tweedelijns GGZ gegevens bij SBG aan. Ook de eerstelijns GGZ is opgenomen in het bestuurlijk convenant en kan gegevens bij SBG aanleveren. Hiervoor gelden in principe dezelfde regels als voor de tweedelijns GGZ. De eerstelijns GGZ maakt vooral gebruik van specifieke instrumenten, gericht op een stoornis of specifiek domein van het functioneren. De meest gebruikte generieke instrumenten zijn onder andere de Symptom Checklist-90 (SCL-90) en de 4-Dimensionale Klachtenlijst (4DKL)11. Eerstelijnspsychologen die lid zijn van de Landelijke Vereniging voor Eerstelijnspsychologen (LVE) leveren jaarlijks gegevens aan bij het NIVEL in het kader van het Landelijk Informatie Netwerk Eerstelijns Psychologen (LINEP). SBG en LVE bespreken in hoeverre de gegevens zoals verzameld voor LINEP kunnen aansluiten bij de methodiek van SBG. Uitgangspunt is dat de door de eerste lijn aangeleverde gegevens zoveel mogelijk aansluiten bij de bestaande dataset. Dit betekent bijvoorbeeld dat voor het meten van de behandeluitkomst ten behoeve van benchmarken generieke instrumenten gebruikt moeten worden. Dit laat onverlet dat ten behoeve van de intake, diagnostiek en ROM (tracking) in de praktijk ook andere (stoornisspecifieke) instrumenten kunnen worden gebruikt, zoals de ORS en SRS van Scott Miller11. De ORS wordt voorafgaande aan elke sessie door de patiënt ingevuld en het resultaat wordt direct besproken met de behandelaar. Het is daarmee een nuttig hulpmiddel bij de behandeling. Het is geen formele meting van de ernst van de symptomatologie met een meer uitgebreid meetinstrument, dat is onderzocht op psychometrische kwaliteiten zoals betrouwbaarheid en validiteit.

Tot slot Zoals gezegd: Benchmarken en SBG is ‘werk in uitvoering’. Vastgesteld is welke gegevens men bij SBG moet aanleveren. Nog niet geheel vaststaat hoe de informatie het best aan het veld kan worden teruggegeven. Ook staat vast dat hoe meer data BRaM bevat, des te betere informatie men uit BRaM kan genereren. Met andere woorden: SBG heeft een zwembad gebouwd, dat volstroomt met zo zuiver mogelijk water: de ROMgegevens. Nu staat er een klein laagje water in het zwembad,

Noten GGZ Nederland & Zorgverzekeraars Nederland (2010) Bestuurlijk akkoord d.d. 5 juli 2010 2 LPGGZ, GGZ Nederland, Zorgverzekeraars Nederland, NVvP, NIP, LVG, LVE, MEER GGZ, NVVP en Ministerie van VWS (2012) Bestuurlijk akkoord toekomst GGZ 2013-2014 dd. 18 juni 2012 3 Nugter MA & Buwalda VJA (2012) Achtergronden en gebruiksmogelijkheden van ROM in de GGZ. Tijdschrift voor psychiatrie 2: 111-120 4 Stichting Benchmark GGZ (z.j.) Position paper. Bilthoven: SBG 5 Noom MJ ea (2012) Routine outcome monitoring en benchmarking: hoe kunnen we behandelresultaten op een zorgvuldige manier vergelijken? Tijdschrift voor psychiatrie 2: 141-145 6 Een meetmarge is een periode rond het begin en einde van een DBC waarbinnen een meting moet hebben plaatsgevonden. 7 Franchimont MA (2000) Meten = weten. Weten ≠ verbeteren. Het gebruik van uitkomstindicatoren in de geestelijke gezondheidszorg. Kwaliteit in beeld 6: 12-15 8 Pronk J ea (2003) Arbocuratieve samenwerking: leren van implementeren. TSG 8: 505-509 9 Os J van ea (2012) ROM: gedragsnorm of dwangmaatregel? Overwegingen bij het themanummer over routine outcome monitoring. Tijdschrift voor psychiatrie 3: 245-253 10 Blijd-Hoogewys E ea (2012) Benchmarken is ‘werk in uitvoering’. Tijdschrift voor psychiatrie 12: 1031-1038 11 Beljouw IMJ & Verhaak PFM (2010) Geschikte uitkomstmaten voor routinematige registratie door eerstelijnspsychologen. Utrecht: NIVEL 1

Geraadpleegde websites - - - -

-

www.lve.nl/ezine/maildocs (Nieuwsbrief 2, juli 2012), bezocht op 27-122012. www.sbggz.nl/Position-Paper-SBG, bezocht op 28-12-2012 en 18-1-2013. wiki.sbggz.nl, bezocht op 25-1-2013. Nederlands instituut voor onderzoek van de gezondheidszorg, NIVEL. Website van het Landelijk Informatie Netwerk Eerstelijns Psychologen (LINEP). Utrecht: NIVEL: nivel.nl/linep, bezocht op 20-1-2013. www.kiesbeter.nl/zorg-en-kwaliteit/ziekenhuizen, bezocht op 29-12013.