Verslag Effectiviteitsplatform 24 juni 2010 ‘Monitoring resultaten en werken met prestatie-indicatoren!’ Datum Tijdstip Locatie
: donderdag 24 juni 2010 : 13.00 uur tot 16.00 uur : Meeting Plaza te Utrecht
Deelnemerslijst (zie bijlage 1) Aanwezigen : 44 deelnemers Opening Herma Ooms (MCM) heet iedereen van harte welkom. Op een interactieve manier wordt de aftrap van de SEJN conferentie gegeven om zo een indruk te krijgen van wat ons bindt en wie we zijn. Vragen die leven zijn: Hoe krijgen we zicht op effectiviteit? Wat doen we daar vervolgens mee? Hoe krijgen we de werkvloer geïnteresseerd en wat zijn de ervaringen van anderen? Hoe zorg je voor een juiste uitwisseling tussen kennis en praktijk? Monitoren resultaten en werken met prestatie-indicatoren Prof. Dr. Jan Willem Veerman introduceert het thema ‘monitoren resultaten’ middels een casus. Essentie van de casus is dat we eerst moeten meten, vervolgens iets moeten doen om in een later stadium weer te meten. Na het vergelijken van de twee metingen ontstaat het verschil; ofwel de verandering. Middels een Powerpointpresentatie wordt het organiseren van effectmonitoring toegelicht waarbij de belangrijkste principes en processen centraal staan. Er zijn veel factoren die van invloed zijn op het organiseren van effectmonitoring binnen de jeugdsector, waardoor het simpele idee moeilijk uitvoerbaar wordt. We moeten het meten organiseren; organiseren vanuit de principes aansluiten, inbedden en benutten en de niveaus van het primaire proces, beleid en wetenschap. Dit wordt toegelicht aan de hand van een verschillende voorbeelden. Workshoprondes Alle Powerpointpresentaties zijn terug te vinden op de website www.sejn.nl. Workshop 1: Projectrapportage prestatie-indicatoren Dr. Esther Geurts introduceert het thema prestatie-indicatoren. Het meten van prestatie indicatoren staat in het teken van zinvolle informatie behoefte. Daarbij zijn er viertal vragen essentieel. Zijn de hulpvragen beantwoord? Is de autonomie van de cliënt versterkt? Is de veiligheid hersteld? En vormt de cliënt geen bedreiging meer voor de veiligheid van de samenleving? Middels prestatie-indicatoren kunnen deze vragen beantwoord worden. Deelnemers ervaren dat de theorie soms anders is dan de praktijk. Beleidsinformatie en hoe je om moet gaan met prestatie-indicatoren sluiten nog niet optimaal op elkaar aan. Esther benadrukt dat het mogelijk is vragen te stellen op de website, zodat tevens zicht verkregen wordt op de knelpunten in de praktijk. Dr. Erik-Jan de Wilde vertelt ons meer over het project ‘Rapportage prestatie-indicatoren’. Het IPO en de MO-Groep zijn opdrachtgever van dit project. Per 1 juli 2010 zal gestart worden . Uitvoering zal geschieden door het Nederlands Jeugdinstituut, met als eindproduct een rapportage methodiek. Gesprekken hebben plaats gevonden met verschillende jeugd- en opvoedinstellingen, waarbij de vraag werd gesteld wat zij graag terug willen zien in de rapportage. Het gaat niet enkel om het opsommen van statistieken. Juist de achterkant is ingewikkeld. In dit kader is het streven toe te gaan naar een
1
softwaretoepassing. Het is de bedoeling dat de rapportage onderdeel uit gaat maken van het werk. Tijdens de gesprekken viel op dat jeugd- en opvoedinstellingen toe willen naar één (landelijk dekkend) systeem en dan ook maar één keer gegevens aan willen leveren. Het is duidelijk dat we niet toe moeten naar een veelvoud van systemen. Daarbij dient wel een onderscheid gemaakt te worden tussen invoersystemen en een systeem aan de achterkant. Juist dit systeem aan de achterkant moet één systeem worden, waarmee tevens gegevensuitwisseling plaats kan vinden. Enkele deelnemers ervaren dat er een stap vooraf genomen dient te worden. Zij vinden dat jeugdzorg nog niet is klaar om gegevens in te voeren. Het gaat niet zozeer om de technische kant, maar om de bereidheid van medewerkers. Uit reacties van de deelnemers blijkt dat er een discrepantie bestaat tussen de fase waarin bureaus jeugdzorg verkeren en jeugdzorg aanbieders. Jeugdzorg aanbieders zijn al enkele jaren bezig met het verkrijgen van informatie en het verbreden hiervan. Evaluatie van deelnemers na afloop: Van wie zijn de prestatie indicatoren nu eigenlijk? Toch van de instellingen zelf en niet van de MOgroep of NJi. Wat wordt de meerwaarde van project IPO/MOgroep/NJi? Hoe is de verwerking van de prestatie indicatoren eigenlijk? Hoe ga ik om met de prestatie indicatoren op de werkvloer? Ligt de nadruk op landelijk niveau niet teveel op de prestatie-indicatoren en te weinig op het doel? Weet het SEJN op landelijk niveau wat de prestatie indicatoren te weeg brengen en inhouden op de werkvloer? Plan verzameling prestatie indicatoren is nog onduidelijk, wel positief dat het er is. Workshop 2: Methode-evaluatie Spirit, de PDSA-cyclus rond Drs. Carolien Konijn introduceert de methode-evaluatie van Spirit. In 2007 startte Spirit met methode-evaluatie waarmee teams regelmatig met elkaar evalueren op basis van gegevens over de uitvoering en resultaten van de geboden hulp. Aan de hand van een vragenlijst worden medewerkers gevraagd om in retorperspectief te kijken naar: 1) de problematiek, middelen en resultaten, 2) bereik van de doelgroep, 3) wat werkt voor wie goed en voor wie minder goed? De respons van medewerkers op de vragenlijst is groot. Het biedt veel input om een discussie met elkaar aan te gaan over wat werkt. Daarmee wordt de terugkoppeling van wat medewerkers op doen een vast onderdeel van het eigen werk. De lijst wordt algemeen toegepast en soms op een aantal items toegespitst op een interventie. Na bespreking met medewerkers en gedragswetenschappers worden verbeterdoelen opgesteld. De uitdaging is de pdsa-cyclus zo in te richten dat ervaringen met de verbeterdoelen opgedaan kunnen worden voordat de volgende cyclus zich aan dient. Evaluatie van deelnemers na afloop: Leuk om te zien hoe dingen met elkaar in verband gebracht worden. Het is meer de inhoud dan de cijfers. Pauze: Slimme doelen Paul Post en Denis de Vries (Slimmedoelen) presenteren zich in de pauzes. Slimme doelen biedt instellingen de mogelijkheid om te denken in de ontwikkeling van een methodiek, om meten op individueel niveau eenvoudiger en slimmer te maken.
2
Workshop 3: Werken met vragenlijsten … in beeld Drs. Dries Roosma (PIONN) presenteert de oplossingsgerichte manier van het werken met vragenlijsten aan de hand van filmopname die zijn gemaakt bij Yorneo. De visie op het gebruik van vragenlijsten is dat het in eerste instantie iets moet opleveren voor hulpverlener en cliënt, vervolgens voor het team, financiers en als laatste de wetenschap. In het gesprek met de cliënt en hulpverlener ligt het plan op tafel en dus ook de uitdraai van de profielen. Het is goed om te weten dat vragenlijsten niet de werkelijkheid meten maar de ervaring van de invuller op dat moment. Vragenlijsten helpen bij het bewustwordingsproces van zowel cliënt als hulpverlener. Het helpt ook om doelgericht het gesprek te voeren en in 40 minuten alle zaken langs te lopen. Het werken met vragenlijsten hangt voor een groot gedeelte ook aan de ambacht van de professional vast is een opmerking vanuit de zaal. Dries geeft aan dat ook onervaren hulpverleners erg veel profijt ervaren van het gebruik van vragenlijsten. Het videomateriaal is niet voor verspreiding beschikbaar maar zal als input dienen voor acteurs om na te spelen, mits hiervoor geldt beschikbaar komt via bijvoorbeeld ZonMw. Het is wel mogelijk om het videomateriaal te komen bekijken bij PIONN. Evaluatie van deelnemers na afloop: Hoe zorgen we voor borging van trainingen in het werken met vragenlijsten? Als je competentiegericht werkt zijn instrumenten erg op problemen gericht. Ik mis de vertaalslag naar het competentiegerichte, wat de behandeling beoogt. Nieuwe inspiratie opgedaan om nieuwe hulpmiddelen in te zetten. Het onderzoek komt op de keukentafel maar meet geen onderzoek meer (Het kan!). Dvd met effectgesprek beter benutten. Workshop 4: Zorgprogrammering Drs. Jeroen van Oijen (Jeugdhulp Friesland) deelt zijn ervaringen als het gaat om de inrichting van zorgprogrammering. Middels een voorbeeld, waarbij een uithuisplaatsing niet het gewenste effect heeft gehad, worden de huidige knelpunten aan het licht gebracht. Daarentegen creëert zorgprogrammering de ruimte om modules aan elkaar te verbinden en geeft het de mogelijkheid om vraaggericht te behandelen, zodat dergelijke fouten (als besproken in de casus) niet meer gemaakt worden. Om tot zorgprogrammering te komen is per kind gekeken welke modules aan elkaar gekoppeld worden. Dit is naast elkaar gezet, waardoor inzicht verkregen werd in de veel gekozen combinaties. Dit heeft het mogelijk gemaakt hulpaanbod te stroomlijnen. Middels zorgprogrammering zijn inhoudelijke keuzes herleidbaar, logisch en planmatig. Het is duidelijk wie wat, wanneer, waar, hoe lang, in welke frequentie en onder welke voorwaarden. Dit leidt vervolgens tot logische keuzes op cliëntniveau. De cliënt wordt daarbij zoveel mogelijk begeleid door dezelfde werker (afhankelijk van duur en intensiteit). De vraag is hoe een gedragswetenschapper bepaalt wat er gebeurt. Hiertoe is een beslisboom ontwikkeld die de kern van vraagsturing bepaalt. De probleemgebieden bepalen vervolgens via de beslisboom welke module aangewezen is. Ontwikkeling van de beslisboom is lastig. Op dit moment ‘passen’ nog niet alle jongeren. Evaluaties van deelnemers na afloop: Input voor de eigen organisatie verkregen met name de workshop zorgprogrammering Kunnen er mensen van Parlan komen kijken?
3
Interacties evalueren Herma blikt terug op de bijeenkomst. Aan de deelnemers vraagt ze om elkaar te bevragen hoe ze de bijeenkomst hebben gevonden. Van de ingevulde en ingeleverde formulieren wist Eefje Strijbosch het handboek ‘Zicht op effectiviteit’ van Tom van Yperen & Jan Willem Veerman te winnen. Totaalevaluatie: De SEJN conferentie is beoordeeld met een gemiddeld rapportcijfer van een 7 . 85 % vond de uitwisseling tussen kennis en ervaringen met andere SEJN deelnemers voldoende tot goed. Voor 80% van de deelnemers sloot de inhoud van de SEJN conferentie voldoende tot goed aan op de behoefte. Vragen die zijn blijven staan zijn: Hoe gezamenlijke beweging te versterken? Vele sectoren (Justitie en GGZ) met opzetten monitoring er wordt weinig samengewerkt, we zouden meer van elkaar kunnen leren. Samenwerking is gewenst. Hoe moet ik in de praktijk effect meten? Wat is belangrijk om te meten? En welke hobbels zijn er te nemen bij de invoering en inbedding van bijvoorbeeld prestatieindicatoren? Opmerkingen die zijn geplaatst: Positief: -
Kritisch: -
Energie gekregen. Er mag wel een gehele dag worden georganiseerd. Wens naar verdieping blijft. Waar staan wij als MST? Gevoel dat we namelijk ver zijn. Hoe we deze kennis moeten delen en hoe we verder stappen moeten zetten?
Meer uitwisseling in de workshops. Meer samenhang in onderwerpen aanbrengen Te veel gericht op de praktijk, te weinig breed. In het SEJN wordt heel veel ontwikkeld, dat niet landelijk verspreid wordt.
Organisatorisch: Een beetje duur voor één middag. Goed idee om 2 workshop op te splitsen.
4
Bijlage 1 deelnemerslijst SEJN conferentie 24 juni 2010 Naam J.M.Hoogland Germie van den Berg C. Rauwers Jolanda Simons - van Casteren Emmy Berben Elise Sieben Nelleke Willemstein Renee Bertrand Henk Krooi R.van Dueren den Hollander Monica Markus Vincent Busch Ton Meeuwsen Irene Hessel Monique Flierman Eva Stultjens Berk, Eckerhard Lars Sorensen Jeroen van Oijen Lieke van Domburgh Anneke de Hoog Anja Verburg Wim van Geffen Erik-Jan de wilde Esther Geurts Nienke Foolen Marleen Wilschut Esther Sanders Herma Ooms Arianne Baanders G. Arthur Dries Roosma Jan Willem Veerman Janneke Stouten Miranda Witvliet Denis de Vries Paul Post Carolien Konijn Eefje Strijbosch Mariëtte van Brandenburg Marloes Philippa José Herber Ton Stroucken Saskia Mudde René van Zundert Sophie de Wijs Scholten Dagmar Kallen
Organisatie AIT Altra Avenier Jeugd en Opvoedhulp BJz Limburg Bjz Haaglanden Zuid-Holland Buro MAKS Buro MAKS Buro MAKS BvM Cardea Curium LUMC Divisie Public Health, UMC Utrecht Entrea FlexusJeugdplein FlexusJeugdplein Het PON Jarabee Jeugdformaat Jeugdhulp Friesland LSG-Rentray MOC 't Kabouterhuis MOgroep Jeugdzorg MST-Nederland / De Viersprong Nederlands Jeugdinstituut Nederlands Jeugdinstituut Nederlands Jeugdinstituut Nederlands Jeugdinstituut Nederlands Jeugdinstituut Nederlands Jeugdinstituut OG Heldring Parlan PIONN Praktikon Regioplan Beleidsonderzoek Regioplan Beleidsonderzoek Slimme doelen Slimmedoelen Spirit Tender Tender Tender Triade Trias jeugdhulp Trias jeugdhulp TriviumLindenhof William Schrikker Jeugdbescherming ZonMw Zuidwester
Aanwezig
Afwezig
Ziek
44
4
5
