Evaluatie van een training volgens de methode van Phillips

UNIVERSITEIT GENT FACULTEIT ECONOMIE EN BEDRIJFSKUNDE ACADEMIEJAAR 2010 – 2011

Evaluatie van een training volgens de methode van Phillips Case study: vorming en supervisie van handelingsplannen in de gemeenschapsinstellingen

Masterproef voorgedragen tot het bekomen van de graad van Master in de bedrijfseconomie

Annelies Mincke onder leiding van Prof. Alex Vanderstraeten

UNIVERSITEIT GENT FACULTEIT ECONOMIE EN BEDRIJFSKUNDE ACADEMIEJAAR 2010 – 2011

Evaluatie van een training volgens de methode van Phillips Case study: vorming en supervisie van handelingsplannen in de gemeenschapsinstellingen

Masterproef voorgedragen tot het bekomen van de graad van Master in de bedrijfseconomie

Annelies Mincke onder leiding van Prof. Alex Vanderstraeten

Ondergetekende, Annelies Mincke, verklaart dat de inhoud van deze masterproef mag geraadpleegd en/of gereproduceerd worden, mits bronvermelding.

Annelies Mincke

WOORD VOORAF Alvorens ik u, als lezer, loslaat in deze masterproef sta ik mezelf toe hier een woord van dank te ‘placeren’.

Dank u Prof. Dr. Vanderstraeten voor het beantwoorden van mijn vragen, de kritische opmerkingen en het vertrouwen dat u doorheen dit jaar in mij had.

Een ‘dikke merci’ aan de bevraagde projectmedewerkers die hebben deelgenomen aan het onderzoek en in hun drukke werkschema tijd vrijmaakten voor een interview. Dankjewel Claudia Claes, Stijn Vandevelde, Steven Brandt en Chris Vandam.

Ook dank aan Dhr. Bram Doolaege voor de ondersteuning en de feedback.

Bedankt Veronique, toffe collega van moeke, voor het zeer grondig nalezen van deze masterproef.

En ja, hier komt het dan: het dankwoord gericht aan Juffrouw Katrijn Cierkens. Dankjewel Katrijn voor de leuke momenten dit jaar. En natuurlijk ook voor de Office-ondersteuning. Dankzij jou ging een nieuwe wereld van tabelletjes en schema’s voor me open. En omdat hier driemaal jouw naam moest staan: Katrijn!

Toon, bedankt om mijn vriendje te zijn, om mijn inhoudstafel te maken en voor het vele geduld.

Lieve moeke en vake. Bedankt voor alle kansen die ik kreeg, bedankt om in mij te geloven, bedankt voor de onvoorwaardelijke steun en liefde, bedankt voor de vele ritjes naar Gent de afgelopen jaren, bedankt voor het lekkere eten, bedankt voor … voor zoveel dingen die nooit op dit blad samen te vatten zijn. Betere ouders kan ik me niet voorstellen. Ik zal nooit vergeten wat jullie voor mij gedaan hebben.

Tot slot bedank ik nog graag de nieuwe vrienden uit Overheidsmanagement voor het mooie jaar samen.

Dan rest mij nog enkel u veel leesplezier toe te wensen!

Annelies Mincke Gent, 15 mei 2011

III

INHOUDSOPGAVE WOORD VOORAF ................................................................................................................................................. III INHOUDSOPGAVE ................................................................................................................................................ IV GEBRUIKTE AFKORTINGEN ................................................................................................................................... VI LIJST VAN FIGUREN ............................................................................................................................................. VII

INLEIDING ............................................................................................................................................................. 1

DEEL I: THEORETISCH KADER .............................................................................................................. 4 1 INLEIDING ........................................................................................................................................................ 4 2 DE ROI-METHODE VAN PHILLIPS ...................................................................................................................... 4 2.1 2.2 2.3

KIRKPATRICK: HET FOUR-LEVELS MODEL ...................................................................................................................... 4 RETURN ON INVESTMENT (ROI) ................................................................................................................................ 5 HET ROI-PROCES.................................................................................................................................................... 5

3 GEACTUALISEERDE EN AANGEPASTE METHODE .............................................................................................. 7 3.1 3.2

3.3

INLEIDING.............................................................................................................................................................. 7 DE EVALUATIENIVEAUS............................................................................................................................................. 8 3.2.1 Niveau 0: Input (Phillips & Phillips, 2007) ............................................................................................... 8 3.2.2 Niveau 1: Reactie en tevredenheid ........................................................................................................ 9 3.2.3 Niveau 2: Leren ....................................................................................................................................... 9 3.2.4 Niveau 3: Toepassing en implementatie .............................................................................................. 10 3.2.5 Niveau 4: Team-impact (Birdi, 2010) .................................................................................................... 10 3.2.6 Niveau 5: Organisatie-impact ............................................................................................................... 11 3.2.7 Niveau 6: Maatschappelijke impact (Birdi, 2010) ................................................................................. 11 3.2.8 Niveau 7: Social Return On Investment (SROI) (Nicholls et al., 2009a) ................................................ 11 HET SROI-PROCES ................................................................................................................................................ 13 3.3.1 Vóór de training .................................................................................................................................... 13 3.3.2 Tijdens de training ................................................................................................................................ 19 3.3.3 Na de training ....................................................................................................................................... 20

DEEL II: METHODOLOGIE.................................................................................................................. 26 1 ONDERZOEKSDESIGN ......................................................................................................................................26 1.1

KWALITATIEF ONDERZOEK: EEN CASE STUDY ............................................................................................................... 26

2 DATAVERZAMELING EN DATA-ANALYSE .........................................................................................................27 2.1

2.2

DATAVERZAMELING............................................................................................................................................... 27 2.1.1 Documentenanalyse ............................................................................................................................. 27 2.1.2 Het interview ........................................................................................................................................ 27 DATA-ANALYSE..................................................................................................................................................... 29 2.2.1 Evaluatie van de aangepaste methode en van het analyseschema ..................................................... 29 2.2.2 Analyse ................................................................................................................................................. 29

DEEL III: RESULTATEN....................................................................................................................... 30 1 INLEIDING .......................................................................................................................................................30

IV

2 TOELICHTING CASE STUDY ..............................................................................................................................30 3 DE EVALUATIENIVEAUS...................................................................................................................................32 3.1 3.2 3.3 3.4

3.5 3.6 3.7 3.8

NIVEAU 0: INPUT .................................................................................................................................................. 33 NIVEAU 1: REACTIE EN TEVREDENHEID ...................................................................................................................... 34 NIVEAU 2: LEREN.................................................................................................................................................. 37 NIVEAU 3: TOEPASSING EN IMPLEMENTATIE............................................................................................................... 42 3.4.1 Procesevaluatie .................................................................................................................................... 42 3.4.2 Productevaluatie .................................................................................................................................. 44 NIVEAU 4: TEAM-IMPACT....................................................................................................................................... 46 NIVEAU 5: ORGANISATIE-IMPACT ............................................................................................................................ 47 NIVEAU 6: MAATSCHAPPELIJKE IMPACT .................................................................................................................... 48 NIVEAU 7: SROI .................................................................................................................................................. 48

4 HET SROI-PROCES ...........................................................................................................................................49 4.1

4.2 4.3

VÓÓR DE TRAINING ............................................................................................................................................... 49 4.1.1 Stap 1: Analyse ..................................................................................................................................... 49 4.1.2 Stap 2: Doelen ...................................................................................................................................... 53 4.1.3 Stap 3: Plannen en Pre-testing ............................................................................................................. 54 TIJDENS DE TRAINING............................................................................................................................................. 57 4.2.1 Stap 4: Dataverzameling tijdens de training ......................................................................................... 57 NA DE TRAINING ................................................................................................................................................... 57 4.3.1 Stap 5: Dataverzameling na de training................................................................................................ 57 4.3.2 Stap 6: Data-analyse ............................................................................................................................. 57 4.3.3 Stap 7: Berekenen SROI ........................................................................................................................ 58 4.3.4 Stap 8: Communiceren, gebruiken en verankeren ............................................................................... 58

DEEL IV: CONCLUSIE EN AANBEVELINGEN ......................................................................................... 61 1 INLEIDING .......................................................................................................................................................61 2 ONDERZOEKSVRAGEN ....................................................................................................................................62 2.1

2.2

OORZAKEN .......................................................................................................................................................... 62 2.1.1 Geen vraag naar evaluatie .................................................................................................................... 62 2.1.2 Geen gebruik van evaluatiemethode ................................................................................................... 62 GEVOLGEN .......................................................................................................................................................... 63 2.2.1 De evaluatieniveaus.............................................................................................................................. 64 2.2.2 Het SROI-proces .................................................................................................................................... 66

3 AANBEVELINGEN ............................................................................................................................................71 3.1 3.2

NAAR HET AGENTSCHAP JONGERENWELZIJN............................................................................................................... 71 NAAR DE PROJECTMEDEWERKERS ............................................................................................................................. 72

DEEL V: KRITISCHE REFLECTIE ........................................................................................................... 74 1 BEPERKINGEN ONDERZOEK ............................................................................................................................74 2 BEPERKINGEN (S)ROI-METHODE .....................................................................................................................74 3 AANBEVELINGEN NAAR VERDER ONDERZOEK ................................................................................................76

REFERENTIELIJST .................................................................................................................................................... I BIJLAGEN .............................................................................................................................................................. VI

V

GEBRUIKTE AFKORTINGEN ROI: Return on Investment SROI: Social Return on Investment

VI

LIJST VAN FIGUREN Figuur 1: Het ROI-proces (Phillips et al., 2001, p. 25).................................................................................... 6

VII

Inleiding

INLEIDING Human resourcing wordt gezien als een belangrijke factor en als een sleutel tot succes van een organisatie (Leopold & Harris, 2009). Hierin neemt training, als een HRM-praktijk, een strategische plaats in (Barley, 2007). Training wordt aanzien als een investering of een ‘key-strategie’ die voordeel biedt aan zowel de organisatie, als aan de medewerker (Pineda, 2010). Van hieruit dragen trainingsprogramma’s bij tot empowerment van het personeel én tot een grotere effectiviteit van de gehele organisatie (Dhamodharan, Daniel & Ambuli, 2010). In de publieke en social profit sector kunnen we dit denken kaderen binnen de context van het New Public Management waarbij vanuit een strategische HRM-visie het personeel gedefinieerd wordt als ‘human capital’, als kapitaal waarin geïnvesteerd moet worden (Condrey, 2010; Fitz-enz, 2009), dit in functie van een kwaliteitsvolle dienstverlening naar de burger als klant. Bijgevolg zien we dat interesse voor en investering in training niet alleen een prominente plaats innemen in de private sector, maar ook binnen de publieke sector (Griffin, 2010; Pineda, 2010).

Of trainingen ook werkelijk bijdragen tot een grotere effectiviteit van de organisatie en een verbeterde dienstverlening, dient nagegaan te worden aan de hand van een evaluatie of een effectmeting van trainingen. Steensma & Groeneveld (2010) geven aan dat training steeds een investering vereist, en dus naast tijd ook vaak heel wat geld in beslag neemt. Een gegronde evaluatie van de effecten van de training is dus van belang. Dit belang kunnen we kaderen binnen de focus op het evidence-based werken, waarin het noodzakelijk is ‘evidence’ te voorzien die het trainingsprogramma en de dus gedane investering ondersteunt (Gielen & Indesteege, 2004; Smidt, Balandin, Sigafoos & Reed, 2009). Onder meer Pineda (2010) en Robertson (2010) spreken hierbij over de ‘accountability’ van trainingen, een begrip dat ook onder invloed van het NPM zijn plaats krijgt binnen de publieke en de social profit sector. Pineda (2010,p. 2) omschrijft het als volgt: In order for training to be considered an investment, it must be held accountable like other investments made by the organisation, and must demonstrate that the decisions and actions taken are relevant and profitable. In other words, the actual contribution made by training to the organisation’s results must be ascertained. Evaluation is the key tool for this purpose.

Een evaluatie laat tevens toe om toekomstige trainingen te optimaliseren. Zo kan een steeds grotere kwaliteit bereikt worden, dit zowel wat betreft de training zelf als op het vlak van de uiteindelijke resultaten (Pineda, 2010). Er zijn heel wat verschillende modellen en methodes terug te vinden die de evaluatie van trainingen ondersteunen en richting geven (Brinkerhoff, 2006; Chang, 2010).

1

Inleiding

Voorbeelden hiervan zijn onder meer het four-levels model van Kirkpatrick (1959), het ROI-model van Phillips (2001), het ADDIE-model (Bozarth, 2008), etc.

De investering in trainingen zijn groot en de verwachtingen zijn navenant. Paradoxaal genoeg gaat er echter weinig aandacht naar het evalueren van deze trainingen (Ahmad & Din, 2009; Griffin, 2010). Ondanks het feit dat evaluatie reeds sinds decennia als een volwaardige studieveld wordt aanzien (Hogan, 2007), en men het belang ervan erkent en benadrukt, vertaalt deze visie zich echter nauwelijks in een evaluatie in de feitelijke praktijk (Pineda, 2010). Deze vaststelling geldt ook voor de publieke organisaties, die steeds meer geld investeren in trainingen, maar zelden tot nooit komen tot het werkelijk verzamelen en analyseren van de effecten van deze investering (Birdi, 2010; Griffin, 2010; Pineda, 2010; Wilson, 2004). Indien er echter wel sprake is van een evaluatie van trainingen, dan wordt hierbij nauwelijks gebruik gemaakt van een uitgewerkte evaluatiemethode (Smidt et al., 2009). Volgens Griffin (2010) wijst dit op een gebrek aan een wijdverspreid evaluatiemodel of aan valide instrumenten die in de praktijk gebruikt worden om trainingen te ondersteunen en te evalueren. Hierdoor gaat volgens Phillips (2010) de accountability van trainingen verloren.

Bovenstaande bevindingen vormen de basis voor het volgende onderzoek waarin ingegaan zal worden op de evaluatie van een training in de publieke sector. Er werd gekozen voor een case study omtrent een vorming en verdere supervisie inzake het werken en opstellen van handelingsplannen binnen de gemeenschapsinstellingen. De ROI-methode van Phillips (2001) zal hierbij het uitgangspunt zijn voor de evaluatie van deze vorming en supervisie.

Volgende onderzoeksvraag staat centraal: “Op welke wijze kreeg de evaluatie inzake de vorming en supervisie van handelingsplanning binnen de gemeenschapsinstellingen vorm en welke elementen zijn hierbij al dan niet aanwezig, dit met de SROI-methode, als aanpassing van Phillips’ (2001) ROI-methode, als uitgangspunt” Hierbij worden enkele deelonderzoeksvragen geformuleerd: “Op welke evaluatieniveaus worden de effecten van de training nagegaan?” “Welke stappen worden genomen doorheen het gehele evaluatieproces?” “Welke oorzaken liggen hieraan ten grondslag?” “Welke gevolgen brengt dit met zich mee?” “Welke verfijningen/verbeteringen kunnen we voorstellen?”

2

Inleiding

Deze masterproef gaat van start met het theoretisch kader. Hierin wordt de methode van Phillips (2001), als basis voor het eigen onderzoek, aan de hand van wetenschappelijke literatuur geactualiseerd en aangepast. Finaal komen we hierbij tot een eigen evaluatieschema, genaamd de SROI-methode. Het tweede luik van deze scriptie beschrijft het methodologisch kader. Hierbij wordt de gekozen case study besproken, alsook het kwalitatief onderzoeksopzet. Daarnaast wordt in dit deel ook ingegaan op de methode voor dataverzameling en – analyse. Het derde deel geeft de belangrijkste resultaten weer die werden verkregen doorheen de documentenanalyse en de interviews met vier projectmedewerkers. Het vierde deel, de conclusie, zet de belangrijkste onderzoeksbevindingen op een rij. Vooreerst worden de besproken onderzoeksresultaten aan de bevindingen uit de literatuur gekoppeld en wordt een antwoord geformuleerd op de vooropgestelde (deel)onderzoeksvragen. Vervolgens worden ook enkele aanbevelingen geformuleerd. Tot slot wordt deze masterproef afgerond met een kritische reflectie op het eigen onderzoek, waarin ook op de gehanteerde SROI-methode kritisch gereflecteerd wordt.

3

Deel 1: Theoretisch kader

DEEL I THEORETISCH KADER 1 Inleiding De literatuur inzake evaluatie van trainingen is ruim (Brinkerhoff, 2006; Chang, 2010). Hierin neemt Phillips’ (2001) ROI-methode, die voortbouwt op het four-levels model van Kirkpatrick (1959), een prominente plaats in. In de vraag naar meer accountability van trainingsprogramma’s en naar de impact van trainingen op organisatorisch en financieel vlak (Gielen & Indesteege, 2004) wordt de methode van Phillips aanzien als een geschikte aanzet om pragmatisch en systematisch de evaluatie van trainingen te onderbouwen (Bischop, 2010). Ze wordt omschreven als een valide en betrouwbaar proces voor het meten van de effectiviteit van allerlei trainingen en soortgelijke interventies (Fitzenz, 2009).

In dit theoretisch luik wordt de ROI-methode uiteengezet. De methode van Phillips zoals beschreven in het boek “Human Resources Scorecard. Measuring the Return on Investment” (Phillips, Stone & Phillips, 2001) vormt het vertrekpunt van dit theoretisch onderzoek. In een eerste deel wordt de ROImethode van Phillips kort behandeld. Hiertoe wordt vooreerst ingegaan op het four-levels model van Kirkpatrick om vervolgens het ROI-niveau en het ROI-proces van Phillips te bespreken. Op basis van wetenschappelijke literatuur wordt vervolgens de methode van Phillips aangevuld en geactualiseerd. Hierdoor komen we aan het eind van dit theoretisch deel tot een aangepaste evaluatiemethode die de basis zal vormen voor het eigen onderzoek.

2 De ROI-methode van Phillips 2.1 Kirkpatrick: het four-levels model In 1959 schreef Kirkpatrick een reeks artikels over de evaluatie van trainingsprogramma’s. Daarin introduceerde hij zijn ‘four-levels model’, waarbij onderscheid wordt gemaakt tussen vier

4


evaluatieniveaus waarop de effecten van trainingen gemeten kunnen worden. Deze vier niveaus zijn: reactie en tevredenheid, leren, toepassing en implementatie en de organisatie-impact.

Kirkpatricks doel van dit model was het voorzien van een simpele en praktische methode voor het evalueren van trainingsprogramma’s (Kirkpatrick & Kirkpatrick, 2008). Het four-levels model is hierdoor ook nog steeds sterk aanwezig binnen de hedendaagse wetenschappelijke literatuur inzake effecten en evaluatie van trainingen (Chang, 2010; Giangreco, Carugati & Sebastiano, 2008). Het wordt aanzien als een eenvoudig toepasbaar model (Bishop, 2010) dat de aanzet geeft tot een diepgaande evaluatie van de effecten van trainingsprogramma’s. Deze evaluatie gaat namelijk verder dan enkel het registreren van reacties van de deelnemers (Vanderstraeten, 2010).

2.2 Return On Investment (ROI) De vier evaluatieniveaus van Kirkpatrick vormen het uitgangspunt voor het berekenen van de ‘Return On Investment’, dat Phillips als vijfde niveau aan het model van Kirkpatrick toevoegt. Dit laatste niveau laat toe de organisatie-impact (niveau 4) om te zetten in financiële cijfers. In de berekening van de ROI worden bijgevolg de programma-opbrengsten in verhouding tot de programmakosten geplaatst. Phillips (2001, p. 24) omschrijft dit in termen van “Comparing the program’s monetary benefits with the costs”. Volgens Phillips (2001) kan een training namelijk wel invloed en effect hebben op het niveau van de organisatie, maar is er toch een reële kans dat de kosten van de training te hoog liggen. Bishop (2010) stelt dat een evaluatiecyclus niet compleet is indien de ROI niet berekend wordt.

2.3 Het ROI-proces Naast deze vijf niveaus, zet Phillips (2001) in zijn ROI-methode tevens een systematisch stappenplan uit, dat toelaat de training te ondersteunen én te evalueren, dit vanaf de planning van de training tot aan de communicatie over de effecten ervan. Dit zgn. ‘ROI-proces’ laat toe systematisch data omtrent de training en zijn effecten te verzamelen, dit op verschillende tijdstippen én vanuit verschillende bronnen (Phillips, 2001).

Het ROI-proces onderscheidt zes verschillende stappen.

5


(Figuur 1: Het ROI –Proces, Phillips, 2001, p. 25)

Stap 1 ontsluit de planning van de evaluatie. Hierin worden de doelstellingen van de meting geformuleerd en vooropgesteld. Voor elk van de evaluatieniveaus worden de doelstellingen van de training verduidelijkt, alsook de manier waarop deze zullen gemeten worden. Concreet gaat het in deze eerste stap om het vastleggen van de verwachte output, het omschrijven van de nodige stappen, de nodige middelen en het vastleggen van de verantwoordelijkheden. In een tweede stap wordt data verzameld tijdens het trainingsprogramma. Zoals u op het schema kan zien onderscheidt Phillips (2001) hier de meting van de reactie en tevredenheid (niveau 1) en het meten van het leren van kennis en vaardigheden (niveau 2). In de derde stap van het ROI-proces wordt data verzameld nadat het trainingsprogramma is afgerond. Concreet wordt data verzameld op niveau 3, toepassing en implementatie, en niveau 4, organisatie-impact. Vervolgens gaan we over naar de vierde stap in het proces, waarbij de effecten van het trainingsprogramma worden geïsoleerd. In deze stap tracht men, via allerlei strategieën, de effecten van het trainingsprogramma te onderscheiden van de effecten die het gevolg zijn van andere mogelijke invloeden. In de vijfde en voorlaatste stap wordt de uiteindelijke ROI berekend. Hiertoe dienen twee deelstappen ondernomen worden. Ten eerste worden de verzamelde gegevens in financiële termen

6


omgezet. Ten tweede worden de kosten van het trainingsprogramma berekend. Deze deelstappen laten toe om vervolgens de ROI te berekenen. Dit gebeurt volgens volgende ratio: ROI (%) = Net Program Benefits × 100 Program Costs Op het schema vinden we ook de zgn. ‘intangible measures’ terug. Dit zijn de niet-converteerbare opbrengsten, die trainingseffecten die niet in financiële termen te omschrijven zijn. Het gaat hierbij om zaken zoals teamwork, stressreductie, personeelsbetrokkenheid, etc. Deze zaken dienen ook in overweging genomen te worden, maar worden niet opgenomen in de uiteindelijke ROI. De laatste stap in het ROI-proces bestaat uit het communiceren van de resultaten aan de verschillende stakeholders in de organisatie.

3 Geactualiseerde en aangepaste methode 3.1 Inleiding Phillips’ ROI-methode vormt een goede aanzet om pragmatisch en systematisch de evaluatie van trainingen te onderbouwen (Bischop, 2010). Toch is er nood aan bijkomende en vernieuwende inzichten om tot een holistisch model te komen (Giangreco et al., 2008). In de bestudeerde literatuur zijn meerdere discussies aanwezig die de methode van Phillips en de evaluatieniveaus van Kirkpatrick trachten aan te passen.

Vooreerst is er sprake van een verouderd model. Phillips‘ aanvulling van Kirkpatricks evaluatieniveaus is vrij recent, maar de evaluatieniveaus van Kirkpatrick uit 1959 vereisen enige actualisering. Daarnaast wordt ook aangehaald dat een evaluatie van een training, naast systematisch en praktisch, ook aanpasbaar dient te zijn aan de specifieke noden van de training en aan de organisatorische context (Griffin, 2010). Giangreco et al. (2008) hebben het in dat verband over de nood aan aandacht voor de contingente en contextuele dimensie. Dit maakt dat we rekening moeten houden met het feit dat we ons in dit onderzoek toespitsen op een training binnen de publieke of social profit sector. De methode van Phillips werd initieel omschreven voor ondernemingen binnen de private sector. Deze streven echter andere doelstellingen na dan organisaties binnen de publieke en de social profit sector.

7


Deze vaststellingen noodzaken een aanpassing en actualisering van Kirkpatricks evaluatieniveaus en Phillips’ ROI-methode. In wat volgt wordt uitgebreid ingegaan op de ROI-methode van Phillips (2001) en worden de nodige aanpassingen hierop geformuleerd. Vooreerst wordt ingegaan op de evaluatieniveaus om vervolgens het ROI-proces te bespreken.

3.2 De evaluatieniveaus Op basis van de bestudeerde literatuur onderscheiden we naast een niveau 0 nog zeven evaluatieniveaus, met name:

Niveau 0 Niveau 1 Niveau 2 Niveau 3 Niveau 4 Niveau 5 Niveau 6 Niveau 7

Input Reactie en Tevredenheid Leren Toepassing en Implementatie Team-Impact Organisatie-Impact Maatschappelijke Impact SROI

3.2.1 Niveau 0: Input (Phillips & Phillips, 2007) Phillips en Phillips (2007) voegen aan het initieel model van Phillips (2001) het niveau 0 toe. Niveau 0 geeft aandacht aan de input van het project en detailleert het aantal mensen en uren, de focus en de kost van het project, dit zowel wat betreft de training, alsook van de evaluatie. Phillips & Phillips (2007) omschrijven dit niveau als de inspanning die geleverd moet worden, en de verbondenheid die men aangaat om aan de training en aan de evaluatie vorm te geven. Vaak wordt dit niveau verkeerdelijk gelijkgesteld aan de waarde van de training. Nochtans betekenen deze inspanningen (als in ‘kosten’) niet dat de organisatie ook waarde zal halen uit de training, en dat de training dus ook werkelijk effecten creëert.

Het is belangrijk om bij deze praktische zaken stil te staan, alvorens de training van start gaat. Daarnaast dient dit niveau een element te zijn dat doorheen het gehele trainings- en evaluatieproces opgevolgd en aangepast wordt indien er sprake is van bijkomende kosten. Hierdoor laat dit niveau ook toe om bij de uiteindelijke berekening van de ROI een overzicht te hebben van de gemaakte kosten.

8


3.2.2 Niveau 1: Reactie en tevredenheid Voor het slagen van een trainingsprogramma is het van belang dat de deelnemers positief reageren op de training. Binnen het eerste niveau worden bijgevolg de reacties en de tevredenheid van de deelnemers aan het trainingsprogramma nagegaan (Phillips, 2001).

De deelnemers kunnen bevraagd worden over verschillende zaken. Phillips (2001) onderscheidt thema’s gaande van de relevantie van het programma, de aangepastheid van de vooropgestelde doelen, de ondersteuning en coördinatie van de training tot de integratie van de training met andere systemen binnen de organisatie. Hierbij wordt tevens gevraagd naar de motivatie en medewerking van de deelnemers (Pineda, 2010; Phillips, 2001). Pineda (2010) benadrukt ook het belang van de pedagogische coherentie van het trainingsprogramma. Elementen die hierbij bevraagd worden handelen over de inhoud van de training, het evenwicht tussen theorie en praktijk, de structuur van de training, het gebruikte materiaal, de ruimtes waarin de training doorgaat, etc. (Iqbal, Maharvi, Malik & Khan, 2011; Pineda, 2010). Daarnaast wordt ook gepeild naar hoe de stakeholders de pedagogische vaardigheden en kennis van de trainer ervaren (Pineda, 2010).

Dit eerste evaluatieniveau wordt als belangrijk aanzien daar hierdoor feedback wordt verkregen die aanleiding kan geven tot het aanpassen of herontwerpen van de training. Indien de training namelijk als niet relevant of onaangepast wordt aanzien door de deelnemers, dan heeft de training naast weinig kans op slagen, ook weinig nut (Phillips, 2001).

Deze evaluatie is sterk aanwezig binnen veel evaluaties, dit onder meer door de makkelijke bevraging ervan (Wilson, 2004). Dit betekent niet dat dit niveau voldoende is om de training te evalueren (Giangreco et al., 2008). Het nagaan of de trainingselementen ook zullen worden toegepast en geïmplementeerd in de praktijk en dus een positief effect hebben op het gedrag van de deelnemers, noodzaakt een evaluatie op hogere niveaus (Phillips, 2001). Daarnaast geeft dit eerste niveau ook geen zicht op de impact die de training heeft op de organisatie (Pineda, 2010). Dit alles noodzaakt de combinatie van dit eerste niveau met hogere evaluatieniveaus.

3.2.3 Niveau 2: Leren In trainingsprogramma’s ligt de nadruk op het verwerven van kennis en nieuwe vaardigheden (Ahmad & Din, 2009; Pineda, 2010). Het tweede evaluatieniveau buigt zicht over dit aspect van het leren. De evaluatie op dit niveau verschaft bijgevolg inzicht in welke mate de deelnemers de nieuwe

9


kennis of vaardigheden hebben verworven.Dit niveau vereist dat er operationele en meetbare trainingsdoelen worden vastgelegd, waaraan dit niveau vervolgens getoetst kan worden. Er is met andere woorden nood aan een bepaalde norm waaraan het geleerde gewaardeerd kan worden. Op basis hiervan kan men de directe resultaten van de training nagaan.

Dit tweede evaluatieniveau wordt aanzien als een noodzakelijke voorwaarde, daar het leerelement cruciaal is om ook een transfer te maken van het geleerde naar de praktijk (Ahmad & Din, 2009). Maar training levert slechts een bijdrage wanneer de kennis en de vaardigheden die tijdens de training verworven worden, ook toegepast worden in de werkpraktijk (Robertson, 2010). Het leren en verwerven van vaardigheden, betekenen echter nog niet dat het geleerde daadwerkelijk wordt geïmplementeerd. Daarom krijgt men op dit niveau nog geen volledig inzicht in de implementatie van het geleerde, wat verdere evaluatie vereist (Phillips, 2001).

3.2.4 Niveau 3: Toepassing en implementatie Op het derde evaluatieniveau wordt nagegaan in welke mate het geleerde ook effectief wordt toegepast. Net zoals niveau 2 vereist evaluatie op dit niveau het in kaart brengen van observeerbaar en meetbaar gedrag (Phillips, 2001). Met behulp van follow-up methodes wordt nagegaan in welke mate de deelnemers het geleerde toepassen en implementeren in hun job, alsook of de geleerde vaardigheden stand houden doorheen de tijd (Pineda, 2010). Verschillende follow-upmethoden werden ontwikkeld om na te gaan of medewerkers tot specifieke gedragsverandering komen en de training effecten heeft gehad op het dagelijks functioneren van de medewerkers. Voorbeelden hiervan zijn actieplannen en performantiecontracten (Phillips, 2001).

3.2.5 Niveau 4: Team-impact (Birdi, 2010) Het team-niveau van Birdi (2010) is een grote aanvulling en contextualisering van de methode van Phillips. Teamwork is een samenwerkingsvorm die steeds meer zijn plaats krijgt in organisaties, alsook binnen de publieke sector (Wilson, Goodman & Cronin, 2007). De publieke sector vereist gezien zijn diverse doelgroep, zijn dienstverlening en structuur de samenwerking van verschillende actoren in één team. Daarom is er ook nood aan de evaluatie van een training op dit niveau. Hierbij maakt Birdi (2010) onderscheid tussen vier teamdimensies. De affectieve dimensie slaat op mogelijke wijzigingen in de identiteit van of vertrouwen binnen het team. Een tweede en zgn. cognitieve dimensie houdt de veranderde en gedeelde kennis in het team voor ogen. De gedragsdimensie handelt over processen die zich afspelen binnen het team. Tot slot worden in de instrumentele

10


dimensie acties of statuswijzigingen behandeld die het gehele team aanbelangen, zoals een verhoogde autonomie of teambonussen.

3.2.6 Niveau 5: Organisatie-impact Op het organisatieniveau wordt de impact nagegaan die de training en de toepassing en implementatie van de geleerde kennis en vaardigheden hebben op de gehele organisatie (Pineda, 2010). In dit verband wordt door Phillips (2001) gesproken over de ‘eigenlijke resultaten’ van de training. Mogelijke resultaten bevinden zich op volgende gebieden: kwaliteit, kostenreductie, output, klantentevredenheid, etc. Evaluatie op dit niveau, ook wel ‘impact assessment’ genoemd, toont de eigenlijke waarde van de training aan. Het verschaft verantwoording ten aanzien van de gemaakte investering. (Gielen & Indesteege, 2004; Pineda, 2010)

Op dit niveau wordt onderscheid gemaakt tussen twee effectsoorten, met name kwalitatieve (niet vertaalbaar in economische termen) en kwantitatieve effecten (vertaalbaar in monetaire waarde). Deze laatste effecten (ook wel ‘profitability’ genoemd) vinden we terug op het ‘ROI’-evaluatieniveau. (Phillips, 2001; Pineda, 2010)

3.2.7 Niveau 6: Maatschappelijke impact (Birdi, 2010) Een grote kritiek van Birdi (2010) op veel evaluatiemethoden, is dat deze vaak beperkt blijven tot het evalueren van de effecten van een training op het organisatorisch niveau. Er is echter, dit zeker gezien de context van de publieke context, nood aan een ruimer perspectief dat ook de gevolgen voor de maatschappij in overweging neemt. Op dit maatschappelijk niveau wordt aandacht gegeven aan de effecten van de training op een gebied of groep, die zich buiten de organisatie situeert. Met betrekking tot de trainingseffecten op maatschappelijk niveau worden vijf dimensies onderscheiden: de economie (bv. de investering in de regio), de gezondheid (bv. aantal minder zieken), educatie (bv. aantal gediplomeerden onder de lokale bevolking), recht en orde (bv. criminaliteitscijfers) en de omgeving (bv. minder vervuiling).

3.2.8 Niveau 7: Social Return On Investment (SROI) (Nicholls, Lawlor, Neitzert, Goodspeed & Cupitt, 2009a) Phillips (2001) geeft aan dat er in de praktijk, weinig sprake is van evaluatie op het ROI-niveau. Ondanks het feit dat een training duidelijke effecten kan bereiken op het organisatieniveau, dient

11


toch de vraag gesteld te worden naar “At what cost?” (Bishop, 2010, p. 9). Indien de kosten de bereikte effecten van de training overstijgen, dan kunnen we volgens Bishop (2010) simpelweg spreken van een foute interventie.

Naast de ROI moeten ook de ‘niet-converteerbare’ opbrengsten vermeld worden. Dit zijn de trainingseffecten die niet in financiële termen omzetbaar zijn. Het gaat hierbij om outcomes in termen van medewerkersbetrokkenheid, stressreductie, teamwerk, etc. Deze data worden niet opgenomen in de berekening van de ROI, wat resulteert in een beperkt beeld van de eigenlijke ROI. Ondanks het feit dat de waarde van trainingen verdergaat dan wat in financiële termen kan worden uitgedrukt, is dit vaak de enige waarde die gemeten wordt en waarop de training bijgevolg afgerekend wordt (Nicholls et al., 2009a; Niven, 2008). De nadruk ligt hierbij op het berekenen van de louter economische ROI, waarbij de sociale effecten van de training genegeerd worden(Acharya, 2010).

Trainingen binnen de publieke en de social profit sector hebben echter vaak een sociaal doel voor ogen (Acharya, 2010). Daarom is het van groot belang deze sociale invalshoek in de methode van Phillips op te nemen. De theorie omtrent ‘Social Return On Investment’ verschaft hiervoor een kader en definieert de outcomes van trainingen in termen van sociale-, economische- en omgevingselementen (Nicholls, Lawlor, Neitzert, Goodspeed & Cupitt, 2009b). In het volgende deel, handelend over het SROI-proces (als aanpassing van het ROI-proces) wordt hierop verder ingegaan.

12


3.3 Het SROI-proces De aanpassing en actualisering van het ROI-proces van Phillips wordt in aansluiting met het SROIniveau (niveau 7), tot het SROI-proces gedoopt. Hieronder vindt u een schematisch overzicht van het aangepaste proces. In de evaluatie onderscheiden we algemeen acht stappen, dit over drie grote fasen, met name vóór, tijdens en na de training.

3.3.1 Vóór de training 3.3.1.1 Stap 1: Analyse 3.3.1.1.1

Stakeholdersanalyse

In de analysefase bestaat de eerste stap uit in het kaart brengen en identificeren van de stakeholders (Nicholls et al., 2009a). Phillips (2001) geeft in zijn ROI-methode reeds het belang van de stakeholders aan. Stakeholders zijn diegenen die direct betrokken zijn bij het trainingsprogramma en

13


de implementatie ervan. Het is belangrijk dat deze verschillende stakeholders positief staan ten opzichte van de training. Concreet bestaat deze stap uit het oplijsten van alle stakeholders die een effect of invloed ondervinden van de training. Om een ellenlange opsomming te vermijden, dient nagegaan te worden welke mensen, groepen, organisaties, etc. een significante verandering ondervinden ten gevolge van de training (Nicholls et al., 2009a).

Guerci, Bartezzaghi & Solari (2010) benadrukken ook het belang van de participatie van de stakeholders tijdens het gehele evaluatieproces. Ze vatten hun denkwijze samen onder de noemer ‘stakeholders based evaluation’ Hierbij wordt de participatie van de verschillende stakeholders doorheen het gehele trainings- en evaluatieproces sterk benadrukt. Dit leidt volgens hen tot een grotere motivatie en betrokkenheid van de stakeholders, wat op zijn beurt voor minder weerstand zorgt en de efficiëntie en effectiviteit van de training ten goede komt. (Guerci et al., 2010)

3.3.1.1.2

Needs analyse

Kirkpatrick & Kirkpatrick (2008) geven aan dat indien een trainingsprogramma effectief wil zijn, er moet nagegaan worden welke de noden van de stakeholders zijn. Het moet duidelijk zijn op welke noden de training moet inspelen (Buckley & Caple, 2008). Griffin (2010) heeft het in dat opzicht over een ‘needs analyse’, Phillips (2001) over een ‘needs assessment’. Er wordt hier een onderscheid gemaakt tussen verschillende noden: de nood aan training, aan evaluatie en aan communicatie.

Wanneer er sprake is van noden aan training zullen de trainers of HR-verantwoordelijken eerst nagaan welke noden dit precies zijn. Daarnaast zullen ze ook vaststellen wat de stakeholders van de training verwachten (AL-Ajlouni, 2010). Ideaal gezien, is er dus bijgevolg al sprake van een evaluatie vóór de aanvang van de training (Griffin, 2010; Dhamodharan et al., 2010). Hierbij legt Phillips (2001) de nadruk op het initiële probleem dat de aanleiding vormde voor de training. Er dient hierbij worden nagegaan of dit probleem wel de moeite is om aan te pakken (Bozarth, 2008) of worden nagegaan of een training wel het juiste antwoord is op het geïdentificeerde probleem (Berge, 2008; Bozarth, 2008). Niet elke training is namelijk noodzakelijk of voordelig. Zo zal een motivatieprobleem niet opgelost worden door een training (Bozarth, 2008). Bij het opstellen van de training en het kiezen van de trainingstechnieken is de identificatie van de trainingsnoden bijgevolg de eerste stap (AL-Ajlouni, 2010).

14


Guerci et al. (2010) wijzen naast de noden aan training ook op het belang van de evaluatienoden. Elk van de betrokken stakeholders heeft nl. eigen evaluatienoden waarmee rekening gehouden dient te worden bij het opstellen van de evaluatiedoelen – en systeem (Michalski & Cousins, 2000).

Tot slot is er ook sprake van een analyse van de noden aan communicatie doorheen de training en de evaluatie. Phillips (2001) behandelt dit aan het einde van het ROI-proces, terwijl het ons van belang lijkt reeds vóór de training oog te hebben voor de specifieke communicatienoden van de stakeholders. Het gaat hierbij om het nagaan van welke de verwachtingen er zijn inzake de communicatie omtrent de vooruitgang van de training en van de bereikte resultaten.

3.3.1.1.3

Faciliterende voorwaarden

Een volgende aanvulling op de methode van Phillips, is de aandacht voor de faciliterende voorwaarden voor het toepassen van een evaluatie (Piraeus, 2004). Dit zijn voorwaarden waarvan hun aanwezigheid in de betreffende organisatie moet worden nagegaan én nagestreefd als belangrijke elementen voor het slagen van de training en de evaluatie.

Een eerste noodzakelijke voorwaarde is de ondersteuning vanuit de context. Hierbij kunnen we verwijzen naar de noodzakelijke ondersteuning en betrokkenheid van het management en van de organisatie in zijn geheel (Burke & Hutchins, 2007; Nielsen, Randall & Christensen, 2009; Martinez, Maldonado & Lester, 2009). Piraeus (2004) maakt onderscheid tussen volgende elementen: •

De aanwezigheid van een evaluatiecultuur

•

Het creëren van een organisatorisch klimaat dat de dat de implementatie en de evaluatie ondersteunt

•

Een oriëntatie naar organisatorische verandering en de betrokkenheid van management en leidinggevende figuren in het proces.

Of deze voorwaarden aanwezig zijn in de organisatie en vervolgens ook versterkt en aangegrepen kunnen worden doorheen de training en de evaluatie, zijn belangrijke aspecten die reeds vóór de aanvang van de planning van de training en van de evaluatie moeten worden nagegaan. Het is hierbij van belang de organisatie en de organisatiecultuur te leren kennen alvorens aan de training en evaluatie vorm te geven en hiermee van start te gaan (Condrey, 2010). Vervolgens dient ook sprake te zijn van het proactief benaderen en betrekken van de leiders en managers van de deelnemers van de training. Dit management dient hierbij ook expliciet ondersteuning te geven aan diegenen die deelnemen aan de training. (Martinez et al., 2009)

15


Aziz en Ahmad (2011) hebben het ook over motivatie als een faciliterende voorwaarde. Indien er een gebrek aan motivatie is bij de deelnemers van de training, is de kans op een succesvolle training klein. Bijgevolg dient men ook oog te hebben voor mogelijke weerstanden ten aanzien van de training, die constructief omgebogen moeten worden.

Kirkpatrick en Kirkpatrick (2008) schuiven het belang van een ‘committee’ naar voor bestaande uit verschillende betrokkenen die de trainingsverantwoordelijken kunnen bijstaan in het maken van beslissingen omtrent het trainingsproces. Hierbij is het de bedoeling dat de verschillende evaluatiemetingen teruggekoppeld worden naar deze zgn. stuurgroep. Daarnaast kan deze groep ook praktische ondersteuning bieden en blijvend oog hebben voor de noden van de personen die zij vertegenwoordigen. (Kirkpatrick & Kirkpatrick, 2008)

3.3.1.2 Stap 2: Doelen 3.3.1.2.1

Doelen

In aansluiting met de needs analyse kunnen vervolgens de doelen worden geformuleerd (Kirkpatrick & Kirkpatrick, 2008). Phillips (2001) maakt een onderscheid tussen de doelen van de training enerzijds en de doelen van de evaluatie anderzijds. Hierbij worden doelen geformuleerd op de zeven beschreven evaluatieniveaus, dit zowel wat betreft de doelen van de training als van de evaluatie.

Doelen van de training De doelen van de training moeten duidelijk geformuleerd worden zodat de training doelgericht vorm krijgt. Zo krijgt men ook de garantie dat de juiste meetinstrumenten gehanteerd worden om deze doelstellingen na te gaan (Sitzmann, in Giangreco et al., 2008; Phillips & Phillips, 2007).

Specifiek schuiven AL-Ajlouni (2010) en Condrey (2010) het belang naar voor van een verticale integratie van de training en de organisatie. Dit betekent dat niet alleen de trainingsdoelen in lijn moeten liggen met de doelen van de organisatie, maar dat dit ook voor de betrokkenen (en dan voornamelijk voor de deelnemers aan de training) duidelijk moet zijn (Martinez et al., 2009). Hierbij wordt ook opnieuw gewezen op het belang van de aanwezigheid en de betrokkenheid van een stuurgroep (Kirkpatrick & Kirkpatrick, 2008).

Doelen van de evaluatie Daarnaast dienen ook de doelstellingen van de evaluatie klaar en duidelijk worden vooropgesteld. Concreet worden de doelstellingen van de meting per evaluatieniveau omschreven, alsook de

16


verwachte output van de evaluatie, de gebruikte methoden voor de meting, de verschillende stappen die ondernomen zullen worden en de nodige middelen om de evaluatie uit te voeren (Phillips & Phillips, 2007).

Doelen van de communicatie In aansluiting met de noden aan communicatie, dienen ook hiervoor doelen geformuleerd te worden. Een doel m.b.t. tot het communiceren van de resultaten inzake de vooruitgang van de training, alsook van de resultaten van de evaluatie, is het verhogen van de betrokkenheid van de stakeholders, als noodzakelijke voorwaarde voor het slagen van de training (Guerci et al., 2010).

3.3.1.3 Stap 3: Plannen en pre-testing 3.3.1.3.1

Ontwerp en plannen van de training

In deze fase duikt de vraag op naar welke specifieke training nodig is om aan de geïdentificeerde trainingsnoden tegemoet te komen (AL-Ajlouni, 2010; Cook, 2010). Er wordt stilgestaan bij het ontwerp en de inhoud van de training, bij de methoden en het didactisch materiaal, bij het tempo dat aangenomen zal worden, etc. (Iqbal et al., 2011; AL-Ajlouni, 2010). Hierbij wordt ook niveau 0 beschreven, waarbij de input van de training wordt gespecifieerd (Phillips & Phillips, 2007).

Ondanks het feit dat de overgang van het nagaan van de trainingsnoden naar het ontwerp van de training zelf, niet expliciet opgenomen is in de methode van Phillips, is deze stap echter wel van belang. Training is een gespecialiseerde functie. De trainer moet duidelijk weten wat de training vereist om aan de noden van de stakeholders tegemoet te komen (AL-Ajlouni, 2010; Cook, 2010) . Indien de training niet aansluit bij de noden van de stakeholders, dan is de kans op succes van de training klein.

3.3.1.3.2

Plannen van de evaluatie

Het ROI-proces Met betrekking tot de planning van de evaluatie maakt Phillips (2001) onderscheid tussen een ‘data collection plan’ (Cf. ‘Bijlage 1’) en een ‘ROI-analyseplan’ (Cf. ‘Bijlage 2’). Beide plannen zorgen voor een gedetailleerd overzicht van het soort data dat verzameld moet worden. Ze zeggen ook hoe en wanneer deze informatie verzameld moet worden en geven zicht op hoe het ROI-proces zich zal ontwikkelen.

17


In deze stap wordt bijgevolg de eigenlijk evaluatie gepland. In aansluiting met de planning van de training, wordt ook voor het evaluatiegedeelte niveau 0 omschreven (Phillips & Phillips, 2007). Algemeen heeft Pineda (2010) het hierbij over het evaluatieplan. Heel wat tijd en werk kruipt in deze planning, alsook in de uiteindelijke evaluatie. Het is echter belangrijk dat er in deze beginfase van het proces voldoende tijd en energie wordt geïnvesteerd (Cook, 2010). Vaak is er echter sprake van een slecht geplande evaluatie (Phillips, 2001). Het komt dan voor dat er onvoldoende informatie verzameld wordt om de trainingsresultaten aan te tonen, waardoor er geen verantwoording aan de stakeholders kan afgelegd worden. Dit leidt uiteindelijk tot heel wat frustratie en problemen op het einde van het evaluatieproces (Cook, 2010).

Het SROI-proces Met betrekking tot de planning van de evaluatie, vinden we in de methode omtrent de SROI enkele belangrijke aanvullingen terug. Zo is binnen de SROI-methode sprake van een ‘Impact Map’. Dergelijke map geeft de mogelijkheid niet alleen het gehele proces te plannen, maar ook de SROIratio te berekenen.(Nicholls et al., 2009a). Een voorbeeld van een impact map vindt u in ‘Bijlage 3’.

Zoals u in ‘Bijlage 3’ ziet wordt in dergelijke impact map vertrokken van de stakeholders als uitgangspunt voor het formuleren van de doelstellingen en de outcomes van de training. Hierbij wordt geen onderscheid gemaakt tussen verschillende evaluatieniveaus zoals in de ROI-methode. Vervolgens is er in de SROI-methode geen sprake van ‘intangible measures’. Het verschil met de methode van Phillips (2001) is dat de SROI ook een financiële/monetaire waarde geeft aan de kwalitatieve outcomes van een training, zodat ook deze waarden worden opgenomen in de Return on Investment-ratio. Het resultaat is bijgevolg een ratio van de totale voordelen (van zowel de converteerbare als van de niet-converteerbare outcomes) op de totale investeringen (Nicholls et al., 2009a).

Combinatie planning ROI en SROI In ‘Bijlage 4’ vindt u een schema waarin de drie voorgaande plannen samengebracht zijn in één plan. Hierbij werden de evaluatieniveaus als uitgangspunt genomen ter formulering van de doelen, waarbij vervolgens specifieker wordt ingegaan op hoe deze doelen zullen geëvalueerd worden.

3.3.1.3.3

Plannen van de communicatie

Na het nagaan van de communicatienoden van de stakeholders inzake de training en de evaluatie, wordt een communicatieplan uiteengezet. Hierin wordt de communicatie naar de stakeholders omtrent de training en de trainingseffecten gepland. Hierbij dient aandacht te gaan naar de

18


verschillende manieren waarop data duidelijk en relevant gecommuniceerd kunnen worden naar de verschillende stakeholders toe.(Griffin, 2010; Phillips, 2001)

3.3.1.3.4

Pre-testing

Piloottest evaluatie Ter aanvulling van de methode van Phillips schuift Cook (2010) het belang van een piloottest van het evaluatieproces naar voor. Na het identificeren van de doelen, de instrumenten en het implementatieproces van de evaluatie, dienen voor de eigenlijke start van de evaluatie, de evaluatieinstrumenten en het dataverzamelingsproces getest te worden. Dit laat toe om onder meer slecht geformuleerde vragen (in vragenlijsten) te detecteren en aan te passen, om problemen met betrekking tot de dataverzameling op te sporen, etc. (ASTD, 2006). Hierdoor wordt het evaluatieplan als het ware geoptimaliseerd. Deze piloottest is dus een belangrijke stap in het evaluatieproces (Cook, 2010).

Pre-test Voor de training en de evaluatie van start gaan, dient er op niveau 2 eerst een pre-test plaats te vinden. Dergelijke test laat enerzijds toe dat het trainingsdesign goed aansluit bij de aanwezige kennis en vaardigheden van de deelnemers, waardoor de training een nog beter antwoord biedt op de reeds bestaande noden (Chang, 2010). Anderzijds is deze pre-test een vergelijkingsbasis voor post-testen in een latere fase van de training en van de evaluatie. Zo kunnen de kennis en vaardigheden van de deelnemers van vóór en na de training met elkaar vergeleken worden (Martinez et al. 2009; Chang, 2010; Rajeev, Madan & Jayarajan, 2010). Voor deze pre-test dienen we ons echter niet te beperken tot niveau 2. Het is immer ook van belang om te weten hoe het probleem zich situeert op de werkvloer. Daarom dienen we bijgevolg ook niveau 3 (toepassing en implementatie) na te gaan alvorens de training aanvangt.

3.3.2 Tijdens de training 3.3.2.1 Stap 4: Dataverzameling tijdens de training Vanaf hier begint de eigenlijke training, alsook de dataverzameling en de evaluatie van de training. In deze stap maakt Phillips (2001) een onderscheid tussen het meten van de reactie en tevredenheid (niveau 1) van de deelnemers en het meten van de verworven kennis en vaardigheden (niveau 2).

19


Tijdens deze fase kan naar aanleiding van de reeds verzamelde data sprake zijn van een eerste communicatie naar de betrokkenen toe (Cf. communicatieplan). Ook kan naar aanleiding van de reacties reeds een aanpassing gebeuren aan het trainings- of evaluatieproces.

3.3.3 Na de training 3.3.3.1 Stap 5: Dataverzameling na de training 3.3.3.1.1

De evaluatieniveaus

De derde stap in het ROI-model verzamelt gegevens op het einde van het trainingsprogramma. In het initiële ROI-proces van Phillips wordt hierbij informatie verzameld op niveau 3 (toepassing en implementatie) en niveau 4 (organisatie-impact). Door de aanpassing van de evaluatieniveaus door Birdi (2010) worden in deze stap ook het team-impact niveau (niveau 5) en het maatschappelijke niveau (niveau 6) geëvalueerd.

Daarnaast gebeurt de evaluatie op niveau 1 en niveau 2 bij Phillips (2001) enkel tijdens de training zelf. Wat niveau 1 betreft is het volgens Sorensen et al. (2009) belangrijk dat de tevredenheid niet alleen tijdens de training gemeten wordt, maar ook na en lang na de training. Waarom zou men de tevredenheid namelijk niet na de training meten? Door de verdere implementatie van het geleerde in de praktijk kunnen stakeholders een andere mening over of een ander inzicht krijgen in de training en zijn effecten. De reactie en tevredenheid kan ook tijdens de training wijzigen, dit naarmate de training vordert. Daarom dus het belang om niet alleen tijdens maar ook na de training de reactie en tevredenheid van de stakeholders na te gaan (Rajeev et al., 2010). Met betrekking tot niveau 2 dient nagegaan te worden hoe het zit met de kennis en vaardigheden van de deelnemers na de training. Dit niveau vraagt naast een pre-test bijgevolg ook een post-test (Bishop, 2010; Rajeev et al., 2010).

3.3.3.1.2

Follow-up

Dataverzameling na de training impliceert een follow-up. Phillips (2001) geeft aan dat hiervoor een moment gekozen moet worden waarop de veranderingen, die het gevolg zijn van de training, zich voor het eerst manifesteren. Hier wordt geijverd voor het snelste moment, want ook al is de verandering al significant, toch is er nog voldoende ruimte om nog aanpassingen te doen die eventueel verkeerde effecten kunnen ombuigen (Phillips, 2001).

20


Pineda (2010) geeft aan dat de follow-up meting afhangt van wat er precies aangeleerd moet worden doorheen de training, alsook van de complexiteit ervan. Hoe meer en complexer de kennis en de vaardigheden die aangeleerd en geïmplementeerd moeten worden, hoe meer tijd er nodig is voor de transfer naar de werkpraktijk gestabiliseerd zal zijn. Algemeen wordt een periode aangeraden tussen de één en de zes maanden. De maximale wachttijd overschrijdt best deze zes maanden niet, dit om ‘vergeetachtigheid’ te vermijden (Pineda, 2010; Liebermann & Hoffman, 2008).

3.3.3.2 Stap 6: Data-analyse Deze zesde stap omvat de voorbereidende deelstappen om in stap 7 over de nodige data te beschikken voor de berekening van de SROI. Bij deze deelstappen kan gebruik gemaakt worden van het tweede deel van de SROI impact map (Cf. ‘Bijlage 5’).

3.3.3.2.1

Converteren van de data in financiële waarden

In de methode van Phillips (2001) komt het converteren in monetaire waarde na het isoleren van de effecten. We vertrekken hier echter van het SROI-framework waarbij eerst alle data omgezet worden in financiële waarden, ook de zgn. ‘intangible measures’ uit de ROI-methode. Hier situeert zich het grote verschil met de ROI-methode van Phillips, waarbij de kwalitatieve data wel beschreven, maar niet opgenomen worden in de uiteindelijke ROI-ratio.

Het waarderen van de outcomes in financiële termen wordt ook monetarisering genoemd. Het gaat hier over het toekennen van een financiële waarde aan zaken die in principe geen marktprijs hebben. Deze waarde wordt bepaald door het voorzien van een financiële proxy. Door ook sociale en maatschappelijke outcomes te voorzien van een financiële waarde, krijgen we in de SROI-ratio zicht op de totale waarde gecreëerd door een interventie. (Nicholls et al., 2009a) De stakeholders kunnen een goede uitvalsbasis zijn om tot de financiële proxies te komen. Zij zijn uiteindelijk diegenen die weten wat de waarde is van de outcomes bereikt door de training. Het is hierbij niet de bedoeling dat de stakeholders zelf een financiële waarde op de verandering plakken, maar ons een inzicht geven in hoeveel een verandering waard is voor hen. Vervolgens is het aan de evaluatoren en de experten om op basis van dit inzicht een financiële proxy te bepalen. Eenmaal deze proxy vastligt, is het belangrijk deze vervolgens opnieuw terug te koppelen naar en te bespreken met de stakeholders. Hierdoor krijgt de proxy meer betrouwbaarheid. (Nicholls et al., 2009a)

21


3.3.3.2.2

Isoleren van de trainingseffecten

Het isoleren van de effecten van de training vinden we ook terug in het model van Phillips (2001). Hierin wordt de vraag gesteld naar ‘hoeveel van de verbetering een gevolg is van het HRprogramma’. Want hoewel een verandering in performantie gelinkt kan zijn aan het HR programma, zullen ook andere factoren een bijdrage geleverd hebben aan de verbetering. (Phillips, 2001) Het is echter geen evidentie om vast te stellen in welke mate de training op zich verantwoordelijk is voor de effecten op het gedrag van de medewerkers en de uiteindelijke resultaten in de organisatie.

Phillips (2001) maakt onderscheid tussen tien strategieën om de effecten van de training te isoleren. Enkele

daarvan zijn:

controlegroepen,

trendline-analyse,

inschatting door participanten-

supervisoren-management-experts, bevragen van cliënten, etc. Enkele van deze strategieën vinden we ook terug onder de SROI-methode, waaronder het gebruik van controlegroepen en van de inschatting door stakeholders (Nicholls et al., 2009a).

De SROI impact map laat ons vervolgens toe deze geïsoleerde effecten ook in percentages om te zetten. Dit vinden we terug onder de noemer deadweight, attributie en drop-off. Deadweight staat voor de hoeveelheid outcomes die sowieso zouden plaatsvinden, ook zonder de training. Attributie is een deel van de deadweight, maar is van toepassing indien je bepaalde effecten expliciet kan toewijzen als het gevolg van personen of organisatiefactoren. De drop-off tot slot geeft aan hoeveel de effecten van de training overheen de komende jaren zal afnemen. Deze percentages dienen bijgevolg in vermindering gebracht te worden om tot de SROI-ratio te komen. (Nicholls et al., 2009a)

3.3.3.2.3

Berekenen impact

In de impact map staan nu de percentages ingevuld voor deadweight en drop-off. Bijgevolg zijn we nu in staat de impact of effecten van de training te berekenen. De formule, voor elke outcome, gaat hierbij als volgt:

• De financiële proxy × de kwantiteit van de outcome = de totale waarde • De totale waarde - % deadweight = de waarde van de outcome • Som van de waarde van alle outcomes = de algemene impact/effect van de training Deze zgn. ‘Value of Impact’ laat toe om in een volgende stap de SROI-ratio te berekenen. (Nicholls et al.,2009a)

22


3.3.3.3 Stap 7: Berekenen SROI In deze voorlaatste stap zijn de data verzameld en geanalyseerd die het mogelijk maken de Social Return on Investment ratio te berekenen. De formule hiervoor is:

SROI ratio = Present Value Value of Inputs

Bijgevolg worden in stap 7 nog twee zaken berekend, met name de ‘present value’ en de ‘value of inputs’. (Nicholls et al., 2009a)

3.3.3.3.1

Berekenen van de Present Value

Voor de berekening van de ‘present value’ wordt volgende formule gebruikt:

Hierbij worden ook de toekomstige waarden van de training in rekening gebracht. Deze worden berekend op basis van het drop-off percentage. Vervolgens worden de toekomstige waarden verdisconteert of geactualiseerd. De ‘r’ in de noemer staat hierbij voor de zgn. ‘discount rate’. Er zijn verschillende discountrates. Voor de publieke sector is deze door de HM treasury greenbeek vastgelegd op 3,5%. (Nicholls et al., 2009a)

3.3.3.3.2

Berekenen van de kosten (Input Value)

De ‘Input Value’ uit het SROI-framework staat gelijk aan het berekenen van de kosten, zoals ook opgenomen in de ROI-methode van Phillips (2001). We kunnen hierbij onderscheid maken tussen verschillende soorten kostencategorieën met name analysekosten, kosten voor de ontwikkeling van het trainingsprogramma, implementatiekosten, operationele kosten, evaluatiekosten en overheads (Phillips, 2001). Niveau 0 is hierbij het vertrekpunt voor het achterhalen van de gemaakte kosten. Het systematisch opvolgen en aanpassen van dit niveau doorheen het volledige SROI-proces, laat in deze zevende stap toe een overzicht te hebben over de totale kosten van de training.

23


3.3.3.4 Stap 8: Communiceren, gebruiken en verankeren van de resultaten In de laatste stap van het SROI-proces worden de verzamelde en geanalyseerde data gecommuniceerd en aangewend met als doel het verankeren van de bereikte resultaten. Dit is bijgevolg een belangrijke stap in het SROI-proces waaraan, jammer genoeg, vaak weinig tijd en middelen wordt gespendeerd (Nicholls et al., 2009a).

3.3.3.4.1

Communiceren

Phillips (2001) sluit zijn methode en ROI-proces af met het communiceren van de resultaten aan de verschillende stakeholders. Ook in het SROI-model komt het communiceren aan de stakeholders naar voor. De rapportering aan de stakeholders vereist het communiceren van de resultaten op een relevante, duidelijke en betekenisvolle manier (Griffin, 2010). Dit zeker daar (S)ROI de accountability van trainingen wil aantonen aan de diverse stakeholders. Daarnaast dienen we ook aandacht te hebben voor eventuele externe stakeholders die geïnteresseerd zijn in de resultaten en in het SROIproces dat doorlopen werd. (Nicholls et al., 2009a)

3.3.3.4.2

Gebruiken

Een belangrijke toevoeging vanuit de SROI-methode aan de methode van Phillips (2001) is dat de SROI niet eindigt met het communiceren van de resultaten. Een evaluatieve SROI-analyse dient te resulteren in een verandering in de organisatie. De organisatie dient te reageren op de behaalde en gemeten resultaten door implicaties m.b.t. tot de organisatorische doelen, het beleid, de systemen en de werkpraktijk. Het is bijgevolg belangrijk te verzekeren dat de organisatie ook iets doet met de aanbevelingen uit de SROI-analyse en dat de bevindingen het verdere strategische planningsproces van de organisatie voeden.(Nicholls et al., 2009a)

3.3.3.4.3

Verankeren

Pineda (2010) benadrukt het belang van een herhaaldelijke periodieke evaluatie van de training, dit om na te gaan of de transfer naar de praktijk en de effecten op de overige niveaus behouden blijven. Zoals de berekening van de SROI-ratio laat zien (Cf. ‘Stap 7’), is er vanuit de SROI-methode tevens aandacht voor hoe deze ratio evolueert doorheen de tijd. Dit als een belangrijke indicator die aangeeft of de bereikte resultaten/outcomes doorheen de tijd standhouden, verbeteren of wegkwijnen. Dit alles kan de organisatie informatie verschaffen over hoe ze hun diensten verder blijvend kunnen aanpassen om tot een maximale sociale waarde te komen. (Nicholls et al., 2009a)

24


Hierbij wordt het gebruik van een SROI-analyseplan vooropgesteld dat ervoor moet zorgen dat SROIanalyses blijvend deel uitmaken van het onderzoek binnen en rapportering van de organisatie. Dergelijk analyseplan dient volgende zaken te bevatten (Nicholls et al., 2009a): •

Een proces van training van het personeel. Dit om te verzekeren dat de kennis en vaardigheden verworven door de training in de organisatie blijft, ook wanneer er sprake is van wisselend personeel

•

Een tijdslijn die de volgende SROI-evaluaties aangeeft

•

Een beschrijving van de bronnen die nodig zijn om een voortdurende monitoring van de SROI te garanderen

•

Hoe de nodige data (op de verschillende niveaus) voortdurend verzameld zal worden.

In dit verankerings- en opvolgingsproces dienen daarnaast de zeven beschreven evaluatieniveaus steeds voor ogen gehouden en geëvalueerd te worden.

25

Deel 2: Methodologie

DEEL II METHODOLOGIE 1 Onderzoeksdesign 1.1 Kwalitatief onderzoek: Een case study Gezien de aard van de probleemstelling wordt gekozen voor een kwalitatieve onderzoeksbenadering. De evaluatie van een training volgens de SROI-methode maakt het niet zinvol het bestudeerde materiaal te vertalen in kwantificeerbare eenheden (Maso & Smaling, 1998; Schuyten, 2004). Het vormings- en supervisietraject dat bestudeerd zal worden is tevens grotendeels afgelopen, waardoor dit onderzoek een dataverzamelingsproces vereist dat cyclisch en interactief van aard is (Maso & Smaling, 1998).

Binnen de

kwalitatieve onderzoeksmethoden kan men verschillende onderzoeksvormen

onderscheiden (Merriam, 2002). In dit onderzoek wordt gekozen voor een case study, dat een intensief kwalitatief onderzoek omvat gericht op één concreet onderzoeksgeval (Peters, 2001). Er wordt gestreefd naar een intensieve beschrijving en analyse van een fenomeen (Gomm, Hammersley & Foster,2000; Yin, 2003).

De case study die binnen dit onderzoek centraal staat, handelt over de vorming en supervisie van handelingsplanning

in

de

gemeenschapsinstellingen.

In

opdracht

van

het

Agentschap

Jongerenwelzijn, afdeling Gemeenschapsinstellingen, gaf de Hogeschool Gent, departement SociaalAgogisch Werk, in samenwerking met de Universiteit Gent-Vakgroep Orthopedagogiek, vorm en invulling aan een vormings- en supervisietraject inzake het opstellen van handelingsplannen binnen de gemeenschapsinstellingen. Een nadere toelichting van deze case study vindt u terug in het volgende deel waarin de onderzoeksresultaten besproken worden.

26


2 Dataverzameling en data-analyse 2.1 Dataverzameling Een case study biedt de mogelijkheid verschillende data te verzamelen. Hierbij is het interessant gebruik te maken van diverse bronnen. De meest gebruikte technieken of methoden voor dataverzameling zijn het interview, de participerende observatie en de documentenanalyse (Baarda, De Goede & Teunissen, 2001). Deze studie maakt gebruik van interviews en van documentenanalyse.

2.1.1 Documentenanalyse Het grootste deel van de dataverzameling is gebaseerd op een documentenanalyse die twee maal uitgevoerd werd. Volgens Yin (2003) is informatie uit documenten relevant voor iedere case study. Een documentenanalyse bestaat uit het analyseren van reeds beschikbare documenten en onderzoeksgegevens voor het beantwoorden van de onderzoeksvragen (Baarda et al., 2001; Braster, 2000). Hierbij wordt gebruik gemaakt van bestaande gegevens, geschikt voor het beantwoorden van beschrijvende vragen (Braster, 2000), met als doel het nagaan van de intenties en de activiteiten van een organisatie (Wolff, 2004). Voor een documentenanalyse kan gebruik gemaakt worden van verschillende documenten. In dit onderzoek wordt gebruikt gemaakt van documenten die de voortgang van het project verduidelijken en van andere interne bronnen (Yin, 2003). Daarnaast wordt ook gebruik gemaakt van bewerkt statistisch materiaal (Peters, 2001). Een overzicht van de geanalyseerde documenten vindt u in ‘Bijlage 6’.

Bestaande documenten hebben het grote voordeel dat ze snel beschikbaar en dus tijdbesparend zijn. Daarenboven zijn ze niet opgesteld voor het onderzoekopzet en daardoor non-reactief. Het nadeel is echter dat men beperkt is tot de aanwezige data en dat deze inaccuraat kunnen zijn (Appleton & Cowley, 1997). Daarom werd de documentenanalyse aangevuld met semi-gestructureerde interviews met projectmedewerkers, waarna vervolgens een tweede en meer diepgaande documentenanalyse werd uitgevoerd.

2.1.2 Het interview Aanvullend op de documentenanalyse werd gekozen voor het interview. Het voordeel van het interview als onderzoeksstrategie, is dat het rijke en complexe gegevens oplevert. We kunnen het

27


onderwerp diepgaand benaderen (Kvale, 1996). Hierbij werd gebruik gemaakt van rechtstreekse semi-gestructureerde interviews. Rechtstreeks wijst hierbij op het feit dat enkel de interviewer en de respondent deelnemen aan het interview (Schuyten, 2002). Semi-gestructureerde interviews zijn over het algemeen genomen georganiseerd rond een set van vooraf bepaalde ‘open-ended’ vragen, met bijkomende vragen die naar boven kunnen komen tijdens de dialoog tussen interviewer en geïnterviewde (Dicicco-Bloom & Crabtee, 2006). Doorheen het interview kunnen dus nieuwe vragen ontstaan, staat de volgorde van de vragen niet vast en kunnen er ook vragen weggelaten worden. Dit betekent echter niet dat het interview een onsystematische bezigheid is. De vragen werden gericht opgesteld, dit om tot de noodzakelijke informatie te komen die vereist was om het gehele vormings-, supervisie- en evaluatieproces concreet in kaart te brengen. Op basis van een eerste documentenanalyse werd een vragenlijst opgesteld, waarin gepeild werd naar zaken die in de documentenanalyse niet naar voor kwamen of onduidelijkheden met zich meebrachten. Deze vragenlijst vindt u terug in ‘Bijlage 7’.

In totaal werden vier projectmedewerkers geïnterviewd, met name : Claudia Claes, Stijn Vandevelde, Chris Vandam en Steven Brandt. Het gaat hier om personen die zeer nauw betrokken waren bij het vormgeven, ondersteunen en opvolgen van het gehele traject. Claudia Claeys en Stijn Vandevelde namen hierbij het evaluatiegedeelte voor hun rekening. Steven Brandt gaf de vorming en Chris Vandam volgde het supervisietraject op.

Gezien de steekproef van het onderzoek en het doel van de interviews, kunnen we hier spreken van zgn. ‘expertinterviews’ (Tansey, 2007). Expertinterviews zijn interviews die niet apart, maar steeds in aanvulling met andere bronnen worden gebruikt. Het gaat om interviews die zowel bevestigend als aanvullend werken ten aanzien van de documenten en de informatie die uit een documentenanalyse wordt gehaald. Daarnaast geeft een expertinterview ook de mogelijkheid om een proces of een set van activiteiten te reconstrueren, wat in het geval van het vormings- en supervisietraject zeer nuttig is, dit gezien het feit dat het volledige proces niet systematisch bijgehouden en gedocumenteerd werd. (Tansey, 2007)

Door de interviews op te nemen, kon ik de gegeven antwoorden woordelijk en integraal uitschrijven. Dit verhoogt de betrouwbaarheid van de onderzoeksresultaten (Dumelow, Littlejohns & Griffiths, 2000). De uitgeschreven interviews bevinden zich niet in bijlage, maar kunnen bij mij ter inzage opgevraagd worden.

28


2.2 Data-analyse

2.2.1 Evaluatie van de aangepaste methode en van het analyseschema Alvorens van start gegaan werd met het analyseren van de verzamelde data, werd de geactualiseerde methode van Phillips, de SROI-methode, voorgelegd aan drie personen, dit om de begrijpbaarheid en duidelijkheid van de methode na te gaan. Vooreerst werd de methode voorgelegd aan Claudia Claes en Stijn Vandevelde, twee projectmedewerkers van de hogeschool, die tevens de evaluatie van de training voor hun rekening namen. Vervolgens werd ook de methode voorgelegd aan een expert inzake training, met name Dhr. Bram Doolaege. Op basis van de opmerkingen van deze actoren werd de methode waar nodig aangepast.

Vervolgens werd de SROI-methode op aanraden van Dhr. Doolaege verder gespecifieerd. In het schema, terug te vinden in ‘Bijlage 8’, worden de voorwaarden en elementen van de evaluatieniveaus en van de stappen in het SROI-proces gespecifieerd. Hiertoe werd extra literatuuronderzoek verricht om tot een zo volledig mogelijk analyseschema te komen.

2.2.2 Analyse Na de goedkeuring van Dhr. Doolaege van ook het gespecifieerde analyseschema, werd overgegaan tot het analyseren van de documenten en de kwalitatieve interviews. Data-analyse bestaat er in de grote hoeveelheid aan informatie te reduceren, patronen te herkennen en een structuur te creëren die de communicatie over het onderzoek ten goede komt (Baarda et al., 2001). Hiertoe werd de verzamelde data systematisch geanalyseerd aan de hand van en teruggekoppeld naar het analyseschema.

Op basis van de eerste en tweede documentenanalyse en de experteninterviews (tussen de documentenanalyses in) werd een volledig zicht verkregen op het gehele vormings- en supervisietraject. Op basis hiervan werden hiaten in het proces en in de niveaus duidelijk. De belangrijke resultaten hiervan zullen besproken worden in het volgende deel, waarin de onderzoeksresultaten worden uiteengezet.

29

Deel 3: Resultaten

DEEL III RESULTATEN 1 Inleiding Het derde onderdeel van deze masterproef geeft de onderzoeksresultaten weer. De data uit zowel de interviews als de documentenanalyse werden systematisch geanalyseerd aan de hand van het analyseschema (Cf. ‘Bijlage 8’). De onderzoeksresultaten uit de interviews en de documentenanalyse worden

hierbij

niet

apart

besproken

of

behandeld.

De

informatie

uit

beide

dataverzamelingsmethodes heeft tenslotte tot doel aanvullend te zijn en ons een zicht te geven op het gehele vormings-, supervisie- en evaluatieproces.

Vooreerst wordt een korte toelichting gegeven van de case study, waarbij enkele concepten gekaderd en verduidelijkt worden die in de bespreking van de eigenlijke onderzoeksresultaten vaak aan bod komen. Vervolgens gaan we in op de bespreking van de eigenlijke onderzoeksresultaten, dit aan de hand van de evaluatieniveaus en het SROI-proces.

2 Toelichting Case Study Vanuit het Agentschap Jongerenwelzijn, afdeling Gemeenschapsinstellingen, werd in 2009 aan de Hogeschool Gent, Departement Sociaal-Agogisch werk, de vraag gesteld naar een project rond handelingsplanning binnen de gemeenschapsinstellingen. Het werken met handelingsplanning wordt aanzien als een krachtig instrument, maar vereist deskundigheid en motivatie van het personeel om tot kwaliteitsvolle handelingsplannen en, in het verlengde hiervan, cliëntbesprekingen te komen. Van hieruit ontstond de nood aan vorming inzake handelingsplanning, dit afgestemd op de specifieke context van de gemeenschapsinstellingen.

De gemeenschapsinstellingen werken met het zgn. DOMINO-pakket. In overeenstemming met de meer bekende SMART-doelstellingen, gaat ook DOMINO om het formuleren van doelstellingen, maar dit volgens volgende kernelementen: Duidelijk, Observeerbaar, Meetbaar, Inspraak, Nastreefbaar en

30

Deel 3: Resultaten

Opbouwend. Het DOMINO-pakket, bestaande uit een softwareprogramma voor het opstellen en bijhouden van een elektronische dossier, laat toe dat de verschillende hulpverleners van een jongere, alsook het Comité Bijzondere Jeugdzorg, het dossier kunnen opvolgen en aanvullen. Uit ervaring bleek echter dat binnen de verschillende instellingen vaak op een andere manier met handelingsplanning wordt gewerkt, waardoor er sprake is van een grote variatie in de wijze waarop deze handelingsplannen invulling krijgen. Deze variatie wou het Agentschap Jongerenwelzijn wegwerken zodanig dat alle betrokken actoren de handelingsplannen en elektronische dossiers op een consistente en duidelijke manier invullen.

De vraag van het Agentschap bestond uit drie luiken met name een vormings-, supervisie- en consultluik. Om aan deze luiken vorm te geven, alsook om de opvolging van het gehele project te garanderen, werden een projecten stuurgroep opgericht. De projectgroep bestond uit enkele medewerkers van de Hogeschool, waaronder de bevraagden, alsook enkele medewerkers van de Ugent, Vakgroep Orthopedagogiek. De stuurgroep bestond uit een centrale delegatie van het Agentschap Jongerenwelzijn, de directie en vertegenwoordiging van elke instelling, alsook enkele orthopedagogen, psychologen en een aantal opvoeders van elke instelling. Vervolgens waren op elke samenkomst van de stuurgroep ook de projectmedewerkers aanwezig.

Het project richtte zich hierbij op de gehele groep van actoren binnen de gemeenschapsinstellingen, met name de opvoeders en de begeleiders binnen de zgn. functionele entiteiten, alsook de volledige groep van psychologen/orthopedagogen, de campusverantwoordelijken, hoofdleraars, onderwijs- en pedagogisch directeurs.

In het eerste luik, het vormingsluik werd ingegaan op de kennis en vaardigheden nodig om doelstellingen te formuleren en werkpunten te distilleren om dan van hieruit gericht actie te ondernemen. Hierbij stond het DOMINO-model centraal en werden volgende zaken aangehaald: definities en uitgangspunten van handelingsplanning en de verschillende stappen hierin. Vervolgens werd dit ook ingeoefend door het formuleren van doelstellingen volgens DOMINO. Bij de groep orthopedagogen en psychologen, die instaat voor het begeleiden, ondersteunen en het coachen van teams, lag de focus ook op het uitbouwen van de vaardigheid om een (multi)disciplinair team te coachen en te sturen bij het werken met handelingsplannen tijdens cliëntbesprekingen. In het tweede luik, het supervisieluik, werd de koppeling gemaakt van het geleerde in de vorming met de werksituatie van de deelnemers. Dit luik streefde hierbij meerdere doelen na, waaronder het zicht krijgen op moeilijkheden waarmee de deelnemers geconfronteerd werden in de werksituatie, het leren van formuleren van alternatieve gezichtspunten om met deze moeilijkheden om te gaan en 31

Deel 3: Resultaten

het reflecteren op het eigen handelen om van hieruit ook het eigen vermogen aan te scherpen om op zelfstandige basis te leren. Specifiek hierbij werden doorheen de supervisies casussen besproken, die vanuit de teams zelf naar voor werden gebracht, inzake het werken met handelingsplannen en het formuleren van doelstellingen volgens DOMINO. Het derde luik, het consultluik, had twee doelen waarvan het eerste het ontwikkelen van een gemeenschappelijk lexicon was. Het tweede doel bestond eruit de projectresultaten uit de eerste twee luiken te integreren in een draaiboek voor het aansturen van werken met handelingsplannen. Er werd een expertencomité opgesteld om aan dit consultluik mee vorm en inhoud te geven.

Deze drie luiken kwamen er op vraag van het Agentschap Jongerenwelzijn. Daarnaast stelde de stuurgroep bij de aanvang van het project voor om de vorming en de supervisie nauwgezet op te volgen. Om dit op een effectieve manier te doen, werd door de projectmedewerkers van de Hogeschool Gent een wetenschappelijke studie gekoppeld aan het vormings- en supervisietraject. Binnen deze studie kreeg de evaluatie van het project vorm. De resultaten van deze evaluatie werden gebruikt als basis tijdens de stuurgroepvergaderingen, alsook als input voor het consultluik. Daarnaast had de evaluatie tot doel het gehele traject verder te optimaliseren en bij te sturen.

Na de afronding van het project in 2010, werd door de Hogeschool Gent een studiedag georganiseerd rond handelingsplanning, waarop alle betrokkenen van het project uitgenodigd werden. In een workshop werden die dag de resultaten van dit project vervolgens ook gepresenteerd.

3 De evaluatieniveaus We bespreken de resultaten aan de hand van zeven evaluatieniveaus zoals behandeld in het theoretisch luik. Hierbij vormen Pineda’s (2010) vragen, nl.

‘wat’, ‘hoe’, ‘wie’, ‘wanneer’ en

‘waartoe’, de leidraad. Deze opdeling vindt u ook terug in het gebruikte analyseschema (Cf. ‘Bijlage 8’). Op basis van dit schema en de specifieke vragen wordt per evaluatieniveau beschreven welke elementen al dan niet aanwezig zijn binnen de evaluatie van de vorming en supervisie van handelingsplanning.

32

Deel 3: Resultaten

3.1 Niveau 0: Input Hoe Niveau 0 (Phillips & Phillips, 2007) dat aandacht geeft aan de input van het project en het aantal mensen en uren detailleert die nodig zijn voor de training en de evaluatie, vinden we in deze case study terug onder de vorm van een prijsofferte.

Wat Offerte van het vorming- , supervisie- en consultluik In de offerte inzake de drie luiken werd stilgestaan bij de verschillende aspecten en de verschillende kosten van de vorming en de supervisie. Een overzicht hiervan vindt u in ‘Bijlage 9’.

Vervolgens werd voor de voorbereiding, de vorming, de supervisies en het consultluik nog een gedetailleerder overzicht gegeven van de kosten die samengaan met deze inspanningen. Hierbij werd een onderscheid gemaakt tussen prestatie-, verplaatsing-, centrale beheers- en algemene exploitatiekosten. Tevens werden de kosten voor het cursusmateriaal, alsook de overheads en de BTW in rekening gebracht.

Offerte van de evaluatie Naast de offerte van de training, is het ook van belang een offerte op te stellen van de evaluatie (Phillips & Phillips, 2007). Zoals reeds aangegeven is de evaluatie er niet gekomen op vraag van de opdrachtgever, het Agentschap Jongerenwelzijn. De projectmedewerkers van de Hogeschool vonden het echter belangrijk toch vorm te geven aan een evaluatie rond dit project. Daarvoor moesten deze laatsten duidelijke specifiëren en afbakenen hoeveel tijd en geld naar deze evaluatie zou gaan. Er werd echter geen officieel document opgesteld dat deze zaken verduidelijkt. Hierdoor hebben we geen zicht op de kosten van de evaluatie.

Wanneer Ondanks het gebrek aan een offerte inzake de evaluatie(kosten), laat de prijsofferte zien dat er al voor de aanvang van het volledige vormings- en evaluatieproces, stilgestaan werd bij de inspanningen die de vorming en de supervisie met zich mee zouden brengen. Hierdoor zijn ook reeds enkele belangrijke kosten in kaart gebracht, wat de berekening van de SROI ondersteunt.

33

Deel 3: Resultaten

Waartoe De offerte werd louter opgesteld om duidelijkheid te creëren naar de opdrachtgever toe, over de investering die dit project zou vergen. Deze offerte is echter verder niet gebruikt om tijdens het proces de kosten voor ogen te houden, wat een gemiste kans is om het gehele proces en de kosten/inspanningen hieraan verbonden te overzien, bij te sturen, en onnodige kosten om te buigen.

Daarnaast krijgt niveau 0 in de aangepaste SROI methode ook de functie van het in kaart brengen van de kosten, die het berekenen van de SROI-ratio op een hoger evaluatieniveau ondersteunen. Zoals ook zal blijken uit de bespreking en analyse van de resultaten op dit zevende niveau, was hiervan geen sprake.

3.2 Niveau 1: Reactie en tevredenheid Hoe De evaluatie op dit eerste niveau is duidelijk terug te vinden, dit onder de vorm van een survey en een open-vragenlijst, dit beiden in één document opgenomen. Beide instrumenten worden door zowel Phillips (2001) als Pineda (2010) aangegeven als valide en betrouwbare instrumenten om niveau 1 te meten.

Wat de samengevoegde survey en vragenlijst betreft, kunnen we onderscheid maken tussen twee verschillende documenten. Het eerste document peilt naar de reacties en tevredenheid met betrekking tot de vorming an sich. Het surveygedeelte bestaat uit 14 vragen waarbij een likert-schaal vijf antwoordmogelijkheden aangeeft, gaande van ‘akkoord’ tot ‘niet akkoord’. In overeenstemming met het advies van Phillips (2001) worden deze antwoorden voorgesteld door een cijfer, gaande van 1 (helemaal niet akkoord) tot 5 (helemaal akkoord). Hierbij werd ook een kolom toegevoegd ‘niet van toepassing’, indien het item niet van toepassing zou zijn. Het vragenlijstgedeelte omvat enkele open vragen. Het tweede document peilt naar de reactie en tevredenheid van de deelnemers met betrekking tot het gehele vormings-en supervisietraject. Het surveygedeelte hiervan is bijgevolg ook uitgebreider en bestaat uit 31 vragen, waarbij dezelfde likert-schaal gehanteerd wordt.

Phillips (2001) omschrijft inzake de survey en vragenlijst enkele voorwaarden voor het opstellen van de vragen, alsook voor de verdere analyse ervan. Met betrekking tot het opstellen van de vragenlijst, 34

Deel 3: Resultaten

baseerden de projectmedewerkers zich op een bestaande vragenlijst en survey uit een eerder onderzoek genaamd “Preventie van gedragsproblemen bij jonge kinderen” Het gaat hierbij om een gelijkaardig project bestaande uit een vormings- en supervisietraject, waarbij enkele van de projectmedewerkers van de case study betrokken waren. Door de gelijkaardigheid van dit project, werden de vragen overgenomen voor deze case study.

Vanuit de geformuleerde voorwaarden kunnen we hier kritiek formuleren op het feit dat de vragen niet systematisch opgesteld zijn volgens de stappen die Phillips (2001) vooropstelt. Ook werden ze niet getest op een beperkte deelnemersgroep, alvorens van start te gaan met het verspreiden van deze vragen over de volledige deelnemersgroep. Op basis van onduidelijkheden in de vragenlijst die in deze testfase kunnen opduiken, bestaat de mogelijkheid om de vragen aan te passen alvorens tot een uiteindelijke survey en vragenlijst te komen. Door de afwezigheid hiervan bestaat de mogelijkheid dat eenzelfde vraag door de deelnemers anders geïnterpreteerd wordt, wat de betrouwbaarheid en validiteit van de resultaten in het gedrang brengt. Wat betreft de afname en de verwerking van de resultaten werd er echter wel voldaan aan de voorwaarden van Phillips (2001). Zo zijn de survey en de vragenlijst anoniem afgenomen, bestudeerd en verwerkt, maar kunnen de resultaten wel per leefgroep bekeken worden. Ook werd het management betrokken bij het opstellen van de vragen. Deze waren, zoals reeds aangehaald, vertegenwoordigd in de stuurgroep waarnaar de vragenlijst teruggekoppeld en besproken werd. Een laatste voorwaarde die Phillips (2001) vooropstelt bij het opstellen van een vragenlijst of survey is een zgn. ‘data summary sheet’, die toelaat de data snel om te zetten in een tabelvorm waardoor ze duidelijk kunnen worden voorgesteld en geanalyseerd. Deze summary sheet werd niet opgesteld vóór de dataverzameling, maar bij aanvang van de dataverwerking in een Excel-bestand.

Wat Op basis van de elementen en thema’s die Phillips (2001), Pineda (2010) en Iqbal et al. (2011) aanhalen (Cf. ‘Bijlage 8’) werd de inhoud van de vragen geanalyseerd. Een rangschikking van de vragen volgens de aangehaalde thema’s vindt u in ‘Bijlage 9’. Uit de analyse blijkt dat er heel wat verschillende vragen per thema aangehaald werden. De vragen hebben betrekking op volgende thema’s: communicatie, de aansluiting bij de noden en verwachtingen van de deelnemers, de duidelijkheid van de doelstellingen en de coördinatie van het geheel. Daarnaast zijn er ook meerdere vragen die peilen naar de pedagogische relevantie van de vorming en de supervisie en naar de pedagogische vaardigheden van de vormingsmedewerker en de supervisor.

35

Deel 3: Resultaten

Het blijft echter wel bij een oppervlakkige bevraging, waarbij geen enkel thema diepgaand behandeld wordt. Phillips (2001), alsook Pineda (2010) en Iqbal et al. (2011) geven echter niet echt aan in welke mate de vooropgestelde thema’s diepgaand bevraagd moeten worden. Het gaat hier eerder om een opsomming van mogelijke thema’s, waarbij deze ook niet allen bevraagd moeten worden. Wat deze auteurs echter wel naar voor schuiven, is het belang van het vooropstellen van een duidelijk doel bij het opstellen en nagaan van deze vragen. Dit blijkt echter niet altijd even duidelijk te zijn, wat we verder behandelen onder de ‘waartoe’ van dit niveau.

Wie De vorming en de supervisie werden gevolgd door zowel de opvoeders en het middenkader, als door de campusverantwoordelijken en de directie. Van al deze actoren, en bijgevolg van alle deelnemers aan de vorming en de supervisie, werden bovenstaande survey en vragenlijst afgenomen. De rest van de stakeholders die Phillips (2001) opsomt, waaronder het management en de cliënt of de opdrachtgever, zijn vertegenwoordigd in de stuurgroep, voor wie de vorming (het prototype) getest werd . Tot slot geeft Phillips (2001) nog de interne klant aan als belangrijke stakeholder. In deze case study gaat het om de jongeren in de gemeenschapsinstellingen. Op dit niveau, alsook op de volgende evaluatieniveaus, blijkt deze stakeholder de grote afwezige te zijn.

Wanneer Volgens Phillips (2001) dient de reactie en tevredenheid zo vroeg mogelijk in het trainingsproces nagegaan te worden, gezien deze resultaten interessante feedback kunnen opleveren. Deze feedback kan de aanzet zijn tot enige bijsturing aan de vorming. Gezien de duur van de vorming, nl. drie uur, is het niet van toepassing om nog tijdens de vorming zelf de reactie en tevredenheid na te gaan, dit toch niet via een vragenlijst. In de case study werden de besproken vragenlijst en survey over de vorming an sich bijgevolg juist na de vorming afgenomen. Het tweede document, handelend over zowel de vorming als de supervisie, werd afgenomen na het laatste supervisiemoment. De vier supervisiemomenten na de vorming spreidden zich echter over een periode van vier maanden. Hier bestond dus wel de mogelijkheid om na elke maandelijkse supervisie de reactie en tevredenheid na te gaan, wat eventueel aanleiding kon geven tot een herhaling van enkele elementen uit de vorming, alsook tot een aanpassing of bijsturing van de supervisiemomenten. Daarnaast duiden Sorensen et al. (2009) ook op het nagaan van de reactie en tevredenheid lang na de training, hier dus na de vorming en het gehele supervisietraject. Phillips (2001) omschrijft dit als het linken van de verzamelde data aan een follow-uponderzoek. Hiervan was binnen de case study geen sprake.

36

Deel 3: Resultaten

Waartoe Phillips (2001) en Pineda(2010) geven het belang aan van het duidelijke formuleren van het doel van de evaluatie op dit eerste niveau. Je moet bijgevolg iets doen met de verzamelde en geanalyseerde informatie, dit in functie van de training en het verdere verloop ervan. De bevraagde projectmedewerkers geven aan dat deze gegevens verzameld werden om een zicht te krijgen op wat de deelnemers van het gehele proces vonden.

Verder worden in het analyseschema (Cf. ‘Bijlage 8’) nog enkele van deze doelen opgesomd waaronder het nagaan van de sterktes en zwaktes van de training en het aansturen van toekomstige programma’s. In samenhang met het moment van afname leidde de evaluatie op dit eerste niveau niet tot het bijsturen van noch de vorming, noch de supervisie. Doordat de reactie en tevredenheid enkel na de vorming, alsook na het gehele supervisietraject werden afgenomen, leidde de verzameling van deze data niet tot een aanpassing van het proces. Ook de analyse en verwerking van de resultaten situeerde zich na de afronding van het project, wat bijsturing op basis hiervan bemoeilijkt.

Wat echter wel gedaan werd, dit in overeenstemming met Phillips’ (2001) voorwaarden, is de vergelijking van deze gegevens. Het gaat hierbij telkens om een vergelijking (o.b.v. een Sample T-test) van dezelfde vragen (van zowel de survey als de open vragen) uit de twee momenten. Vervolgens werden deze resultaten uitgebreid besproken op de reeds vermelde studiedag.

3.3 Niveau 2: Leren Wat De vorming had tot doel om alle deelnemers de nodige kennis en vaardigheden aan te reiken inzake het formuleren van DOMINO-doelstellingen. Op basis daarvan kunnen ze dan werkpunten formuleren en acties ondernemen met de jongeren in kwestie. Om na te gaan of het geleerde ook door de participanten werd opgenomen werd een kennistest afgenomen. Daarnaast was er ook sprake van oefeningen tijdens de vorming en van casussen tijdens de supervisiemomenten.

Hoe

37

Deel 3: Resultaten

Met betrekking tot de test, de oefeningen en de casussen, kunnen we op basis van Phillips (2001) een onderscheid maken tussen formele en informele situaties die niveau 2 of het leeraspect nagaan.

Formeel Het leerniveau werd eerst gemeten op basis van een geschreven test, waarbij de deelnemers een antwoord dienden te formuleren op enkele open kennisvragen (Cf. ‘Bijlage 9’). Het gaat hier om het bevragen en testen van kennis die tijdens de vorming expliciet aangebracht werd. Dergelijke kennistest valt onder de definitie van een ‘achievement test’ (Phillips, 2001) omdat nagegaan wordt welke de kennis is van de deelnemers m.b.t. tot een specifiek onderwerp, met name het formuleren van doelstellingen volgens DOMINO. Daarnaast kunnen we ook spreken van een zogenaamde’ objective test’ (Phillips, 2001), waarbij gepeild wordt naar specifieke en precieze antwoorden. Het gaat hier namelijk om het meten van duidelijke kennis die aangeleerd werd tijdens de vorming en dus perfect kan nagegaan worden. Dergelijke test geeft hierdoor een objectief beeld van de mate waarin de deelnemers het geleerde ook onthouden en opgenomen hebben.

Informeel Vorming Naast bovenstaande formele evaluatie, werd tijdens de vorming ook de kennis inzake de thema’s achterhaald, dit echter op een meer informele manier. Zo werden tijdens de vorming ook verschillende oefeningen gegeven, die in kleinere groepen besproken en behandeld werden. Enkele voorbeelden van dergelijke oefeningen vindt u in ‘Bijlage 9’.

De cursisten werden voor de bespreking van deze oefeningen opgedeeld in kleinere groepen. Na een bepaalde tijd werden de casus en de oplossing van de eerste groep doorgeschoven naar een volgende groep. Die groep ging dan op zijn beurt aan de slag met de resultaten van de vorige groep, etc. De oplossingen van zo’n oefening kunnen volgens Phillips (2001) best besproken worden met alle deelnemers samen. Dit was ook van toepassing op deze case study waarbij de deelnemers vervolgens alle oefeningen gezamenlijk besproken en elkaar ook feedback gaven. De vormingsmedewerker zelf gaf voornamelijk feedback over het groepsproces en het resultaat. Een voordeel van deze werkwijze is dat de cursisten zo het belang van consensus rond aanpak leren kennen, alsook inzicht kregen in zowel de individuele- als de groepsvooruitgang.

38

Deel 3: Resultaten

Supervisie Tijdens de supervisie was er ook sprake van het informeel testen van de deelnemers, dit aan de hand van casussen waarin de kennis die ze tijdens de vorming opgedaan hadden werd toegepast. Deze casussen werden door de teams aangebracht tijdens de sessies, waarna deze vervolgens ook samen besproken werden in groep.

Andere mogelijkheden Ondanks het feit dat de bovenstaande formele en informele testsituaties ook door Phillips (2001) erkend worden, vinden we in het analyseschema nog meerdere mogelijkheden terug die de evaluatie op dit tweede niveau kunnen optimaliseren. Een voorbeeld hiervan, dat zowel Phillips (2001) als Pineda (2010) naar voor schuiven, is een zelfevaluatie door de deelnemers. Daarnaast wordt ook de evaluatie door de HR-staf, hier de vormingswerker en de supervisor, benadrukt als mogelijke optie om niveau 2 te evalueren. Deze laatste optie kon zeker toegepast worden tijdens het supervisietraject. Door het werken met casussen, had de supervisor namelijk een goed zicht op de kennis en vaardigheden die de cursisten reeds verworven hadden. In de vorming was dit minder evident, daar deze amper drie uur duurde.

Voorwaarden In het analyseschema worden de voorwaarden opgesomd waaraan volgens Phillips (2001) een vragenlijst of test voor het nagaan van kennis en vaardigheden moet voldoen. Hierbij wordt opnieuw het belang benadrukt van het stappenplan voor het opstellen van de vragen. Opnieuw neemt het testen van de vragen een prominente plaats in. De formele kennistest die afgenomen werd, werd opgesteld door de projectmedewerkers die de evaluatie op zich namen. De vragen werden opgesteld op basis van de inhoud van de cursus, waardoor ze op zich logisch zijn. Maar opieuw werden de vragen niet vooraf getest op een kleinere deelnemersgroep om de duidelijkheid ervan na te gaan. Ook hier werd geen data summary sheet opgesteld alvorens de data verzameld werden, maar werd dit bij aanvang van de dataverwerking opgesteld in een Excel-bestand. Opnieuw is er sprake van een anonieme afname en verwerking van de data, maar kunnen de resultaten wel per leefgroep bekeken worden.

Daarnaast formuleert Phillips (2001) ook voorwaarden voor de situatie waarin deze test wordt afgenomen,

met

name

consistentie,

monitoring

en

scoring.

Met

betrekking

tot

de

consistentievoorwaarde, was er sprake van eenzelfde test voor alle deelnemers. Hierbij kunnen we ook spreken van dezelfde leercondities: elke vorming duurde even lang, waarbij de verhouding tussen theorie en praktijk hetzelfde bleef. Ook werd dezelfde leerstof overgebracht. Dit maakte de

39

Deel 3: Resultaten

vorming op zich vrij uniform. Wat de consistentie inzake de tijd om de vragen in te vullen betreft: volgens de vormingsmedewerker kregen de verschillende teams ongeveer evenveel tijd maar dit werd niet exact getimed. Wat betreft de monitoring was de vormingsmedewerker steeds aanwezig tijdens het invullen van de test, waarbij de deelnemers, indien nodig, vragen konden stellen. De scoringvoorwaarde wordt behandeld onder de ‘waartoe’-vraag onder dit evaluatieniveau.

Wie Zowel de formele als de informele evaluatie op niveau 2 heeft betrekking op de deelnemers aan de vorming en supervisie die de kennis inzake DOMINO moesten verwerven en ook later toepassen in de eigen werkpraktijk. Bijgevolg gaat het hier om de opvoeders en begeleiders, alsook om de intermediairen waaronder de psychologen en orthopedagogen. Zoals reeds aangegeven bestond ook de mogelijkheid om de vormingsmedewerker of supervisor een evaluatie te laten doen op basis van inschatting van hoeveel van het geleerde ook wel degelijk opgenomen werd door de deelnemers.

Wanneer Phillips (2001) schuift het belang naar voor van een pre- en post-test op niveau 2. In overeenstemming hiermee werd de formele kennistest driemaal afgenomen, dit net voor en net na de vorming, alsook na de laatste supervisie. Voor de aanvang van de vorming werd aan alle deelnemers gevraagd de kennistest met de open vragen te beantwoorden. Na drie uur kregen de deelnemers hun eigen document terug en konden zij hun eerdere antwoorden verbeteren of aanvullen, dit echter in een andere kleur. Ondanks het feit dat hun anonimiteit verzekerd werd, hebben veel deelnemers hun antwoorden toch aangepast in dezelfde kleur. Dit zorgt ervoor dat bij de analyse niet altijd even duidelijk was welke antwoorden vóór en welke antwoorden na de vorming gegeven werden. Hierdoor is er sprake van een zekere inconsistentie bij het beantwoorden van de vragen, wat ook de verbetering en de scoring van deze testen minder betrouwbaar maakt.

Sorensen et al. (2009) benadrukken het belang van het afnemen van een kennistest ook lang na de vorming. Ook dit vinden we terug in de evaluatie waarbij in de planning een derde kennistest opgenomen werd, dit na de laatste supervisie. Hiermee wou men ook het langetermijneffect voor ogen houden.

Waartoe

40

Deel 3: Resultaten

Met betrekking tot de derde voorwaarde die Phillips (2001) vooropstelt inzake de situatie waarin niveau 2 wordt geëvalueerd, de scoring, werden de formele kennistesten door één van de projectmedewerkers geanalyseerd aan de hand van een DOMINO-verbetersleutel. Hierbij werden ook de pre- en post-testen met elkaar vergeleken. Per vraag werden enkele belangrijke resultaten geformuleerd omtrent het aantal correcties aangebracht door de deelnemers en de stijging van de correct benoemde aspecten. Een van de conclusies is dat er bij veel mensen geen sprake was van correcties. Hierbij verwijzen we opnieuw naar de kritiek inzake de inconsistentie in het invullen en het verbeteren van de kennistest.

Met betrekking tot het doel van dergelijke testen, somt Phillips (2001) ook op dit tweede niveau enkele doelen op waaronder het voorzien van individuele feedback, het bijsturen van het trainingsprogramma, het evalueren van de trainer, etc. Hierbij zien we dat, net zoals bij niveau 1, de verworven resultaten niet aangewend worden voor één van deze doelen. Met betrekking tot deze informatie, geven de projectmedewerkers aan informatie te willen verzamelen die als input kan dienen voor het consultluik.

Bijgevolg leidde ook de evaluatie op dit niveau ook niet tot aanpassingen aan het traject. Het was ook beter geweest om de kennistest af te nemen bij aanvang van de eerste supervisie. Indien op dat moment namelijk sprake was van een gebrekkige kennis van het geleerde, dan was het voor de supervisor duidelijk waar hij kon bijsturen of wat hij diende te herhalen. De supervisor deed dit echter wel inofficieel door tijdens de eerste supervisie te peilen naar de aangeleerde kennis tijdens de vorming.

Ook het rapporteren van de resultaten wordt door Phillips (2001) als één van de doelen van deze test aanzien. De deelnemers hebben nooit expliciet gevraagd naar informatie omtrent de verzamelde data, noch hebben de projectmedewerkers hier ooit beloftes over gedaan. Wel is hier opnieuw sprake van een systematische terugkoppeling naar de stuurgroep inzake de voortgang van het project. De resultaten van de formele kennistesten werden bijgevolg gecommuniceerd naar de stuurgroep en vervolgens gepresenteerd (na afronding van het volledig project) op de studiedag. Verder is er tijdens het proces (of tijdens de supervisie) geen expliciete communicatie gebeurd naar de betrokkenen over de verwerving van de kennis en de vaardigheden. Het is mogelijk dat de stuurgroep dit intern gecommuniceerd heeft binnen hun voorziening, maar hierop is geen concreet zicht.

41

Deel 3: Resultaten

3.4 Niveau 3: Toepassing en implementatie De evaluatie van de vorming en supervisie op niveau 3 kreeg vorm op basis van twee andere evaluaties, met name een proces- en een productevaluatie.

3.4.1 Procesevaluatie Wat De procesevaluatie kreeg vorm op basis van diepte-interviews met verschillende sleutelactoren. Ze peilde naar ervaringen m.b.t. het leertraject en naar de gevolgen hiervan voor de toepassing van het geleerde in de praktijk (met name inzake het werken met de handelingsplannen). Het interview is één van de methoden die Phillips (2001) naar voor schuift als een mogelijkheid om de toepassing en implementatie van het geleerde na te gaan. Specifiek werd hierbij gevraagd naar knelpunten in het werken met handelingsplannen, naar positieve en negatieve ervaringen en eventuele bedenkingen over de vorming en de supervisie en hoe die aangepast kon worden aan hun noden.

Hoe Deze procesevaluatie kreeg vorm op basis van kwalitatieve diepte-interviews. Phillips (2001) maakt enkel het onderscheid tussen gestructureerde en ongestructureerde interviews. Binnen de case study gaat het echter om semi-gestructureerde interviews, met name interviews georganiseerd rond een set van vooraf bepaalde ‘open-ended’ vragen, met bijkomende vragen die naar boven kunnen komen tijdens de dialoog tussen interviewer en geïnterviewde (Dicicco-Bloom & Crabtee,2006).

De open vragen die hierbij gesteld zijn, peilen naar de verandering in de praktijk ten gevolge van de vorming en verdere supervisie. Een opsomming van deze vragen vindt u in ‘Bijlage 9’. Ook deze vragen werden, net zoals de vragenlijst op niveau 1, gebaseerd op de interviewleidraad van het onderzoeksproject “Preventie van gedragsproblemen bij jonge kinderen”. Opnieuw is deze vragenlijst niet vooraf getest, maar wel anoniem behandeld.

Wie Phillips (2001) geeft het belang aan van het bevragen van alle stakeholders met betrekking tot de toepassing en implementatie van het geleerde in de praktijk. De diepte-interviews, die binnen het

42

Deel 3: Resultaten

kader van dit project werden afgenomen, werden afgenomen van slechts enkele personen per instelling. We moeten natuurlijk realistisch blijven. In totaal namen 347 mensen deel aan de vorming. Elk van deze actoren individueel bevragen zou immens veel tijd in beslag nemen. Wat echter wel voor ogen gehouden werd is dat de bevraagde personen geselecteerd werden uit de zo goed als volledige stakeholdersgroep, dit om een zo breed mogelijk beeld te krijgen. Het gaat hierbij om opvoeders,

begeleiders,

onderwijzers,

maatschappelijk

werkers,

team-

en

campusverantwoordelijken, psychologen, pedagogen, directie, etc. In totaal werden een zestal interviews afgenomen per campus, dat maakt een totaal van 17 interviews. Eén van de stakeholders die

ook

hier

weer

ontbreekt

is

de

interne

klant,

namelijk

de

jongeren

uit

de

gemeenschapsinstellingen.

Wanneer De diepte-interviews werden allen afgenomen rond ongeveer hetzelfde moment, dit terwijl het vormings- en supervisietraject nog lopende was. Gezien het feit dat de verschillende instellingen echter niet allen op hetzelfde moment de vorming kregen en het supervisietraject dus ook op andere momenten startte, leidde dit tot grote verschillen. De actoren van de verschillende instellingen legden het traject immers niet tegelijkertijd af. Dit heeft tot gevolg dat de diepte-interviews afgenomen zijn van personen die zich op verschillende momenten in het traject bevinden. Sommige actoren hadden net de vorming gekregen, anderen hadden alle supervisies achter de rug. De projectmedewerkers die de diepte-interviews afnamen vonden dit een interessant gegeven daar men hierdoor zicht kreeg op verschillende dynamieken op verschillende momenten van het proces. Vanuit een management- en evaluatieopzicht maakt dit de verzamelde data echter niet vergelijkbaar.

Waartoe Opnieuw werden de diepte-interviews afgenomen om input te geven aan het consultluik en om de projectmedewerkers verder inzicht te verschaffen in het verloop van het proces. De diepteinterviews moesten zicht geven op hoe het geleerde zijn plaats kreeg binnen de praktijk van de deelnemers. De projectmedewerkers geven echter aan dat de analyse van de verzamelde data exploratief van aard was. Door het gebrek aan tijd werden ze ook niet grondig genoeg bestudeerd.

Een gevolg hiervan is dat ook deze data geen aanleiding gaven tot een specifieke bijsturing van het traject, de vorming of de supervisies.

43

Deel 3: Resultaten

Nochtans brachten de resultaten die uit deze evaluatie naar voor kwamen enkele interessante aspecten naar voor. Zo werd duidelijk welke zaken goed bevonden werden aan de vorming en de supervisies, alsook de werkpunten. Deze informatie kon bijgevolg aangewend worden om, indien van toepassing, de volgende supervisies bij te sturen. Ook bleek uit deze resultaten dat er grote verschillen waren tussen de verschillende instellingen. De mate waarin het geleerde uit de vorming en de supervisies werd toegepast verschilde van instelling tot instelling. Deze resultaten konden een belangrijk aanknopingspunt geweest zijn om op dat moment, indien mogelijk, het traject bij te sturen.

Net zoals bij de vorige data, werden ook deze teruggekoppeld naar de stuurgroep en gepresenteerd op de studiedag.

3.4.2 Productevaluatie Wat Een tweede evaluatie die op niveau 3 te situeren valt, is de zogenaamde productevaluatie. Hierbij stelden de projectmedewerkers zich de vraag of het geleerde uit de vorming en de supervisies zich nu ook wel degelijk uit in de handelingsplannen. Worden de handelingsplannen nu ook opgesteld en ingevuld volgens de DOMINO-principes, aangebracht in de vorming en supervisie, het uiteindelijk vooropgestelde doel van dit project?

Hoe Voor deze evaluatie wordt beroep gedaan op een vergelijking van de handelingsplannen op drie momenten, met name vóór en na de vorming en na de laatste supervisie. We kunnen hierbij spreken van een dossierstudie of documentenanalyse. Deze methode staat niet in de opsomming die Phillips (2001) vooropstelt, maar is, gezien de doelstelling, van het project een logische keuze.

Voor elk van de drie momenten, werd een ad random selectie genomen van 50 handelingsplannen. Voor de vergelijking en screening van deze handelingsplannen werden kwaliteitscriteria (Cf. ‘Bijlage 9’) vooropgesteld, die bepaald zijn volgens de DOMINO-principes. Deze criteria kwamen ook aan bod in de vorming en de supervisie. Vervolgens worden deze gegevens ingebracht in SPSS en op basis daarvan vergeleken.

44

Deel 3: Resultaten

Wie Bij de selectie van de handelingsplannen zorgde men voor een representatieve verdeling over alle deelnemende instellingen. De ad random selectie van de handelingsplannen maakt echter dat de pre- en posthandelingsplannen die vergeleken zullen worden, niet van dezelfde personen zijn. Dit kan de betrouwbaarheid en validiteit van de uiteindelijke resultaten belemmeren.

Wanneer De ad random selectie omvat handelingsplannen van vóór en na de vorming en van na de laatste supervisie. De richtperiode voor het verzamelen van gegevens inzake de toepassing en implementatie situeert zich tussen de vier en zes maanden na de afronding van het project. Gezien het feit dat er na de vorming een supervisietraject kwam dat vier maanden duurde, kunnen we hier spreken van een goed moment om data te verzamelen inzake de toepassing van het geleerde in het opstellen en invullen van de handelingsplannen. Er is echter ook nood aan een verdere follow-up die de effecten op lange termijn opvolgen. Hieronder zullen we zien dat dit initieel ook één van de doelen was.

Waartoe De richtperiode van vier tot zes maanden heeft tot doel data te verzamelen op momenten waarop reeds sprake kan zijn van een zichtbare verandering, alsook om nog bijsturingen te doen indien nodig. De data werden volgens deze richtperiode op een juist moment verzameld, maar er is echter nog geen sprake geweest van het analyseren en verwerken hiervan. Bijgevolg kennen we nog geen onderzoeksresultaten omtrent de vergelijking van de handelingsplannen. Het verzamelen van deze data leidde bijgevolg ook niet tot bijsturingen.

De projectmedewerkers geven zelf aan dit een spijtige zaak te vinden. Men wou binnen het kader van deze evaluatie ook een artikel schrijven over de veranderingen in de handelingsplannen ten gevolge van de vorming en supervisie. Wegens gebrek aan tijd zal deze evaluatie nog even op zich laten wachten. Het was daarnaast ook de bedoeling om na de drie selectiemomenten, ook handelingsplannen te verzamelen enkele weken na het beëindigen van het traject. Dit om ook het lange termijn effect na te gaan. Van het ad random selecteren van handelingsplannen om dit latere moment, is echter niets terug te vinden.

45

Deel 3: Resultaten

Nood aan observatie Phillips (2001) biedt naast vragenlijsten, surveys en interviews, nog enkele andere methoden aan die toelaten de toepassing en implementatie na te gaan. Een heel belangrijke methode, die ook sterk door Birdi (2010) benadrukt wordt, is de observatie van de deelnemers tijdens het uitoefenen van hun taak in de praktijk. Hiervan is er echter geen sprake in de evaluatie binnen deze case study. Toch lijkt deze methode bijzonder aangewezen om op een degelijke manier na te gaan in hoeverre het geleerde ook toegepast en geïmplementeerd wordt. Zo kwam in de diepte-interviews, alsook in de supervisies naar boven dat in sommige instellingen één persoon uit elk team aangesteld werd om alle handelingsplannen volgens het nieuwe DOMINO-model in te vullen in het softwareprogramma. Dit zorgt ervoor dat de oorspronkelijke situatie ongewijzigd blijft. Door de analyse van alleen de handelingsplannen krijgt men bijgevolg geen volledig zicht op de eigenlijke implementatie en toepassing in de praktijk.

De bevraagde supervisor wijst ook op het gebrek aan observatie en opvolging in de periode tussen de supervisiemomenten in. In deze tussentijdse periodes worden binnen de cliëntbesprekingen immers wekelijks gewerkt met handelingsplannen. In deze periodes was het de taak van de orthopedagogen en psychologen om de opvoeders op te volgen in het opstellen van de handelingsplannen volgens DOMINO. Of dit gebeurd is, weet men niet .

3.5 Niveau 4: Team-impact Wat In bovenbeschreven evaluatieniveaus zijn alle elementen van de evaluatie die aanwezig waren binnen de case study besproken. Naast enkele vragen in de diepte-interviews die peilen naar de effecten voor de afdeling of dienst waar de bevraagden werken, worden geen expliciete vragen gesteld inzake de gevolgen voor het team, dit terwijl het team als samenwerkingsvorm toch een belangrijke plaats inneemt binnen de gemeenschapsinstellingen. Een concreet voorbeeld hiervan is de teamvergadering die tweewekelijks doorgaat en waarop alle jongeren besproken worden. De handelingsplannen zijn een centraal instrument op deze teamvergaderingen.

Met betrekking tot het ‘wat’ van niveau 4 omschrijft Birdi (2010) vier niveaus. Deze kunnen een leidraad vormen voor het nagaan van de effecten voor het team ten gevolge van de vorming en

46

Deel 3: Resultaten

supervisie. Volgens de vier niveaus van Birdi (2010) kunnen volgende elementen van belang zijn voor de huidige case study: •

Affectief: Welke gevolgen hebben de vorming en de supervisie op de identiteit van het team en hoe beïnvloeden ze het vertrouwen binnen het team?

•

Cognitief: Is er sprake van blijvende kennis en vaardigheden en van gedeelde kennis over het team heen?

•

Gedragsmatig: Welke gedragingen kenmerken het team? Is er sprake van betere communicatie ten gevolge van het gehele project?

•

Instrumenteel: Heeft dit geleid tot een verhoogde autonomie van het team, tot een betere samenwerking, een efficiëntere en snellere werking binnen het team, etc.?

Hoe Man kan dit, net zoals op de vorige niveaus, nagaan aan de hand van een survey, vragenlijst, interview, etc. Phillips (2001) geeft ook aan dat focusgroepen dankbaar zijn wanneer er kwalitatieve data verzameld dienen te worden, die over het succes van de vorming gaan. Deze methode is namelijk geschikt om in kleinere groepen te peilen naar gevoelens, gedachten, ideeën en percepties over een bepaald thema (Vaughn, Schumm & Sinagub, 1996).

Met betrekking tot de volgende vragen, met name ‘wie’, ‘wanneer’ en ‘waartoe’, vindt u de nodige informatie en aandachtspunten voor dit niveau in het analyseschema in ‘Bijlage 8’.

3.6 Niveau 5: Organisatie-impact In aansluiting met niveau 4, zijn er wat betreft niveau 5 geen specifieke evaluatie-elementen die de organisatie-impact nagaan.

Wat Zoals in het analyseschema aangegeven, geven zowel Phillips (2001) als Birdi (2010) data aan die op het niveau van de organisatie kunnen worden nagegaan, om de effecten van een training te achterhalen. Phillips (2001) maakt hierbij algemeen een onderscheid tussen harde en zachte data, Birdi (2010) tussen financieel, output, processen en bronnen (human en non-human). Van geen enkele van deze genoemde aspecten, vinden we metingen, noch resultaten terug in deze case study.

47

Deel 3: Resultaten

Hoe Hoe men de nodige informatie op dit niveau wel kan achterhalen, is afhankelijk van het feit of er binnen de organisatie van de gemeenschapsinstellingen reeds sprake is van data en metingen die onder bovengenoemde categorieën vallen. Is dit niet het geval, dan dienen dergelijke metingen opgezet te worden.

3.7 Niveau 6: Maatschappelijke impact Indien er geen evaluatie gebeurde op niveau 4 en 5, is het logisch dat er ook geen aandacht besteed werd aan de meting van de maatschappelijke impact van de vorming en supervisie.

Wat Op het eerste zicht lijkt deze evaluatie niet noodzakelijk, maar wanneer we de ‘Quality of Life’ van de jongeren in de gemeenschapsinstellingen als één van de doelstellingen van het project naar voor zien komen (Cf. ‘Stap 2: Doelen’), dan lijkt een evaluatie op dit niveau toch belangrijk. Deze doelstelling kunnen we plaatsen onder de ‘gezondheidsdimensie’ die Birdi (2010), naast vier andere dimensies , op dit niveau formuleert.

Hoe en Wie Het bevragen van de interne klanten, met name de jongeren in de gemeenschapsinstellingen, voor wie de handelingsplannen per slot van rekening worden opgesteld, zou echter een eerste stap in de goede richting zijn. Zoals bleek uit vorige evaluatieniveaus zijn deze belangrijke keystakeholders de grote afwezigen in de evaluatie.

3.8 Niveau 7: SROI Tot slot is er ook geen sprake van de berekening van de SROI-ratio. De berekening hiervan noodzaakt tevens een evaluatie op alle voorgaande niveaus, waarbij de impactdata (niveau 4, 5 en 6) omgezet dienen te worden in financiële data.

48

Deel 3: Resultaten

Ook werd de offerte, besproken onder niveau 0, niet systematisch opgevolgd en aangepast indien er sprake was van bijkomende kosten. Ook werden de kosten van de evaluatie niet in kaart gebracht. In het geval van een berekening van de SROI zou het in deze case study bijgevolg geen evidentie zijn om een overzicht te krijgen om de totale kosten van het project.

4 het SROI-proces In dit tweede deel van de onderzoeksresultaten worden de onderzoeksresultaten besproken op basis van de acht stappen van het SROI-proces.

4.1 Vóór de training

4.1.1 Stap 1: Analyse Stakeholdersanalyse De vraag voor het project kwam vanuit het Agentschap Jongerenwelzijn. Deze vroeg naar een traject bestaande uit de besproken drie luiken waarin het gehele medewerkersbestand betrokken moest worden. Vanuit deze vraag was voor de projectmedewerkers duidelijk wie de stakeholders waren. Bijgevolg werd door de gerichtheid van de vraag verder geen stakeholdersanalyse uitgevoerd.

In ‘Bijlage 8’ zijn enkele methoden en aandachtspunten terug te vinden die een stakeholdersanalyse kunnen ondersteunen en waarop de projectmedewerkers zich naar de toekomst toe eventueel kunnen baseren.

Needs analyse Noden aan training De vraag naar de vorming en supervisie kwam vanuit het Agentschap Jongerenwelzijn. De vraag betrof een vorming die ervoor zou zorgen dat de verschillende betrokkenen op eenzelfde manier handelingsplannen zouden opstellen, met als doel een betere communicatie tussen de verschillende betrokken hulpverleners. De vraag kwam dus niet van de personen die de uiteindelijke vorming en supervisie kregen en er in de praktijk mee aan de slag moesten. Eén van de bevraagde projectmedewerkers geeft dit ook aan als een probleem omdat er sprake was van weerstand tegen

49

Deel 3: Resultaten

de veranderingen die de vorming en supervisie met zich zouden meebrengen. Deze projectmedewerker formuleert het als volgt: Eén grote reden voor de weerstand is dat zij dat niet zelf hebben gevraagd. Het dominosysteem is zeer belangrijk in het communiceren doorheen het traject van de hulpverlening van de jongeren. Maar zij hadden al hun eigen systeem, zij deden het op hun eigen manier. Zij hadden daarvoor geen software, maar dat was ingetypt in Word. Dat leek ook minder bedreigend, want dat was eigendom van hunzelf. Nu werd hun gevraagd om uniform te gaan werken. Die vorming is daar een uitloper van. Er werd hen iets opgelegd om op een bepaalde manier te gaan werken.

Toch vinden we in het evaluatieproces enkele zaken terug die erop wijzen dat de projectmedewerkers, binnen de ruimte die ze hiertoe hadden, toch probeerden in te spelen op de specifieke noden die er waren. Hierbij maken we een onderscheid tussen een inofficiële en officiële bevraging van de verwachtingen.

Inofficieel Alvorens de projectmedewerkers specifiek invulling gaven aan de drie gevraagde luiken, hebben de vier hoofdbetrokkenen (die tevens ook bevraagd zijn in de expertinterviews) een exploratieve verkenningsronde gedaan over de verschillende instellingen en leefgroepen heen. Hierop was sprake van een eerste en verkennende peiling naar de verwachtingen van enkele personen die zouden deelnemen aan het hele project. Er werden echter geen specifieke vragen gesteld, maar eerder algemene vragen zoals: “ Als men u een vorming aanbiedt, wat wil je dan dat daar inzit en wanneer ben je tevreden?”. Hier kwamen wel enkele elementen naar boven, maar de projectmedewerkers geven zelf aan dat deze elementen niet voldoende richtinggevend waren voor de invulling van de luiken.

Het gaat ook om een kleine bevraging van slechts enkele personeelsleden, waardoor dit niet representatief is voor de hele groep van deelnemers. Daarenboven werden deze verwachtingen niet opgeschreven en vervolgens ook niet vergeleken met de verzamelde reacties op niveau 1, dit als één van de voorwaarden die Phillips (2001) vooropstelt. Officieel Naast deze verkennende ronde, werd in de planning en alvorens de vorming van start ging, een eerste supervisiemoment gepland voor alle betrokken teams. Deze supervisie ging door voor de aanvang van de vorming en werd gedaan door supervisor Chris Vandam. Hierin werd nagegaan wat de verwachtingen waren omtrent de vorming en supervisie. Gedurende dit moment werd een korte 50

Deel 3: Resultaten

vragenlijst ingevuld en besproken. De vragen vindt u in ‘Bijlage 9’. Van hieruit kon men concrete informatie verzamelen over hoe de verschillende groepen kijken naar handelingsplanning en het gebruik van doelstellingen. Men kwam ook iets te weten over groepsdynamische aspecten.

De resultaten die hierbij naar boven kwamen en de indrukken die supervisor Chris Vandam tijdens deze eerste supervisie opdeed, werden gedocumenteerd en vervolgens doorgebriefd naar Steven Brandt, de vormingsmedewerker. Enkele bevindingen die uit deze supervisie naar boven kwamen handelen over de grote verscheidenheid tussen de verschillende groepen en voorzieningen, over de weerstand t.o.v. DOMINO, over moeilijkheden inzake vertalen van theorie rond handelingsplanning naar de praktijk, etc. (Cf. ‘Bijlage 9’).

Vanuit deze bevindingen was het de bedoeling tot een vorming te komen die bestaat uit een vast gedeelte met een vaste structuur en een gedeelte waarin de vragen waarmee dat team zat behandeld zouden worden. Gezien de beperkte duur van de vorming, drie uur, was er echter te weinig ruimte om de vorming te diversifiëren of aan te passen aan de specifieke noden van de teams. Hierdoor was er eerder sprake van een uniforme vorming. In de supervisiemomenten, die meer tijd in beslag namen en een langere periode bestreken, kreeg de supervisor echter wel meer de kans en ruimte om het traject aan te passen aan de specifieke noden en verwachtingen van de deelnemers.

Gevolg: geen stakeholdersanalyse en beperkte needs-analyse

De afwezigheid van een stakeholdersanalyse, dit in combinatie met een te beperkte bevraging van de verwachtingen , had tot gevolg dat de vorming niet steeds op maat was. Zo gaf de vormingswerker volgende de situatie als voorbeeld: Wij waren sterk gefocust op die leefgroepen, op de pedagogische begeleiding. Ik had er helemaal niet bij stilgestaan dat ik een ander programma moest draaien voor de lesgevers. Dus die eerste vorming die ik gaf voelde ik al onmiddellijk aan van “Ai ai ik heb hier niet de juiste voorbeelden in m’n hoofd”. Die handelingsplanning en die terminologie is allemaal hetzelfde, maar hoe zij daarmee omgaan, dat is verschillend. En dat heb ik niet goed ingeschat. Ik heb die groep dus veel te homogeen benaderd.

Noden aan evaluatie De vraag vanuit het Agentschap Jongerenwelzijn hield geen vraag in naar een evaluatie van het project. De evaluatie kwam tot stand op initiatief van de projectmedewerkers. Hierbij kwam er geen analyse van de noden aan evaluatie bij de stakeholders tot stand. De evaluatie kwam wel tot stand

51

Deel 3: Resultaten

vanuit de interesses van de projectmedewerkers die wilden weten hoe het project ervaren werd door de deelnemers, alsook welke gevolgen dit gaf voor de praktijk.

Noden aan communicatie Uit noch de documentenanalyse , noch uit de interviews komt een expliciete bevraging van of peiling naar de noden aan communicatie naar voor. De voortgang van het project werd echter wel systematisch teruggekoppeld naar en besproken met de stuurgroep en werden alle resultaten gecommuniceerd op een studiedag, georganiseerd door hogeschool Gent.

Faciliterende voorwaarden Met betrekking tot de faciliterende voorwaarden die Piraeus (2004) opsomt, vinden we in het project enkele elementen terug die hieronder te situeren vallen.

De exploratieve verkenningsronde en de eerste supervisie, die hierboven reeds besproken werden, zorgden voor een eerste kennismaking met de cultuur en het organisatorisch klimaat van de verschillende instellingen en leefgroepen. Het verkennen van dit klimaat gaf de projectmedewerkers inzicht in enkele faciliterende voorwaarden en ook in de weerstanden ten aanzien van het project. Zo werd duidelijk welke de kenmerken waren van een instelling en van de verschillende teams. Van hieruit kon stilgestaan worden bij de elementen die het project al dan niet zouden vergemakkelijken. Zoals reeds aangegeven was er echter weinig ruimte in de drie uur durende vorming, om hierop in te spelen. In de supervisie was daar wel ruimte voor, waardoor hier wel sprake was van een afstemming op de verschillende teams. De implementatie van het geleerde in de praktijk werd hierdoor ondersteund want er werd rekening gehouden met de specifieke kenmerken van een team, van een organisatie en in het algemeen van de context.

Daarnaast benadrukken Kirkpatrick en kirkpatrick (2008) het belang aan van een committee. In deze case study vinden we deze terug onder de vorm van de stuurgroep. De functie van deze stuurgroep was naast het vertegenwoordigen van de verschillende voorzieningen, ook het mee nadenken over de inhoud van de drie luiken, alsook het bespreken van de verschillende bereikte resultaten doorheen het proces. De stuurgroep fungeerde ook als een klankbord, waarbij onder meer de vorming getest werd voor de stuurgroep en deze op basis hiervan werd aangepast. Daarnaast zorgde deze stuurgroep ook voor de nodige betrokkenheid van het management en de leidinggevende figuren, wat Piraeus (2004) in zijn faciliterende voorwaarden naar voor schuift.

52

Deel 3: Resultaten

Wat we echter niet terugvinden is het nagaan van de aanwezigheid van een evaluatiecultuur binnen de organisatie. Dit hangt samen met het ontbreken van een analyse van de evaluatienoden. Ook wijst de weerstand van sommige deelnemers ten aanzien van de vorming en supervisie op een gebrekkige motivatie of betrokkenheid van de stakeholders doorheen het hele proces (Cf. Aziz & Ahmad, 2011).

4.1.2 Stap 2: Doelen Doelen van de training Voorwaarden De duidelijkheid van de doelen van de vorming en supervisie bij de deelnemers bleek een probleem te zijn (Martinez et al., 2009). Uit de bevraging van de projectmedewerkers bleek dat zowel de inhoud als het doel van de vorming en supervisie onduidelijk waren. Hierdoor kan sprake zijn van een gebrek aan verticale integratie (Al-Ajlouni, 2010; Condrey, 2010), daar hierdoor niet duidelijk is welke voordelen de vorming en supervisie teweegbrengen voor de medewerkers én de organisatie als een geheel.

Deze onduidelijkheid is onder meer het gevolg van de gebrekkige communicatie aan de deelnemers voor de start van het project en kan samenhangen met het ontbreken van een needs analyse bij de stakeholders. Eén van de bevraagden geeft aan dat de onduidelijkheid bij sommige deelnemers over het opzet van de vorming en supervisie het gevolg was van hun afwezigheid tijdens het eerste supervisiemoment.

Aan de betrokkenheid van de stuurgroep (Kirkpatrick & Kirkpatrick, 2008) als voorwaarde is wel voldaan, daar systematisch alle informatie teruggekoppeld werd aan deze stuurgroep, alsook de doelen van de vorming en de supervisie.

Doelen op de evaluatieniveaus Phillips (2001) stelt voorop dat in de fase van het formuleren van de doelen, voor elk van de evaluatieniveaus duidelijk doelen vooropgesteld moeten worden. Zoals ondertussen duidelijk is, is er niet vertrokken vanuit een model met onderscheiden evaluatieniveaus om aan de vorming en supervisie vorm te geven, noch om deze te evalueren. Toch kunnen we in de doelen die vooropgesteld werden meerdere evaluatieniveaus terugvinden. Hierbij zijn er bij niveau 1, 2 en 3 duidelijke doelen vooropgesteld en geëxpliciteerd. Dat is niet zo voor de volgende niveaus, maar toch

53

Deel 3: Resultaten

vinden we deze op een bepaalde manier in het project terug. De toelichting hiervan vindt u in ‘Bijlage 9’.

Doelen van de evaluatie

Zoals uit de onderzoeksresultaten omtrent de evaluatieniveaus reeds naar voor kwam, is voor veel van de verzamelde data niet duidelijk wat het precieze doel is. De verzamelde informatie leidde namelijk niet tot bijsturing van het traject, maar diende eerder als data die de projectmedewerkers een zicht konden geven op hoe ze het nu gedaan hadden. Algemeen komen volgende doelen naar voor: •

Bijsturing en optimalisering van het traject

•

Het verkrijgen van input voor het vormgeven aan het consultluik

•

Presentatie op een studiedag, georganiseerd voor de gemeenschapsinstellingen, dit in het verlengde van het project

•

Het schrijven en publiceren van een wetenschappelijk artikel

Aangezien het doel van het verzamelen van de evaluatiedata niet duidelijk omschreven is, kunnen we de doelen van de evaluatie niet omschrijven a.d.h.v. de verschillende niveaus. Mochten bijvoorbeeld de vragenlijst en de survey die de reactie en tevredenheid meten, gebruikt zijn om aanpassingen aan het vormings- en supervisietraject te doen, dan was er sprake geweest van een doel van de evaluatie op dit eerste niveau. Dit is echter voor zowel dit niveau, als voor de volgende evaluatieniveaus niet het geval. Daarnaast werd de verwachte output per evaluatieniveau ook niet gespecifieerd. Zoals we in de planningsfase zullen zien, werden wel reeds voor de start van het project de stappen, alsook de gebruikte methoden voor de evaluatie vastgelegd.

4.1.3 Stap 3: Plannen en Pre-testing Plannen Ontwerp en plannen van de training Op basis van meerdere gesprekken met de vier bevraagde projectmedewerkers, werd vooreerst stilgestaan bij de vraag waaraan de vorming zou moeten voldoen, om zo goed mogelijk aan te sluiten bij de vraagstelling van het Agentschap. Opnieuw is het echter een gemiste kans dat de specifieke trainingsnoden van de deelnemers niet in kaart gebracht werden, waardoor in dit stadium al dan niet

54

Deel 3: Resultaten

duidelijk kon worden of de vraagstelling vanuit het Agentschap in overeenstemming was met de noden van die personen die de vorming en supervisie zouden volgen. Hierbij verwijzen we opnieuw naar de weerstand die bij sommige begeleiders aanwezig was.

Zowel wat de vormingsmedewerker als de supervisor betreft, gaat het hier om personen met heel wat expertise in hun vak. Deze personen zijn dan ook doelgericht gekozen om deel te nemen aan dit project. We kunnen er bijgevolg van uit gaan dat beide projectmedewerkers over de nodige kennis en vaardigheden beschikken om de delen waarvoor zij de verantwoordelijkheid droegen, op een kwaliteitsvolle manier ingevuld en opgevolgd werden. Steven Brandt, de vormingsmedewerker, zorgde voor het ontwerp en de inhoud van de training. Hij baseerde zich hierbij op vier elementen, waaronder de cursus ‘Handelingsplanning’ uit de opleiding Orthopedagogie van de Hogeschool. Daarnaast nam hij ook cursussen door rond management, planning en actie. Vervolgens was er ook sprake van regelmatig overleg met de andere projectmedewerkers en de stuurgroep waarin de inhoud en opbouw van de vorming besproken werden. Hij hield ook rekening met de briefing uit de eerste supervisie, alsook uit de elementen met de verkenningsronde. De supervisie werd begeleid door Chris Vandam, de supervisor. Naast de casussen die hij zelf voorlegde, kwamen er ook casussen van de deelnemers aan bod.

Plannen van de evaluatie In ‘Bijlage 9’ vindt u een overzicht van de planning van het vormings-, supervisie- en evaluatieproces.

Uit de vergelijking van de planning van de case study, met de SROI-planning opgesteld in het theoretisch luik, vinden we een planning van de evaluatie terug tot en met niveau 3. Hierbij worden de evaluatiemethoden aangehaald, maar een duidelijke omschrijving van de methoden ontbreekt. Dit geldt niet voor de procesevaluatie. Het is duidelijk dat het daar gaat om diepte-interviews. Ook is sprake van een zeer algemeen tijdschema. Een gevolg hiervan is dat men niet duidelijk weet wanneer welke test of vragenlijst in welke gemeenschapsinstellingen afgenomen werd. Ook worden de verantwoordelijkheden niet aangegeven, maar gezien het beperkt aantal projectmedewerkers dat betrokken is bij de evaluatie, is dit geen noodzakelijkheid.

Aangezien de doelen niet volgens de vooropgestelde evaluatieniveaus geformuleerd zijn is het logisch dat die ook niet terug te vinden zijn in dit schema. Verder blijkt uit het schema dat de planning van de case study weinig concreet is. Dit is reeds een indicatie dat niet alle data nodig voor het analyseren en het berekenen van de SROI verzameld werden tijdens het proces. Belangrijke elementen en stappen voor het berekenen van de SROI zijn onder meer het aangeven van zowel de

55

Deel 3: Resultaten

output, de outcomes, het aangeven van financiële proxies voor deze elementen en het opnemen van mogelijkheden tot het isoleren van de effecten die een gevolg zijn van de training en de supervisie.

Plannen van de communicatie Wat de planning van de communicatie betreft, is er ook hier geen sprake van een duidelijk en concrete planning. Wel werden doorheen het proces enkele stappen ondernomen, die op voorhand gepland werden en die onder dit communicatiegedeelte vallen.

Zo werd voor de aanvang van de eerste supervisie en vorming een folder verspreid onder de deelnemers, met daarin een beknopte uitleg over het project. Daarnaast werden zoals reeds aangegeven op geregelde tijdstippen de resultaten en vorderingen van het proces teruggekoppeld naar en besproken met de stuurgroep. Tot slot werd ook een studiedag gepland waarop alle verzamelde resultaten gecommuniceerd werden naar de verschillende betrokkenen.

Pre-testing Piloottest van de evaluatie Phillips (2001) en Cook (2010) benadrukken het belang van het testen van de evaluatie-instrumenten alvorens de training en de evaluatie van start gaan. Zoals reeds aangegeven onder de evaluatieniveaus is dit echter niet gebeurd en zijn de vragen niet getest geweest op een beperkt deel van de deelnemersgroep, alvorens de evaluatie te doen met de gehele deelnemersgroep. Dit heeft tot gevolg dat mogelijk slecht geformuleerde of onduidelijke vragen niet opgespoord en aangepast zijn.

Er is echter wel sprake van een piloottest van de vorming. De vorming werd door Steven Brandt in een proefsessie gegeven aan de stuurgroep. Hier werd de vorming dus getoetst en op basis van opmerkingen en feedback vanuit de stuurgroep aangepast.

Pre-test Zoals reeds behandeld onder de evaluatieniveaus, was er sprake van een pre-test van niveau 2, alsook van niveau 3. Hier kunnen we wel enkele punten van kritiek geven, maar die werden al besproken onder de bespreking van de evaluatieniveaus.

56

Deel 3: Resultaten

4.2 Tijdens de training

4.2.1 Stap 4: Dataverzameling tijdens de training De eigenlijke vorming duurde slechts drie uur. Deze korte tijdsduur maakt het moeilijk om data te verzamelen die aanleiding kunnen geven tot aanpassingen aan de vorming. Het supervisietraject was gespreid over een periode van vier maand, maar in deze periode zelf werden geen data verzameld die aanleiding gaven tot aanpassing van het proces. Bijgevolg is er geen dataverzameling gebeurd tijdens de vorming en supervisie. De dataverzameling situeert zich vóór en na de vorming, alsook vóór en na de supervisie.

Wat wel naar boven kwam tijdens de supervisiemomenten, was de vraag vanuit de intermediairen naar het aansturen van de teams. Vanuit de projectmedewerkers werd op deze signalen ingespeeld, door aan het project een extra luik toe te voegen die de intermediairen hierin moest ondersteunen. Mede door dit luik kunnen we hier ook spreken van een doel op het niveau van het team.

4.3 Na de training

4.3.1 Stap 5: Dataverzameling na de training Evaluatieniveaus In de aangepaste SROI-methode worden gegevens verzameld op alle evaluatieniveaus. Zoals uit de bespreking van de onderzoeksresultaten op basis van de evaluatieniveaus blijkt, is er na de vorming en supervisie sprake van een evaluatie op niveau 1, 2 en 3. Verder is er echter geen sprake van enige evaluatie op de niveaus 4, 5, 6 en 7. Als gevolg hiervan ontstaat er een kloof in het SROI-proces.

Na de laatste supervisie is er geen informatie meer verzameld. Wel werd de verzamelde informatie gebruikt om aan het consultluik vorm te geven.

4.3.2 Stap 6: Data-analyse Onder deze zesde stap worden volgens het SROI-methode de voorbereidende deelstappen ondernomen om in stap 7 over de nodige data te beschikken voor de berekening van de SROI. Gezien het feit dat er geen effecten nagegaan werden vanaf evaluatieniveau 4, is er ook geen sprake van

57

Deel 3: Resultaten

enig zicht op de impact van de vorming en supervisie op het team, op de organisatie en op de maatschappij. Bijgevolg is er ook geen sprake van een berekening van de SROI-ratio. Logischerwijze werd ook geen gebruik gemaakt van een Impact Map zoals opgesteld in het theoretisch luik (Cf. ‘Bijlage 5’).

Volgende deelstappen werden bijgevolg niet genomen, met name: •

Het omzetten van de verzamelde data in financiële waarden

•

Het isoleren van de effecten die het gevolg zijn van de vorming en supervisie, volgens één van de tien strategieën die Phillips (2001) hiertoe vooropstelt

•

Vervolgens werd de gehele impact ook niet berekend, volgens de formule, behandeld in het theoretisch luik

Er was echter wel sprake van een data-analyse, waarin de verwerking van de resultaten, verzameld op niveau 1, zeer sterk naar voor komt. Zoals reeds aangegeven wordt hier een vergelijkende analyse gemaakt tussen de data verzameld na de vorming en de data verzameld na het volledige traject. Van de kennistest, niveau 2, zijn ook resultaten terug te vinden, maar hierbij is geen sprake van een vergelijking tussen de verschillende periodes. Op het derde niveau vinden we geen analyse van de resultaten terug.

4.3.3 Stap 7: Berekenen SROI In aansluiting met vorige opmerkingen, is er geen sprake van een berekening van de SROI, of algemeen van het berekenen van enige Return On Investment. Vervolgens werden noch de Present Value, noch de totale kosten van het project berekend. Bijgevolg is de zevende stap van het SROIproces volledig afwezig in de evaluatie.

4.3.4 Stap 8: Communiceren, gebruiken en verankeren Ondanks de afwezigheid van de vorige stap, vinden we het in onderzoek enkele elementen terug die onder deze laatste stap te situeren zijn.

Gebruiken Het doel van het onderzoek en de evaluatie bestond grotendeels uit het verzamelen van data en resultaten. Deze data dienen input te geven aan het derde luik, met name het consultluik, dat in de

58

Deel 3: Resultaten

vraag van het Agentschap opgenomen was. De verzamelde en geanalyseerde data op niveau 1 en 2 werden bijgevolg gebruikt om aan dit derde luik vorm te geven. Zo bleek uit de verzamelde data dat er vanuit de deelnemers vraag was naar een hulpmiddel, een soort woordenboek waarin alle terminologie rond handelingsplanning is opgenomen. Daarnaast bestond ook de vraag naar een draaiboek, bestaande uit richtlijnen die beschrijven hoe je te werk moet gaan en welke stappen je moet doorlopen als je werkt met handelingsplannen volgens DOMINO.

Verankering Ondanks het feit dat er geen sprake is van het berekenen van de SROI-ratio, kan er toch sprake zijn van een verankering van de resultaten. Hierbij verwijzen we opnieuw naar het consultluik. Het Agentschap en de projectmedewerkers wilden de resultaten die bereikt waren vasthouden en overdraagbaar maken. Dit luik bestaat uit twee delen, met name een lexicon en een draaiboek. Het lexicon is een soort woordenboek met als doel ervoor te zorgen dat iedereen hetzelfde zou begrijpen onder de begrippen die tijdens de vorming werden aangeleerd. Hier kunnen we in zekere mate spreken over een doel op niveau 2, met name de kennis en vaardigheden die aangeleerd werden in de vorming blijvend verankeren. Het draaiboek is een instrument om nieuwe hulpverleners wegwijs te maken in hetgeen door het project geïnitieerd werd. Het is de bedoeling dat de hulpverleners door het lezen van dit boek zicht hebben op hoe men in de gemeenschapsinstellingen omgaat met handelingsplannen. Hierbij kunnen we spreken over een doel dat zich focust op de verdere toepassing en implementatie van het geleerde in de praktijk, aldus een doel op niveau 3. Het gevolg van dit consultluik is dat in elk van de gemeenschapsinstellingen zo’n lexicon en draaiboek te vinden is. Wegens gebrek aan verdere opvolging, dit omdat het project ten einde is, is er echter geen zekerheid of deze instrumenten ook wel degelijk gebruikt worden en als leidraad dienen om het geleerde verder te blijven kennen en te implementeren in de dagelijkse praktijk.

Zoals in het theoretisch luik ook aangegeven werd, bestaat de verankering ook uit het blijvend verzamelen van gegevens en het evalueren van het project op de zeven evaluatieniveaus. De evaluatie in de case study stopt echter bij niveau 3. Het in kaart brengen van het volledige proces geeft aan dat het project, dat afgerond is, niet verder opgevolgd wordt. Bijgevolg wijst ook dit op een gebrekkige verankering van de bereikte resultaten.

59

Deel 3: Resultaten

Communiceren De resultaten van het onderzoek en het project werden aan de betrokkenen gecommuniceerd op een studiedag georganiseerd door de Hogeschool Gent (Vakgroep Sociaal-Agogisch Werk). Deze studiedag stond in het teken van handelingsplanning, waarbij verschillende lezingen doorgingen. Daarnaast werden de resultaten van het project en het onderzoek in een workshop voorgesteld. De bevraagde projectmedewerkers geven echter aan dat er weinig mensen aanwezig waren op deze workshop. Hierdoor kunnen we niet spreken van een communicatie aan alle betrokken stakeholders, waardoor we ook niet kunnen spreken van een communicatie aangepast aan de noden van de verschillende stakeholders, waaronder vnl. de deelnemers. Dit is een gevolg van het niet nagaan van de noden aan evaluatie en communicatie op een vroeg moment in dit proces.

60

Deel 4: Conclusie en Aanbevelingen

DEEL IV CONCLUSIE EN AANBEVELINGEN 1 Inleiding In deze conclusie wordt, op basis van de literatuurstudie, het gevoerde onderzoek en de geanalyseerde resultaten, een antwoord geformuleerd op de centrale onderzoeksvraag, met name: “Op welke wijze kreeg de evaluatie inzake de vorming en supervisie van handelingsplanning binnen de gemeenschapsinstellingen vorm en welke elementen zijn hierbij al dan niet aanwezig, dit met de SROI-methode, als aanpassing van Phillips’ (2001) ROI-methode, als uitgangspunt” De deelonderzoeksvragen dienen als leidraad om dit antwoord richting te geven. Deze luiden: “Op welke evaluatieniveaus worden de effecten van de training nagegaan?” “Welke stappen worden genomen doorheen het gehele evaluatieproces?” “Welke oorzaken liggen hieraan ten grondslag?” “Welke gevolgen brengt dit met zich mee?” “Welke verfijningen/verbeteringen kunnen we voorstellen?” De onderzochte case study handelt over een vorming en verdere supervisie inzake het werken en opstellen van handelingsplannen binnen de gemeenschapsinstellingen. De vraag hiernaar kwam vanuit het Agentschap Jongerenwelzijn , Afdeling Gemeenschapsinstellingen, en werd uitgevoerd door enkele medewerkers van de Hogeschool Gent, Departement Sociaal-Agogisch Werk. Op basis van een documentenanalyse en vier experteninterviews, werd deze case systematisch gelinkt aan de beschreven SROI-methode, dit zowel wat betreft de evaluatieniveaus als het SROI-proces (Cf. ‘Deel I: Theoretisch luik’).

61


2 Onderzoeksvragen 2.1 Oorzaken Zoals uit de onderzoeksresultaten blijkt zijn niet alle evaluatieniveaus aanwezig en werd het SROIproces niet volledig conform de vooropgestelde stappen en voorwaarden doorlopen. We kunnen hiervoor twee oorzaken onderscheiden, met name het ontbreken van een initiële vraag naar een evaluatie van het project vanuit het Agentschap Jongerenwelzijn en het niet gebruiken van een methode ter ondersteuning van de evaluatie.

2.1.1 Geen vraag naar evaluatie De initiële vraag vanuit het Agentschap Jongerenwelzijn naar de Hogeschool Gent (Departement Sociaal-Agogisch Werk) bestond uit drie luiken, met name het vormings-, supervisie- en consultluik. Hierbij was geen sprake van enige vraag naar een evaluatie van het gehele traject. Hierbij kunnen enkele kritische vragen gesteld worden. Het gaat hier om een project waaraan grote investeringen verbonden zijn. Een evaluatie van het vormings- en supervisietraject aan de hand van de evaluatieniveaus, kan het Agentschap als investeerder inzicht verschaffen in de bereikte resultaten ten gevolge van het project, alsook in de Social Return ervan. Het feit dat dit niet gebeurt, bevestigt de bevinding dat ondanks de grote verwachtingen in training, ook binnen de publieke sector, er paradoxaal weinig aandacht gaat naar het nagaan van de feitelijke effecten hiervan op zowel de medewerkers, als op de efficiëntie en effectiviteit van de organisatie (Ahmad & Din, 2009; Griffin, 2010). Dit geldt ook voor deze case, waarbij het Agentschap dat systematisch geld investeert in dergelijke projecten, nooit vraagt naar het werkelijk verzamelen en analyseren van de effecten van deze investering (Birdi, 2010; Griffin, 2010; Pineda, 2010).

2.1.2 Geen gebruik van evaluatiemethode Op initiatief van de projectmedewerkers werd er echter wel vormgegeven aan een evaluatie. De evaluatie kreeg echter vorm en inhoud zonder gebruik te maken of zich te baseren op enig model of methode inzake evaluatie van vormingen of trainingen. Hieruit blijkt dat er in de praktijk sprake is van een gebrek aan een wijdverspreid evaluatiemodel of aan valide instrumenten die toegepast worden om trainingen te ondersteunen en te evalueren (Smidt et al., 2009; Griffin, 2010). In de interviews met de projectmedewerkers die aan de evaluatie vormgaven kwam tevens naar voor dat zij geen kennis

62


hebben van een dergelijke evaluatiemethode. Ze hadden ook nog nooit van de ROI-methode van Phillips (2001) gehoord. Gielen en Indesteege (2004) bevestigen dit en geven aan dat het ontbreken van een evaluatie volgens de ROI-methode vaak het gevolg is van een gebrek aan kennis inzake ROI. De evaluatie die door de projectmedewerkers gedaan werd, kwam dus in zekere zin intuïtief tot stand. Dit in beschouwing nemend, kunnen we stellen dat er toch verschillende elementen uit de SROImethode terug te vinden zijn in de case study, dit zowel wat de niveaus betreft als de verschillende stappen in het proces. De evaluatie binnen de case study gebeurde echter niet vanuit een managementperspectief, een perspectief van waaruit de ROI-methode van Phillips (2001) en ook de SROI-methode van Nicholls, et al. (2009a) wel vorm kregen.

2.2 Gevolgen Door de combinatie van bovenstaande oorzaken ontbreken bepaalde evaluatieniveaus, alsook bepaalde stappen binnen het SROI-proces. Ter illustratie wordt de SROI-methode vergeleken met het model dat van toepassing is op de case study.

De SROI-methode

63


Case Study

De evaluatieniveaus die in het vet en schuin gedrukt zijn, vinden we expliciet terug in de case study, dit echter niet geheel conform de voorwaarden opgenomen in het analyseschema (Cf. ‘Bijlage 8’). Ook de stippellijnen rond de stappen geven aan dat deze in zekere mate doorlopen zijn, maar ook ditmaal niet volledig volgens de regels vooropgesteld in de SROI-methode.

Uit de zowel het theoretisch luik, alsook de besproken onderzoeksresultaten wordt duidelijk dat het plannen en uitvoeren van een evaluatie inzake een training heel wat aspecten omvat. Er zijn heel wat voorwaarden en elementen waarmee rekening gehouden moet worden. In de onderzoeksresultaten werd hierop reeds specifiek ingegaan. In dit concluderend deel worden, in het licht van de onderzoeksvragen, de belangrijkste resultaten belicht en geïnterpreteerd.

2.2.1 De evaluatieniveaus Niveau 0 vinden we terug onder de vorm van een prijsofferte (Cf. Phillips & Phillips, 2007). Een groot gemis hierbij is een specifieke offerte voor (de kosten van) de evaluatie. Dit is echter een direct gevolg van het ontbreken van een initiële vraag naar evaluatie, waardoor een evaluatie-offerte ook niet opgenomen werd in de officiële offerte en het bestek van het project.

64


Niveau 1 waarin de reactie en tevredenheid gemeten worden, is prominent aanwezig binnen het gevoerde onderzoek. Dit uit zich in een grondige analyse van de verzamelde data, alsook in een uitvoerige bespreking van de resultaten op de studiedag. Ook in de bestudeerde wetenschappelijke literatuur komt naar voor dat niveau 1 zeer vaak aanwezig is binnen evaluaties. Het wordt aanzien als een ‘dankbaar’ evaluatieniveau dat tevens makkelijk te meten valt (Wilson, 2004). Ondanks het feit dat dit niveau belangrijk is voor het inwinnen van nuttige feedback over de vorming en supervisie, zegt dit echter niets over het daadwerkelijke ‘leren’ (Wilson, 2004; Phillips, 2001). De evaluatie in de case study beperkt zich echter niet tot dit eerste niveau. Ook niveau 2 is duidelijk terug te vinden binnen het onderzoek, waarbij sprake is van een kennistest die op drie momenten afgenomen werd. Hierbij kunnen we enkele belangrijke punten van kritiek formuleren waaronder het feit dat de resultaten verzameld op dit niveau onvoldoende aangewend werden voor bijsturing van het traject. Daarnaast was ook een extra test bij aanvang van de supervisie zeker mogelijk en aangewezen geweest, dit zeker omdat het leerelement cruciaal is om een transfer te maken van het geleerde naar de praktijk (Ahmad & Din, 2009).

De aanwezigheid van niveau 0 en de eerste twee niveaus in de evaluatie maakt dat de bevinding van Pineda (2010) dat de evaluatie van trainingen zich vaak beperkt tot niveau 1 voor deze case niet opgaat. Tot en met niveau 2 kunnen we namelijk spreken van een redelijk onderbouwde evaluatie, de kritiekpunten en beperktheden besproken onder de onderzoeksresultaten in acht genomen. Ondanks het feit dat de tevredenheid en ook het leren belangrijk aspecten zijn binnen het kader van deze vorming en de evaluatie ervan, zijn deze metingen onvoldoende om de effecten van de training na te gaan (Giangreco et al., 2008; Steensma & Groeneveld, 2010; Pineda, 2010; Robertson, 2010).

Binnen de case study vinden we ook elementen terug die wijzen op de aanwezigheid van een evaluatie op niveau 3, m.b.t. de toepassing en de implementatie. Hier staat de vraag centraal of de geleerde kennis en vaardigheden in de vorming en supervisie, ook een transfer kennen naar de praktijk (Phillips, 2001; Pineda, 2010). Hiervoor werden (pre- en post-) handelingsplannen geselecteerd. Deze plannen zijn echter nog niet geanalyseerd, waardoor we geen zicht hebben op de implementatie van het geleerde in de praktijk. Daarnaast schiet, gezien het gemis aan observatie van de deelnemers in de praktijk, deze evaluatie ook tekort om na te gaan of er ook sprake is van een positief effect op het gedrag van de deelnemers (Phillips, 2001). Hierdoor kunnen namelijk de handelingsplannen door één iemand ingevuld worden, en krijgt het DOMINO-pakket daardoor geen constructieve plaats binnen de ondersteuning en begeleiding van de jongeren in de gemeenschapsinstellingen. Bekeken vanuit het onderzoek van Velada, Caetano, Michel, Lyons & Kavanagh (2007) waaruit blijkt dat amper 10 tot 15 procent van het geleerde wordt toegepast en geïmplementeerd in de praktijk, is het gebrek aan 65


evaluatie op dit niveau te betreuren, vooral omdat de transfer van het geleerde in de vorming en de supervisie naar de praktijk, een cruciale stap is in de totstandkoming van een succesvol project (Robertson, 2010). De implementatie van het geleerde in de praktijk vormt namelijk de eerste zichtbare verandering binnen de praktijk. Indien van dergelijke verandering geen sprake is, zal men ook op hogere evaluatieniveaus geen effecten kunnen nagaan. Hierdoor weten we eigenlijk bitter weinig over het eigenlijke succes van de vorming. Robertson (2010) hoedt zich hierbij voor een te sterk vertrouwen in het individueel performantiemanagement, om het succes van een training te achterhalen. Indien er geen sprake is van metingen die de werkelijke impact nagaan, is de kans op voortdurende verbetering klein (Robertson, 2010).

Aansluitend bij een reeds gebrekkige evaluatie op niveau 3, is er geen evaluatie vanaf niveau 4 tot en met niveau 6. De stelling van Salas, Stagl & Burke (2004) dat het teamniveau vaak ontbreekt binnen evaluaties, dit ook in die organisaties waarin het team-functioneren een belangrijk element is, gaat ook op voor deze case study. Ook niveau 5, het organisatieniveau , is vaak afwezig binnen evaluaties (Phillips, 2001). Hierbij aansluitend is het meten van maatschappelijke outcomes geen evidentie (Burssens, 2007).

Hierdoor vinden we geen metingen of evaluatie terug die de impact van de training nagaan. Hierbij vinden we Chang (2010) en Phillips (2001) terug die stellen dat weinig of geen aandacht gaat naar hoger gelegen evaluatieniveaus. In aansluiting hiermee geeft Phillips (2001) aan dat er in de praktijk van evaluatie van trainingen, weinig sprake is van evaluatie op het ROI-niveau. Door de afwezigheid van een evaluatie op de zgn. ‘impact’- niveaus, is er logischerwijze ook geen sprake van de berekening van de SROI-ratio. Het berekenen van de impact van de training op niveau 4, 5 en 6, is nl. een cruciale voorwaarde om de SROI-ratio te berekenen.

2.2.2 Het SROI-proces 2.2.2.1 Vóór de training

De eerste drie stappen van het SROI-proces, met name de analyse, het formuleren van de doelen en de planning zijn cruciaal voor het verdere verloop van het gehele proces. We kunnen echter spreken van enkele gebreken binnen deze stappen. Phillips (2001) geeft aan dat indien onvoldoende tijd en energie gestoken worden in deze eerste basisstappen, dit zijn gevolgen geeft voor het gehele traject.

66


2.2.2.1.1

Stap 1: Analyse

De eerste stap in het proces, de analysefase kenmerkt zich door een gebrekkige stakeholders -en nodenanalyse. De afwezigheid van een stakeholderanalyse hangt samen met het feit dat de vraag naar vorming en supervisie vanuit het Agentschap kwam, waarbij deze laatste ook expliciet de doelgroep formuleerde waarop deze vorming en supervisie van toepassing moest zijn. Het ging hierbij over volgende actoren: de opvoeders, begeleiders, onderwijzers, maatschappelijk werkers, team- en campusverantwoordelijken, psychologen, pedagogen en directie. Een gevolg van deze duidelijke vraag en afbakening van de betrokkenen is dat de verschillende stakeholders niet expliciet opgelijst, noch bevraagd werden, zoals Nicholls et al. (2009a) het nochtans wel vooropstellen. Ondanks het feit dat er sprake was van enige bevraging van de verwachtingen van de deelnemers inzake de vorming en de supervisie, dit in een eerste supervisiemoment, zijn de mogelijke voordelen hiervan niet volledig benut. Zo werd te weinig rekening gehouden met de verschillende noden van de verschillende betrokkenen, waarmee we het voorbeeld naar voor schuiven van het onderscheid tussen opvoeders en leerkrachten binnen de gemeenschapsinstellingen. Vorming geven aan deze beide groepen vereist andere voorbeelden om de kennis praktisch te maken, iets waar de vorming initieel niet geheel op voorbereid was.

Het feit dat er ook sprake was van enige weerstand tegen het project wijst op het belang van een ‘stakeholders based evaluation’ zoals vooropgesteld door Guerci et al. (2010). Een degelijke analyse van de noden van de stakeholders kon de betrokkenheid van de betrokkenen ten aanzien van het project verhogen en ook de weerstand verminderen. Dit komt ten slotte ook de efficiëntie en effectiviteit van de training ten goede (Guerci et al., 2010).

Het ontbreken van een evaluatiemethode betekent echter niet dat alle noodzakelijke elementen ontbreken. Een mooi voorbeeld hiervan en wat onder de analyse van de faciliterende voorwaarden valt, is de oprichting van de stuurgroep (Cf. ‘committee’; Kirkpatrick & Kirkpatrick, 2008) waarin de directie van de verschillende gemeenschapsinstellingen vertegenwoordigd zijn. Hierbij kunnen we verwijzen naar de noodzakelijke ondersteuning en betrokkenheid van het management en de organisatie in zijn geheel (Burke & Hutchins, 2007; Nielsen et al., 2009; Martinez, 2009). Ook de explorerende ronde wijst op het leren kennen van de organisatiecultuur als belangrijke voorwaarde alvorens aan de vorming en supervisie vormgegeven werd (Condrey, 2010).

67


2.2.2.1.2

Stap 2: Doelen

Met betrekking tot deze tweede stap worden voor zowel de training als de evaluatie doelen geformuleerd (Cf. Phillips, 2001). De evaluatieniveaus die expliciet aanwezig zijn binnen de evaluatie, vinden we ook terug onder duidelijk geformuleerde doelstellingen. Ook met betrekking tot de hogere evaluatieniveaus is er sprake van doelen op niveau 4, 5 en 6, dit echter impliciet.

Een belangrijk doel van een evaluatie is ook het ‘bijsturen en optimaliseren van de huidige training of van toekomstige trainingsprogramma’s , dit om de kwaliteit van zowel de training als de resultaten te verhogen’ (Phillips, 2001; Pineda, 2010). Ondanks het feit dat dit als één van de doelstellingen van de evaluatie werd vooropgesteld, is er echter door een gebrek aan planning maar ook tijd weinig sprake geweest van enige bijsturing ten gevolge van de dataverzameling- en analyse. Een duidelijke aanwijzing hiervan is het feit dat er op evaluatieniveau 3 al data verzameld werden, maar er nog geen dataverwerking en -analyse en communicatie plaatsgevonden hebben.

2.2.2.1.3

Stap 3: Plannen en pre-testing

Met betrekking tot de planning van de evaluatie werd het planningsschema van de case study vergeleken met het planningsschema waarin de ROI- en SROI werden samengevoegd (Cf. ‘Bijlage 4’). Uit deze vergelijking komt naar voor dat er bij sommige belangrijke zaken niet werd stilgestaan, zoals bij de concrete planning naar tijd, de methoden, de verantwoordelijkheden, de output en outcomes, etc. (Phillips, 2001; Nicholls et al., 2009a). Hierdoor kreeg de evaluatie onvoldoende doelgericht en effectief vorm, waardoor niet alle mogelijke voordelen van de evaluatie benut werden.

2.2.2.2 Tijdens en na de training 2.2.2.2.1

Stap 4 en 5: Dataverzameling tijdens na de training

Ondanks het feit dat we doelen terugvinden op alle niveaus, beperkt de evaluatie zich tot niveau 3. Dit is logisch gezien het feit dat enkel deze drie niveaus ook expliciet terug te vinden zijn in de doelstellingen. In aansluiting met de evaluatie die zich beperkt tot dataverzameling op niveau 3, is er geen sprake van dataverzameling die de impact van de vorming en supervisie nagaat op de teams, de organisatie en de maatschappij.

2.2.2.2.2

Stap 6: Data- analyse

68


De verzamelde data op niveau 1 en 2 werden geanalyseerd en aangewend als input voor het consultluik. De data-analyse hierbij is niet conform de SROI-methode (Cf. Nicholls et al, 2009a), dit als logisch gevolg van het afwezig zijn van de zgn. ‘impactniveaus’ in de evaluatie.

In principe zouden in deze stap de voorbereidende deelstappen plaatsvinden om in stap 7 tot de berekening van de SROI te komen. Bijgevolg is wat betreft deze case geen sprake van het omzetten van de data in financiële waarden, op basis van financiële proxies zoals vooropgesteld door Nicholls et al. (2009a). Ook is er nooit sprake geweest van het isoleren van de effecten ten gevolge van de vorming en supervisie, van de effecten door andere factoren. Hiertoe formuleert Phillips (2001) nochtans 10 strategieën waarvan enkele zeker mogelijk waren. Voorbeelden hiervan zijn de inschatting door de deelnemers, de vormingsmedewerker en de supervisor. Een mogelijkheid die hier minder van toepassing was, is de zgn. controlegroep, dit omdat het om een vorming ging voor de volledige groep van medewerkers. Gebruik maken van controlegroepen in deze situatie zou heel veel onnodige tijd en energie kosten. Vervolgens is er ook geen sprake van een berekening van de gehele impact van de training volgens de formule van Nicholls et al. (2009a).

2.2.2.2.3

Stap 7: SROI

Ahmad & Din (2009) geven aan dat binnen de evaluatie van trainingen, weinig tot nooit sprake is van een kosten-baten analyse van de training, waaronder ook de ROI. Ook binnen deze case study is het berekenen van de SROI-ratio de enige stap die volledig afwezig is doorheen het gehele traject. Dit is tevens het gevolg van het afwezig zijn van een evaluatie op niveau 4, 5 en 6, waardoor ook geen sprake kan zijn van het analyseren van deze data volgens de vooropgestelde stappen onder stap 6. Noch de zevende stap, noch het zevende evaluatieniveau zijn terug te vinden binnen de doelstellingen van de evaluatie.

Het ontbreken van een evaluatie op de hogere niveaus, alsook het niet berekenen van de ROI, leiden volgens Phillips (2001) tot een verlies aan accountability van de vorming en de supervisie. Dit hangt echter samen met het ontbreken van een vraag naar evaluatie vanuit het Agentschap. Daardoor is er ook geen sprake van een vraag naar enige verantwoording of naar een bewijs dat aangeeft in hoeverre het gehele traject al dan niet succesvol is en bijgevolg de gedane investering ondersteunt (Gielen & Indesteege, 2004; Smidt et al., 2009).

Het feit dat de evaluatie op niveau 3 nog niet is afgerond en ze onder meer de publicatie van een wetenschappelijk artikel tot doel had, zou aanleiding kunnen geven tot een vraag vanuit het Agentschap naar de gemaakte progressie hieromtrent. Dit is echter niet het geval. Hieruit blijkt dat 69


door een sterk geloof in trainingen, organisaties vaak niet eens weten welke verschillen de training met zich meebrengt of wat de meerwaarde van de training is (Griffin, 2010). Ten gevolge van het gebrek aan evaluatie op de hoger gelegen niveaus en ook het niet berekenen van de SROI, neemt het gehele project geen strategische positie in (Barley, 2007). Er is namelijk geen zekerheid of er wel degelijke sprake is van implementatie van het geleerde in de praktijk, waardoor ook geen duidelijkheid bestaat over de impact van het vormings- en supervisietraject op de organisatie. Dit bevestigd onze bevinding dat ook publieke organisaties steeds meer geld investeren in training, maar zelden of nooit komen tot het werkelijk verzamelen en analyseren van de effecten van deze investering (Griffin, 2010; Pineda, 2010).

2.2.2.2.4

Stap 8: Communiceren, gebruiken en verankeren.

De zevende stap mag dan wel volledig afwezig zijn, aan sommige elementen van de achtste en laatste stap is wel vormgegeven. Dit is een belangrijk aspect in de case study, daar dit wijst op het feit dat de data niet alleen verzameld en geanalyseerd werden, maar ook aangewend worden voor verdere doelen (Nicholls et al., 2009a).

Het derde luik, het consultluik, geformuleerd in de vraag van het Agentschap, had expliciet de verankering van de bereikte resultaten tot doel. De verzamelde data op niveau 1 en 2 werden gebruikt als input voor het consultluik, wat een zekere verankering beoogt door de creatie van een draaiboek en een lexicon. Daardoor kunnen de kennis en vaardigheden, verworven door de vorming en supervisie, overgedragen worden aan nieuwe personeelsleden (Nicholls et al., 2009a). Binnen deze stap vinden we echter twee problemen terug.

Het eerste probleem heeft betrekking op de communicatie van de resultaten. Op de studiedag, georganiseerd door de Hogeschool Gent, waarop de resultaten gecommuniceerd werden aan de betrokkenen, waren weinig mensen aanwezig. Bijgevolg heeft het merendeel van de personen die deelnamen aan de vormings- en supervisietraject geen zicht op de bereikte resultaten van het gehele project. Het feit dat hiervoor zo weinig belangstelling was hangt hoogstwaarschijnlijk samen met het ontbreken van een analyse van de noden inzake communicatie bij de stakeholders, alsook van het niet plannen van de communicatie.

Het tweede probleem is het gebrek aan verankering van de bekomen resultaten. Ondanks het feit dat het draaiboek en lexicon een verankering van de bereikte resultaten in de gemeenschapsinstellingen beoogt, bieden beide instrumenten hiertoe geen zekerheid. Pineda (2010) benadrukt namelijk het belang van een herhaaldelijke periodieke evaluatie van de training, dit om ervoor te zorgen dat de 70


transfer naar de praktijk en de bereikte effecten van de vorming behouden blijven. Het aanwezig zijn van een draaiboek en lexicon binnen de gemeenschapsinstellingen biedt hiervoor geen garantie. Er is namelijk geen sprake van enige opvolging inzake de implementatie van het geleerde naar de praktijk, dit ook omdat er nog geen analyse is van de data op niveau 3. De projectmedewerkers geven zelf aan geen zicht te hebben op hoeverre de gemaakte instrumenten nu ook gebruikt worden als inleiding voor nieuwe medewerkers en als leidraad voor de dagelijkse praktijk rond handelingsplanning. Het project is namelijk afgerond en bijgevolg hebben zij hiertoe geen verdere verantwoordelijkheden meer. Hier situeert zich toch een groot pijnpunt in het gehele project. Het gaat om een project dat een grote investering vereiste en waar naast veel geld ook veel tijd en energie in gestoken is door de projectmedewerkers. Indien men er niet blijvend op toeziet of het geleerde ook wordt toegepast in de praktijk, dan kan deze investering grotendeels weggesmeten geld zijn. Zelfs indien men het draaiboek en lexicon zou lezen en hanteren, dan is er nog geen zekerheid of de nodige kennis ook op de juiste manier verworven en toegepast wordt. Bijgevolg is er naast een voortdurende opvolging en periodieke evaluatie (Pineda, 2010), ook nood aan een proces van voortdurende training en vorming van het personeel (Nicholls et al., 2009a).

3 Aanbevelingen Op basis van de bovenstaande antwoorden op de onderzoeksvragen, kan men hier enkele aanbevelingen formuleren aan het Agentschap Jongerenwelzijn en de projectmedewerkers.

3.1 Naar het Agentschap Jongerenwelzijn Het is belangrijk dat het Agentschap en hierbij aansluitend alle organisaties binnen de publieke en social profit sector, die geld investeren in training van hun personeel, deze training ook evalueren. Evaluatie is een cruciaal element binnen de wereld van de vorming en training. Evaluatie is een katalysator voor het succes van de training en tevens de enige manier om verantwoording te voorzien die de gemaakte investering ondersteunt (Crull, in Phillips, 2010). Eén van de redenen waarom er volgens Gielen en Indesteege (2004) vaak geen evaluatie gedaan wordt, is omdat dit naast veel tijd ook veel geld kost. Binnen deze case study vereiste het vormings- en supervisietraject een grote investering. Door hier een evaluatie aan te koppelen ontstaat pas de mogelijkheid dit traject op te volgen en bij te sturen waar nodig, dit om de vooropgestelde doelen succesvol te bereiken. Hierdoor wordt het geïnvesteerde geld efficiënt en effectief ingezet.

71


Maak daarnaast ook geld en tijd vrij voor een blijvende follow-up van het project, dit om ervoor te zorgen dat de bereikte positieve veranderingen ten gevolge van de vorming of training standhouden en zich naar de toekomst toe verder uitzetten en verbeteren. McDowall & Saunders (2010) hebben het hierbij over de nood aan een shift van de traditionele formele training naar een voortdurende en toekomstgerichte methode om aan vorming en training vorm te geven. Er is nood aan een continue cyclische proces van training, dit zeker gezien de steeds veranderende en complexe werkomgevingen (Buckley & Caple, 2008).

3.2 Naar de projectmedewerkers Ondanks het feit dat bovenstaande antwoorden op de onderzoeksvragen misschien wat kritisch lijken, is het echter wel zo dat de projectmedewerkers die de evaluatie opgezet hebben, getuigen van goede wil inzake deze evaluatie. Op eigen initiatief en vanuit hun eigen intuïtie hebben zij aan een evaluatie vormgegeven waarin toch heel wat elementen uit de SROI-methode terug te vinden zijn. Indien zij een dergelijke methode zouden gekend hebben, hadden zij deze zeker gebruikt ter ondersteuning van het gehele project.

Vervolgens moeten we in deze aanbevelingen ook realistisch zijn. Het volledige project is afgerond. Bijgevolg kunnen we, wat dit project betreft, het volledig doorlopen van de SROI-methode niet meer aanbevelen. Het is echter wel mogelijk, ondanks de afronding van het project, nog enkele zaken te ondernemen die bepaalde hiaten kunnen opvullen.

Vooreerst dient men de verzamelde data op niveau 3, met name de geselecteerde handelingsplannen, te analyseren. Indien mogelijk dient men hierbij de handelingsplannen van dezelfde medewerkers te vergelijken, waardoor de vergelijking van de pre- en post-situatie meer valide wordt. Dit zal een eerste zicht geven op de transfer van het geleerde in de vorming en supervisie naar de praktijk, met name of de handelingsplannen opgesteld worden conform de DOMINO-criteria en –principes. Indien uit deze resultaten blijkt dat er sprake is van een gebrekkige toepassing en implementatie, dient men na te gaan waarom dit zo is, dit via een bevraging van een grote groep van deelnemers. Hieruit kunnen bijkomende noden komen, die eventueel kunnen wijzen op noden aan extra vorming omtrent het geleerde.

72


De analyse van de data op niveau 3 dient ook gekoppeld te worden aan een observatie van de deelnemers in de praktijk, dit om na te gaan op welke wijze de handelingsplannen ingevuld worden en om bijgevolg te vermijden dat één persoon alle handelingsplannen invoert.

Op basis van deze verzamelde en geanalyseerde data kan nu nog, ook ver na afronding van het project, sprake zijn van een bijsturing van het traject. Indien dit van toepassing is, kan men gebruik maken van Phillips’ (2001) methoden om de toepassing en implementatie van het geleerde te garanderen, waaronder het werken met performantiecontracten, actieplannen en follow-up taken.

Na de evaluatie op niveau 3 is het bijgevolg ook noodzakelijk de evaluatie te doen op de hoger gelegen niveaus, dit met de het opgestelde analyseschema als leidraad (Cf. ‘Bijlage 8’). Van groot belang hierbij is de bevraging van de interne stakeholders, met name de jongeren in de gemeenschapsinstellingen, want zij zijn de grote afwezigen binnen deze evaluatie. Heeft dit hun kwaliteit van leven verbeterd? Hebben ze een verandering an sich gemerkt in de manier waarop hun handelingsplannen vorm en inhoud krijgen?

Indien aan vorige aanbevelingen voldaan zijn, geef dan vervolgens ook vorm aan een blijvend verankerings- en opvolgingsproces, waarin de zeven beschreven evaluatieniveaus steeds voor ogen gehouden en geëvalueerd worden. Dit zal tijd, energie en geld vergen, maar dit laat toe de reeds gemaakte investeringen blijvend te ondersteunen en de bereikte resultaten in stand te houden.

73

Deel 5: Kritische Reflectie

DEEL V KRITISCHE REFLECTIE Ter afronding van deze masterproef, worden enkele kritische bedenkingen geformuleerd met betrekking tot het gevoerde onderzoek en de gebruikte SROI-methode.

1 Beperkingen onderzoek Met betrekking tot het eigen onderzoek kan één specifieke beperking worden geformuleerd. De case study en het gehele proces hiervan werden retroactief gereconstrueerd. Tijdens het project werd niet alle informatie gedocumenteerd. Zo ontbreken er gegevens over de acties die ondernomen werden en is niet altijd duidelijk wie de verantwoordelijkheid droeg tijdens deze acties. Wanneer de acties plaatsvonden is ook niet altijd duidelijk. Dit maakte het minder evident om het gehele proces en gevolgde traject in kaart te brengen. De expertinterviews brachten meer inzicht in de opbouw van het traject, maar bijkomende interviews waren eventueel aangewezen geweest.

2 Beperkingen (S)ROI-methode Daarnaast is het hier ook geplaatst kritisch te kijken naar de gehanteerde (S)ROI-methode. Binnen de bestudeerde

wetenschappelijke

literatuur

zijn

kritieken

terug

te

vinden,

die

enkele

vooronderstellingen of elementen van de methode in vraag stellen.

Eén van de veel voorkomende kritieken met betrekking tot de gehanteerde evaluatieniveaus is dat uitgegaan wordt van een hiërarchisch en causaal model. In dergelijk model moet eerst sprake zijn van tevredenheid bij de deelnemers alvorens er ook effecten kunnen plaatsvinden op de volgende niveaus. Bates (2004) geeft echter aan dat er ook pas sprake kan zijn van tevredenheid wanneer mensen iets nieuws leerden of nadat ze het daadwerkelijk toepasten in de praktijk.

Een

volgende

kritiek

betreft

de

grote

aanwezigheid

van

de

‘inschatting’

als

dataverzamelingsmethode op meerdere evaluatieniveaus. Zo schuift Phillips (2001) de mogelijkheid

74


naar voor om de deelnemers of het management een inschatting te laten maken van het effect van de training op de organisatie. Dergelijke inschatting is geen evidentie en vereist de nodige vaardigheden. Het gebrek hieraan brengt de betrouwbaarheid en de accuraatheid van de data in gevaar (Wilson, 2004).

Daarnaast komen ook heel wat vragen naar boven inzake het isoleren van de effecten van de training. Brinkerhoff (2006) geeft aan dat het onmogelijk is te spreken van een volledige isolatie van de effecten van een vorming. Daarnaast vereist deze stap in het SROI-proces naast heel veel tijd ook de nodige vaardigheden die echter vaak ontbreken (Brinkerhoff, 2006).

De SROI-methode heeft als aangepaste en geactualiseerde methode, dezelfde basisgedachte als de ROI-methode van Phillips (2001). Het doel van beiden is namelijk het berekenen van een ratio die de bereikte effecten van de vorming en de gemaakte investering of kosten tegen elkaar afweegt. Uit de laatste kritieken komt naar voor dat een evaluatie tot op het (S)ROI-niveau heel wat kennis en vaardigheden vereist. Het ontbreken hiervan bij veel mensen die in de praktijk met het evalueren van trainingen bezig zijn, is volgens Gielen en Indesteege (2004) één van de hoofdredenen waarom evaluaties vaak geen (S)ROI-berekening ontsluiten. Het is niet toevallig dat er specifieke trainingen bestaan om mensen de nodige kennis en vaardigheden bij te brengen inzake de (S)ROI-berekening. Het berekenen hiervan is namelijk geen evidentie, wat de drempel om op dit laatste niveau te evalueren hoog maakt (Griffin, 2010).

Ook de tijd die de berekening van de SROI-ratio vergt is zeer groot. Het omzetten van alle bereikte outcomes in financiële waarden, het isoleren van de trainingseffecten op basis van de deadweight, attribution en drop-off, het berekenen van de geactualiseerde toekomstige waarden, etc. zijn stappen die heel wat energie en tijd vergen. In bovenstaande aanbevelingen gaven we aan dat ondanks de tijd en geld die de evaluatie kan kosten, het van belang is een evaluatie te doen die de gedane investering ondersteunt. Wanneer we echter kijken naar de stappen om tot de SROI-ratio te komen, kunnen we ons wel vragen stellen bij de noodzakelijkheid van een evaluatie op dit hoogste niveau.

Griffin (2010) geeft aan dat er nood is aan een logische en toegankelijke methode, aanpasbaar aan de noden van het individuele programma en aan de specifieke context. Ik denk dat de vooropgestelde SROI-methode dit wel toelaat, dit echter tot aan de data-analyse van stap 6, waar de methode complexer wordt. Dit is ook de reden waarom ook in de bestudeerde wetenschappelijke onderzoeken weinig evaluaties terug te vinden zijn die gebruik maken van (S)ROI. De niveaus van 75


Kirkpatrick zijn echter wel prominent aanwezig, dit onder meer door de grotere toegankelijkheid en toepasbaarheid van dit model.

Daarbij aansluitend, kunnen we ook stilstaan bij de wenselijkheid van de SROI-berekening binnen de context van de publieke en de social profit sector. Zoals u misschien opgevallen is, werd in de aanbevelingen niet expliciet ingegaan op de noodzakelijkheid van het berekenen van een SROI-ratio. Dit heeft te maken met de achterliggende gedachte van dergelijke ratio’s, met name het feit dat een training duidelijke effecten kan bereiken op organisatieniveau, maar dat hierbij steeds de vraag gesteld dient te worden naar “At what cost?” (Bishop, 2010, p. 9). We zien hier zeer sterk een economische visie naar voor komen, waarin ook de sociale outcomes via financiële proxies omgezet worden in financiële waarden. Het is in zekere mate positief dat de ‘intangible measures’ uit de ROImethode van Phillips wel opgenomen worden onder de SROI-ratio. Maar is het financieel uitdrukken van zowel economische, sociale als omgevingsfactoren wel de manier om de effecten van een training weer te geven, dit zeker binnen de publieke en de social profit sector? En wat indien de kosten de bereikte effecten van de training overstijgen, kunnen we dan volgens Bishop (2010) simpelweg spreken van een foute interventie? Dergelijke ondernemingsgerichte visie geldt niet voor trainingen binnen de publieke sector die een sociaal doel voor ogen hebben (Acharya, 2010). Het is belangrijk om de kosten binnen te perken te houden en de investering efficiënt en doelgericht vorm te geven, maar een vormingsproject zomaar afschaffen omdat de gemaakte kosten groter zijn dan de in financiële termen omschreven effecten, is niet echt sociaal, noch democratisch.

3 Aanbevelingen naar verder onderzoek Aansluitend bij bovenstaande kritieken, rond ik deze masterproef af met een aanbeveling naar verder wetenschappelijk onderzoek inzake evaluatie van trainingen en vormingen. Er is nog veel ruimte om onderzoek te doen naar de mogelijkheid om de SROI-ratio te berekenen bij evaluaties. Ook is er nog onderzoek nodig naar de noodzakelijkheid en de wenselijkheid van deze methode bij evaluaties van trainingen binnen de publieke en social profit sector. Daarnaast is er ook nood aan onderzoek naar good practices van evaluaties, die als leidraad en ondersteuning kunnen dienen voor mensen die in praktijk bezig zijn met evaluaties van vormingen en trainingen.

Bijgevolg is er nood aan inzicht in de manier waarop de SROI-methode en de SROI-ratio een constructieve plaats kunnen innemen binnen de publieke sector, en bijgevolg de trainingen van de nodige verantwoording en accountability kunnen voorzien

76

REFERENTIELIJST Acharya, N. S. (2010). Social Returns in Investment: A proposed modified method for nonprofit organisations (NPO's). Minnesota: The University of Minnesota. Ahmad, I., & Din, S. U. (2009). Evaluating training and development. Journal of Medical Sciences, 165166. Al-Ajlouni, M. M. (2010). Methods of evaluation: Training Techniques. International Research Journal of Finance and Economics, 56-65. Appleton, J. V., & Cowley, S. (1997). Analyzing clinical practice guidelines. A method of documentary analysis. Journal of Advanced Nursing, 1008-101. ASTD (2006). Info-line guide to training evaluation. USA: ASTD Press. Aziz, S. A., & Ahmad, S. (2011). Stimulation training motivation using the right training characteristic. Industrial and commercial training, 53-61. Baarda, D. B., De Goede, M. P., & Teunissen, J. (2001). Hoofdstuk 9. Hoe registreer en analyseer ik mijn gegevens. In D. B. Baarda, M. P. De Goede, & J. Teunissen, Kwalitatief onderzoek (pp. 170-196). Groningen: Wolters-Noordhoff. Barley, K. (2007). Learning as a competitive business variable. In M. Allen, The Next Generation Corporate University (pp. 39-61). San Fransisco: Wiley. Bates, R. (2004). A critical analysis of evaluation practice: The Kirkpatrick model and the principle of beneficence. Evaluation and Program Planning, 341-347. Berge, Z. L. (2008). Why it is so hard to evaluate training in the workplace. Industrial and Commerical Training, 390-395. Bishop, B. (2010). The Almagated Proces for Evaluation (APE): The best of Kirkpatrick, Brinkerhoff, Dessinger & Moseley, and Phillips. Bozarth, J. (2008). From analysis to evalation: Tools, tips and techniques for trainers. San Francisco: Wiley & Sons. Braster, J. F. (2000). De kern van casestudy's. Assen: Van Gorcum. Brinkerhoff, R. O. (2006). Telling training's story. Evaluation made simple, credible and effective. San Francisco: Berrett-Koehler.

I

Buckley, R., & Caple, J. (2007). The Theory and Practice of Training. London: Kogan Page. Burke, L. A., & Hutchins, H. M. (2007). Training transfer: An integrative literature review. Human Resource Development, 263-296. Burssens, D. (2007). Hoe evident is evidence-based beleid? Alert, 52-63. Chang, Y.-H. E. (2010). An empirical study of Kirkpatrick's evaluation model in the hospital industry. Miami: Florida International University. Condrey, S. E. (2010). Handbook of human resource management in Government. San Francisco: Wiley & Sons. Cook, D. A. (2010). Twelve tips for evaluating education programs. Medical Teacher, 296-301. Dhamodharan, V., Daniel, J. C., & Ambuli, T. V. (2010). An empirical study on assessing trainees' expectations and their perceptions. International Business Research, 174-179. Dicicco-Bloom, B., & Crabtee, B. F. (2006). The qualitative research interview. Medical, 314-321. Dumelow, C., Littlejohns, P., & Griffiths, S. (2000). Relation between a career and family life for English hospital consultants: Qualitative, semistructured interview study. Fitz-enz, J. (2009). The ROI of human capital: measuring the economic value of employee performance. USA: Amacom Books. Giangreco, A., Carugati, A., & Sebastiano, A. (2008). Are we doing the right thing. Food for thought on training evaluation and its context. Personnel Review, 162-177. Gielen, H., & Indesteege, L. (2004). Rendement van leeractiviteiten. Effect- en ROI-meting van opleidingen. Leuven: Acco. Gomm, R., Hammersley, M., & Foster, P. (2000). Case study method. London: Sage. Griffin, R. P. (2010). Means and ends: effective training evaluation. Industrial and commercial training, 220-225. Guerci, M., Bartezzaghi, E., & Solari, L. (2010). Training evalation in Italian corporate universities: a stakeholder-based analysis. International Journal of Training and Development, 291-308. Hogan, R. L. (2007). The historical development of program evaluation: exploring the past and present. Journal of Workforce Education Development, 1-14.

II

Iqbal, M. Z., Maharvi, M. W., Malik, S. A., & Khan, M. M. (2011). An empirical analysis of the relationship between characteristics and formative evalation of training. International Business Research, 273-286. Kirkpatrick, D. L., & Kirkpatrick, J. D. (2008). Evaluating training programs: The four levels. San Francisco: Berrett-Koehler. Kvale, S. (1996). An introduction to qualitative research interviewing. London: Sage. Leopold, J., & Harris, L. (2009). The Strategic Managing of Human Resources. Harlow: Pearson Education. Liebermann, S., & Hoffman, S. (2008). The impact of practical relevance on training transfer: Evidence from a service quality training program for German bank clercks. International Journal of Training and development, 74-86. Martinez, M., Maldonado, C., & Lester, D. (2009). Measuring the effects of interpersonal training for the workforce. Online Journal of Workforce Education and Development, 1-14. Maso, I., & Smaling, A. (1998). Kwalitatief onderzoek: praktijk en theorie. Amsterdam: Boom. McDowall, A., & Saunders, M. N. (2010). UK managers’ conceptions of employee training and development. Journal of European Industrial Training, 609-630. Merriam, S. (2002). Qualitative research in practice. Examples for discussion and analysis. New York: Jossy-Bass. Michalski, G. V., & Cousins, J. B. (2000). Differences in stakeholder perceptions about training evaluation: A concept mapping/pattern matching investigation. Evaluation and Program Planning, 211-230. Nicholls, J., Lawlor, E., Neitzert, E., Goodspeed, T., & Cupitt, S. (2009a). A guide to Social Return on Investment. Scotland: Cabinet Office: Office of the third sector. Nicholls, J., Lawlor, E., Neitzert, E., Goodspeed, T., & Cupitt, S. (2009b). Social Return on Investment: An introduction. Scotland: Cabinet Office: Office of the third sector. Nielsen, K., Randall, R., & Christensen, K. B. (2010). Does training managers enhance the effects of implementing team-working? A longitudinal mixed methods fields study. The Travis Institute, 1719-1741. Niven, P. R. (2008). Balance scorecard step-by-step for government and non-profit agencies. New Jersey: Wiley & Sons.

III

Peters, V. (2001). Case-study. In H. Hüttner, K. Renckstorf, & F. Wester, Onderzoekstypen (pp. 586607). Alphen aan den Rijn: Kluwer. Phillips, J. J., & Phillips, P. P. (2007). Show me the money. How to determine ROI in people, projects and programs. California: Berrett-Koehler . Phillips, J. J., Stone, R. D., & Phillips, P. P. (2001). The Human Resources Scorecard. Measuring The Return on Investment. Boston: Buuterworth-Heinemann. Phillips, P. P. (2010). ASTD Handbook of measuring and evaluating training. Alexandria: ASTD Press. Pineda, P. (2010). Evaluation of training in organisations: a proposal for an integrated model. Journal of European Industrial Training, 673-693. Piraeus (2004). ROI European evaluation Model. Rajeev, P., Madan, M. S., & Jayarajan, K. (2009). Revisiting Kirkpatrick's model. An evaluation of an academix course. Current Science, 272-276. Robertson, A. (2010). Are you getting value for money from your tax dollars? Evaluation of training in Government Departments in New Zealand. New Zealand. Salas, E., Stagl, K. C., & Burke, S. (2004). 25 years of team effectiveness in organizations: Research themes and emerging needs. In C. Cooper, & I. Robertson, International Review of Industrial and Organizational Psychology (pp. 47-91). Chichester: Wiley & Sons. Schuyten, G. (2002). Modellen van empirisch onderzoek I. Gent: Ugent. Schuyten, G. (2004). Modellen van empirisch onderzoek II. Gent: Ugent. Smidt, A., Balandin, S., Sigafoos, J., & Reed, V. A. (2009). The Kirkpatrick model: A useful tool for evaluating training outcomes. Journal of Intellectual & Development Disability, 266-274. Sorensen, J. L., Lokkegaard, E., Johansen , M., Ringsted, C., Kreiner, S., & Mcaleer, S. (2009). The implementation and evaluation of a mandatory multi-professional obstetric skills training program. Acta Obstetricia et Gynecologica, 1107-1117. Steensma, H., & Groeneveld, K. (2010). Evaluating a training using the "four levels model". Journal of Workplace Learning, 319-331. Tansey, O. (2007). Process tracing and elite interviewing: A case for non-probability sampling. Political Sciences and Politics, 756-772.

IV

Vanderstraeten, A. (2010). Human resource management & performantie : een strategische kijk op medewerkers en organisatie. Brugge: Die Keure. Vaughn, S., Schumm, J., & Sinagub, J. (1996). Focus group interviews in education and psychology. California: Sage Publications. Velada, A., Caetano, A., Michel, J. W., Lyons, B. D., & Kavanagh, M. J. (2007). The effects of training design, individual characteristics and work environment on the transfer of learning. International Journal of Training and Development, 282-294. Wilson, D. (2004). Measuring and Proving the Value of Learning. Gloucestershire: Elearnity. Wilson, J. M., Goodman, P. S., & Cronin, M. A. (2007). Group Learning. Academy of Management Review, 1041–1059. Wolff, S. (2004). Analysis of documents and records. In U. Flick, E. von Kardorff, & I. Steinke, A companion to qualitative research (pp. 284-289). London: Sage. Yin, R. K. (2003). Case study: research design and methods. London: Sage.

V

BIJLAGEN Bijlage 1: Voorbeeld data-collection plan (Phillips, 2001, p. 59) Bijlage 2: Voorbeeld ROI-analysis plan (Phillips, 2001, p. 61) Bijlage 3: Voorbeeld SROI-impact map (Nicholls et al., 2009a, p.102) Bijlage 4: Combinatie planning ROI + SROI Bijlage 5: Aangepaste Impact map Bijlage 6: Overzicht geanalyseerde documenten Bijlage 7: Vragenlijst projectmedewerkers Bijlage 8: Analyseschema Bijlage 9: Extra onderzoeksresultaten

VI

Bijlage 1: Voorbeeld data-collection plan (Phillips et al., 2001, p. 59)

Level

Broad Program Objectives

Measures

Data Collection Method

Data Sources

Timing

Responsabilities

1

• Obtain a positive reaction to project and materials • Obtain input for suggestions for improvement • Identify planned actions • Knowledge of policy on sexual harassment • Knowledge of inappropriate and illegal behavior • Skills to investigate and discuss sexual harassment • Administer policy • Conduct meeting with employees to explain policy and issues • Ensure that the workplace is free of sexual harassment • Reduce internal complaints • Reduce external complaints • Reduce employee turnover

• Positive reactions and tips from supervisors

• Questionnaire

• Supervisors

• End of Implementation

• Project coordinator

• True/False statements • Skill practices

• Pre- and Posttest • Observation

• Supervisors • Supervisors

• Beginning of project and end of implementation • During session

• Meeting facilitator

• Completed meeting records

• Questionnaire • Company records • Employee survey (25% sample) • Performance monitoring • Quesstionnaire

• Supervisors • New supervisors and employees

• 6 months after program • 1 month after program • 6 months after program • Monthly for 1 year before and after program • 6 months after program

• Project evaluator • HRIS Staff • Employee communications

2

3

4

5

• Formal complaints filled with HR VP • Charged filed with EEOC • Monthly voluntary termination

• Company records • Supervisors

• Project evaluator

Target ROI: 25%

Bijlage 1

Bijlage 2: Voorbeeld ROI-analysis plan (Phillips et al., 2001, p. 61 ) Data items

Methods of Isolating the effects of the intervention

Formal internal complaints of sexual harassment

Trendline analysis Participant estimates

Methods of converting data

Historical costs with estimation from EEO/AA Staff (internal expert)

Cost categories

• • •

External complaints of sexual harassment

Trendline analysis Participant estimates

Historical costs with estimation from EEO/AA Staff (internal expert)

Employee voluntary turnover

Forecasting using percentage of turnover related to sexual harassment

External studies within industry

• • • • •

Initial analysis and assessment solution Solution development Coordination/facilit ation Client time for project Materials Food/refreshment Salaries and benefits for participants Evaluation and reporting

Intangible benefits

• • • • •

Job satisfaction Absenteeism Stress reduction Public image Recruiting

Communication targets

Other influences/issues

• • • •

• Several initiative to reduce turnover were implemented during this time period • Must not duplicate the benefits from both internal and external complaints

All employees (condensed info) Senior executives (summary report with detailed backup) • All supervisors and managers • (brief report) • HR/consulting staff (full report)

Bijlage 2

Bijlage 3: Voorbeeld SROI-impact map (Nicholls et al., 2009a, p. 102) STAGE 1 Stakeholders

Intended/unintended changes

STAGE 2 Inputs Description

Who do we have an effect on? Who has an effect on us?

What do you think will change for them?

Outputs Value £

What do they invest?

Description Summary of activity in numbers

How would you describe the change?

luncheon club:

the mild/therapeutic group exercise sessions made residents fitter, they had fewer falls and ended up in hospital less

– group activities (board games, craft, mild therapeutic exercise, info and awareness sessions)

the GP practise nurse group sessions helped residents manage their health and symptoms better and they were healthier residents made new friends and spent more time with others through the group activities residents had nutritious meals with 3 (out of) 5-a-day and they were healthier

residents use health services less elderly / disabled residents

time

£0

residents get out of the house more

local authority

Wheels-to-Meals volunteers (retired)

neighbours of elderly / disabled residents

TOTAL

residents provided with nutritious meal

meals on wheels contract (annual)

keep active

time (at min wage) 4 volunteers x 3 hrs x 5 days x 50 wks x £6 (forecast)

look out for neighbours

Time

The Outcomes

material outcomes for residents only (not for council). All outcomes for this stakeholder already considered above.

£24,375

– transport for 30 people healthier volunteers (retired)

£18,000

£0

– 7500 hot meals annually

reduction in neighbourly care/shopping and breakdown of informal community networks

£42,375

Bijlage 3

STAGE 3 The Outcomes (what changes) Indicator Source

Quantity

Duration

Financial proxy

Value £

Source

How would you measure it?

Where did you get the information from?

How much change was there?

How long does it last?

What proxy would you use to value the change?

What is the value of the change?

Where did you get the information from?

fewer falls and associated hospital admissions stays annually

oneoff research

7

1 year

accident & emergency

£94.00

NHS cost book 07/08

1 year

geriatric assessment book 07/08 inpatient geriatric continuing careInpatient (average 5 wks x 1,444) GP consultation

£4,964.00

1 year

fewer GP visits annually (appointments) and residents report improvement in physical health

questionaire and interviews

90

5 years

new clubs/group activities joined during year and residents report an increase in personal wellbeing/ feeling less isolated

questionaire

16

1 year

fewer District Nurse visits and residents reporting increased physical activity of 3 hours or more a week

questionaire

14

volunteers report increased physical activity of 3 hours or more a week since volunteering

volunteer annual assessment

fewer instances of neighbours shopping for residents annually

Oneoff survey

£7,220.00

£19.00

NHS cost book 2006

average annual membership /cost

£48.25

current average costs of bus trips, bingo and craft clubs

2 years

District Nurse visits

£34.00

NHS cost book 07/08

4

1 year

annual elderly residents swimming pass

£162.50

local authority

275

3 years

supermarketonline shopping delivery fee

- £5.00

www.tesco. co.uk

Bijlage 3

STAGE 4 Deadweight

Attribution

Drop Off

Impact

%

%

%

What would have happened without the activity?

Who else contibuted to the change?

Does the outcome drop off in future years?

Quantity times financial proxy, less deadweight, displacement and attribution

0%

5%

50%

£625.10 £33,010.60 £48,013.00

0%

10%

10%

£1,539.00

10%

35%

0%

£451.62

100%

0%

0%

£0.00

70% 5% Total

10% 0

35% 5%

£0.00 £175.50 £1,306.25 £82,508.57

STAGE 5 Calculating Social Return on Investment Discount rate (%)

Present Value Total Present Value Net Present Value Social Return £ per £

3,5 %

Year 1

Year 2

Year 3

Year 4

Year 5

£625.10

£0.00

£0.00

£0.00

£0.00

£33,010.60

£0.00

£0.00

£0.00

£0.00

£48,013.00

£0.00

£0.00

£0.00

£0.00

£1,539.00

£1,385.10

£1,246.59

£1,121.93

£1,009.74

£451.62

£0.00

£0.00

£0.00

£0.00

£0.00

£0.00

£0.00

£0.00

£0.00

£0.00

£0.00

£0.00

£0.00

£0.00

£175.50

£0.00

£0.00

£0.00

£0.00

-£1,306.25

-£1,240.94

-£1,178.89

£0.00

£0.00

£82,508.57 £79,718.43

£144.16 £134.58

£67.70 £61.06

£1,121.93 £977.70

£1,009.74 £850.17 £81,741.93 £39,366.93 £1.93: £1

Bijlage 3

Bijlage 4: Combinatie planning ROI + SROI

Niveau 0

Niveaus

Output

Outcomes

Indicators/Me asures

Data collection Method

Data sources

Timing

Responsabilities

Financial Proxy

Isolate effects

Niveau 1 Niveau 2 Niveau 3 Niveau 4 Niveau 5 Niveau 6 Niveau 7

Indicatoren: hier worden één of meer indicatoren ontwikkeld voor elke outcome. Het gaat hierbij om indicatoren die tijdens de evaluatie kunnen aangeven in welke mate de outcomes plaatsgevonden hebben en in welke mate, met welke hoeveelheid. Voor het identificeren van de juiste indicatoren, kunnen de stakeholders betrokken worden. Hierbij dient echter oog te zijn voor het feit dat deze indicatoren ook meetbaar moeten zijn.

Bijlage 4

Bijlage 5: Aangepaste Impact Map

Financiële Proxy

Value Change Outcome

Deadweight

Drop-off

Impact

SROI Jaar

1

2

3

4

5

Present Value Input Value SROI

Bijlage 5

BIJLAGE 6: Overzicht geanalyseerde documenten • Bestek van het project Hierin wordt de vraag vanuit het Agentschap zowel praktisch als organisatorisch zeer expliciet omschreven. Op basis van deze offerte besliste de Hogeschool Gent al dan niet in te gaan op de vraag om aan dit project vorm te geven. Enkele zaken die hierin gespecifieerd worden: -

Situering van de vraag Doelstellingen van het project De doelgroep Omschrijving van de opdracht (de drie luiken) Aantal deelnemers aan de training (per instelling of per campus) Aantal trainingsuren Beoordelingscriteria voor trainer/supervisor/consultant Etc.

• Portfolio van het project Na akkoord om op de vraag van het Agentschap in te gaan, werd door het Departement SociaalAgogisch werk een portfolio ingediend. Hierin wordt concreet invulling gegeven aan de drie luiken, wordt de planning uiteengezet, informatie verschaft inzake de trainer/supervisor/consultant, etc. • Offerte van het project Bij het portfolio stak eveneens een offerte die de kosten van het project in kaart brengt. • Draft-voorstel Hierin wordt het evaluatieluik verduidelijkt, alsook de planning van de evaluatie en de gebruikte methoden. • Onderzoeksmateriaal Onder dit onderzoeksmateriaal vallen enerzijds de vragenlijsten en testen die in het kader van de evaluatie afgenomen werden. Daarnaast werden ook de resultaten van de evaluatie, opgenomen en gestructureerd in Excell-bestanden, geanalyseerd. • Verslagen van interne overlegmomenten Van de verschillende overlegmomenten tussen de projectmedewerkers onderling. Het gaat hierbij om gesprekken ter voorbereiding van het gehele project, maar ook om gesprekken doorheen het traject. • Verslagen van stuurgroep vergaderingen Ook de verslagen van de stuurgroep werden doorgenomen. Hierin komen zaken aan bod zoals het verloop van het project, mogelijke knelpunten en ondersteuningsvragen, de verdere planning en taakverdeling inzake de drie luiken en de studiedag, etc. Ook worden de resultaten uit de evaluatie hierin besproken. Deze verslagen geven een mooi beeld van de vooruitgang en het verloop van het proces. •

Presentaties

Bijlage 6

Ook de presentaties, die door de projectmedewerkers gegeven werden aan de stuurgroep, alsook deze van de studiedag en workshop werden bestudeerd. In deze presentaties worden ook de onderzoeksresultaten besproken en geïnterpreteerd. • Folders Het gaat hier om de folders ter aankondiging van de vorming en supervisie, alsook van de studiedag. • Theoretische – en achtergrondinformatie inzake handelingsplannen Het gaat hier om enkele documenten, geschreven door de bevraagde projectmedewerkers, rond het werken met handelingsplannen in Gemeenschapsinstellingen en het aansturen van teams.

Bijlage 6

BIJLAGE 7: Interview Projectmedewerkers

Vragen interview Claudia Claeys en Stijn Vandevelde (projectmedewerkers en verantwoordelijken evaluatie) •

Algemeen - Vanwaar kwam de vraag naar deze vorming en supervisie? - Wie draagt/droeg de kosten hiervan? - Is er een analyse gebeurd van het probleem of van de vraag waartoe de vorming en supervisie aanleiding gaf? (door bevraging van de stakeholders: bv. opvoeders, leidinggevenden, de jongeren zelf, etc.) - Is deze vorming de juiste oplossing geweest voor de aanpak van het probleem? - Met wat je nu weet: zou je iets veranderen aan het gehele traject? - Was er ondersteuning vanuit de gemeenschapsinstellingen? (onder meer door leidinggevenden) - Uit was bestond de vorming? (dit was maar 1 dag?) - Uit wat bestaat de supervisie precies? • Stakeholderanalyse - Hoe zijn de verschillende betrokkenen in kaart gebracht? - Zijn alle stakeholders betrokken in het vormings-en supervisietraject? • Verwachtingen - Wat was het doel van het bevragen van de verwachtingen van de deelnemers. - Zijn enkel de deelnemers van de vorming bevraagd? Of nog andere betrokken actoren? (bv. de initiatiefnemer) - Wat is er concreet met de resultaten van de bevraging omtrent de verwachtingen gebeurd? • Doelen - Wat was het vooropgestelde doel van de vorming en de supervisie? o Is dit volgens jullie geslaagd? - Wat was het vooropgestelde doel van de evaluatie? o Is dit volgens jullie geslaagd? • Planning en pre-test - Op welke wijze is de vorming gepland? (Inhoud, planning, vorm, didactisch materiaal, tijdstippen, verantwoordelijkheden) etc.) - Op welke wijze is de evaluatie gepland? - Hoe kreeg de definieer- en ontwikkelfase concreet vorm? - Is er een communicatieplan opgesteld? - Zijn er reeds resultaten gecommuniceerd? Zoja, hoe en aan welke actoren? - Is er een pre-test afgenomen mbt tot de kennis? • Evaluatie - Op welke wijze zijn de proto-types getest , geëvalueerd en aangepast? - Maken de supervisie en consultluik reeds deel uit van de evaluatie van de vorming? - Met betrekking tot de evaluatie van het vormings- en supervisietraject staat er: o Vragenlijst met betrekking tot de vorming en supervisie: 2 maal invullen o Vragenlijst met betrekking tot de inhoud van de vorming : voor/na /einde supervisie

Bijlage 7

-

-

Wanneer was dit precies voor beide vragenlijsten? Werden de vragenlijsten (zowel met de likertschaal als de diepte-interviews) enkel gebaseerd op de leidraden in het onderzoeksproject inzake preventie van gedragsproblemen? Is deze vragenlijst besproken met de stuurgroep? Wat is met de resultaten gebeurd? (heeft dit geleid tot aanpassing aan de training? Vb. de tevredenheidsvragenlijst) o Procesevaluatie op basis van diepte-interviews: o Wanneer zijn deze doorgegaan? o Wat is gebeurd met de evaluatie die hieruit kwam? o Wat waren de vragen?!!

-

Productevaluatie: als ik me niet vergis is dit het enige evaluatie-aspect dat nog nog is niet gebeurd? - Het consultluik: o Is dit reeds uitgevoerd? o Wat is het doel van dit luik? - Is er een prijsofferte opgesteld voor de evaluatie? • Communicatie - Buiten de terugkoppeling naar de stuurgroep, was er naar de deelnemers toe enkel communicatie over de resultaten op die studiedag of ook op een ander moment. - Waren alle mensen/deelnemers op die studiedag aanwezig? - Is ooit beloofd geweest aan de deelnemers dat ze de resultaten zouden te zien krijgen? • Return on Investment - Hadden jullie hier ooit al over gehoord? - Vinden jullie dit een interessante methode om effecten van een training of vorming na te gaan? Vinden jullie dit een meerwaarde? - Zouden jullie dit naar de toekomst toe opnemen in de evaluatieplanning (bij het opzetten van andere vormingen?) Vragen Steven Brandt (vormingsmedewerker/trainer) • Vorming - Hoe is de vorming tot stand gekomen? - Werd het software-programma rond DOMINO reeds aangeleerd in de vorming? - Werden tijdens de vorming zelf ook al oefeningen gegeven? Zoja, hoe werd de uitkomst of het resultaat van die oefeningen dan bekeken/gecontroleerd? • Bevraging verwachtingen - Zijn de personen die zouden deelnemers bevraagd, inzake hun verwachtingen - Zoja, wanneer was dat? - Zoja, heb je daar iets uitgehaald naar de inhoud en ontwerp van de vorming toe? - Is dit besproken met de stuurgroep? • Doelen - Wat was het doel van de vorming? - Was dit denkt u duidelijk voor de betrokkenen? Dit reeds voor de vorming startte? Heeft de vorming bijgedragen tot het bereiken van het vooropgestelde doel? Waren de deelnemers gemotiveerd?

Bijlage 7

• Evaluatie - Heeft u iets met de evaluatie te maken gehad? - Enkele praktische zaken rond het invullen van de kennistest: o Kreeg iedereen dezelfde hoeveelheid tijd om in te vullen (als je het vergelijkt tussen de verschillende teams)? o Was jij aanwezig bij het invullen van die test? Werd er tijdens het invullen met elkaar gesproken (tussen de deelnemers onderling )? o Konden zij u vragen stellen tijdens het invullen van de test? • Return on Investment - Heb je hier ooit over gehoord? - Vinden jullie dit een interessante methode om effecten van een training of vorming na te gaan? Vinden jullie dit een meerwaarde? - Zouden jullie dit naar de toekomst toe opnemen in de evaluatieplanning (bij het opzetten van andere vormingen?)

Vragen Chris Vandam (supervisor) • Supervisie - Hoe is de supervisie(de inhoud, het ontwerp, etc.) tot stand gekomen? - Werden hier bepaalde personen bij betrokken? - Werd hiervoor nagegaan wat de noden waren van de verschillende stakeholders alvorens de vorming aanving? - Uit wat bestond de supervisie precies? - Tijdens de supervisie werden casussen gegeven waarbij het DOMINO-programma werd ingeoefend? o Maakten jullie die casussen allen samen? Of moesten zij dit soms ook alleen inoefenen? o Zoja, hoe werd de uitkomst hiervan dan gecontroleerd (door jou)? • Doelen - Wat was het doel van de supervisie? - Is dit doel of zijn deze doelen met de betrokkenen besproken geweest? o Waren ze bv. duidelijk voor de deelnemers van de vorming? - Was deze supervisie een juiste oplossing voor de aanpak van het ‘probleem’? - Met wat je nu weet, zou je iets veranderen? - Waren de deelnemers van de supervisie gemotiveerd? • Evaluatie - Heeft u iets met de evaluatie te maken gehad? • Return on Investment - Heb je hier ooit over gehoord? - Vinden jullie dit een interessante methode om effecten van een training of vorming na te gaan? Vinden jullie dit een meerwaarde? - Zouden jullie dit naar de toekomst toe opnemen in de evaluatieplanning (bij het opzetten van andere vormingen?

Bijlage 7

BIJLAGE 8: ANALYSESCHEMA Evaluatieniveaus Niveau 0: Input Wat

Hoe

Wanneer

Waartoe

Input en indicatoren: • Aantal mensen • Aantal uren • Kostensoorten • Etc.

(Prijs)Offerte Bestek

Voor aanvang van de vorming en evaluatie

Zicht op hoeveel investering nodig is. Alle kosten in kaart brengen Kosten doorheen proces voor ogen houden.

Van de training èn van de evaluatie

Niveau 1: Reactie en tevredenheid Wat Algemeen (Phillips /Pineda) • Relevantie van het programma • Juiste vooropgestelde doelen • Aansluiting bij noden en de verwachtingen? • Duidelijkheid • Plannen en schema’s • Vooruitgang

Hoe Vragenlijst (Phillips/Pineda) • Soorten vragen: open, checklist, twoway, MC, ranking scales • Voorwaarden: 1. Bepaal de nodige informatie en topics 2. Selecteer het type vragen: open vragen,

Wie Alle stakeholders • Deelnemer • Cliënt • Teamleider • Teamleden • Interne klanten

Wanneer Zo snel mogelijk => feedback (Phillips)

Waartoe Nagaan sterktes en zwaktes

Maar ook na training (Sörensen)

Formuleren normen en standaarden Bijsturen planning

Bijlage 8

• • • • • • • • •

Ondersteuning van de training Coördinatie van de training Communicatie rond de training Motivatie van de deelnemers Medewerking van de deelnemers Integratie van de training in organisatie Barrières voor succes Succesbevorderende elementen Suggesties voor verbetering

Pedagogische coherentie (Iqbal et al./Pineda) • Kwaliteit van de inhoud • Evenwicht theorie en praktijk • Kwaliteit methoden en technieken • Kwaliteit pedagogische bronnen • De trainer: kennis en pedagogische/communicatieve vaardigheden, groepsmanagement • Groepssfeer en participatieniveau • Transfer naar de praktijk

checklist, twoway vragen, MC, … 3. Stel de vragen op 4. Test de vragen 5. Een data-summary 6. Stel de uiteindelijke vragenlijst op Survey • Soorten: Ja/nee, Akkoord/niet akkoord • Voorwaarden - Cf. Vragenlijst - Betrek het management - Hou het simpel - Anonimiteit - Communiceer het doel van de survey - Vergelijk data met verwachtingen, data voor en na programma of data andere groep - Duidelijke tabel

Evaluatie trainer Evaluatie geplande verbeteringen linken met follow-up data Aansturen toekomstige programma’s Bijsturen en optimalisering

Interviews (met deenemers en trainer) (Phillips/Pineda) • Soorten - Gestructureerd (Cf. vragenlijst) - Ongestructureerd (algemene vragen + extra doorheen interview) - Semi-gestructureerd

Bijlage 8

Niveau 2: Leren Wat

Hoe

In welke mate heeft leren (kennis en vaardigheden) plaatsgevonden.

Pre- en posttest

Wat precies: hangt af van de doel en inhoud van de training.

Formele Testen • Medium - Geschreven test - PC test - Performantie test - Simulatie - Interactieve video’s • Doel en inhoud - Aptitude test: vaardigheden of capaciteit nodig om een job te leren - Achievement test: kennis of competentie m.b.t. tot een specifiek onderwerp • Design - Objective tests - Norm-referenced tests - Criterion-referenced test - Essay tests - Oral examination - Performance test

Wie Deelnemers Trainer

Wanneer

Waartoe

Tijdens (Phillips), maar ook na training (Sörensen)

Rapporteren resultaten • Direct/later => Belangrijk dit op te nemen in evaluatieplan. • Vermijd dat je scores beloofd en dat ze niet gerapporteerd worden.

Doelen • Voorzien individuele feedback • Verzekeren opname kennis • Optimaliseren training • Evaluatie van HR STAFF en trainers. Bijsturen en optimalisering

Bijlage 8

Informele test • Oefeningen en activiteiten tijdens de training • Bespreking oplossing in de groep => laat trainer toe individuele- en groepsvooruitgang op te volgend tijdend training Self-assessment (Pineda) • Inschatting van deelnemers door zichzelf • Voorwaarden - Anoniem - Doel moet duidelijk zijn - Negatieve zelfevaluatie voorzien van verklaring Evaluatie door HR staf (Pineda) • Subjectief • Checklist • Ook op hogere niveaus Voorwaarden • Cf. Survey en vragenlijst (niveau 1) • Consistentie • •

Monitoring Scoring

Bijlage 8

Niveau 3: Toepassing en implementatie Wat

Hoe

Wie

Wanneer

Waartoe

5 outcomes (Birdi)

Vragenlijsten en survey

Alle keystakeholders

Kan variëren

• Affectief • Cognitief • Gedrag • Fysisch • Instrumenteel

Interviews

Vooral bel:diegene die betrokken zijn in de werkelijke toepassing en implementatie

Moment waarop verandering plaatsvindt + vroeg genoeg om nog bijsturingen te doen.

Cruciale stap om tot succes van het programma te komen.

Focusgroepen Observatie (Pineda) Specifieke methoden • Actieplannen • follow-up taken • Performantiecontracten

Richtperiode: 4 tot 6 maand na afronding.

Bijsturen en optimalisering Om na te gaan of de training ook tot gewenste veranderingen heeft geleid.

Observatie (Pineda) Zelf-evaluatie (Pineda, 2010) • Deelnemer • trainer

Bijlage 8

Niveau 4: Team-impact Wat 4 outcomes (Birdi) • • • •

Affectief Cognitief Gedrag Instrumenteel

Hoe Survey

Wie Alle teamleden

Vragenlijst

Ondersteuners

Interview

Leiddinggevenden

Wanneer Na training + blijvende follow-up

Focusgroepen

Waartoe Nagaan (gewenste) effecten op team niveau (als belangrijke samenwerkingsvorm) Bijsturingen optimalisering

en

Berekening SROI

Niveau 5: Organisatie-impact Wat

Hoe

Wie

Wanneer

Waartoe

Harde en zachte data (Phillips) Hard Output Kwaliteit Kost Tijd Zacht Werkgewoonten Werktevredenheid Attitudeverandering

Gebruik van huidige data en metingen

Data

Na training

Nagaan (gewenste) effecten op organisatie, als entiteit.

Estimates, vragenlijst, etc: alle stakeholders

+ blijvende follow-up

Opzetten nieuwe metingen Estimates

Bijsturen en optimalisering Berekening SROI

Actieplannen Vragenlijsten Bijlage 8

Klantendienst Personeelsontwikkeling Focusgroepen Initiatief/innovatie In SROI alles wordt omgezet in financiële data (Nicholls) 4 outcomes (Birdi) Financieel Outputs Processen Resources

Niveau 6: Maatschappelijke impact Wat 5 outcomes (Birdi) Economisch Gezondheid Educationeel Recht en orde Omgeving/milieu

Hoe

Wie

Wanneer

Waartoe

Opiniepeiling

Betrokken maatschappelijke groepen/organisaties/ Instituties/etc.

Na training

Nagaan (gewenste) effecten op maatschappelijke niveau

Observatie

+ blijvende follow up Bijsturen en optimaliseren

Enquêtes Berekening SROI Gebruik bestaande data en huidige metingen

Bijlage 8

Niveau 7: SROI Wat

Hoe

SROI ratio = Present Value Value of Inputs

1. 2. • • • •

Omzetten in financiële proxies Isoleren van trainingseffecten (Phillips) Controlegroepen - Trendlijn analyse- Forecasting methoden Inschatting door deelnemers - Inschatting door supervisoren Inschatting door managers - Input door klanten - Expert inschatting Subordinatie input - Berekenen impact andere factoren Deadweight en Drop-off (Nicholls)

3. • • •

Berekenen impact De financiële proxy * de kwantiteit van outcome = de totale waarde Totale waard - % deadweight = de waarde van de outcome Som van de waarde van alle outcomes = de algemene impact/effect van de training

Wanneer

Waartoe

Elk jaar

Welke return (sociaal én economisch) Bestendiging SROI

4. Berekenen net present value 5. Berekenen kosten • Niveau 0 • Kostensoorten 6. Berekenen SROI

Bijlage 8

Het SROI - Proces Voor de analyse van de resultaten op basis van het SROI-proces, baseerden we ons grotendeels op het reeds uitgebreid omschreven proces in het theoretisch luik (Cf. ‘Deel I’). Op aanraden van Bram Doolaege werd echter nog de eerste stap1 waarin de analyse plaatsvind, gespecifieerd.

Stap 1: Analyse

Stakeholdersanalyse (Desmidt & Heene, 2010) Een stakeholderanalyse is een hulpmiddel om systematisch de verschillende actoren uit de omgeving in kaart te brengen. De analyse bevat een overzicht van alle actoren en achtergrondinformatie over hun betrokkenheid en de positie die zij innemen. Onderscheid tussen: - interne en externe stakeholders - beïnvloedende en beïnvloede stakeholders - vrijwillige en onvrijwillige stakeholders Belangrijk inzicht te krijgen in volgende vragen: - Welke actoren zijn direct en indirect betrokken? - Waarom zijn de actoren betrokken? - Hoe staan de actoren tegenover het project? - Welke (formele) rol hebben de actoren/kunnen de actoren hebben? - Bij welke netwerken zijn de actoren betrokken? - Hoe sterk is de positie van de actoren? Modellen: - Wheeler en Sillanpää Sociaal

Niet-sociaal

Primair Secundair -

Macht

Macht/Interesse-matrix Mendelow

Laag Hoog

Interesse Laag Minimale inspanning Hou tevreden

Hoog Hou op de hoogte Sleutelspelers

Nodenanalyse (McGrawn-Hill, 2005) Onderscheid tussen: - Needs of Learning Organization - Team/Departemental Learning Needs - Occupational Learning Needs

Bijlage 8

-

Personal Learning Needs

Fasen in detecteren en inventariseren: 1. -

Verzamel informatie (formeel of informeel/ Van alle keystakeholders) Vragenlijsten Interviews Focusgroepen Observaties Bestaande data Etc.

2.

Analyseer data Analyseer Interpreteer Trek conclusies voor training Best dat dit door onafhankelijke gebeurt.

3. Zet trainingsplan op waarin noden opgenomen zijn. Verschillende soorten: - Performance analysis or gap analysis - Feasibility analysis - Needs versus wants analysis - Goal analysis - Job/task analysis - Target population analysis - Contextual analysis

Faciliterende voorwaarden Checklist van faciliterende voorwaarden: - De aanwezigheid van een evaluatiecultuur (Pirraeus, 2004) - Het creëren van een organisatorisch klimaat dat de dat de implementatie en evaluatie ondersteund (Pirraeus, 2004) - Een oriëntatie naar organisatorische verandering en de betrokkenheid van management en leidinggevende figuren in het proces (Pirraeus, 2004) - Ondersteuning en betrokkenheid van het management en de organisatie (Burke & Hutchins, in Nielsen et al., 2009; Martinez, 2009). - Motivatie van de deelnemers (Aziz & Ahmad, 2011) - Commitee (Kirkpatrick & Kirkpatrick, 2008) - Van belang rekening te houden met het feit dat het bij een training vaak gaat om management van verandering (Devos, 2009) Hoe na te gaan: - Vragenlijsten - Interviews - Focusgroepen - Observaties

Bijlage 8

BIJLAGE 9: Extra onderzoeksresultaten Niveau 0 Hierbij werd algemeen onderscheid gemaakt tussen volgende kosten:

Omschrijving

Prijs/dagdeel

Aantal Dagdelen

Totale prijs

Vormingsactiviteiten Voorbereiding-en ontwikkeltijd Intern overleg Vorming Supervisies Consult Werkingsmiddelen Verplaatsingskosten (forfaitair Algemene administratiekosten Expertisekost Vakgroep Orthopedagogiek Cursusmateriaal Subtotaal Centrale beheerskosten Algemene exploitatiekosten

Totaal (excl. BTW van 21%)

Niveau 1 Hieronder worden de vragen uit de survey en vragenlijst voor zowel de vorming als de supervisie geordend volgens de thema’s die volgens Phillips (2001) en Pineda (2010) van toepassing zijn op niveau 1.

Vorming Survey

Bijlage 9

In de survey werd gepeild naar volgende elementen, met name:

Algemeen:

Communicatie: -

Ik werd op voorhand goed geïnformeerd over de bedoelingen van het leertraject

-

De bedoelingen van het leertraject werden duidelijk geformuleerd tijdens de eerste supervisie

Sluit de vorming aan bij de noden en de verwachtingen: -

Het vormingsmoment voldeed aan mijn verwachtingen

Duidelijkheid: -

Ik heb meer inzicht gekregen in de doelstelling en het verloop van het leertraject

Coördinatie: -

Ik ben tevreden over de praktische organisatie van de vormingsdag

(Pedagogische) relevantie (Phillips, Pineda en Iqbal):

Kwaliteit van de inhoud: -

Het vormingsmoment heeft me veel bruikbare kennis opgeleverd

-

Ik heb het gevoel dat mijn deskundigheid m.b.t. de thematiek verhoogd is door deze vormingsdag

-

Tijdens het vormingsmoment was er een goed evenwicht tussen theoretische kennis en meer praktische toepassingen.

Wat van het geleerde kan toegepast worden op de werkvloer / integratie van training binnen de organisatie: -

Ik heb het gevoel dat ik de opgedane kennis zal kunnen gebruiken in mijn werkpraktijk

-

Ik acht het haalbaar/mogelijk om de kennis die ik heb gekregen door te geven binnen mijn eigen voorziening/dienst

Aansluitend bij de pedagogische relevantie/aangepastheid, werd ook gepeild naar de rol van de vormingswerker: -

Ik ben tevreden over de rol van de vormingswerker tijdens het vormingsmoment

-

Er was ruimte en aandacht voor mijn vragen of opmerkingen

Verder werd echter niet specifiek gepeild naar de pedagogische vaardigheden van de trainer. Daarnaast zijn er nog enkele van de vragen uit de survey, die we niet terugvinden onder de opsomming in het analyseschema, dit ten gevolge van de specifieke vraag omtrent en inhoud van de vorming: -

De manier van werken past goed bij de vraagstelling van het project

Bijlage 9

-

Ik vind het zinvol/belangrijk om kennis uit te wisselen met collega’s

VRAGENLIJST Aanvullend op de survey, werden ook enkele open vragen gesteld. Hierbij wordt gepeild naar onder meer: De succesversterkende elementen: -

Wat zou je zeker behouden aan het vormingsmoment

Grenzen ten aanzien van het succes: -

Wat zou je eventueel veranderen aan het vormingsmoment

Alsook werd gevraagd naar eventuele suggesties en opmerkingen. Tot slot bestond ook de mogelijkheid om vrij iets te zeggen, een element dat ook Phillips (2001) aanduidt als een noodzakelijk element in een vragenlijst die peilt naar de reactie en tevredenheid.

Vorming en supervisie Survey

Algemeen

Aangepastheid Schema (Pineda 2010): -

Ik ben tevreden over de spreiding en de duur van supervisie

Noden en verwachtingen: -

Het supervisietraject voldeed aan mijn verwachtingen

-

Dit leertraject sluit goed aan bij de noden vanuit de dienst waar ik werk

Groepssfeer: -

Tijdens de intervisiemomenten was er voldoende veiligheid in de groep

Communicatie: -

Het was me vooraf duidelijk wat er van me verwacht werd m.b.t. het actief meewerken tijdens de vormingen supervisiemom.

De vooruitgang: -

Het leertraject heeft invloed gehad op de organisatie van cliëntbespreking en/of klassenraden

-

Het leertraject heeft invloed gehad op de duur van de cliëntbesprekingen en/of klassenraden

-

Het leertraject heeft invloed gehad op een meer evenwichtige verdeling van de verschillende casussen op cliëntbespreking en/of klassenraden

Bijlage 9

(Pedagogische) relevantie

Relevantie: -

De vorming en supervisie sluiten goed aan bij de manier waarop nu gewerkt wordt via DOMINO

Kwaliteit van de inhoud: -

Ik heb het gevoel dat mijn deskundigheid m.b.t. de thematiek verhoogd is door dit supervisietraject

-

Het supervisietraject heeft me veel bruikbare kennis opgeleverd

-

Tijdens de supervisiemomenten werd er voldoende aandacht besteed aan concrete casussen uit mijn praktijk

-

De vorming en supervisie leverenden bruikbare handvatten om doelstellingen, werkpunten en acties te ondernemen.

De rol van de trainer: -

Ik ben tevreden over de rol van de supervisor tijdens het supervisieproces

-

Het werken met twee lesgevers (één iemand voor de vorming en één iemand voor de supervisie) was verrijkend

Vragenlijst In deze tweede vragenlijst werden dezelfde vragen gesteld als deze met betrekking tot de vorming an sich.

Niveau 2 leren Formele test • Geef 6 aspecten van een goed werkpunt • Wat is een uitstroomperspectief ? • Wat is het verschil tussen werkpunten en acties ? • Werkpunt: ‘Let op je tafelmanieren, begin pas te eten als iedereen zit’

Informele test: Vorming Volgende opdrachten werden gegeven tijdens de vorming en vervolgens in groep besproken.

Bijlage 9

• Het opmaken van een eenvoudig handelingsplan op basis van de algemene doelstelling: "de jongere is voorbereid op zelfstandig wonen". Vanuit een eerder belachelijk voorbeeld als contrast maakten ze een invulling op basis van een bestaande jongere in hun leefgroep. • Het herschrijven van de werkpunten uit de eerste oefening op een handelingsplan van het ander team na tips • Het bekijken van de werkpunten volgens de kwaliteitseisen uit domino en het opnieuw aanpassen van de werkpunten op basis van die criteria en discussie hierover. • Het opmaken van een doelboomanalyse op basis van elementen uit een eigen gemaakt handelingsplan.

Niveau 3 Procesevaluatie De procesevaluatie kreeg vorm op basis van diepte-interviews met 17 personen. Volgende vragen werden hierbij gesteld. •

•

Vragen met betrekking tot de stand van zaken na de vorming -

Kan je iets meer vertellen over hoe nu gewerkt wordt met handelingsplannen?

-

Vanuit welk theoretisch kader wordt nu gewerkt?

-

Welke sterke punten/moeilijkheden haal je hier voor jou uit?

-

Hoe werken jullie nu met doelstellingen-acties-werkpunten?

Vragen met betrekking tot de implicaties van het leertraject voor de eigen praktijk -

Op welke manier heeft dit project een plaats gekregen in je eigen handelen

-

Heeft het project ook reeds een plaats gekregen binnen de afdeling waar je werkt?

-

Hoe zouden jullie de inhoud van het project willen implementeren in jullie dienst? Wat gaan jullie met deze informatie doen? Is er reeds een concrete planning, actiepunten, beleidsvoering?

-

Biedt de vorming voldoende houvast voor het formuleren en opvolgen van doelstellingen?

-

Of hadden jullie iets anders verwacht (vb. vragenlijsten, instrumenten, andere zaken…)

-

Kunnen jullie voorbeelden geven waarin je zaken zal gaan gebruiken in je werk? Op welke terreinen uit zich dit vooral?

Bijlage 9

-

Je hebt veel informatie gekregen. Sloot dut aan bij wat je al wist over het thema? Zoja, in welke zin? Waar vond je aansluiting? Zonee, was dit voor jullie volledig nieuw?

-

Levert dit leertraject iets op? Is het zinvol op deze manier (1 vorming en 4 supervisiemomenten)? Welke aspecten moeten we veranderen?

-

Heeft dit taject implicaties naar het gebruik van DOMINO?

-

Etc.

Productevaluatie De criteria op basis waarvan de geselecteerde handelingsplannen (pre en post) bestudeerd en vergeleken worden, kunnen we onderverdelen in technische en intrinsieke criteria. • Technische criteria -

De doelstelling beschrijft een resultaat (duidelijk, oberserveerbaar)

-

Er wordt een actie aangegeven

-

Evaluatiecriteria zijn aangegeven (meetbaar)

-

Betrokkenen worden in de planning vermeld

• Intrinsieke criteria -

Er is een relatie tussen beeldvorming, ondersteuningsbehoefte en de geformuleerde doelstellingen (nastreefbaar)

-

Er is een verband tussen de verschillende doelstellingen

-

Wanneer meer dan één doelstelling is, wordt d opeenvolging geëxpliciteerd

Stap 1: Analyse

Officiële bevraging verwachtingen (eerste supervisie) Tijdens de officiële bevraging van de verwachtingen werden volgende hoofdvragen gesteld: •

Hoe belangrijk is het werken met doelstellingen voor je dagelijkse praktijk? Hoe en wanneer gebruik je doelstellingen?

•

In hoeverre geven algemene doelstellingen of uitstroomperspectief een realistisch beeld van de jongeren? Wat is hierin bepalend volgens jou?

Bijlage 9

•

Noteer hieronder twee doelstellingen: een doelstelling uit een handelingsplan waarvan jij vindt dat die makkelijk hanteerbaar is voor jouw functie en een andere die je minder hanteerbaar vindt.

Resultaten officiële bevraging verwachtingen

• Grote verscheidenheid tussen de verschillende groepen en voorzieningen -

Gemotiveerdheid, veranderbaarheid, wil om te leren, flexibiliteit

-

Kennis en achtergrond

-

Kijk op eigen job

• Vaststellingen -

Moeilijkheden in het omzetten van beleid naar praktijk (vraag naar een stappenplan,concrete methodieken)

-

Moeilijkheden in het vertalen “theorie van HP” naar de praktijk

-

Veel weerstand tegen Domino (zeker in het begin)

• Belang van aanwezigheid van coördinatoren en hun rol in het supervisieproces • Doelstellingen en visie soms te weinig geëxpliciteerd • Vraag naar meer sturing, concrete jobinvulling

Stap 2: Doelen Doelen van de training: doelen op de evaluatieniveaus

Niveau 1: reactie en tevredenheid Het eerste niveau was voor de projectmedewerkers zeer belangrijk. Dit niveau schuift de tevredenheid van de deelnemers over de vorming en de supervisie als doel sterk naar voor. Op deze manier trachten ze ook de weerstand in zekere mate te beperken.

Niveau 2: leren (kennis en vaardigheden) Het vormingsluik had tot doel de verschillende teams kennis bij te brengen inzake begrippen en concepten rond handelingsplanning. Een volgend doel was meer overeenstemming te krijgen in de manier waarop men omgaat met het formuleren van verschillende zaken in handelingsplannen. Het overbrengen van kennis aan de deelnemers was dus duidelijk het doel van de vorming.

Bijlage 9

Niveau 3: Toepassing en implementatie De supervisie was gericht op het verder inoefenen van deze begrippen en concepten, dit aan de hand van casussen die besproken en behandeld werden tijdens de supervisiemomenten. Doordat de supervisie gespreid was over een langere periode, namelijk vier maanden, liet de supervisie ook toe de reeds aanwezige toepassing en implementatie in de dagelijkse praktijk op te volgen en hierop in de supervisies verder in te spelen.

Niveau 4: Team-impact Men wou zowel op het individueel- als het teamniveau overeenstemming bereiken inzake de concepten en begrippen in handelingsplanning. Het team komt hierbij naar voor als een samenwerkingsvorm waarin overeenstemming, afstemming en communicatie van groot belang is. In de vorming en supervisie werd met het middenkader ook gewerkt rond het coachen en begeleiden van teams

in het werken van handelingsplannen. Maar zoals in het vorige deel omtrent

evaluatieniveaus al naar voor kwam, was er geen evaluatie op dit niveau.

Niveau 5: organisatie-impact De overeenstemming tussen de personeelsleden van de eigen voorziening of organisatie diende op zijn beurt de samenwerking en communicatie met andere hulpverlenende instanties te vergemakkelijken. Er zou immers voldoende door de transparantie zijn. Hierbij zien we de organisatie als entiteit naar voor komen. Ook op dit niveau vinden we geen evaluatie.

Niveau 6: maatschappelijke impact De doelstellingen, werkpunten en acties binnen de handelingsplannen volgens DOMINO, moeten uiteindelijk de jongeren in de gemeenschapsinstellingen tegemoet komen. Daar draait het uiteindelijk allemaal om. De projectmedewerkers formuleren dit in termen van het verhogen van de Quality Of Life van deze jongeren. Ook hier is wederom geen sprake van enige evaluatie, waarbij de jongeren als interne klant (zoals Phillips (2001) het omschrijft) afwezige stakeholders blijken te zijn, dit doorheen het gehele traject.

Bijlage 9

Stap 3: Plannen en Pre-testing Plannen

Schema planning vorming en supervisie (2009) Sessie 1

Sessie 2 en 3

Sessie 4

Sessie 5

Mol-De Markt

Begin september

Begin oktober

November

December

Mol-De Hutten

Begin april

Begin mei

Begin juni

Eind september

Beernem

Eind maart

Eind april/begin mei

Begin juni

Eind september

Everberg

Begin september

Begin oktober

November

December

Ruiselede

Begin april

Begin mei

Begin juni

Eind september

Schema Planning evaluatie Hieronder vindt u een schema waarin zowel de evaluatie-elementen, alsook de vormingen supervisiemomenten opgenomen zijn.

Maanden

sept/okt

nov/dec

jan/feb

ma/apr

mei/jun

jul/sept

Bevraging verwachting van de deelnemers Start supervisietraject Evaluatie vormings- en supervisietraject – vorming an sich

Bijlage 9

Afname na de vorming en na de laatste supervisie Evaluatie vormings- en supervisietraject – inhoud van de vorming Eerste en tweede afname

Derde afname

Procesevaluatie diepte-interviews Gedurende het traject/diverse actoren Productevaluatie Pre

Post

De SROI-planning Niveau 0

Niveaus

Out-put Out-comes

Indicators/M easures

Data collection Method

Data sourc es

Timing

Responsabilities

Financial Proxy

Isolate effects

Niveau 1 Niveau 2 Niveau 3 Niveau 4 Niveau 5 Niveau 6 Niveau 7

Bijlage 9

Evaluatie van een training volgens de methode van Phillips

Recommend Documents