Opleiden: investering en rendement Is uw euro echt € 1,50 waard?
1
Colofon Titel:
Opleiden: investering en rendement Is uw euro echt € 1,50 waard? Auteurs:
Pieter de Vries Jolanda Botke Grafisch ontwerp omslag:
Theo van Leeuwen Tekstverzorging: Ella Bohnenn Opmaak:
Evert van den Biezen Uitgave CINOP, ’s-Hertogenbosch
Oktober 2003
2
Inhoudsopgave 1 2
3
4
5 6
Introductie ....................................................................................................................................... 4 Meten is weten: het belang van evaluatie ........................................................................................ 6 2.1 Evaluatie: investering en rendement ....................................................................................... 6 2.2 Evaluatiedoelen ....................................................................................................................... 7 2.3 Evaluatie en e-learning ............................................................................................................ 8 2.4 Evaluatie en beleid .................................................................................................................. 9 2.4.1 Europese Unie ................................................................................................................. 9 2.4.2 Nederland ........................................................................................................................ 9 Evaluatieproces ............................................................................................................................. 11 3.1 Inleiding ................................................................................................................................ 11 3.2 Fase 1: Plannen van het evaluatieproces ............................................................................... 12 3.2.1 Doelen formuleren ......................................................................................................... 12 3.2.2 Evaluatieplan ................................................................................................................. 13 3.3 Fase 2: Dataverzameling ....................................................................................................... 14 3.4 Fase 3: Data-analyse .............................................................................................................. 16 3.4.1 Isoleren van effecten ..................................................................................................... 16 3.4.2 Data vertalen in harde valuta ......................................................................................... 17 3.4.3 Kosten in kaart brengen ................................................................................................. 18 3.4.4 ROI-berekening ............................................................................................................. 18 3.4.5 Niet-tastbare resultaten .................................................................................................. 19 3.5 Rapportage ............................................................................................................................ 19 Casussen ........................................................................................................................................ 21 4.1 Inleiding ................................................................................................................................ 21 4.2 Arbeidsmarktonderzoek HBO-opleiding Sociaal-Juridische dienstverlening ....................... 21 4.2.1 Situatie ........................................................................................................................... 21 4.2.2 Het evaluatie-onderzoek ................................................................................................ 21 4.3 Resultaten .............................................................................................................................. 22 4.3.1 Conclusies ..................................................................................................................... 23 4.4 Hoe met actieplannen de ROI van een Programma voor prestatiebeheer meten? ................. 23 4.4.1 Situatie ........................................................................................................................... 23 4.4.2 Evaluatie ........................................................................................................................ 24 4.4.3 Dataverzameling ............................................................................................................ 24 4.4.4 Gegevensanalyse ........................................................................................................... 25 4.4.5 Resultaten ...................................................................................................................... 25 4.5 Rendement van e-learning bij een cursus Duits in Japan ...................................................... 27 4.5.1 Vereenvoudigde ROI-benadering .................................................................................. 27 4.5.2 Situatieschets ................................................................................................................. 27 4.5.3 ROI-berekening ............................................................................................................. 28 4.5.4 Conclusies ..................................................................................................................... 32 De (meer-) waarde van evaluatie. .................................................................................................. 33 Referenties ..................................................................................................................................... 34
3
1 Introductie De jaren negentig waren hoogtijdagen voor opleidend Nederland. De economische situatie was goed en er werd volop geïnvesteerd in opleiden (referentie?). Onderzoek naar effectiviteit en rendement van opleiden was echter nooit een hot item. De laatste drie jaar is daar verandering in gekomen, omdat de economische situatie niet meer zo rooskleurig is. De investeringen in opleiden zijn dan ook fors afgenomen en er is duidelijk meer belangstelling voor de vraag naar rendement: hard bewijs dat opleiden iets oplevert in termen van bedrijfsresultaat. In opdracht van het Ministerie van Economische zaken onderzocht het Researchcentrum voor Onderwijs en Arbeid bijvoorbeeld de relatie tussen opleidingsinspanningen en bedrijfsprestaties (De Loo & De Grip, 2003). Uit het onderzoek blijkt dat bedrijfsprestaties duidelijk samenhangen met de opleidingsinspanningen; één cursus meer per jaar levert volgens het onderzoek een productiviteitsstijging van € 57.000 per medewerker op. Klinkt mooi, maar hoe werkt dat in de praktijk? Om iets te kunnen zeggen over het rendement van opleiden, is evalueren een must. Evaluatie betekent letterlijk dat er waarde wordt toegekend aan iets. Evaluatie geeft inzicht in de mate waarin de gekozen opleidingsoplossing werkt. Behalve dat evalueren een methode is om aan te geven dat u succesvol bent, kunnen de uitkomsten van een evaluatie ook helpen om investeringen te rechtvaardigen en de besluitvorming rond opleiden te stroomlijnen. Met objectieve evaluatiegegevens wordt het ook makkelijker om mensen aan te spreken op hun verantwoordelijkheid, vast te stellen welke verbeteringen nodig zijn en naar de manager en cursist duidelijk te maken dat zijn of haar keuze voor ‘deze cursus’ een verantwoorde keuze is. De verhoogde aandacht voor rendement heeft nog een andere reden. Bedrijven zien opleiden meer en meer als een middel om de concurrentie voor te blijven. Daarmee kruipt opleiden en leren als het ware dichter naar het primaire proces. Gevolg is dat de uitgaven die worden gedaan veel meer op hun bijdrage aan dat primaire proces worden beoordeeld dan voorheen en dat cijfers een belangrijker rol gaan spelen. Daar hebben we een zwak punt te pakken, want opleiders zijn van huis uit geen rekenmeesters en vaak ontbreken de instrumenten, de kennis en vaardigheden om de gegevens op tafel te krijgen, in een vorm die het management denkt nodig te hebben om besluiten te kunnen nemen over opleidingsinspanningen. Belangrijk element in het nadenken over evaluatie, zijn de bezwaren die mensen ervan weerhouden om te evalueren. Veel gehoorde argumenten zijn: het is te duur en te moeilijk, je kunt weinig met de resultaten, de meeste factoren zijn niet van belang en het is allemaal te politiek (Horton, 2002, p.2). Ongetwijfeld wordt evaluatie ook wel eens misbruikt en kan dan bedreigend zijn. Dat helpt natuurlijk niet om het rendementsdenken te stimuleren. Vandaar ook dat het belangrijk is om meer aandacht te besteden aan evaluatie en de rol die het kan spelen bij verbetering van opleidingen. Met deze publicatie sluiten wij aan bij de toegenomen belangstelling voor het rendementsdenken in opleiden. De publicatie is bedoeld om de discussie te voeden over evaluatie in het algemeen en Return on Investment (ROI) in het bijzonder. Anderzijds willen we met de publicatie een aantal praktische handvatten bieden en voorbeelden uit de praktijk van CINOP en van collega-organisaties laten zien. In
4
hoofdstuk 2 wordt ingegaan op het waarom van evalueren. Hoofdstuk 3 gaat over het evaluatieproces en in hoofdstuk 4 wordt een aantal casussen beschreven. Hoofdstuk 5 ten slotte, bevat een kritische reflectie op de toegevoegde waarde van evaluatie.
Voor meer informatie, evaluatie-instrumenten en andere praktijkvoorbeelden kunt u terecht op de website van CINOP, www.cinop.nl/bedrijven/roi/
Pieter de Vries Jolanda Botke CINOP
5
2 Meten is weten: het belang van evaluatie 2.1 Evaluatie: investering en rendement Opleiden en leren zijn middelen om een bijdrage te leveren aan performanceverbetering in branches en bedrijven. Bij de evaluatie van opleidingen spelen in het algemeen twee hoofdvragen: - Is de opleiding volgens plan ontwikkeld en geïmplementeerd? - Wat is het effect van de opleiding (ontwikkeling en implementatie) op de prestatie van de medewerker en het bedrijf? Veel evaluaties volstaan met het beantwoorden van de eerste vraag. Dat is echter niet voldoende om de bijdrage van de opleiding aan de performance in kaart te brengen. Immers, hoe goed de opleiding ook is, hij hoeft niet per definitie bij te dragen aan performanceverbetering. Het gaat niet om de mooiste of beste opleiding; het gaat erom dat de klant tevreden is met het resultaat. Die tevredenheid kan beïnvloed worden door allerlei zaken, zoals doorlooptijd, leverbetrouwbaarheid, productprijsverhouding en niet te vergeten de mate waarin de bedrijfsdoelstelling wordt gehaald. Het gaat dus uiteindelijk niet om de geleverde producten en diensten, maar om de toegevoegde waarde van die producten voor de klant. En die toegevoegde waarde wil men bij voorkeur zien uitgedrukt in harde valuta. In de jaren tachtig en negentig werd bij het bepalen van het rendement van opleiden vooral gewerkt met kosten-batenanalyse. De kosten-batenanalyse is een techniek voor het beoordelen van de samenhang tussen resultaten of positieve gevolgen en de benodigde kosten voor het bereiken van deze resultaten (Kearsly, 1989). Volgens Kearsly zijn er drie kernpunten waarmee beoordeeld kan worden in hoeverre kosten en resultaten in evenwicht zijn: efficiëntie (doelmatigheid), effectiviteit (doeltreffendheid) en productiviteit. Hogere efficiëntie: dezelfde resultaten bereiken tegen lagere kosten. Hogere effectiviteit: betere resultaten bereiken tegen dezelfde kosten Hogere productiviteit: betere resultaten bereiken met minder kosten. Deze kosten-batenanalyse speelt nog steeds een belangrijke rol bij evaluatie. Er is echter een tendens om niet meer over ‘kosten’ voor opleiden te praten, maar veel meer over een ‘investering’ die zich terug moet verdienen. Dit past in het denken over leren en opleiden als een middel om de concurrentie voor te blijven (zie ook paragraaf 2.2 over evaluatie en performanceverbetering). Gevolg is dat opleiden en leren veel meer het karakter krijgen van een bedrijfsinvestering, dan van een lastige kostenpost. Dit betekent echter wel dat de noodzaak om op een andere manier met die ‘kosten’ om te gaan dringender is geworden. Vandaar de opkomst van de ROI-benadering (Return On Investment). Bij het berekenen van de ROI gaat het om de relatie tussen de kosten van een opleiding of interventie en wat het heeft opgeleverd, uitgedrukt in een getal. Een ROI van 150% betekent bijvoorbeeld dat er 1,5 euro netto overblijft van elke euro die in de opleiding is geïnvesteerd (zie 3.4.4 voor de uitwerking van ROI).
6
De berekening van ROI levert niet alleen getallen op, maar ook de mogelijkheid om op strategisch niveau over de opleiding te praten. Phillips (2002) noemt een aantal bijkomende voordelen. Het berekenen van ROI: - Maakt het mogelijk de bijdrage van een bepaald opleidingsprogramma aan het bedrijfresultaat duidelijk te maken. - Dwingt respect af bij het hoger management. Opleidingsresultaten worden nu eindelijk eens gepresenteerd in een taal die zij verstaan! - Dwingt respect af bij klanten. Ze krijgen een veel beter inzicht in wat ze van de opleiding mogen verwachten. - Maakt het mogelijk opleidingen en trainingen gericht te verbeteren. Tijdens het evaluatieproces wordt een schat aan informatie verzameld, die (mede) gebruikt kan worden om toekomstige trajecten te verbeteren. - Maakt een resultaatgerichte benadering van opleiden mogelijk.
2.2 Evaluatiedoelen Meten van het effect van een opleiding kan alleen als aan het begin van het traject wordt vastgesteld wat gemeten wordt en hoe dat gebeurt. Soms is een nulmeting nodig om, in de vorm van een vergelijking tussen het bestaande en het nieuwe, aan te tonen dat opleiden effect heeft op de performance (meer hierover in hoofdstuk 3). Evaluatie is dus niet iets voor de laatste fase van het project. Feitelijk begint elk project met het vaststellen van de criteria waaraan de oplossing moet voldoen of, anders gezegd, de toegevoegde waarde die de opleiding moet bieden. Dit zijn meteen ook de criteria waarop geëvalueerd wordt. Daarmee komen we op een belangrijke rol die evaluatie kan spelen in een performance-verbeteringstraject. Evaluatie is niet uitsluitend een instrument om achteraf te meten of een traject succesvol is geweest. Evaluatie kan uitstekend gebruikt worden als middel om aan het begin van het traject de doelen en performance-indicatoren duidelijk te krijgen. Robinson & Robinson (2003) gebruiken ‘should’-, ‘is’- en ‘cause’-vragen om te komen tot doelen op het niveau van business performance. Voorbeelden van zulke vragen zijn: SHOULD
IS
CAUSE
Wat zouden de productie-cijfers moeten zijn? Wat zijn de regionale verkoopdoelen voor dit jaar? Wat zijn de normen voor foutproductie? Wat zijn de huidige regionale productiecijfers? Wat zijn de actuele verkoopresultaten? Wat zijn de huidige aantallen voor foutproductie? Wat is de hoofdreden dat de productie achterloopt? Welke factoren maken dat het moeilijk is om aan de regionale verkoopdoelen te voldoen? Waarom is er toenemende foutproductie?
7
2.3 Evaluatie en e-learning Een van de sectoren waar het rendementsdenken een prominente rol speelt is e-learning. De belangstelling voor e-learning is groot, omdat bedrijven verwachten dat deze vernieuwing een belangrijke bijdrage kan leveren aan het verbeteren van opleiden en leren (De Vries & Oprins, 2001). Voordelen die veelvuldig worden genoemd zijn: meer flexibiliteit, meer maatwerk en minder plaatsen tijdgebonden. In dit rijtje past ook de bewering dat e-learning goedkoper is. Een interessante uitspraak, die in de praktijk echter niet zo makkelijk te bewijzen valt. IBM en Cisco hebben volgens eigen berekening miljoenen bespaard op reis- en verblijfkosten. Bovendien is de mogelijkheid om wereldwijd, op het juiste moment grote groepen mensen op te leiden, een enorm voordeel. Laten we ook niet vergeten dat IBM en Cisco belangrijke spelers zijn op de e-learningmarkt en dat graag willen blijven. De afwegingen die deze bedrijven maken, zullen wezenlijk verschillen van die van andere bedrijven en opleidingsinstellingen. Dit betekent in de praktijk dat een algemene uitspraak als “elearning is goedkoper”, weinig zin heeft en per geval bekeken moet worden. De hoge verwachtingen rond e-learning hebben ertoe geleid dat er flink wordt geïnvesteerd. Dat hierbij de rendementsvraag niet uitblijft ligt voor de hand. Die vraag moet de argumenten en verantwoording leveren of de investering loont en hoe het in de toekomst verder moet. De noodzaak om resultaten van e-learning te vergelijken met het traditionele aanbod ligt voor de hand gezien de consequenties. Worden de bestaande voorzieningen afgebouwd? In welk tempo gebeurt dat en op welke manier? Bovendien gaat het niet om een eenmalige uitgave, maar om een steeds terugkerend uitgavenpatroon waarvoor een verantwoorde dekking nodig is. Daarnaast heeft men bij e-learning te maken met hele andere kostensoorten dan bij het traditionele opleiden. Denk aan uitgaven voor infrastructuur, hard- en software, upgrades, beheer, onderhoud en ontwikkeling van e-learningtechnologie, ontwikkeltools, scholing van ontwikkelaars en docenten. Daar komt bij dat de kosten voor bijvoorbeeld de infrastructuur en internet heel erg fluctueren en daardoor weinig voorspelbaar zijn. De IT-industrie, maar ook opleidingsinstellingen, hebben geprobeerd om die financiële onzekerheden te verminderen, door met rekenmodellen te werken. In de praktijk blijken die modellen echter beperkt bruikbaar, omdat ze of te algemeen zijn of teveel in detail gaan en dan te ingewikkeld worden. Bovendien ontbreekt logischerwijs bij deze algemene modellen context gebonden details, waardoor vrijwel elk model niet verder komt dan een onbetrouwbare indicatie (De Vries, 1999; Collis & Moonen, 2001). Een ding is zeker, de komst van e-learning heeft een belangrijke impuls gegeven aan het rendementsdenken. De vraag is nog steeds of e-learning haar beloften waar kan maken ten opzichte van of in relatie tot de bestaande, traditionele voorzieningen. Om dat te kunnen bepalen is evaluatie een uitermate belangrijk instrument en zal meer dan voorheen als structureel onderdeel worden gezien bij een verdere, verantwoorde ontwikkeling van e-learning. De casus x in hoofdstuk 4 geeft een praktische uitwerking van rendementscalculatie bij e-learning.
8
2.4 Evaluatie en beleid Het rendementsdenken houdt niet alleen opleiders bezig. Ook beleidsmatig is er in Europa en de Nederlandse samenleving een groeiende belangstelling voor het rendementsdenken.
2.4.1 Europese Unie De Europese Unie wil uiterlijk in 2010 de meest concurrerende en dynamische kenniseconomie van de wereld zijn, in staat tot een duurzame economische groei en met meer en betere banen en een hechte sociale samenhang (Ambities van Lissabon, 2000). Deze mondiale ambities noodzaken tot verhoging van het kennisniveau van de bevolking. Een van de maatregelen om tot de Lissabon-doelstellingen te komen is het promoten en stimuleren van een leven lang leren voor en door (potentieel) werkenden. Men hoopt daarmee een goed, adequaat opgeleid en breed inzetbare beroepsbevolking te krijgen. Om werkelijk bij te dragen aan een concurrerende en dynamische kenniseconomie moeten opleidingen (en natuurlijk ook de andere interventies) optimaal effectief zijn. In dit kader is evaluatie van de toegevoegde waarde van de interventies van groot belang. Gezien de snelle technologische ontwikkeling kunnen we het ons niet veroorloven tijd en geld te steken in niet-effectieve oplossingen. In de Europese context is anno 2003 ‘valorisatie’ het toverwoord. Het doel van valorisatie is het vergroten van de toegevoegde waarde van de producten die in het kader van de verschillende Europese programma’s worden ontwikkeld. Vragen zijn: hoe leiden deze producten tot prestatieverbetering in de bedrijven en welke toegevoegde waarde hebben de producten voor de samenleving? Valorisatie heeft beleidsmatig hoge prioriteit en er zijn verschillende acties uitgezet om tot optimale valorisatie te komen.
2.4.2 Nederland Ook op nationaal niveau is er aandacht voor evaluatie van rendement van opleidingen. Zo liet het Ministerie van Economische zaken een onderzoek doen naar de relatie tussen HRD en bedrijfsprestaties (Van Loo & de Grip, 2003). In het onderzoek wordt het HRD-beleid, gemeten door het gebruik van bepaalde HRD-instrumenten, gerelateerd aan de opleidingsdeelname. Daarnaast is de deelname aan bedrijfsopleidingen in verband gebracht met de prestaties van een bedrijf. Uit het onderzoek blijkt dat bepaalde instrumenten van het HRD-beleid, zoals het hebben van een opleidingsplan, de deelname van medewerkers aan interne en externe bedrijfsopleidingen positief te beïnvloeden. Ook blijkt dat bedrijfsprestaties duidelijk samenhangen met de opleidingsinspanningen. Uit de analyses blijkt dat wanneer het gemiddeld aantal cursussen per medewerker met één stijgt, de gemiddelde winst per medewerker zo’n € 12.500 toeneemt, terwijl de productiviteit met ongeveer € 57.000 stijgt. Ook beleidsmatig heeft evaluatie prioriteit. Het Ministerie van Financiën spreekt van VBTB, van beleidsbegroting tot beleidsverantwoording. De begroting nieuwe stijl is een begroting die niet in de eerste plaats uitgaat van het geld dat wordt uitgegeven, maar van het beleid en wat men daarmee wil bereiken. Met centrale vragen als: ‘Wat willen we bereiken, wat gaan we daarvoor doen, en wat mag dat kosten?’ past dit geheel in het hiervoor geschetste rendementsdenken. In de komende jaren wordt gestreefd naar een verdere optimalisering van de begrotingen en verantwoordingen en wordt gewerkt aan de implementatie van VBTB binnen de ministeries. Dit gebeurt onder andere door de invoering
9
van de Regeling Prestatiegegevens en Evaluatieonderzoek Rijksoverheid. Doel van de regeling is ervoor te zorgen dat de evaluatiefunctie binnen de rijksoverheid voldoende gewaarborgd is. Het Ministerie van OCenW is druk bezig met de implementatie van VBTB. Verantwoording door de kennisinstellingen aan de minister van OCenW geschiedt traditioneel via evaluaties, jaarverslagen en jaarrekeningen. De inhoud van deze jaarlijkse documenten gaat veranderen.
10
3 Evaluatieproces 3.1 Inleiding In het vorige hoofdstuk is ingegaan op het toenemende belang van evaluatie, de ‘waarom-vraag’. Dit hoofdstuk is gewijd aan het evaluatieproces, de ‘hoe-vraag’. Er bestaan heel veel verschillende manieren waarop evaluatie kan worden gedaan. Bij de keuze van een methodiek is praktische uitvoerbaarheid in alle gevallen een belangrijk punt. Dit betekent dat het proces niet te complex en goed hanteerbaar moet zijn, niet te lang mag duren, niet teveel mag kosten, betrouwbaar en voor herhaling vatbaar moet zijn. Een methodiek die zich in dit kader heeft bewezen is die van Kirkpatrick (1994). Zijn methodiek wordt vooral gebruikt in het bedrijfsleven. Kenmerkend voor zijn aanpak zijn de vier niveaus van analyse. Door Phillips (1997) is hieraan een vijfde niveau toegevoegd, expliciet gericht op het meten van ‘return on investment’. Het ROI-procesmodel van Phillips is in onze ogen een complete en praktische uitwerking van een evaluatiemethodiek. Om die reden kiezen we ervoor om het model van Phillips hier te gebruiken voor een verdere beschrijving van het evaluatieproces. Het model van Phillips bestaat uit vier hoofdfasen en ziet er als volgt uit (zie figuur 1).
Figuur 1. Het ROI-procesmodel van Phillips (1997) Het proces start met de evaluatieplanning (fase 1). In deze fase gaat het in de eerste plaats om het definiëren van de doelen en dus het bepalen op welk niveau gemeten gaat worden. Na het bepalen van de doelen wordt de evaluatie inhoudelijk en logistiek gepland en met alle betrokkenen besproken. Zo weet eenieder wat er komen gaat en wat hij van de evaluatie mag verwachten.
In fase 2 worden de data verzameld, vaak zowel tijdens de uitvoering van de interventie als erna. Fase 3 is de data-analyse. Hier worden eerst de effecten van de interventie geïsoleerd van andere effecten
11
en deze effecten worden vervolgens omgezet in een geldwaarde. Daarna worden de kosten van de interventie in kaart gebracht. Nu kan de ROI worden berekend. Aanvullend kunnen de niet-tastbare opbrengsten in kaart worden gebracht, zoals imagoverbetering, verbeterde werknemerstevredenheid, technologische voorsprong, minder stress en beter samenwerking binnen teams. De laatste fase (fase 4) gaat over het communiceren van de resultaten van de evaluatie.
3.2 Fase 1: Plannen van het evaluatieproces Deze eerste fase van het evaluatieproces bestaat uit twee stappen: - het formuleren van de doelen van de opleiding; - het ontwikkelen van het evaluatieplan.
3.2.1 Doelen formuleren De doelen van de opleiding bepalen het niveau waarop geëvalueerd kan worden. Phillips (2002) onderscheidt vijf niveaus van evaluatie: 1. Evaluatie van tevredenheid: Op dit niveau gaat het om het meten van de tevredenheid van de deelnemers en eventueel de docenten en trainers. Karakteristieke vraag aan de betrokkenen: Wat is uw oordeel over….? 2. Evaluatie van de toename van kennis en vaardigheden: Op dit niveau gaat het om het meten van veranderingen in kennis, vaardigheden en houding. Karakteristieke vraag: Zijn de leerdoelen bereikt? 3. Evaluatie van gedragsverandering: Hier gaat het om de vraag in hoeverre de interventie geleid heeft tot blijvende gedragsverandering bij de deelnemers in hun werksituatie. 4. Evaluatie van business impact: Hier gaat het om de vraag hoe de (vooraf gedefinieerde) performance-indicatoren verbeterd zijn als gevolg van de interventie. 5. Berekening van de return on investment: Uiteindelijk wil men weten wat de interventie heeft opgeleverd in relatie tot wat hij heeft gekost. Welk rendement is behaald op de investering? Het is belangrijk een verantwoorde keuze te maken voor het niveau waarop wordt geëvalueerd. In veel gevallen zal een wens bestaan om op ROI-niveau te evalueren. Dat moet echter wel een reeële optie zijn. ROI kan alleen maar berekend worden als het effect van de opleiding op het niveau van businessresultaten gemeten kan worden. En dat vereist weer dat de opleidingsdoelen ook op dat niveau geformuleerd zijn (zie figuur 2). Doelen Evaluatie ROI → Niveau 5. ROI Impactdoelen → Niveau 4. Business impact Toepassingsdoelen → Niveau 3. Gedragsverandering Leerdoelen → Niveau 2. Toegenomen kennis en vaardigheden Tevredenheidsdoelen → Niveau 1. Reactiemeting Figuur 2. De relatie tussen doelen en evaluatieniveaus
12
Evalueren op hogere niveaus kost meer tijd en geld. Daarom is het belangrijk om een juiste keuze te maken voor het niveau waarop geëvalueerd wordt. Belangrijke vragen zijn daarbij: - Wat wil men meten? - Zijn er meetbare eenheden beschikbaar? - In hoeverre zijn deze meetbare eenheden in geld uit te drukken (dat is nodig voor een ROIcalculatie)? - Hoeveel tijd en geld is er beschikbaar voor de evaluatie? Uitgangspunt is dat een evaluatie altijd start op niveau 1. Afhankelijk van de behoefte en de mogelijkheden kan vervolgens (ook) op niveau 2 tot en met 5 geëvalueerd worden. Evaluatie op hogere niveaus veronderstelt altijd ook een evaluatie op onderliggende niveaus. De data op de lage niveaus ondersteunen en/of verrijken daarbij de bevindingen op de hogere niveaus. In de praktijk blijkt dat slechts een beperkt deel van de evaluaties wordt uitgevoerd op ROI-niveau. Phillips (2002) presenteert het volgende schema (figuur 3): Niveau van evaluatie Percentage van programma’s dat op dit niveau geëvalueerd wordt 1. Tevredenheid 100% 2. Leren 60% 3. Toepassing 30% 4. Impact 10-20% 5. ROI 5-10% Figuur 3. Evaluatieuitvoering op verschillende niveaus (Phillips, 2002, pagina 48)
3.2.2 Evaluatieplan De volgende stap in de evaluatieprocedure is het ontwikkelen van het evaluatieplan. Feitelijk gaat het om twee plannen: het datacollectieplan en het ROI-analyseplan. In het datacollectieplan wordt vastgelegd: - hoe op elk niveau gemeten wordt; - met welke instrumenten; - bij welke respondenten; - op welk tijdstip - wie voor de dataverzameling verantwoordelijk is. Het geheel wordt vastgelegd in een dataverzamelingsplan. Evaluatieniveau Wat wordt gemeten?
Dataverzameling
Bronnen
Niveau 1: Reactie
Positieve reactie op de training
Trainers en consultant
Niveau 2: Leren
Kennis van de procedures Kennis van de veiligheidsvoorschriften Kennis van taken en verantwoordelijkheden Gebruik van de juiste procedures Gebruik van veiligheidsprocedures
Bijeenkomst met alle betrokkenen Via een checklist aan het einde van elke module
Zelfbeoordeling Monitoring van de performance
Deelnemers en hun mentor
Niveau 3: Toepassing
Mentor
13
Niveau 4: Business Hogere machine-effectiviteit impact Minder klachten van klanten Minder productiefouten Grotere werknemerstevredenheid
Standaardwaarde
Productieleider
Standaardwaarde
Productieleider
Standaardwaarde vragenlijst
Productieleider Consultant
Figuur 4. Voorbeeld van een opzet voor de dataverzameling. Het gaat hier om de evaluatie van een training voor productiepersoneel Voor het verzamelen van de evaluatiedata zijn verschillende instrumenten beschikbaar, zoals vragenlijsten, onderzoeken, tests, interviews, focusgroepen, observaties, analyse van performancerecords. We gaan hier niet inhoudelijk op deze methodes in1. Voor de keuze van een instrument is het niveau van evalueren belangrijk. Gaat het om een ROI-berekening, dan is het belangrijk voldoende harde data te hebben. Harde data zijn data die omgezet kunnen worden in financiële kengetallen. Echter, zachte data, zoals meningen, reacties en houdingsaspecten kunnen in bepaalde gevallen ook relevant zijn. Andere vragen die spelen zijn: - Welke data kunnen redelijkerwijs verzameld worden? - Hoeveel tijd hebben respondenten om data te verstrekken? - Wat zijn randvoorwaarden in tijd en geld? - In hoeverre mag het dagelijkse werk verstoord worden door de inzet van de evaluatieinstrumenten? - Hoe belangrijk is objectiviteit en accuraatheid? Ook de timing en frequentie van de evaluatie heeft invloed op de instrumentkeuze. Wordt alleen achteraf gemeten, of ook vooraf in een pre-test? Vindt er ook tijdens de interventie monitoring plaats? Is de meting achteraf eenmalig, of is er sprake van meerdere metingen? Als het dataverzamelingsplan gereed is, wordt de niveau 4 informatie uit dit plan nader uitgewerkt in het ROI-analyseplan. Nu wordt bepaald hoe de effecten van het programma geïsoleerd gaan worden en hoe deze effecten omgerekend worden naar kosten (meer hierover in 3.4).
3.3 Fase 2: Dataverzameling In deze fase worden de data –volgens plan- verzameld. Het gaat hier in de meeste gevallen om dataverzameling tijdens de opleiding en dataverzameling na de opleiding. Soms is er ook dataverzameling voordat de opleiding start, bijvoorbeeld in de vorm van een competentiemeting of door het vaststellen van de huidige performance-indicatoren op een bepaald terrein. Andere methoden die worden gebruikt zijn: - Surveys en vragenlijsten - Observaties - Gebruik van test en tools - Interviews en assessment - Focusgroepen 1
Verwijzing naar meer info.
14
De keuze van de meest geschikte methode in een bepaalde situatie is mede bepalend voor de bruikbaarheid van de gegevens. Hieronder een voorbeeld van een dataverzamelingsplan. Het gaat over de evaluatie van een vernieuwing met behulp van e-learning bij een bedrijf in de proces-industrie. Per niveau is aangegeven wat de doelstelling is, om welke gegevens het gaat, hoe die verzameld worden en wat de bronnen zijn, hoelang men erover denkt te doen en wie erbij betrokken zijn. Niveau Doelstelling 1
2
Meetgegevens
Reactie/tevredenh eid Reactie van cursisten op gebruik cursus Reactie van cursisten op gebruik systeem Leren Resultaten cursisten
3
4
Gebruik en implementatie in werkomgeving Past kennis toe Gebruikt de e-learning kennisbank Kan belemmering en aangeven bij de toepassing van kennis Invloed op primair proces Performance verbetering Verminderin g van herplaatsinge n Toegenomen flexibiliteit
Verzamelmethode
Gegevensbronnen
Gemiddelde van 75%+ positief Technische performance van 95%+
Modules doorlopen binnen de tijd en voldoende resultaten Behalen van het eindexamen in de daarvoor bestemde tijd Cursist kan tenminste 3 voorbeelden noemen van toepassingen
Feedback vragenlijst Rapportages LMS (LMS) Interview
Cursisten Supervisor/Coach LMS rapportage Training coordinator Historische gegevens
Na 4 weken
Cursist Supervisor/ Training co Uitvoerder
Online feedback vragenlijst Rapportage gegevens van het LMS Interview
Cursisten Supervisor/Coach LMS rapportage Training coordinator
Na 6 maanden Na eindexam en
Cursist Supervisor/ Training co Uitvoerder
Interview Prestatie indicatoren
Cursist Prestatie indicatoren van de cursist en de ploeg Supervisor/Coach
2 maanden na eindexam en
Cursist Supervisor/ Uitvoerder
Cursist Prestatiegegeven van de organisatie Supervisor/Coach
2 maanden na eindexam en
Supervisor/ Uitvoerder
Tijdschema Verantwoord heden
Interview Performance gegevens LMS rapportage
15
5
Verbetering in toegang van inhoud en informatie Return on Investment Meten van de Kosten – Baten ratio Meten van de ‘Return on Investment’, van het opleidingspro gramma
Tijd Kosten
Cursisten Performance gegevens
Historische data Financiële gegevens
1 jaar na implemen tatie
Figuur 5. Voorbeeld van een dataverzamelingsplan
3.4 Fase 3: Data-analyse Als er een significante performanceverbetering is nadat een interventie, bijvoorbeeld een opleiding, is uitgevoerd dan doet dat vermoeden dat er een relatie bestaat tussen de interventie en de performanceverbetering. Maar er zijn natuurlijk in organisaties ook altijd andere factoren die invloed hebben op de performance. Daarom worden in deze stap de effecten van de opleiding geïsoleerd. Het gaat hier om de vraag welke evaluatieresultaten toegeschreven kunnen worden aan de gepleegde interventie. Vervolgens worden de effecten omgezet in een geldwaarde. Op basis van deze informatie kan de ROI worden berekend (natuurlijk is hiervoor ook een kostenoverzicht nodig). Ten slotte zijn er vaak ook minder tastbare effecten te benoemen. Hoewel deze vaak niet meegenomen (kunnen) worden in de ROI-berekening, verschaffen ze wel relevante informatie.
3.4.1 Isoleren van effecten Om de effecten van de interventie te isoleren van andere effecten op de performance is een aantal technieken beschikbaar, zoals: - Gebruik van controlegroepen - Trend-analyse - Inschatting door deelnemers - Inschatting door leidinggevenden - Inschatting door management - Expertinschatting Het gebruik van controlegroepen De ene groep doorloopt de interventie, de andere niet. Belangrijk is dat de groepen zo veel mogelijk gelijk van samenstelling zijn. Dit is de meest accurate manier van effectisolatie, maar natuurlijk is deze manier van handelen niet altijd waterdicht. Mensen komen elkaar op de gang of in de trein tegen en praten over de betreffende opleiding. Trendanalyse
16
Opdrachtge Uitvoerder
Op basis van data uit de periode voor de interventie wordt een trendlijn uitgezet. Deze lijn wordt geëxtrapoleerd voor de periode dat de interventie loopt. Na het doorlopen van de interventie wordt, met de evaluatiedata, een nieuwe trendlijn getekend. Er zijn nu twee lijnen, een lijn die aangeeft hoe het verloop zou zijn geweest zonder interventie en een lijn die het effect aangeeft van de interventie. Het verschil tussen de twee lijnen is het effect dat toegeschreven kan worden aan de interventie. Figuur 6: Trendanalyse Inschatting door deelnemers, experts of management Een eenvoudige manier om het effect van interventies te isoleren is deelnemers hierover te bevragen. Je krijgt zo dus een subjectieve, maar daardoor niet minder bruikbare inschatting. Vragen zijn: - Welk percentage van de verbetering kan volgens u toegeschreven worden aan de interventie? - Waarop baseert u deze inschatting? - Hoe zeker bent u van uw inschatting? - Welke andere factoren hebben volgens u bijgedragen aan de performanceverbetering? Het inschatten door deelnemers of experts is een relatief subjectieve manier om effecten te isoleren en dient, waar mogelijk, gecombineerd te worden met meer objectieve manieren, zoals controlegroepen en trendanalyse. Hetzelfde geldt voor de inschatting door leidinggevenden, managers en experts. Hierbij schatten zij elk in welk deel van de performanceverbetering toe te schrijven is aan de interventie. Bij de keuze van een isolatietechniek geldt in het algemeen: hoe harder en objectiever de data, hoe beter. Dus, waar mogelijk controlegroepen en trendanalyse, aangevuld met inschattingen.
3.4.2 Data vertalen in harde valuta De meeste evaluaties stoppen bij het benoemen van de bereikte resultaten op het niveau van performanceverbetering. Om een ROI-calculatie uit te voeren, is het echter nodig om de data te verdelen in harde en zachte data (zie figuur 6). Alleen zo kan een ROI-calculatie gemaakt worden.
Voorbeelden van harde data Output - Geproduceerde aantallen - Omzet - Aantal verkochte goederen - Aantal verwerkte formuleiren - Aantal bezochte patiënten - Aantal taken dat gedaan is - Output per uur - Productiviteit - Aantal nieuwe klanten Kosten - Budget variaties
17
Tijd -
Kosten per unit Variabele kosten Vaste kosten Overheadkosten Uitvoerende kosten Kostenbesparingen Salariskosten
Tijd dat apparatuur stilstaat Aantal uren overwerk Doorlooptijd projecten Efficiency Inwerktijd voor nieuwe werknemers Reparatietijd
Kwaliteit: - Verlies - Foutproducten - Foutpercentages - Defecte producten - Afwijkingen van de standaard - Aantal ongevallen Voorbeelden van zachte data - Afwezigheid - Overtreding van de veiligheidsregels - Werknemerstevredenheid - Klachten van klanten - Aantal promoties - Aantal scholingsdagen - Aantal loopbaanvragen - Ideeën voor nieuwe producten - Ontwikkeling van nieuwe ideeën Figuur 6. Harde en zachte data
3.4.3 Kosten in kaart brengen De volgende stap is het in kaart brengen van de kosten. Om de ROI-berekening zo geloofwaardig te maken, is het advies hierbij zowel de directe, als de indirecte kosten mee te nemen. Dus zowel de kosten van de analyse van de opleidingsbehoefte, als de kosten van de ontwikkeling en uitvoering, als de evaluatiekosten.
3.4.4 ROI-berekening Als de kosten en de opbrengsten duidelijk zijn kan de ROI berekend worden volgens de formule
18
ROI (%) =
Netto-opbrengsten ----------------------- x 100 Kosten
In de casus van Jack en Patti Phillips in hoofdstuk 4 ziet u een voorbeeld van een dergelijk calculatie. De kosten van het opleidingsprogramma worden hier geschat op $47.242 en de opbrengsten op $188.478. De ROI-berekening is dan: 188.479 – 47.242 --------------------- x 100 = 298%. 47.242 Dat betekent dat het bedrijf voor elke $100 die ze in het programma investeert $298 terugkrijgt.
3.4.5 Niet-tastbare resultaten Naast tastbare, in kosten te vertalen opbrengsten, hebben opleidings- en trainingsprogramma’s vaak ook minder tastbare, niet in kosten te vertalen opbrengsten. Uitgangspunt is dat zo veel mogelijk data vertaald wordt in kosten(besparing). Daar waar dat niet mogelijk is en/of leidt tot subjectiviteit heeft het programma – naast tastbare – ook niet-tastbare opbrengsten. Deze resultaten kunnen minstens zo belangrijk zijn en moeten dan ook samen met de harde, cijfermatige resultaten gepresenteerd worden. Voorbeelden van niet-tastbare opbrengsten zijn: - een verbeterd imago; - toegenomen werknemerstevredenheid; - toegenomen loyaliteit aan de organisatie; - minder stress; - verbeterde samenwerking binnen de teams.
3.5 Rapportage De communicatie van de resultaten is de laatste stap in het evaluatieproces. Vaak is het een ondergeschoven kindje, maar let op: een slechte eindpresentatie kan dodelijk zijn voor de uitkomst (vervolgopdracht, etc.)! Aandachtspunten zijn: - Voor wie is de presentatie, de rapportage? - Wat wordt er gecommuniceerd? - Wanneer? - Hoe (via welke media) wordt gecommuniceerd? - Waar vindt de communicatie (bijvoorbeeld de presentatie) plaats? - Wie verzorgt de communicatie? - Wie moet er informatie ontvangen (doelgroep)? - Wat moet het resultaat van de communicatie zijn? In de casus van Patti en Jack Phillips in hoofdstuk 4 ziet u een voorbeeld van een presentatie van de resultaten van de ROI-studie op een A4 (figuur x). Een dergelijke presentatie is natuurlijk niet voor alle doelgroepen voldoende, maar kan waar nodig eenvoudig ‘aangekleed’ worden met aanvullende informatie en uitleg. Hieronder een voorbeeld van een ROI analyse plan, waarin op systematische wijze alle uit te voeren handelingen bij elkaar zijn gezet. Evenals het dataverzamelingsplan is dit een voorbeeld van een ROItraject rond e-learning in de proces-industrie.
19
Data Methoden voor Methoden voor Categorieen (besparingen) het isoleren vertaling naar van kosten van effecten financiële waarden Trendlijn Tijd werknemer Deelnemers Kosten
voor basistrainin g per deelnemer Kosten voor vervanging Kosten voor niet beschikbaar zijn getrainde krachten
Inschatting effect door gebruiker, afdelingschef en opleidingsco ördinator
als compensatie Tijd afdelingschef als compensatie Geen vervanging als compensatie Ontwikkeltijd Standaardwaard en (experttijd, LMS, content ontwikkeling)
Effecten die niet of moeilijk in geld zijn uit te drukken
(beperkt tot introductie sessie en interviews) Programmaont wikkeling LMS, hard- en software Content ontwikkeling Experts Trainingscoör dinator Afdelingschef Evaluatie ROI
Toegang tot content en informatiesystemen Gebruik van systeem voor algemene cursussen, zoals veiligheid, milieu. Chef & manager vooral aandacht voor praktische ondersteuning Werknemers die als experts bijdragen aan content en informatieontwikke ling Gebruik systeem Toegenomen flexibiliteit Beter teamwerk
Communicatiedoel stellingen voor het eindrapport.
Deelnemers Chef & coach Opleidingscoördi nator Plant manager CEO HRD
Figuur 7. Voorbeeld van een ROI analyse plan
20
4 Casussen 4.1 Inleiding Ter illustratie van het voorgaande volgen in dit hoofdstuk drie casussen. Het gaat om projecten, of delen van projecten, waar evaluatie een belangrijke rol heeft gespeeld. De eerste casus gaat over een tevredenheidsonderzoek bij de HBO-opleiding Sociaal-Juridische Dienstverlening, uitgevoerd door CINOP. De tweede casus beschrijft een evaluatie tot op het niveau van ROI van een programma om assistent-bedrijfsleiders op te leiden. Deze evaluatie is uitgevoerd door Jack en Patti Phillips. In de derde casus ten slotte, beschrijven Jef Moonen en Sebastian Graeb-Koenneker hoe zij het rendement van e-learning bij een cursus Duits in Japan hebben berekend. Zij gebruiken hiervoor een iets andere ROI-benadering dan Phillips heeft gebruikt.
4.2 Arbeidsmarktonderzoek HBO-opleiding Sociaal-Juridische dienstverlening Ineke van Gaalen en Anna Geertsma, CINOP
4.2.1 Situatie De HBO-opleiding Sociaal-juridische Dienstverlening (SJD) is in 1989 gestart. De opleiding is opgezet om vanuit het werkveld te voorzien in de vraag naar professionals die in staat zijn om complexe sociaal-juridische vraagstukken te behandelen en op te lossen. De eerste afgestudeerden zijn vanaf 1993 op de arbeidsmarkt gekomen. In 1996 is een onderzoek uitgevoerd naar de beroepspraktijk van SJD-afgestudeerden en de kwalitatieve en kwantitatieve ontwikkelingen in de betreffende werkvelden. Omdat in snel tempo veranderingen in de dienstverlening en het beroep plaats hebben gevonden vroeg het Landelijke Samenwerkingsverband SJD-Hogescholen (LSV)2 CINOP in 2003 opnieuw een onderzoek uit te voeren naar de arbeidsmarktrelevantie van de opleiding. Centrale vraag was: “Hoe tevreden zijn afgestudeerden en werkgevers over de aansluiting van de opleiding op de arbeidsmarkt?” Om deze vraag te beantwoorden heeft CINOP een tevredenheidsonderzoek uitgevoerd onder afgestudeerden van de opleiding SJD, werkgevers en potentiële werkgevers.
4.2.2 Het evaluatie-onderzoek Voor de bevraging van werkgevers (totaal 132) en potentiële werkgevers (totaal 50) is gekozen voor een telefonische enquête, omdat de verwachting was dat dit zou leiden tot een hogere respons dan wanneer alleen schriftelijke vragenlijsten zouden worden gebruikt. Omdat het telefonisch afnemen van de vragenlijst hooguit twintig minuten mag duren, moesten de vragen beperkt blijven in omvang en complexiteit. De respondenten hadden vooraf een brief met uitleg over het onderzoek en de vragenlijst toegestuurd gekregen. In het interview met de werkgevers is specifiek ingegaan op de kwaliteit van de SJD-opleiding en de toekomstige behoefte aan SJD’ers. In de telefonische enquete onder potentiële werkgevers is specifiek ingegaan op mogelijk nieuwe werkvelden van de SJD’er
2
Het Landelijk Samenwerkingsverband SJD-Hogescholen, bestaat uit de zes hogescholen, die de opleiding SJD verzorgen: Hogeschool van Utrecht; Hogeschool Limburg; Ichthus Hogeschool; Hanzehogeschool, Hogeschool van Groningen; Hogeschool van Amsterdam en Hogeschool Leiden.
21
De afgestudeerde SJD’ers (totaal 237) werden bevraagd aan de hand van een schriftelijke vragenlijst. Hiervoor is gekozen omdat in het eerdere onderzoek, dat in 1996 was uitgevoerd, hiermee een erg hoge respons (89%) was behaald. Bijkomend voordeel was dat in een schriftelijke vragenlijst meer vragen opgenomen konden worden dan in een telefonische enquête. Centraal in de vragenlijst stond de aansluiting opleiding-werk. Het onderzoek is door CINOP uitgevoerd in de periode januari tot en met augustus 2000. Bij het bepalen van de grootte van de steekproef moest rekening gehouden worden met de gewenste informatie. In dit onderzoek werden, om uitspraken te kunnen doen over de gehele populatie, resultaten over bijvoorbeeld aantal SJD’ers bij werkgevers geëxtrapoleerd naar de gehele populatie werkgevers. Hiervoor was dus ook een grotere steekproef noodzakelijk. Met de gegevens uit de drie deelonderzoeken (afgestudeerden, werkgevers en potentiële werkgevers) zijn statistische analyses uitgevoerd. Voor de afgestudeerde SJD’ers werd er onderscheid gemaakt tussen het oordeel van mensen die wel en mensen die niet in een sociaal-juridische functie werkzaam waren. Ook zijn vergelijkingen gemaakt tussen de mensen die werkzaam zijn in verschillende functies en werkvelden. De resultaten van de steekproef onder werkgevers en de potentiële werkgevers zijn op basis van de steekproef en beschikbare informatie over de populatie geëxtrapoleerd naar de populatie.
4.3 Resultaten Uit het onderzoek bleek dat Sociale Zekerheid, Advies en Informatie, Justitie en Profitsector de belangrijkste werkvelden zijn waar afgestudeerde SJD'ers werken. Volgens driekwart van de SJDafgestudeerden die werkzaamheden verrichen op het gebied van sociaal juridische dienstverlening is voor hun functie een opleiding op HBO-niveau vereist. Uit het onderzoek bleek verder dat ruim tweederde van de SJD-afgestudeerden tevreden is over de inhoud van de functie in relatie tot de opleiding; zie figuur 7). Degenen die niet tevreden zijn geven als reden aan dat de huidige functie niet zo goed aansluit op de opleiding: de opleiding is tamelijk breed en de functie is eenzijdiger en minder juridisch. Een andere reden is dat men bepaalde kennis en vaardigheden in de opleiding mist.
Niveau van de opleiding Inhoud van de functie Figuur 7. Tevredenheid over de functie
Tevreden 76% 68%
Niet tevreden 24% 32%
De tabel in figuur 8 geeft weer waar, volgens de afgestudeerde SJD’ers, meer aandacht aan besteed zou moeten worden in de opleiding. Er is hier een onderscheid gemaakt tussen de mensen die nu wel sociaal-juridische werkzaamheden verrichten en mensen die niet werkzaam zijn op het gebied van de sociaal-juridische dienstverlening. Wel SJDwerkzaamheden 32% 29% 25%
Geen SJDwerkzaamheden 29% 31% 36%
49% 24%
47% 22%
Complexe sociaal-juridische vraagstukken oplossen Adequaat communiceren met cliënten Adequaat participeren in en opereren vanuit de organisatie Initiëren en stimuleren van innovatie in de organisatie Op een juridische manier de sociaal-juridische vraagstukken oplossen Figuur 8. Aanpassing van de inhoud van de SJD-opleiding
22
Dit onderzoek zocht ook een antwoord op de vraag naar het arbeidsmarktperspectief van afgestudeerde SJD’ers. Voor de komende drie jaar zijn er naar verwachting zo'n 1600 vacatures te verwachten voor functies op sociaal-juridisch gebied met name in het werkveld sociale zekerheid. Tweederde van de werkgevers die vacatures hebben geeft aan dat zij voor de vacatures een voorkeur hebben voor een afgestudeerde van de HBO-opleiding SJD. Dit betekent dus dat er zo’n 1100 vacatures voor afgestudeerde SJD’ers komen.
4.3.1 Conclusies Geconcludeerd mag worden dat afgestudeerden van de HBO-opleiding SJD tevreden zijn over de opleiding en dat ze terecht komen in functies die goed aansluiten op de opleiding, zowel wat betreft inhoud, als niveau van de opleiding. Ook de werkgevers vinden de afgestudeerde SJD’ers heel competent om functies op het gebied van sociaal-juridische dienstverlening te verrichten. Ook blijkt uit het onderzoek dat de vraag van de arbeidsmarkt en het aanbod van afgestudeerden op dat moment goed op elkaar was afgestemd. Voor de toekomst wordt verwacht dat de uitstroom van afgestudeerden zal toenemen, omdat de instroom groeit. Gezien de mobiliteit op de arbeidsmarkt zal vervanging van zittende medewerkers in de komende jaren nog voldoende mogelijkheden bieden voor afgestudeerde SJD’ers. Op basis van het door CINOP uitgevoerde evaluatieonderzoek heeft de LSV aan de HBO-Raad (sectoraal adviescollege) geadviseerd om de SJD-opleiding niet met meerdere vestigingen uit te breiden, omdat de vraag op de arbeidsmarkt niet zal groeien.
4.4 Hoe met actieplannen de ROI van een Programma voor prestatiebeheer meten? Patti P. Phillips, Ph.D. and Jack J. Phillips, Ph.D.3
4.4.1 Situatie Cracker Box, Inc. is een grote, snelgroeiende restaurantketen gevestigd langs belangrijke snelwegen en drukke verkeerswegen in de Verenigde Staten. Cracker Box, dat de laatste tien jaar een onafgebroken groei kende, telt vandaag 400 vestigingen en wil blijven groeien. Elke vestiging bestaat uit een restaurant en een cadeauwinkel. Een bedrijfsleider is verantwoordelijk voor beide profit units. Het verloop in de groep bedrijfsleiders bedraagt ongeveer 25%. Dat is minder dan het gemiddelde van de industrie dat 35% bedraagt, maar het ligt toch te hoog. Door de groei van het bedrijf en dit hoge verloop, moeten er elk jaar 150 nieuwe bedrijfsleiders worden opgeleid. De bedrijfsleiders werken autonoom en zijn verantwoordelijk voor de bedrijfsresultaten van hun vestiging. Samen met hun team controleren ze de uitgaven en de bedrijfsresultaten en ondernemen ze de nodige acties om de prestaties van de zaak te verbeteren. De prestaties worden voor elke vestiging afzonderlijk gemeten op een tiental verschillende manieren. De resultaten worden weergegeven in een maandelijks bedrijfsverslag. Sommige metingen worden wekelijks gerapporteerd.
3
Deze casus werd oorspronkelijk gepubliceerd in: Phillips, J.J. & P.P. Phillips (eds.) (2001). Measuring Return on Investment In action Volume 3. Alexandria, VA: ASTD. Gebruik van dit werk werd gevraagd en toegestaan.
23
Bedrijfsleiders worden zowel intern als extern aangeworven en moeten ervaring hebben in het restaurantwezen. Velen onder hen hebben een universitair diploma. Voor nieuwe bedrijfsleiders duurt de opleiding zo’n negen maanden. De stagiairbedrijfsleider die wordt geselecteerd legt rechtstreeks verantwoording af aan de bedrijfsleider die als mentor optreedt. Over het algemeen blijven de stagiairs voor de duur van de opleiding in dezelfde zaak. Tijdens de opleiding rapporteert het team aan de stagiair mits de bedrijfsleider hem4 coacht. Er wordt van de stagiairbedrijfsleider verwacht dat hij als onderdeel van de formele opleiding, minstens drie programma’s van één week volgt aan de Corporate University van het bedrijf. Eén van deze programma’s is het Programma voor Prestatiebeheer. Het Programma voor Prestatiebeheer leert de nieuwe bedrijfsleiders hoe ze de zaak beter kunnen laten renderen. De deelnemers aan het programma leren hoe ze voor de werknemers meetbare doelstellingen kunnen definiëren, feedback kunnen geven op de prestatie, de vooruitgang kunnen afmeten naar de doelstellingen en acties kunnen ondernemen opdat het doel bereikt wordt. In het programma gaat alle aandacht naar het team dat wordt ingezet om problemen op te lossen en de prestatie te verbeteren. Verder worden ook thema’s zoals probleemanalyse en counseling besproken. De studenten verblijven voor de duur van het programma (telkens één week) op de campus, want soms wordt er ook ’s avonds gewerkt. Er zijn ook praktijksessies tijdens diezelfde week. Het programma wordt uitgewerkt door het personeel van de bedrijfsuniversiteit in samenwerking met de bedrijfsmanagers. De evaluatie (en de dataverzameling voor de evaluatie) werd in het programma geïntegreerd.
4.4.2 Evaluatie De specifieke opleidingsbehoeften die werden geïdentificeerd voor nieuwe managers, liggen vooral op het vlak van beleid, praktijk, prestatie en leiderschap. De individuele stagiairmanagers leveren grondstof voor een evaluatie van de behoeften op microniveau of op niveau van de zaak. Alvorens ze aan het programma begonnen, moesten de deelnemers een beperkt aantal gegevens inzamelen over de evaluatie van de behoeften. Er werd elke deelnemer gevraagd een ontmoeting te regelen met de bedrijfsleider (zijn mentor) om ten minste drie elementen van de bedrijfswerking te identificeren die wanneer ze verbeterd werden, ook de prestatie van de zaak zouden verhogen. Vooral veranderingen die volgens de bedrijfsleider en de stagiair onontbeerlijk zijn, zouden gemeten moeten worden. Deze metingen van de impact op het bedrijf kunnen productiviteit betreffen, absenteïsme, omzet, klachten van klanten, inkomsten, inventariscontrole, ongevallen of iedere andere maatregel die de prestatie kan verbeteren. De mogelijkheid bestaat dat de stagiairs die behoren tot een specifieke groep, verschillende punten meten. Wanneer de deelnemers zich inschrijven voor het programma, worden zij er aan herinnerd dat ze als praktische toepassing een actieplan zullen moeten opstellen. Dit plan is onderdeel van het programma en niet zo maar een ‘randverschijnsel’ voor gegevensinzameling. Het plan is voor de deelnemers onontbeerlijk: het biedt hen de mogelijkheid te zien welke verbeteringen werden voortgebracht door de hele groep deelnemers aan het programma. Het studiecertificaat wordt pas afgeleverd wanneer het actieplan is voltooid.
4.4.3 Dataverzameling Aan het einde van het opleidingsprogramma verzamelt de trainer aan de hand van een standaardvragenlijst de typische reactie-en tevredenheidsgegevens. De vragen gaan vooral over de relevantie van het lesmateriaal, de hoeveelheid nieuwe informatie en de intentie om de nieuwe vaardigheden ook effectief te gebruiken. Ook de inhoud en de manier waarop de les wordt gegeven, worden geëvalueerd.
4
Waar hem staat wordt ook haar bedoeld; waar hij staat ook zij; waar zijn staat ook haar.
24
De trainer observeert de manier waarop de deelnemers de geleerde vaardigheden omzetten in de praktijk en de manier waarop zij zichzelf evalueren. Uit deze observatie kan de beoordeling van het leerproces worden afgeleid waarbij men oog heeft voor de manier waarop doelstellingen voor het personeel worden opgesteld, hoe feedback wordt gegeven en het personeel wordt gemotiveerd, hoe problemen worden opgelost en werknemers worden begeleid. Hoewel deze technieken subjectieve informatie geven, kan men er toch uit afleiden of er een verbetering is in het leerproces. Met de gegevens die zijn verzameld over de toepassing en de implementatie, wordt nagegaan of de vaardigheden worden toegepast in de juiste situatie en of alle stappen zijn opgenomen in het actieplan. Een twee bladzijden lange opvolgingsvragenlijst moet een beeld geven van de manier waarop de vaardigheden worden aangewend samen met andere ermee samenhangende punten. Dit gebeurt drie maanden na afloop van het programma. Zes maanden na het programma moeten gegevens uit het actieplan de effectieve verbetering aantonen. Gegevens over de impact op de vestiging zijn specifiek voor elke stagiairbedrijfsleider en worden uit het actieplan gehaald. Hoewel er uit het actieplan ook gegevens gehaald kunnen worden over de toepassing, is het actieplan vooral belangrijk om de impact op het bedrijf na te gaan. Het globale doel voor de ROI was vastgesteld op minimaal 25% dit was meteen ook de norm die was gedefinieerd door Cracker Box voor interne programma’s. Dit was iets ambitieuzer dan wat intern werd verwacht van het rendement van andere investeringen, zoals de bouw van een restaurant met cadeaushop.
4.4.4 Gegevensanalyse In de analyse van de ROI zitten bewerkingen om gegevens te isoleren, die aangeven welke invloed de opleiding heeft op het bedrijf en om de gegevens om te zetten in monetaire waarden. Om de effecten van het programma te isoleren, is gewerkt op basis van de waardering van de deelnemers. Deze techniek gaat uit van een zeer klassiek proces. Elke deelnemer schat de rechtstreekse invloed in van het programma op de veranderingen in de meetwaarden van de impact op het bedrijf. Daarna geven ze, voor berekening van de foutmarge, met een percentage aan hoeveel vertrouwen ze hebben in hun eigen schatting (0% = geen vertrouwen; 100% = zekerheid). Andere isolatietechnieken, zoals het werken met controlegroepen of trendanalyse, waren in dit geval niet geschikt. De methode die is gebruikt om gegevens om te zetten in monetaire waarden, steunt op drie technieken: standaardwaarden, de input van deskundigen en de schattingen van de deelnemers. Kostcategorieën geven een volledige beschrijving van de kosten met inbegrip van de evaluatie van de behoeften, de programmaontwikkeling, het programmamateriaal, reis- en verblijfkosten, de lessen en de coördinatie, de faciliteiten, eten en drinken, het salaris en de voordelen van de deelnemers, de vaste kosten van de opleiding en de evaluatie van de ROI zelf. De niet-tatsbare voordelen betreffen alle metingen van de impact op het bedrijf die niet kunnen omgezet worden in monetaire waarden alsmede de onverhoopte effecten die door het programma zijn voortgebracht.
4.4.5 Resultaten Figuur 9 geeft de uiteindelijke scorekaart weer met de resultaten van de ROI-evaluatie
25
De Scorekaart van de studie van de ROI-impact Titel van het Programma: Performance Management Program Doelgroep: Stagiairs-bedrijfsleiders Duur: 1 week Techniek om de effecten van het programma te isoleren: Schattingen door de deelnemers Techniek om gegevens om te zetten in monetaire waarden: Standaardwaarden, input van deskundigen, schattingen door deelnemers Kost van het volledige programma: $47,242 Niveau 1: Reactie
Niveau 2: Het leerproces
Niveau 3: Toepassen
Niveau 4: Impact
(Hoogste Score = 5) Relevantie van het materiaal = 4.3 Hoeveelheid nieuwe informatie = 3.8 Intentie de vaardigheden te benutten = 4.6 Programmainhoud = 3.7 Presentatie van het programma = 4.1 Manier van lesgeven = 4.2
Uit de evaluatie van de trainer blijkt dat de deelnemers de vaardigheden voldoende onder de knie hebben
Deelnemers gebruiken vaardigheden voor méér dan de 3 uit actieplan geselecteerde metingen.
Metingen van de impact eigen aan elke stagiairbedrijfsleider. Elke stagiair selecteerde 3 metingen. Verbeteringen vastgesteld op vlak van arbeidsbesparingen, omzet, absenteïsme, tekorten, inventaris, voedselverspilling en ongevallen Totaal voordeel/jaar voor Meting 1 = $68,240 Meting 2 = $61,525 Meting 3 = $58,713 Totaal jaarlijks monetair voordeel: $188,478
Beperkingen Té weinig tijd Onderbezetting Veranderende cultuur Té weinig inbreng van het personeel Mogelijkheden Steun van de manager Snel succes dankzij het toepassen van een actieplan
Niveau 5: ROI 298%
Niet-tastbare Voordelen Gevoel iets te bereiken Meer zelfvertrouwen Het werk geeft meer voldoening Promotie tot bedrijfsleider Minder stress Beter teamwerk
Figuur 9. De Scorekaart van de studie van de ROI-impact5
Tot slot Het evaluatieproces bracht de deelnemers op het idee om ook in het eigen opleidingsprogramma een onderdeel evaluatie op te nemen. Deze ontwikkeling zorgde ervoor dat men zich verbonden voelde met het proces, dat men het zich toe ging eigenen. Bovendien kregen de deelnemers heel wat verantwoordelijkheid: ze moesten gegevens verzamelen, de effecten van het programma isoleren en gegevens omzetten in monetaire waarden. Dit maakt de kosten van de evaluatie meteen goedkoper. Werken met een actieplan biedt het voordeel dat programma’s worden geëvalueerd met een hele waaier van meetpunten. Deze situatie is typisch voor programma’s rond leiderschap, teambuilding en communicatie. De toepassing kan enorm verschillen en elke deelnemer kan andere metingen uitvoeren. De gemeenschappelijke waarde van de metingen in geldwaarde vertegenwoordigt de waarde van de verbetering.
5 Op deze scorekaart staan gegevens ontwikkeld door de ROI-methodologie die zes metingen behelst: de reactie, het leerproces, de toepassing, de impact, de ROI en de niet-tastbare voordelen. Het geeft ook methodes aan om de effecten van het programma te isoleren van andere invloeden en de gegevens over de impact op het bedrijf om te zetten in monetaire waarden. De ROI-methodologie wordt beschreven in Philips, J.J. (2003) Return on Investment in Training and Performance Improvement Programs (2de uitgave); Boston, MA: ButterworthHeinemann.
26
4.5 Rendement van e-learning bij een cursus Duits in Japan Jef Moonen (Universiteit Twente ), Sebastian Graeb-Koenneker (Shell Open University, Noordwijkerhout) 6
4.5.1 Vereenvoudigde ROI-benadering7 Resultaten van ROI-berekeningen zijn dikwijls onderwerp van discussie, maar dit soort berekeningen komen in niet-commerciële situaties niet veel voor. De voornaamste reden is dat in situaties die niet op de eerste plaats zijn ingericht voor het maken van winst, bijvoorbeeld in het onderwijs, het belang van zogenaamde niet-tastbare aspecten veel groter is dan direct meetbare aspecten, meestal uitgedrukt in geld. Daar komt bij dat in een traditionele ROI berekening de financiële aspecten een hoofdrol spelen. In een poging om tegemoet te komen aan die problematiek is door Moonen (2003) een aangepaste benadering voorgesteld: Simplified ROI, hier vertaald als 'vereenvoudigde ROI'. De vereenvoudigde ROI-benadering is gebaseerd op een aantal uitgangspunten. De twee voornaamste zijn dat de ROI enkel berekend wordt in relatief opzicht en dat de ROI wordt berekend vanuit drie perspectieven: economisch/financieel, kwaliteit en efficiency. De berekening in relatief opzicht houdt in dat enkel wordt nagegaan hoe de ROI van een situatie is veranderd na invoering van een bepaalde activiteit. Het voordeel is dat enkel de veranderingen die substantieel bijdragen aan een vergroten of verkleinen van de ROI moeten worden nagegaan, wat tot een vereenvoudiging van de nodige dataverzameling leidt. De berekening van ROI vanuit drie perspectieven houdt in dat twee van die perspectieven (kwaliteit en efficiency) expliciet zijn toegespitst op niet-tastbare aspecten. Het zijn dikwijls niet-tastbare aspecten die bij het nemen van beslissingen over activiteiten waarvoor een ROI berekend wordt, doorslaggevend zijn. Het bepalen van de inbreng van niet-tastbare aspecten aan de ROI gebeurt grotendeels op een subjectieve manier. De gehanteerde werkwijze leidt daardoor niet tot een exacte uitkomst. De betekenis van de vereenvoudigde ROI-benadering is dan ook het leveren van een structureel handvat ter ondersteuning van systematisch denken bij gebruik van harde financiële gegevens in combinatie met intuïtieve gevoelens en verwachtingen.
4.5.2 Situatieschets De vereenvoudigde ROI-benadering is door Graeb-Koenneker (2003) toegepast op een situatie bij het Goethe Instituut in Tokyo, Japan. Dit instituut verzorgt cursussen in de Duitse taal en cultuur (GLC) voor stafleden in Japanse bedrijven met het oog op het creëren van een beter werkklimaat in hun relaties met Duitse bedrijven. Het Goethe Instituut is een onderdeel van een wereldwijde organisatie opgericht door de Duitse overheid en verricht werkzaamheden in 76 landen. Gegeven de omvang van de agglomeratie van Tokyo en de vele verkeersproblemen levert het bijwonen van klassikale cursussen in het Goethe Instituut allerlei problemen op voor de potentiële deelnemers. Vanuit dat perspectief overweegt het Goethe Instituut het gebruik van e-learning. Men wil daarbij gebruik maken van internet-faciliteiten, tekstboek, CD-ROM en telefoon (voor het afnemen 6
. Deze case is bewerking van een werkstuk van Graeb-Koenneker gemaakt in het kader van het vak 'Costeffectiveness of technology in education and training', deel van de Masters opleiding ' Technology applications in education and training' aan de Universiteit Twente. 7 Principes van de vereenvoudigde ROI benadering worden gebruikt als uitgangspunt binnen het project ‘Kosten en Baten van E-learning’, uitgevoerd in het kader van de Digitale Universiteit Nederland.
27
van examens). Centraal bij deze benadering staat een cursus-management systeem, in dit geval Blackboard 5. De centrale vraag voor het management van het instituut is of gebruik van e-learning, in vergelijking met de klassikale benadering, een positieve ROI genereert.
4.5.3 ROI-berekening Er is gekozen voor de vereenvoudigde ROI benadering. Deze benadering houdt in dat voor drie aspecten ROI berekeningen worden uitgevoerd: (a) economisch/financieel, (b) kwaliteit, (c) efficiency. Bovendien wordt bij die berekening een onderscheid gemaakt naar de drie belangrijkste actoren: (1) het Goethe Instituut/DGLS (DGLS is de Division for German Language Spread binnen dat instituut), (2) experts en tutors, (3) studenten. Een gedetailleerde verantwoording voor de getallen in de volgende tabellen kan men vinden in het oorspronkelijk document van Graeb-Koenneker. Het gekozen voorbeeld is vooral bedoeld ter illustratie van het gebruik van de vereenvoudigde ROI benadering. Economisch/financieel De Tokyo afdeling van het Goethe Instituut heeft een jaarlijks budget van 4.5 MEcu, waarvan 30% afkomstig is uit eigen inkomsten via taalcursussen (German language and culture class—GLC). De afdeling DGLS die de cursus verzorgt heeft een budget van 1,5 MEcu (min of meer gelijk aan de inkomsten die men verkrijgt via het aanbieden van de taalcursussen;). Er worden vier cursussen per jaar gegeven. De aanname is dat elke cursus na drie jaar min of meer stabiel blijft. Wel moeten onderhoudswerkzaamheden worden verricht. Het aantal cursisten per cursus is twintig. De overheadkosten voor DGLS (management van de afdeling, management en centrale diensten van het instituut) zijn 38% van het jaarlijkse budget, of 572 KEcu. De cursus wordt gemaakt door twee experts die op free-lance basis werken. Deze experts moeten leren werken met Blackboard. De kosten voor studiebegeleiders (tutors) worden geschat op basis van de tijd die nodig is voor directe studiebegeleiding, begeleiding van on-line discussies, afhandelen van e-mails en telefoon. Schatting is vier uur per week bij een tutor/studentratio van 1:20. De softwarelicentie (340 Euro/jaar) wordt verdeeld over de vier cursussen die per jaar gegeven worden. De afleverkosten voor het instituut zijn laag omdat tekstboek en CD-ROM via Amazon verstuurd worden. De registratiekosten zijn reeds verwerkt in de overheadkosten.
Vaste kosten
2 Inhoudelijke experts: (120 uur x Euro 53,-) x 2 2 Blackboard Training Workshops: Euro 300,- x 2 Directe vaste DGLS kosten DGLS Overhead (38% van de directe kosten) Totaal Vaste kosten
Euro
12.720,600,= 13.320,5.062,= 18.382,-
Variabele kosten Tutorkosten: (4 uur x Euro 53,-) x 10 weken Softwarelicentie (340 / 4 cursussen) Afleverkosten (mailing)
2.120,85,20,-
28
Totale Variabele kosten
= 2.225,-
Totale kosten voor DGLS (vaste + variabele kosten) Figuur 10: Kosten voor GLC bij de eerste aanbodronde.
20.607,-
Figuur 10 geeft een overzicht van de initiële kosten bij de eerste aflevering van de cursus. Figuur 11 geeft een inzicht in de kosten bij volgende afleveringen.
Cursus 1
Rest van jaar Jaar 1 (3 GLC) (4)
2 Jaar (4)
3 Totaal
Vaste kosten
GLC Experts Blackboard Training Directe DGLS kosten Overhead (38%) Totaal Vaste kosten
Variabele kosten Tutorkosten Softwarelicentie Afleverkosten Totaal Variabele kosten
12.720,+ 600,-
1.908,0
2.544,0
2.544,0
= 13.320,-
1.908,-
2.544,-
2.544,-
+ 5.062,= 18.382,-
725,2.633,-
967,3.511,-
967,3.511,-
2.120,+ 85,+ 20,= 2.225,-
6.360,255,60,6.675,-
8.480,340,80,8.900,-
8.480,340,80,8.900,-
Totaal alle kosten
20.607,Figuur 11: Kosten van GLC over een periode van 3 jaar (in Euros)
28.037,-
25.440,-
26.700,-
= 54.737,-
De figuren 10 en 11 geven de kosten voor het instituut. Er zijn echter ook kosten die door de studenten betaald worden. Zie hiervoor tabel 3. Er wordt daarbij uitgegaan van een aantal van 240 studenten over drie jaar (twintig per cursus). Er worden voor studenten geen hardware kosten in rekening gebracht omdat de GLC e-cursus in de eerste plaats is gemaakt voor cursisten die reeds beschikken over een computer.
Categorie GLC registratie (Totaal Euro 54737,- / 240 studenten) Tekstboek Cd-rom Toegang Internet Telefoon Postzegels
Euros 228,25,30,30,10,5,-
29
Totaal Figuur 12: Kosten voor studenten
328,-
Met de gegevens uit de figuren 10, 11 en 12 kan nu een totale ROI-tabel worden opgesteld. In deze tabel wordt expliciet onderscheid gemaakt naar de belangrijkste actoren: instituut, experts/tutors en studenten. Er wordt uitgegaan van twaalf cursussen over een periode van drie jaar. De getallen in figuur 13 representeren de gemiddelde kosten voor één cursus.
a. Totale GLC kosten voor de DGLS afdeling (uit figuur 11) b. Cursusregistratie (uit figuur 12) c. Experttijd voor ontwerp (uit figuur 10) d. Instructietijd GLC (uit figuur 11; 25440:12:2) e. Experttijd voor onderhoud (uit figuur 11) f. Overige studentkosten zoals boeken, cd-rom, enz.) (uit figuur 12) Totaal ROI (baten – kosten)
Instituut/DGLS
Experts/Tutors (2)
Student (240)
Kosten
Kosten
Kosten
Baten
Baten
Baten
4.561,228 x 20 = 4.560,Reeds opgevoerd in a.) Reeds opgevoerd in a.) Reeds opgevoerd in a.)
228,530,1.060,290,-
100,-
4.561,-
4.560,1.880,+ 1,+ 1.880,- 328,Figuur 13: ROI-tabel voor 1 GLC in het economisch/financiële perspectief (in EURO) Uit deze ROI-berekening volgt dat het instituut geen winst of verlies maakt. Dit is evident omdat dit het beleid is van het instituut en daardoor de hoogte van de registratiekosten zo is gekozen dat geen winst of verlies optreedt. Ook blijkt uit deze tabel dat de studenten een relatief hoge registratie moeten betalen. Gegeven de relatief hoge doorberekende overheadkosten kan dit voor het management van het instituut een argument zijn om hier flexibel mee om te gaan. Wil men de registratiekosten verlagen, dan zal men de overheadkosten moeten verlagen of anders verdelen over de afdelingen van het instituut. Kwaliteit Eerder is gezegd dat de centrale doelstelling bij de vereenvoudigde ROI-benadering niet precisie is, maar het aanbieden van een systematische basis voor de discussie over relevante aspecten in het kader van ROI. Bij het operationaliseren van kwaliteit van een voorgestelde activiteit kunnen vele wegen worden gevolgd. In het artikel van Moonen (2003) worden bijvoorbeeld de volgende categorieën genoemd: (a) bijdrage aan het verwerven van competenties, (b) beïnvloeding van het gedrag, en (c) bijdrage aan de 30
kwaliteit van de dienstverlening. Maar ook kan kwaliteit gerelateerd worden aan effectiviteit, in de zin dat een activiteit effectief is als haar doelstelling bereikt wordt. En effectiviteit heeft te maken met middelen en doelen, wat weer verbonden kan worden met de prestaties van studenten, maar ook met de motivatie van de werknemer. Een complex geheel met vele mogelijke invullingen. Binnen de vereenvoudigde ROI-benadering is de keuze van de items die men van belang acht bij de discussie over kwaliteit dan ook een zeer belangrijke activiteit. Na de keuze van items in dit kader vergt de vereenvoudigde ROI-benadering dat elk item ordinaal wordt gescoord op een schaal van -10 tot +10. Opnieuw gebeurt dit vanuit een relatief standpunt. Een +5 betekent bijvoorbeeld dat de nieuwe situatie leidt tot een verbetering van 50% ten opzichte van de vroegere situatie. Bovendien wordt gevraagd om aan elk item een passend gewicht (tussen 0 en 1) toe te kennen. Dit om te kunnen aangeven dat niet elk item even belangrijk is. Om de objectiviteit van de gekozen getallen te vergroten kan gebruik worden gemaakt van de resultaten van enquêtes bij de betrokken actoren. In de situatie van het gekozen voorbeeld en vanuit het perspectief om de zaken eenvoudig (en daardoor inzichtelijker) te houden is een beperkt aantal items gekozen, die in tabel 5 zijn gescoord naar procentuele verbetering (+) of verslechtering (-) op de schaal van –10 tot +10 en waarbij aan elk item een gewicht is toegekend. In het originele document dat aan de basis ligt van dit artikel wordt ingegaan op en een verklaring gegeven voor de keuze van de items en de toekenning van de getallen. De ROI wordt voor elke actor separaat berekend als de som van de producten van gewicht en score.
Items
Goethe Management
Studenten
Tutors
Gewicht Score Gewicht Score Gewicht Score Doel/middel 1.0 +5 benadering in relatie tot het beleid voor de verspreiding van Duitse taal en cultuur Positie in de 0.5 +1 0.5 +1 arbeidsmarkt Verwerven van e0.5 +1 0.5 +2 leren en e-instructie vaardigheid Werkmotivatie 1.0 +1 0.1 +1 ROI waarde +5 + 2.0 + 1.1 Figuur 14: Vereenvoudigde ROI voor GLC vanuit het kwaliteitsperspectief Uit deze tabel ontstaat de indruk dat het management, gezien de keuze van de items duidelijk onder druk van de Duitse overheid, aanzienlijk positiever staat ten aanzien van het gebruik van e-learning dan de tutors en de studenten. Tegelijkertijd illustreert deze tabel wat dikwijls gebeurt in de praktijk: de verwachtingen van het management sluiten niet noodzakelijkerwijze aan bij de feitelijke markt. In combinatie met het feit dat de ROI vanuit economisch perspectief ongunstig uitpakt voor studenten, is dit een gegeven dat de aandacht van het management verdient.
Efficiency
31
Het derde perspectief in de vereenvoudigde ROI-benadering is de efficiency. Formeel betekent efficiency het leggen van een relatie tussen input en de output van een activiteit. In het dagelijks taalgebruik betekent efficiency iets anders. Men vindt iets ‘efficiënt’ als men gelijke output krijgt bij mindere of kortere inspanning. Bij de vereenvoudigde ROI-benadering wordt het begrip ‘efficiency’ in deze betekenis gebruikt. De score in de figuur 15 gebeurt op een manier die vergelijkbaar is met die van figuur 14. In het oorspronkelijke document wordt uiteengezet hoe de auteur komt tot de keuze van de efficiency-items en de getallen die hij daarbij gebruikt.
Items Leren en onderwijzen ‘on-demand’ Cursus logistiek Tijd besteedt aan leren en onderwijzen ROI waarde
Goethe Management Tutors Studenten Gewicht Score Gewicht Score Gewicht Score 1.0 +5 0.6 +2 1.0 +5 0.3 1.0
+2 -5
0.3 1.0
+2 +1
0.6 1.0
+5 -1
+0.6 +1.8 Figuur 15: Vereenvoudigde ROI voor GLC vanuit efficiencyperspectief
+9
Uit figuur 15 volgt duidelijk dat het vooral de studenten zijn die een forse efficiencywinst maken bij de introductie van e-leren.
4.5.4 Conclusies De drie tabellen (figuur 13, 14 en 15) zijn voor het management een handvat op basis waarvan men beter kan discussiëren over de vraag of het nuttig is om e-leren in te voeren of niet. Bovendien geeft de operationalisering en (subjectieve) kwantificering van tastbare en niet-tastbare aspecten inzicht in wat de invloed zou kunnen zijn van andere beleidskeuzes. Tabellen 5 en 6 zijn in hoge mate gebaseerd op niet-tastbare, subjectieve gegevens, maar het gaat wel om items in deze tabellen die belangrijk zijn bij de te nemen beslissing. Men heeft immers eerder al de keuze gemaakt dat de registratie-inkomsten dekking moeten geven aan de uitgaven van het instituut. In combinatie met de resultaten uit figuur 14 en 15 kan men explicieter overwegen en beargumenteren of die beslissing onwrikbaar is.
32
5 De (meer-) waarde van evaluatie. De meerwaarde van evalueren zit niet alleen in de ultieme berekening of de euro die in een opleiding is geïnvesteerd nadien meer waard is geworden. Natuurlijk zijn financiële gegevens van belang, omdat dit het besluitvormingsproces over het aanhouden of schrappen van een opleiding ongetwijfeld eenvoudiger maakt. Zowel Phillips (1997) als Moonen (2001, 2003) geven echter aan dat zo’n evaluatieproces naast cijfers, ook inzicht geeft in de voordelen van een opleiding of innovatie en duidelijk kan maken welke factoren het succes bepalen. Evaluatie kan ook zonder cijfers waardevol zijn, door een kader te bieden waarin systematisch nagedacht kan worden over verbeteringen en verdere beleidsontwikkeling. Evaluatie is dus een belangrijk middel om tot betere inzichten te komen, zelfs in het geval dat men er zich niet eens van bewust is. “ROI thinking guides decision making even if the actors involved do not identify it as such.” (Moonen, 2000, p. 1). Blijft de vraag of een evaluatie rendeert, of wel, wegen de baten op tegen de kosten? Dat zal per geval verschillen en voor een belangrijk deel afhangen van de verwachtingen die er zijn en het realiteitsgehalte van de doelstellingen. Het uitvoeren van een evaluatie volgens de methodiek van Phillips (1997) vergt tijd en geld en als deze tot op het niveau van ‘return on investment’ wordt uitgevoerd, dan moet men rekening houden met kosten die liggen rond de 5 % van de kosten voor de opleiding. Het rendement van een evaluatie wordt echter voor een belangrijk deel bepaald door de omvang van de cursus en het aantal (potentiële) deelnemers. Vandaar dat een ROI-evaluatie niet in alle gevallen haalbaar is en men zich moet beperken tot de lagere niveau’s met wat minder harde gegevens. Een ‘happy sheet’ op niveau 1 is echter niet bij voorbaat waardeloos. Wanneer blijkt dat de cursisten helemaal niet ‘happy’ zijn met de opleiding, is dat een goed signaal om te kijken of die cursus weggegooid geld is of dat er nog mogelijkheden zijn voor verbetering. Bovendien geldt dat een ROI-berekening niet mogelijk is zonder de gegevens uit de onderliggende niveaus. De benadering van Phillips is toegesneden op het bedrijfsleven, waar het werken met financiële gegevens dagelijkse kost is. Niet alleen in het bedrijfsleven neemt de behoefte aan meetgegevens toe, ook in het hoger onderwijs speelt de ‘return on investment’. Interessant is wat dit betreft de benadering die Moonen (2003) heeft ontwikkeld, om met relatief geringe inspanningen toch een ROI-berekening te kunnen maken. Doel van deze vereenvoudigde ROI (simplified ROI), zoals Moonen zijn model noemt, is om de discussies over investeringen en rendement veel systematischer en gerichter te laten verlopen door helder te maken welke factoren aan de orde zijn. Uit de case van Moonen, opgenomen in deze publicatie, blijkt dat deze vereenvoudigde methode ook in bedrijfssituaties, zoals bij het Goethe Instituut, te gebruiken is om vragen rond investeringen en rendement te kunnen beantwoorden.
33
6 Referenties Collis, B. & Moonen, J. (2001). Flexible Learning in a digital world, experiences and expectations. London: Kogan Page. De Vries, P. (ed.) (1999). TeleLearn Project Report on Costing Issues in Flexible and Distance Education. Den Bosch: CINOP. EU-project in the Leonardo Program. De Vries, P. & Oprins, E. (2001). E-learning: van trainen naar leren. In: C. Doets e.a. (Red.). Onderwijskundig leiderschap in de BVE (pp. 221-235). Den Bosch: CINOP. Graeb-Koenneker, S. (2003). Investing in Learning. A Simplified ROI for Technology-based “German Language and Culture” course at the Goethe-Institute Tokyo. Niet-gepublicieerd document. Enschede: Universiteit Twente, Faculteit Gedragswetenschappen, Master’s programma Telematics Applications in Education and Training. Horton, W. (2001). Evaluating e-learning.. Alexandria: ASTD. Kirkpatrick, D.L. (1994). Evaluating Training Programs: the Four Levels. San Fransisco: BerretKoehler Publishers. Kearsly, G. (1989). Kosten en baten van opleidingen. In: , J.W.M. Kessels & C.A. Smit. Handboek opleiders in organisaties. Deventer: Kluwer Bedrijfswetenschappen. Loo, J. van & A. de Grip (2003). Loont het investeren in personeel? Maastricht: ROA. Moonen, J. (2003). Simplified Return-on-Investment. Interactive Learning Environments, 11 (2), 147 – 165. Phillips, J.J. (1997). Handbook of Training Evaluation and measurement methods. Houston: Gulf Publishing Company. Phillips, P.P. (2002). The Bottomline on ROI: basics, benefits, & barriers to measuring. Atlanta: CEP Press. Robinson, D.A. & Robinson, J. (2003). Engaging Line Managers in Performance Improvement Efforts. Conference paper. 41st International Performance Improvement Conference & Expo. April 2003.
ASTD ROI netwerk
34
De American Society for Training and Development kent een wereldwijd netwerk van professionals die zich bezig houden met het bepalen van het rendement van investeringen in Human Performance Improvement. Meer weten? Contactpersoon in Nederland is Diederick Stoel. Bel (+31) (0)20 412 36 93 of mail:
[email protected]
35
CV van de auteurs Drs. Jolanda Botke studeerde Toegepaste Onderwijskunde aan de Universiteit Twente en werkt bij CINOP als senior adviseur Branches en bedrijven. Ze houdt zich bezig met projecten over performance en leren. Zij is gecertificeerd performance-adviseur (CPT) en initiatiefnemer en voorzitter van HPT Nederland, het Nederlandse chapter (lokale onderafdeling) van de International Society for Performance Improvement. HPT Nederland heeft tot doel het gedachtegoed van Human Performance Technology in Nederland te verspreiden en het beoefenen van HPT te stimuleren. Daarnaast is ze actief binnen ISPI Europa en ISPI Internationaal. Prof. Dr. Jef Moonen is sinds 1987 hoogleraar Instrumentatietechnologie aan de faculteit Gedragswetenschappen van de Universiteit Twente. Studie in wiskunde en pedagogiek (KU Leuven). Proefschrift over computergestuurd onderwijs in 1978 (RU Leiden). Directeur Centrum voor Onderwijs en Informatietechnologie van 1981-1987 (UTwente). Huidige onderzoeksoriëntatie gericht op kosteneffectiviteit van gebruik van informatietechnologie bij onderwijs en training. Dr. Patti P. Phillips is consultant, auteur en doet onderzoek naar ROI-evaluatie. Ze werkt met organisaties uit de publieke en openbare sector die waar dan ook ter wereld gevestigd zijn. Dr. Phillips is voorzitster van het ROI Institute, een organisatie voor opleiding en onderzoek waar vooral de nadruk wordt gelegd op verantwoordelijkheid en ROI. Ze publiceerde verscheidene boeken en artikelen over metingen en evaluatie van training, human resources en prestatieverbetering. Tot haar meest recente publicaties behoren The Bottomline on ROI (2002), uitgegeven bij het Center for Effective Performance en Measuring ROI in the Public sector (2002), uitgegeven bij ASTD Dr. Jack J. Phillips is dé autoriteit op het vlak van ROI-evaluatie. Dr. Phillips ontwikkelde de ROImethodologie in de jaren 80 toen hij directeur was van een bedrijf genoteerd in de U.S. Fortune 500. Sindsdien schreef en gaf hij meer dan honderd publicaties uit over dit onderwerp. Dr. Phillips werkt met organisaties uit 37 verschillende landen, om zijn ROI-methodologie te implementeren op het vlak van training, prestatieverbetering, human resources, kwaliteit en technologie. Tot zijn meest recente werken behoren Return on Investment in Training and Performance Improvement (tweede uitgave, 2003) en Managing Retention: A Strategic Accountability Approach (2003) uitgegeven bij Butterworth-Heinemann en How to Measure Training Results (2003),uitgegeven bij McGraw-Hill. Drs. Pieter de Vries is senior adviseur bij Cinop en onderzoeker aan de faculteit Techniek, Bestuur en Management van de Technische Universiteit Delft. Hij houdt zich sinds 1990 bezig met ICT in onderwijs en opleiding met de focus op communicatietechnologie. In dat kader is hij betrokken geweest bij verschillende nationale en internationale projecten, o.a. voor het Ministerie van Onderwijs, de Europese Commissie, het Europees Parlement, onderwijsinstellingen en het bedrijfsleven, waaronder KPN, Sara Lee/DE, KLM en Corus. De laatste jaren ligt de nadruk op e-learning voor bedrijven met als thema’s: e-learningstrategie, ROI, businessmodellen en de integratie van e-learning in de bedrijfsprocessen. Op dit moment is hij betrokken bij verschillende implementatietrajecten en onderzoek naar e-learningstrategie en ROI.
36
