Evaluatie van een cursus communicatie Van reactie tot ROI
Hoe evalueer je een training? Je kunt nagaan of men tevreden is, of men iets geleerd heeft, of het geleerde wordt toegepast, of het effect heeft op het functioneren van de organisatie en of de training financieel rendement oplevert. Daarmee zijn vijf niveaus van evaluatie aangeduid. In dit artikel beschrijven we de evaluatie van een communicatietraining, waarin alle vijf niveaus aan bod komen. Tekst Linda van der Broek
ij evaluatie van trainingen wordt vaak de immateriële meerwaarde onderzocht. In het kader van bezuinigingen is financieel rendement echter steeds belangrijker, ook binnen HRM. Hoe bepaal je het financiële rendement – oftewel de Return On Investment (ROI) – van een training? In dit artikel illustreer ik hoe je niet alleen de immateriële meerwaarde van een training kunt vaststellen, maar ook de ROI. Daarbij ga ik kort in op de vier evaluatieniveaus van Kirkpatrick en op het vijfde niveau dat Jack Phillips daaraan toevoegde. Vervolgens laat ik zien hoe je met wat creativiteit een cursus kunt evalueren op meerdere niveaus, tot en met het niveau van de ROI.
B
FMI, een bedrijf dat zich heeft gespecialiseerd in de productie van fijnmechanische componenten voor onder andere de lucht- en ruimtevaartindustrie, researchlaboratoria en petrochemische bedrijven. Door de toenemende concurrentie en technologische ontwikkelingen werd FMI genoodzaakt haar meerwaarde te halen uit de kwaliteit van de dienstverlening. Een belangrijke conclusie die FMI uit eigen marktonderzoek trok, is dat de organisatie en haar medewerkers de omslag moesten maken van productgericht naar klantgericht denken. Om dat tot stand te brengen, wilde zij haar leidinggevenden een ontwikkelingstraject laten doorlopen.
Evaluatieniveaus Donald Kirkpatrick ontwikkelde een halve eeuw geleden ‘The Kirkpatrick Model’, waarbij geëvalueerd wordt op vier niveaus: reactieniveau, leerniveau, gedragsniveau en organisatieniveau (Kirkpatrick, 1998). Jack Phillips stelde dat wanneer werknemers iets van een training opsteken en deze toegenomen kennis en inzicht op de werkvloer toepassen, bedrijfsprocessen veranderen (Phillips, 1991). Veranderingen in bedrijfsprocessen hebben ontegenzeggelijk invloed op de financiële stromen. Daarom voegde hij een vijfde evaluatieniveau toe aan het model van Kirkpatrick: het rendementsniveau. Dit is de vergelijking van de economische waarde van de resultaten met de investeringskosten in de opleiding, uitgedrukt in procenten, ook wel de Return On Investment (ROI) genoemd.
Uitgangspunt was dat binnen het traject de individuele leerdoelen met de organisatiedoelen verbonden waren. Uit het vooronderzoek kwamen op de vier evaluatieniveaus van Kirkpatrick de volgende leerdoelen voor het traject tot stand, en daarmee dus ook de onderwerpen voor evaluatie: Niveau 4: organisatieniveau: Wat voor effect wil men zien in de bedrijfsprocessen? Niveau 3: toepassingsniveau: Welk concreet waarneembaar gedrag moeten medewerkers vertonen bij de uitoefening van hun werk? Niveau 2: Welke kennis en vaardigheden hebben zij daarvoor nodig? Niveau 1: Wanneer zijn de deelnemers tevreden over het trainingstraject?
De communicatietraining Als voorbeeld voor dit artikel heb ik een training communicatie genomen, die ik heb gegeven aan zeven medewerkers van
16
Er werd een trainingstraject van acht dagdelen ontwikkeld, samengesteld uit twee modules. In de eerste module van vier
Opleiding & Ontwikkeling_05 2008
20603-4_O&O0508.indd B16
24-04-2008 12:00:23
dagdelen werd vooral gewerkt aan bewustwording, kennis en inzicht in effectieve en ineffectieve communicatie en de effecten daarvan. In de tweede module werd vooral aandacht besteed aan de interne communicatie en het effect daarvan op interne en externe relaties en samenwerkingsverbanden. In het laatste dagdeel hebben de deelnemers hun persoonlijke leerrendement gepresenteerd aan het managementteam. Dit hebben zij gedaan door een verbetersuggestie met onderbouwing ten aanzien van een communicatieprobleem te presenteren.
Metingen De volgende metingen werden gedaan: - De tevredenheid van de cursisten werd schriftelijk en mondeling bepaald na elke bijeenkomst en na afloop van de cursus. - Voorafgaand aan de cursus en tweemaal na afloop van de cursus (na drie en negen maanden) werd een 3600 Feedback Vragenlijst Communicatieve Vaardigheden afgenomen bij de cursisten en hun collega’s. - Negen maanden na afloop van de cursus werd een vragenlijst afgenomen om een antwoord te vinden op de volgende vragen: - Welke vaardigheden hebben de deelnemers verbeterd door de training? - Wat is de relatie tussen de training en de top vijf van vaardigheden die bedrijfssuccessen op positieve wijze hebben beïnvloed? - In welke mate heeft de communicatietraining op individueel niveau, teamniveau en organisatieniveau financieel voordeel opgeleverd? De vragenlijst bestond deels uit stellingen die op een vijfpuntsschaal beoordeeld konden worden en deels uit een rekenkundige format, waarin deelnemers praktijkcases konden invullen om de eventuele meerwaarde van hun verbeterde communicatieve vaardigheden te illustreren. Een rekenvoorbeeld is te zien bij evaluatieniveau 5.
Resultaten Niveau 1: reactie Uit de evaluatievragenlijsten, tijdens en na afloop van de training, blijkt dat de deelnemers zeer tevreden waren over de trainer – zowel in de rol van trainer als in de rol van procesbegeleider – en de trainingslocatie. De deelnemers hebben de cursus als moeilijk, maar wel als prettig en zeer zinvol ervaren. Enkele deelnemers gaven aan dat zij na twee trainingsdagen al met meer plezier naar hun werk gingen, omdat de onderlinge communicatie al verbeterde. Niveau 2 & 3: leereffecten en gedragsverandering Er is in de metingen helaas onvoldoende onderscheid gemaakt tussen het leren van vaardigheden en het toepassen van (al aanwezige of tijdens de training geleerde) vaardigheden. Uit de uitslagen van de effectmeting Vaardigheidsmeter Communicatie en de beschrijvingen in de casuïstiek van de ROIvragenlijst, blijkt dat de deelnemers door de training communicatie anders tegen communicatie, samenwerken en hun
collega’s aankijken. Zij hebben daardoor geleerd anders te communiceren. De leertrend van de groep cursisten is grafisch weergegeven in figuur 1. In figuur 1 zijn de meest significante onderzoeksgegevens op basis van de 3600 Feedback Vragenlijst Communicatieve Vaardigheden weergegeven. De figuur geeft de gemiddelde score van de deelnemers op alle genoemde items weer. De grafiek bevat zes lijnen, die op de drie verschillende meetmomenten de zelfperceptie (ZP) en de metaperceptie (MP) weergeven: - De nulmeting (rode lijnen) voor aanvang van de training. - De eerste effectmeting (blauwe lijnen) binnen een week na afloop van de training. - De tweede effectmeting (groene lijnen) negen maanden na afloop van de training.
Omslag van productgericht naar klantgericht denken
Uit figuur 1 blijkt dat de communicatie is verbeterd tijdens het trainingstraject. De blauwe curven (eerste effectmeting) van deelnemers en hun collega’s zijn in hun geheel naar rechts geschoven op de 10-puntsschaal ten opzichte van de rode curven (nulmeting). Daarnaast liggen de curven van deelnemers en hun collega’s over het algemeen dichter bij elkaar. Hieruit kan men constateren dat meningen van deelnemers en collega’s sterk met elkaar overeenstemmen en dat alle partijen van mening zijn dat de deelnemers na de cursus vaardiger communiceren.
0
2
4
6
8
10
Basisvaardigheden communicatie Assertiviteit Anderen beïnvloeden Communiceren binnen een team Teambuilding Anderen inspireren Coachen Productief counselen Conflicthantering Disciplinegesprekken
ZP-0 MP-0 ZP-1 MP-1 ZP-2 MP-2
Figuur 1. Gedragsverandering
Opleiding & Ontwikkeling_04 05 2008
20603-4_O&O0508.indd B17
17
24-04-2008 12:00:23
Uitgangspunten
Resultaten
Betere werksfeer
Door de verbeterde communicatie is er meer vertrouwen in elkaar en wordt er meer waardering naar elkaar uitgesproken. Medewerkers voelen zich prettiger; zijn daardoor meer gemotiveerd.
Betere afstemming van werkprocessen
Men schenkt meer tijd en aandacht aan de communicatie tussen de verschillende productieafdelingen. Er wordt meer gezamenlijk vooruitgekeken, waardoor men in overleg tot betere afstemming komt van productieprocessen.
Afname van foutproductie door misverstanden
Door meer en beter overleg, concretere afspraken en meer terugkoppeling over gemaakte afspraken is er een afname in foutproductie.
Verkorten van doorlooptijden
Door de verbeterde communicatie en efficiëntere afstemming van productieprocessen, wordt de doorlooptijd van productieprocessen verkort.
Lagere productiekosten en daardoor grotere winstmarge
Door verkorten van de doorlooptijden en foutreductie is er bezuinigd op productiekosten, waardoor de winstmarge is toegenomen.
Grotere betrouwbaarheid in levertijden
Door de toegenomen vraag bij FMI heeft de efficiëntere werkwijze en verkorting van doorlooptijden van verschillende productieprocessen nog niet geleid tot een grotere betrouwbaarheid in levertijden.
Grotere klanttevredenheid met een betere marktpositie
Het effect van de communicatiecursus op de klanttevredenheid is niet gemeten binnen dit onderzoek.
Tabel 1. Overzicht resultaten op organisatieniveau
Bij de tweede effectmeting zien we een terugval in vaardigheden ten opzichte van de eerste effectmeting. De meeste deelnemers die teruggevallen zijn, hebben een lichte terugval in communicatieve vaardigheden en een enkeling vertoont op twee of meerdere items een sterkere terugval. De mate van terugval wordt bepaald door de mate waarin de medewerker zich laat meeslepen door de druk om aan afgesproken levertijden te kunnen voldoen en de mate waarin de medewerker zich bewust is van de noodzaak om te blijven focussen op de communicatie en het geleerde te blijven toepassen. Uit beschrijvingen in de casuistiek blijkt dat deelnemers door de cursus gemotiveerd werden om anders met elkaar om te gaan. Het effect van de communicatietraining kwam tot uiting op de volgende punten: - er werd eerder naar elkaar toe gestapt bij onduidelijkheid of onenigheid over het werk; - men ging vaker in overleg; - men zocht vaker een rustige ruimte om in overleg te gaan in plaats van in de wandelgangen te overleggen; - men durft in overleg vaker met eigen ideeën en meningen naar voren te komen; - men geeft elkaar op respectvolle wijze feedback en complimenten. Niveau 4: organisatie-effecten Uit de evaluatie direct na het trainingstraject, kwamen de volgende effecten naar voren: - verandering van gesloten communicatie naar open communicatie; - minder misverstanden; - minder conflicten; - betere werksfeer en meer werkplezier; - meer betrokkenheid van werknemers bij de organisatie; - actief meedenken van werknemers om bedrijfsprocessen efficiënter te laten verlopen; - van ‘wij-zij’ cultuur meer naar een ‘wij’-cultuur. Uit de enquête na negen maanden, bleek dat de medewerkers ervaren dat de meeste winst uit de training wordt gehaald door de onderstaande punten (zie tabel 1): - tijdwinst door effectievere en doelgerichtere communica-
18
tieve vaardigheden; - meer opbrengsten uit de gevoerde werkgesprekken; - efficiënter overleg binnen het team, wat betreft teamdoelen; verkorten van de doorlooptijd van een opdracht. Niveau 5: Return On Investment (ROI) Elke deelnemer reflecteert op een of meerdere productieprocessen waarin hij participeert en berekent daar zijn persoonlijke ROI over, met gebruikmaking van het format zoals hieronder aangegeven. A. Geef een korte omschrijving van de case: - Om welk product of dienstverlening gaat het? - Maak een schatting van de financiële waarde van de case in euro’s. - Geef aan of het hierboven vermelde bedrag een wekelijks, maandelijks, kwartaal of jaarlijks bedrag betreft. B. Rekenkundige onderbouwing van uw schatting op jaarbasis: - Welk percentage van de hierboven aangegeven verbetering is eigenlijk beïnvloed door de toepassing van vaardigheden geleerd van de Cursus Communicatie? (0% = Cursus heeft geen bijdrage geleverd en 100% = Volledig aan deelname aan de cursus toe te schrijven) C. Wat is het niveau van uw vertrouwen van de schatting hierboven? - Vertrouwen (0% = geen vertrouwen en 100% = zeker) D. Wat is de meest conservatieve schatting van de financiële voordelen?
€
A.
x
B.
% x
C.
%
=
€
D.
Wanneer u wilt weten hoe dit in de praktijk tot uitwerking komt, kunt u op www.introspection.nl een uitgewerkte case vinden. Voor het bepalen van de persoonlijke ROI worden de totale individuele financiële opbrengsten berekend door alle persoonlijke voordelen bij elkaar op te tellen en vervolgens worden alle individuele kosten bij elkaar opgeteld. Om een idee te krijgen van de verhouding kosten en opbrengsten, is in tabel 2 de individuele ROI weergegeven.
Opleiding & Ontwikkeling_05 2008
20603-4_O&O0508.indd B18
24-04-2008 12:00:23
Toelichting op het ROI-percentage in tabel 2: • Bij een persoonlijke ROI van -70% geldt dat de opdrachtgever € 0,70 heeft toegelegd voor iedere euro die hij heeft geïnvesteerd in de training van deze deelnemer. • Bij een persoonlijke ROI van 83% geldt dat voor iedere euro die de opdrachtgever heeft geïnvesteerd in de training van deze deelnemer, hij € 1,83 heeft verdiend. Voor het bepalen van het rendement op organisatieniveau zijn de investeringen in alle deelnemers aan de opleiding bij elkaar opgeteld en vervolgens alle opbrengsten. De totale ROI wordt berekend door alle individuele opbrengsten bij elkaar op te tellen en daarnaast alle individuele kosten. Op basis van 14 verschillende berekeningen, verspreid over acht verschillende orders, is er een vergrote opbrengst uit werk van € 18.170,49. Wanneer we daar de investering in de cursus van aftrekken, inclusief verletkosten, te weten € 9.550,72, dan blijft er nog een financieel rendement over van € 8.619,77 binnen negen maanden na afsluiting van de cursus. Wanneer we tot slot de ROI berekenen volgens onderstaande formule, komt het rendement uit op een ROI van 90%. Totale ROI =
Totale opbrengsten - Totale kosten Totale kosten = € 18.170,49 € 9.550,72 € € 9.550,72
x 100 = 90%
rekend over 8 van de 1500 orders die FMI in zijn portefeuille heeft, wat uiteraard een zeer beperkte steekproef is. In de negen maanden tussen de eerste en tweede effectmeting is de omzet € 2,8 miljoen, tegen een jaaromzet van € 2,15 miljoen in het jaar voorafgaand aan de training. Er is op basis van de ingebrachte casuïstiek 0,8% bespaard in negen maanden tijd als gevolg van de cursus communicatie. Hierin is de invloed op ziekteverzuimkosten niet meegerekend, omdat
Er werd eerder naar elkaar toe gestapt hierover bij aanvang van de training onvoldoende informatie beschikbaar was. Bij de berekening van het verschil in de productiekosten, voor en na afloop van de training, hebben we ervoor gekozen het verschil alleen te berekenen over de arbeidskosten, omdat dit tussen de twee meetmomenten een stabiele factor was. Materiaalkosten hebben we buiten beschouwing gelaten, omdat dit afhankelijk van de marktprijs is en dus een variabele factor. Het totaal van de door de deelnemers ingebrachte casuïstiek is te clusteren naar organisatiedoelen. In tabel 3 is een overzicht afgebeeld van het financiële rendement gekoppeld aan de organisatiedoelen.
Toepassingsmogelijkheden Dit houdt in dat voor elke geïnvesteerde euro in de opleiding binnen negen maanden € 1,90 is terugverdiend door de deelnemers aan de communicatiecursus. Daarbij schrijven de deelnemers het positieve resultaat variërend van 15 tot 100% toe aan de Cursus Communicatie. Het grote verschil is te verklaren door het verschil in niveau bij aanvang van de cursus. De betrouwbaarheid van de toekenning ligt tussen de 60 en 100%. Hiermee kan worden gesteld dat de berekening zeer conservatief is uitgevoerd en, zoals eerder gezegd, slechts beDeelnemers
De ROI-meting is niet alleen geschikt om na afloop van de training in te zetten. De meting kan ook als onderzoeksinstrument voorafgaand aan een training worden ingezet, in de voorbereidende fase. 1. Evaluatie: ROI-meting als instrument om de effectiviteit en rendabiliteit van een training te meten. Wanneer de training niet rendabel is, helpt de meting om
1
2
3
4
5
6
€ 1.355,71
€ 1.355,71
€ 1.355,71
€ 1.355,71
€ 1.355,71
€ 1.355,71
€ 1.355,71
22,50
-
-
-
€
€
€ 1.355,71
€ 1.378,21
€ 1.355,71
€ 1.355,71
€ 1.355,71
€ 1.371,71
€ 1.371,96
Casus 1:
€ 1.120,00
€
€ 5.862,30
€ 1.400,00
€ 2.340,00
€
€
Casus 2:
-
-
-
-
-
Casus 3:
€ 1.080,00
€ 1.822,50
-
-
Totale voordelen:
€ 2.200,00
€ 2.015,55
€ 5.862,30
€ 1.400,00
€ 3.260,70
€ 3.026,94
62%
46%
332%
3%
140%
120%
Werkelijke kosten Verletkosten in Bruto loonkosten Totale kosten:
-
€
22,00
7
16,25
Voordelen
ROI
193,05
€
920,70
640,00
405,00
€ 1.555,20
-
€
-
831,74 €
405,00 -70%
Tabel 2. Individuele ROI op Communicatiecursus
Opleiding & Ontwikkeling_05 2008
20603-4_O&O0508.indd B19
19
24-04-2008 12:00:24
Organisatiedoelen Besparing op productiekosten door verkorten van doorlooptijden
Winst
Aandeel van cursus
Betrouwbaarheidsschatting
€ 8.730,14
42 %
82 %
€ 833,05
72 %
87 %
Verhogen van de opbrengsten door betere presentatie van vakkennis
€ 5.862,30
35 %
95 %
Verhogen van de opbrengsten door betere motiverende vaardigheden en betere werksfeer
€ 2.340,00
100 %
100 %
€ 405,00
30 %
90 %
€ 18.170,49
Gem. 55%
90 %
Besparing op productiekosten door foutreductie
Meer opbrengsten door initiatieven Totale opbrengsten
Tabel 3. Financieel rendement van de communicatietraining op organisatiedoelen
op het niveau van kennis, gedrag en toepassing het trainingsprogramma te verbeteren. 2. Prevaluatie: - Het ontwikkelinstrument. Prevaluatie helpt bij probleemdefinitie en het definiëren van programmadoelen. Wat is het probleem? Hoe groot is de financiële schade? Wat is de oorzaak daarvan? Per item kunnen hier leerdoelen aan worden gekoppeld op het niveau van gedrag, toepassing en financiën. Wat moeten medewerkers leren? Wat moe-
Voor elke geïnvesteerde euro in de opleiding is binnen negen maanden € 1,90 terugverdiend ten medewerkers anders gaan doen? Hoe vertaalt zich dat op de werkvloer qua werkproces? Wat moet de training aan omzetverbetering genereren om geslaagd te zijn? - Als selectie-instrument van de opleidingsaanbieder. Wanneer programmadoelen op bovenstaande wijze gedefinieerd zijn, kan HRM bepalen welk opleidingsaanbod inhoudelijk en op financieel gebied het beste past bij de vraag. - Als selectie-instrument van medewerkers als deelnemer. Aan medewerkers kan worden gevraagd waarom zij aan een training mee willen doen en wat zij aan trainingseffect verwachten. Verwachten zij de trainingskosten binnen een jaar terug te verdienen? Zo worden de gemotiveerde medewerkers eruit gehaald. Wanneer deze medewerkers als eerste het traject ingaan, zullen zij snel een bijdrage leveren aan omzetvergroting.
Tot slot Aan de hand van de evaluatie op vijf niveaus kunnen we concluderen dat de training succesvol was. Men was tevreden, het communicatieve gedrag van de cursisten veranderde in de gewenste richting, de gedragsverandering was ook na langere tijd zichtbaar en ook op organisatieniveau waren effecten constateerbaar, qua werksfeer en qua financiële prestatie.
20
Bij de praktijkberekening van de ROI is een aantal posten buiten beschouwing gelaten: materiaal- & energiekosten en kosten als gevolg van ziekteverzuim. Deze zijn in het totaalplaatje niet meegenomen, omdat materiaalkosten fluctueren en bij de nulmeting niet is bepaald hoe groot de schadeposten op energie en ziekteverzuim waren. U kunt zich dus voorstellen dat de werkelijke ROI veel hoger uitvalt wanneer we deze kosten wel zouden meenemen. Ondanks dat niet alle kosten zijn meegenomen, was het bepalen van de ROI al een tijdrovende klus. Er zijn echter ook verkorte methoden. Of die methoden bruikbaar zijn, hangt af van de wijze waarop in de organisatie standaard resultaatgegevens worden verzameld. Zie bijvoorbeeld Stoel (2004). In dit artikel heb ik willen laten zien hoe informatief een uitgebreide evaluatie kan zijn. Ik hoop dat dit verslag anderen zal inspireren tot creatieve pogingen om in de eigen situatie multi-niveau-evaluatie in te bouwen in het opleidingsontwerp. ■ Literatuur - Kirkpatrick, D.L. (1998). Evaluating Training programs (2nd edition). San Francisco: Berrett-Koehler, Inc. - Phillips, J.J. (1991). Handbook of training evaluation and measurement methods. Houston TX: Gulf Publishing Company. - Stoel, D. (2004). Calculating the return on a training course, http://www.roionline.co.za/ROI-CalcTraining.htm
Trefwoorden: Cursusevaluatie • Return on Investment (ROI) • Evaluatieniveaus
Linda van der Broek (1957) ondersteunt als zelfstandig trainer/adviseur van IntroSpection, mens en organisatie bij hun ontwikkeling. Persoonlijke effectiviteit en samenwerking zijn haar aandachtsgebieden. E-mail:
[email protected]
Opleiding & Ontwikkeling_05 2008
20603-4_O&O0508.indd B20
24-04-2008 12:00:24
