KENNISTOETSEN
Een kennistoets kan bestaan uit verschillende vormen vragen: Waar-onwaar (true-false, binary choice) Meerkeuze (mc, stam + alternatieven) Standaardvorm Stellingvorm Combinatie (matching) Schijnbaar open vraag (in- of aanvullen) Reproductievraag (noem x … van y) Korte essayvraag Lange essayvraag. De kwaliteit van de toetsen, en daardoor de waarde die je aan de resultaten kunt hechten, hangt af van een aantal factoren: De toets moet valide zijn. Anders gezegd: meet je met deze vragen wat je wilt meten? De vraag moet vraagzuiver zijn. De vraag moet gemiddeld moeilijk zijn. De vraag moet doelmatig zijn. De vragen moeten uiteindelijk een onderscheid kunnen maken tussen wel en nietbeheersers (discriminatie-index). Op welk niveau kun je deze test gebruiken? De kennistoets kun je inzetten op het niveau van ‘Potential’. De kennis van de deelnemers wordt getest. Je kunt de kennistoets inzetten tijdens de nulmeting, maar ook na de training om te kijken of de kennis van deelnemers is toegenomen. Voordelen
Een kennistoets staat bekend om zijn hoge betrouwbaarheid. Het is een relatief eenvoudige manier om na te gaan of de deelnemer over de gevraagde kennis beschikt (Maes & Sels, 1999).
Nadelen
Kennistoetsen kennen een lage representativiteit van het kennisdomein. Dit houdt dat het maar enkele onderdelen van de geleerde kennis omvat. Bij een aantal vormen van vragen, zoals de meerkeuze en de waar-onwaar vragen, is er een gokfactor aanwezig. Bij kennistoetsen zie je vaak het verschijnsel ‘Teaching to the test’ (Gipps, 1994). De deelnemer richt zich voornamelijk op de toets en het reproduceren van kennis. Of hij daadwerkelijk de kennis kan toepassen op de werkplek of tijdens het maken van een opdracht, blijft de vraag.
Tips Je kunt zelf een kennistoets ontwikkelen, maar je kan ook gebruik maken van de kennistoetsen die al ontwikkeld zijn. Zo zijn er vele toetsen die door erkende examenbureaus worden afgenomen. Hoe kan een opdracht eruit zien? Een kennistoets kan op verschillende wijzen worden afgenomen. Groepsgewijs of individueel Op papier of digitaal Vaste tijd of eigen keuze tijdstip Open of ‘gesloten’ boek. Bij een open boek gaat het vaak om toepassingsvragen en reproductievragen. Voorbeeld Dit is een voorbeeld van een kennistoets, waarbij als vorm meerkeuzevragen zijn opgenomen.
WFT PE BASIS Tentamen/ examen Vraag 1 Er komt een klant bij u die graag een hypothecaire financiering wil. Hij is niet bereid om een overlijdensrisicoverzekering te sluiten, maar wil wel de zekerheid dat hij aan het eind van de looptijd voldoende kapitaal heeft vergaard om zijn lening te hebben ingelost. Welke hypotheek aflosvorm is voor hem het meest geschikt? A. sew B. bew C. kew Vraag 2 Kan er op enig moment meer dan 210 % zijn gespaard in de levensloopregeling? A. ja, door rente of rendement bijschrijving B. nee, 210 % is het maximum C. ja, door rente of rendement bijschrijving en door storting Vraag 3 Wat is juist? A. Levensloop staat open voor de dga en spaarloon niet. B. Spaarloon en levensloop kunnen naast elkaar in hetzelfde jaar gesloten worden. C. Bij levensloop mag een premie van de werkgever worden ontvangen. D. Spaarloon is een wettelijk recht net zoals levensloop.
Vraag 4 Tot welk bedrag geldt de Nederlandse depositogarantieregeling? A. 100.000 euro per rekening B. 100.000 euro per rekeninghouder en per bank C. 38.000 euro per rekening D. Over de eerste 20.000 euro 100% en over het restant 90% per persoon.
Bronnen:
Gipps, C.V. (1994). Beyond testing. Towards a theory of educational assessment. London and New York: Routledge Falmer.
Gulikers, J., Bastiaens, T., & Kirschner, P. (2004). A five-dimensional framework for authentic assessment. Educational Technology Research and Development, 52 (3), 67-85.
Maes, J. & Sels, L. (1999). De Evaluatie van Opleidingseffecten: een Vergelijking van Evaluatiemethoden. K.U. Leuven - DTEW Research Report 9919.
OPDRACHTEN GEKOPPELD AAN DE PRAKTIJK De deelnemers krijgen een opdracht die zoveel mogelijk gerelateerd wordt aan de kennis en kunde die tijdens de opleidingsinterventie is aangeleerd. De deelnemers worden beoordeeld op de manier waarop zij de opdracht uitvoeren. Hierbij kan er gekeken worden naar het proces, het product, maar ook naar de wijze waarop je hier als deelnemers kan reflecteren. Op welk niveau kun je deze test gebruiken? Opdrachten kunnen worden ingezet om de effecten op ‘Potential’-niveau te meten. Je kunt aan de hand van de opdrachten zeggen of de deelnemers van de opleidingsinterventie het kennen en het kunnen. Je kunt het richten op tussendoelen en/of de gehele doelstelling van de training/ opleidingsinterventie. Voordelen
Het is een goede manier om competenties mee te meten, aangezien kennis en vaardigheden als één onderdeel worden gezien.
Nadelen
Het is lastig om een voor- en een nameting te houden. Hierdoor is het moeilijk om aan te geven wat de bijdrage is van de training op het resultaat van de opdracht. Je kunt hiervan wel een inschatting laten maken door de deelnemer zelf. Niet iedere deelnemer is in staat zichzelf te beoordelen aan de hand van een checklist. Je kan ervoor kiezen om de deelnemers elkaar feedback te laten geven
Tips
Richt de opdracht zoveel mogelijk op de werkpraktijk en voer deze direct na of tijdens de training uit. Link de doelstelling van de training direct aan de opdracht. Gebruik de test zoveel mogelijk als ontwikkelingsinstrument en niet als beoordeling. Bij een training op het gebied van ‘learning on the team’ kun je gebruik maken van een groepsopdracht waarbij de deelnemers samen een praktijkopdracht maken.
Hoe kan een opdracht eruit zien? Voorbeeld 1: De marktopdracht bij de training ‘Passie en Resultaten in Sales’ (Randstad) is een voorbeeld van een opdracht. De intercedenten, de deelnemers aan de training, hebben daarbij de opdracht een marktplan uit te werken, waaraan zowel kwalitatieve en kwantitatieve eisen worden gesteld. Kwalitatief in de zin van ‘goed’ contact met de klant. En kwantitatief in de zin van omzet. De opdracht is direct gelinkt aan de uitvoerende werkpraktijk en loopt door de gehele training. Als afsluiting van de trainingen presenteren de intercedenten hun marktplan en uitwerkingen. Ze geven aan wat ze door de training ‘kennen’ en ‘kunnen’.
Bronnen:
Arets, J., & Heijnen, V. (2008). Kostbaar misverstand. Van training naar business improvement. Den Haag: Academic service.
Phillips, J.J. (1997). Return on investment. In training and performance improvement programs. Texas: Gulf Publishing Company.
ROLLENSPEL
Tijdens een rollenspel schets je een situatie waarin de lerende te maken krijgt met de werkelijke situatie en het geleerde kan uitvoeren (Jansen & de Jongh, 1997). Dit kan met behulp van acteurs, maar ook met behulp van collega’s die de rol van bijvoorbeeld een klant nabootsen. De assessoren of diegene die beoordeelt, heeft een checklist of ‘rating scales’, gekoppeld aan de doelstelling van de opleidingsinterventie. Met een checklist bedoelen we een lijst die je bij effectmeting kan gebruiken om te kijken of de deelnemer de afgesproken procedures wel of niet uitvoert. Op welk niveau kun je deze test gebruiken? Het rollenspel wordt uitgevoerd op ‘Potential’-niveau. De deelnemer heeft nieuwe vaardigheden en kennis opgedaan tijdens de training. Deze worden getoetst met een rollenspel. Voordelen
Rollenspellen sluiten direct aan bij datgene wat de deelnemer heeft geleerd. Een goede manier om vaardigheden te toetsen, bijvoorbeeld ‘het voeren van salesgesprekken’.
Nadelen
Standaardisatie, het is lastig om de vergelijking te kunnen maken tussen de verschillende deelnemers. Een rollenspel is vooral een ontwikkelinstrument (formatieve evaluatie) en geen beoordelingsinstrument (summatieve evaluatie).
Tips
Gebruik de test zoveel mogelijk als ontwikkelinstrument en niet als beoordelingsinstrument. Voor het uitvoeren van een rollenspel heb je de volgende zaken nodig: - de opdracht voor een cursist/ deelnemer gekoppeld aan de doelstelling van de opleidingsinterventie; - een script voor de acteur, waarin de gesimuleerde situatie is omschreven en rol van de acteur hierin; - eventueel aanvullend gebruik van videoregistratie; - een beoordelingsvoorschrift of checklist.
Hoe kan een rollenspel eruit zien? Voorbeeld rollenspel Aan de hand van de volgende checklist wordt een rollenspel beoordeeld. De acteur of de klant heeft vooraf een script gekregen waarin het verloop en de rolomschrijving van de te spelen klant staan omschreven. Voorbeeld checklist die gebruikt kan worden bij een rollenspel Naam:
Datum:
Planning Had een duidelijk doel Beschikte over alle benodigde informatie voor het gesprek
ja / nee
Opening Identificeerde zichzelf met de organisatie Bereikte de juiste persoon Maakte een opmerking om interesse te wekken
ja / nee
Vragen naar wensen klant Gebruikte open vragen Gebruikte gesloten vragen Luisterde zorgvuldig (pauzes/ stilte) Trok conclusie en vatte behoefte van de klant samen
ja / nee
Geven van een oplossing Presenteerde de voordelen van het product Probeerde het gesprek af te ronde
ja / nee
Omgaan met tegenwerpingen Vroeg om opheldering bij tegenwerping (indien nodig) Gebruikte het script om te antwoorden op een heldere tegenwerping
ja / nee
Afsluiten Vatte de voordelen nog eens samen Stelde een geschikte slotvraag
ja / nee
Stemkwaliteit Sprak helder en duidelijk Gaf gesprek een vloeiend verloop Kwam professioneel over Kwam beleefd over
ja / nee
Samenvatting van het gesprek Positieve punten: Punten voor verbetering: Aanbevelingen:
………………………………………… ………………………………………… ………………………………………… …………………………………………
Bronnen:
Jansen, P.G.W., Jongh, de, F.D. (1997). Assessment centers. Een open boek. Baarn: Het Spectrum B.V. Straetmans, G.J.J.M. (1994). Effectevaluatie: elementaire ontwerprichtlijnen. In: Schramade e.a. (red.): Handboek Effectief Opleiden. sectie 9.1-1, p 1-14. ’s-Gravenhage: Delwel Uitgeverij B.V.
Voerman, J.I.A. (1994). Effectmeting en -waarborging door evaluatie. Het ‘Evaluation Tracking System’. In: Schramade e.a. (red.): Handboek Effectief Opleiden. sectie 9.8-1, p 37-50. ’s-Gravenhage: Delwel Uitgeverij B.V.
WORK ON SAMPLE TESTEN (ARBEIDSPROEF) Een ‘work on sample’ test is een methode van toetsen waarbij je iemand een voorbeeld of een gedeelte van een werkproces geeft en de uitvoering ervan evalueert. Je kunt door middel van een observatie aangeven in hoeverre iemand de taak beheerst. Kenmerken Hoge representativiteit van de werkelijke taakomgeving Reële arbeidssituatie is het uitgangpunt Beoordeling van gedrag, proces en product Op welk niveau kun je deze test gebruiken? Een ’work on sample’ test kan zowel op niveau van ‘potential’ als op het niveau van ‘performance’ worden ingezet. Bij ‘potential’ gaat het vooral om het feit dat iemand het ‘kent’ en het ‘kan’. Bij ‘performance’ gaat het erom dat het aangeleerde gedrag daadwerkelijk wordt toegepast in de praktijk. Het is hierbij belangrijk dat je niet direct na de opleiding maar na een aantal maanden de meting uitvoert. Het is namelijk vaak het geval dat deelnemers wel het geleerde proberen uit te voeren, maar uiteindelijk weer terugvallen in het oude gedrag (Brinkerhoff, 2006). Voordelen Een persoon voert onder normale omstandigheden handelingen uit. Een groot aantal deelnemers vindt het inspirerend (Arets & Heijnen, 2008). Een ‘work on sample’ test heeft een hoge betrouwbaarheid. Het is in een goede uitvoering een valide instrument. Dit houdt in dat je daadwerkelijk meet wat je wilt meten. Nadelen
De deelnemer is vooraf op de hoogte en kan zich anders gaan gedragen op de werkplek. Het is te gebruiken als taken afgerond kunnen worden in een korte periode. Deze testen hebben minder het vermogen om te kunnen voorspellen of een taak die langer duurt voldoende wordt uitgevoerd. Bij een ‘work on sample’ test zijn er vaak maar weinig mogelijkheden om invloed uit te oefenen op het te vertonen gedrag. Wanneer de opdracht eenmaal in uitvoering genomen is, loopt die voor een groot deel autonoom. Bij het rijexamen, bijvoorbeeld, kunnen noodsituaties niet afgedwongen worden, evenmin is het mogelijk om de verkeersintensiteit of de weersgesteldheid te beïnvloeden.
Tips
Gebruik het instrument als een ontwikkelinstrument en niet als een beoordeling. Spreek vooraf de criteria waarop iemand wordt beoordeeld goed af. Maak gebruik van heldere gedragsindicatoren en criteria. Deze kunnen worden opgesteld in samenspraak met een inhoudelijk expert of de beste presteerder binnen de organisatie. Voor een betrouwbare meeting kun je het beste met zijn tweeën beoordelen.
Hoe kan een ‘work on sample’ test eruit zien? Een ‘work on sample’ test kan er als volgt uitzien: Voorbeeld 1: Dit is een voorbeeld van een ’work on sample’ uit het eerste half jaar van de opleiding tot politiemedewerker. De opdracht is ‘toezicht houden in publiek domein’. Voorbeeld Work on Sample bij de Politie Door het afleggen van deze ’work on sample’ toon je aan dat je preventief en repressief toezicht kunt houden op wetshandhaving en veiligheid en corrigerend kunt optreden bij geconstateerde feiten. Voorbereiding 1. Verzamel van te voren de informatie die nodig is voor het uitvoeren van deze opdracht in het geselecteerde gebied. Zorg dat je precies te weten komt wat er gaande is en welke projecten er spelen. Denk hierbij aan de voorkomende (strafbare) feiten en het gevoerde beleid, maar ook aan aanspreekpunten in het gebied. 2. Je doet dienst in uniform. Zorg ervoor dat je uitrusting volledig is om toezicht te kunnen houden en de opdrachten uit te kunnen voeren. 3. Als agent moet je je richten op zowel preventieve als representatieve werkzaamheden die in relatie staan tot de voor het gebied aangegeven actualiteiten en bijzonderheden. Uitvoering 4. Tijdens het toezicht wordt er van je verwacht dat je in ieder geval contact hebt met: Twee personen die je informatie geeft (preventief); Twee personen die een overtreding plegen (repressief); Een belanghebbende (winkelier, bewoner, marktmeester) bij wie je informatie inwint. Tijdens de dienst heb je een portofoon bij je. Deze gebruik je conform de richtlijnen van het korps. Mocht de situatie zich voordoen dan kun je via de portofoon één of meerdere opdrachten krijgen. 5. Onmiddellijk na afloop van het gehouden toezicht maak je in het bureau een mutatie van deze dienst in het bedrijfsprocessensysteem conform de richtlijnen van het korps. Beoordeling Je gaat op voetsurveillance en je neemt zelf alle initiatieven. Een praktijkcoach is in de omgeving aanwezig. Hij is er voor jouw veiligheid en die van de burger en is portofonisch op te roepen. Tijdens je dienst word je beoordeeld door een assessor. Hij zal zich steeds in je onmiddellijke omgeving bevinden. Als de assessor zich geen goede beeld heeft kunnen vormen van één of meer te beoordelen onderdelen, dan kan hij daar vragen over stellen of je een gerichte aanvullende opdracht geven om zijn beeld te kunnen completeren. Bij dit document zijn een beoordelingslijst plus toelichting gevoegd waarop je kunt zien wat er tijdens de dienst van je verwacht wordt en waarop je beoordeeld wordt. Tijdsduur
Deze opdracht duurt in totaal maximaal twee uur. Deze tijd is voor het houden van toezicht en het maken van een mutatie in een bedrijfsprocessensysteem.
Fig. 1. Voorbeeld van een ‘work on sample’ test of arbeidsproef (Grotendorst, 2002)
Aanwijzing voor assessor De lerende moet zelfstandig toezicht houden in een aangewezen gebied. In dit gebied moeten zich situaties voordoen waarbij zowel preventief als repressief optreden mogelijk is. In dit stadium van de opleiding bestaat het repressief optreden uit een waarschuwend/ corrigerend gesprek en niet uit verbaliseren. De lerende moet wel in staat zijn om in te schatten wat hij zelf kan en wanneer hij hulp nodig heeft. Een combinatie van ‘preventief’ en ‘repressief’ gebied is mogelijk. Surveillancegebieden kunnen zijn: Een markt met een diversiteit aan mogelijkheden: - Preventief optreden: zakkenrollers, fietsdiefstallen - Repressief optreden: fout geparkeerde auto’s, fietsers op de markt, vervuiling Een winkelcentrum met een diversiteit aan mogelijkheden: - Preventief optreden: zakkenrollers, fietsdiefstallen, winkeldiefstal, uitgestalde goederen - Repressief optreden: fout geparkeerde auto’s, fietsers in het voetgangersgebied, vervuiling Een wijk met vervuiling of waar woning- en/of auto-inbraken plaatsvinden Een wijk met overlast door jeugd veroorzaakt Gebied met overlast door zwervers veroorzaakt Parkeerplaatsen en bouwterreinen waar vuil gedumpt wordt Fig. 2. Voorbeeld van een ‘work on sample’ test of arbeidsproef (Grotendorst, 2002) Bronnen:
Arets, J., & Heijnen, V. (2008). Kostbaar misverstand. Van training naar business improvement. Den Haag: Academic service.
Brinkerhoff, R.O. (2006). Telling training’s story. San Francisco: Berrett-Koehler. Grotendorst, A. (2002). Non scholae, sed vitae discimus. Een competentie gerichte curriculumbenadering. Gevonden op 8 januari 2010, op: http://www.kessels-smit.com/files/Artikel_2002_Grotendorst__Non_scholae_sed_vitae_discimus.pdf
Korte, M. (2002). Proeven van bekwaamheid: De ontwikkeling van competentiegerichte examens voor het vernieuwde politieonderwijs. Enschede: Universiteit Twente/ Apeldoorn: LSOP Politie Onderwijs- en Kenniscentrum.
ROEVE VAN P EKWAAMHEID B
In de praktijk zie je verschillende vormen van de proeve van bekwaamheid. Zo zijn er proeven waarin een deel van de handelingsprocedure wordt uitgevoerd, maar ook proeven waarin de deelnemers verschillende ‘toetsonderdelen’ moeten afleggen. Hier wordt echter onder de proeve van bekwaamheid het volgende verstaan: het uitvoeren van de proeve van bekwaamheid komt overeen met de volledige handelingsprocedure. Hieronder wordt verstaan dat de deelnemer voorbereidingen treft, de activiteit uitvoert en evalueert. De omgeving waarin de toets plaatsvindt, kan de organisatie zijn waarin de deelnemer werkt. Je kunt de proeve van bekwaamheid direct of indirect laten beoordelen. Indirect houdt in dat diegene wordt opgenomen met behulp van geluidsapparatuur of videoapparatuur. Direct houdt in dat er een observator kijkt hoe de deelnemer de taak uitvoert. Op welk niveau kun je deze test gebruiken? Deze test kan zowel op het niveau van ‘Potential’ als op ‘Performance’-niveau worden ingezet. Door de test na een aantal maanden uit te voeren kun je zien of de aangeleerde kennis en vaardigheden daadwerkelijk onderdeel zijn geworden van het werkgedrag. Het is hierdoor een effect op het gebied van performance; ‘Ze doen het!‘ Ook kun je het effect direct na de training meten, je spreekt dan echter wel van een meting op ‘Potential’-niveau, aangezien je niet weet in hoeverre de deelnemer het geleerde blijft toepassen. Voordelen
Een persoon voert onder normale omstandigheden handelingen uit. Een groot aantal deelnemers vindt het inspirerend (Arets & Heijnen, 2008). Door aan de proeve van bekwaamheid een nabespreking toe te voegen, heeft het een formatief (proces) karakter.
Nadelen
Bij een eenmalige meting van een zeer beperkte omvang is het lastig om vast te stellen of iemand daadwerkelijk vaardig is om de taak uit te voeren. De betrouwbaarheid van de toets kan dan in twijfel worden getrokken. Door meerdere keren te meten kan je een betere inschatting maken of iemand wel of niet in staat is de geleerde taak uit te voeren. Dit heeft echter als nadeel dat het duurder en minder praktisch is. Moeilijk te realiseren Gedragsindicatoren moeten helder zijn omschreven en gekoppeld zijn aan datgene wat iemand geleerd heeft.
Tips Binnen de proeve van bekwaamheid wordt veelal ook geobserveerd. Het is belangrijk dat de observatie kwalitatief goed wordt uitgevoerd. De effectiviteit van observeren kan worden vergroot door: Een goede voorbereiding van de observator. Waarbij hij goed moet zijn geïnformeerd over de benodigde vaardigheden om de taak uit te voeren en over de aangeleerde vaardigheden tijdens de training. Een systematische uitvoering van de observatie. Het toevoegen van aanwijzingen op het scoringsformulier. Hoe kan een proeve van bekwaamheid eruit zien? Voorbeeld 1: Voorbeeld ‘De docent als coach’ Na een training waarin docenten leren om leerlingen te coachen, kan deze proeve van bekwaamheid af worden genomen. Deze proeve wordt beoordeeld aan de hand van de volgende criteria: De voorbereiding: De coachende docent heeft van te voren de materialen voorbereid. De coach kan tijdens de coachsessie: contact maken met de gecoachte; open vragen stellen; de gecoachte laat reflecteren op zijn/haar functioneren; coachmethodieken als GROW of de leercyclus van Kolb hanteren; de zelfsturing van de gecoachte stimuleren. Reflectie: De coachende docent reflecteert op het geleerde uit de training. De coachende docent is in staan om aan te geven waar verbeterpunten liggen.
Bronnen:
Arets, J., & Heijnen, V. (2008). Kostbaar misverstand. Van training naar business improvement. Den Haag: Academic service.
Govaerts, M. J. B., Van der Vleuten, C. P. M., Schuwirth, L. W. T., & Muijtjens, A. M. M. (2005). The use of observational diaries in in-training evaluation: student perceptions. Advances in Health Sciences Education, 10, 171-188.
Phillips, J.J. (1997). Return on investment. In training and performance improvement programs. Texas: Gulf Publishing Company.
VRAGENLIJSTEN
Een vragenlijst bestaat uit een aantal gerichte vragen over de opleidingsinterventie en in hoeverre deze bijdraagt aan de kennis en vaardigheden van de deelnemer. Een vragenlijst kan uit verschillende typen vragen bestaan: Open vragen, waarbij de deelnemer vrij is in de wijze van beantwoorden. Het nadeel van dit type vragen is dat het veel verwerkingstijd kost en de vraag in sommige gevallen verkeerd wordt geïnterpreteerd of beantwoord. Door hem half-open te maken geef je richting aan de beantwoording. Voorbeeld open vragen: Wat vindt u van de inhoud van de cursus? Wat vindt u van het tempo van de cursus? Het half-open maken van een vraag kun je doen door diverse zinnen te formuleren die de deelnemer of respondent moet afmaken. Voorbeeld half-open vragen:
Ik heb geleerd dat ... Ik heb geleerd hoe ...
Checklist vragen, waarbij de deelnemer kiest uit een aantal items waarbij hij/ zij aangeeft welke het best past bij een situatie. Gesloten vragen of ‘two way questions’, vragen waarbij de deelnemer ja of nee als antwoordkeuze heeft. Voorbeeld gesloten vragen: ‘Ik ken de didactische principes voor het geven van een training.’ Ja / Nee ‘Ik kan de didactische principes verwerken in opdrachten.’ Ja/ Nee Multiple choice vragen, variërend in antwoordmogelijkheid. Je kunt ervoor kiezen om hierbij nog een toelichting van de keuze te vragen. Rangorde vragen, waarbij aan de deelnemer gevraagd wordt om een aantal kenmerken of uitspraken in volgorde van voorkeur of belangrijkheid te plaatsen (nummer 1 = het belangrijkst, 2 = iets minder belangrijk ... tot 5 = het minst belangrijk).
Op welk niveau kun je deze methode gebruiken? De vragenlijst kan op diverse niveaus worden ingezet. Het niveau waarop je de vragenlijst kunt uitvoeren is afhankelijk van: Bij wie neem je de vragenlijst af? Wat vraag je? Wanneer neem je de vragenlijst af? Een termijn van drie maanden na een training wordt bijvoorbeeld veel gebruikt om inzicht te krijgen in hoeverre het geleerde wordt toegepast (‘performance’). Voordelen
Groot bereik van de deelnemers Betrouwbare methoden Makkelijk te digitaliseren Snelle uitwerking mogelijk
Nadelen
Vaak een laag respons, doordat de deelnemers niet achter de doelstelling van de vragenlijst staan of door de vrijblijvendheid van het invullen van de lijst. Door deelnemers eraan te herinneren of door een brief van het management toe te voegen, kun je dit verhinderen. Het is niet eenvoudig goede vragen te formuleren. Slecht geformuleerde vragen leiden tot invalide resultaten. Als je de deelnemer zichzelf laat beoordelen, bestaat de neiging tot overschatting of onderschatting.
Voor- en nadelen van schriftelijke vragenlijsten versus mondelinge interviews: Mondeling
Schriftelijk
Minder voorbereiding
Veel voorbereiding
Geschikt voor open vragen
Geen emotionele opvang
Emotionele vragen
Niet te veel vragen
Goede controle invulling
Geen controle op de invulling
Weinig onvolledige lijsten
Veel non-respons
Moeilijker realiseerbaar
Makkelijk realiseerbaar
Niet anoniem
Anoniem
Gevoelig voor sociale wenselijkheid
Minder gevoelig voor sociale wenselijkheid
Tips Bij de formulering van vragen moet je op de volgende punten letten: Vraag slechts één ding tegelijk. De vragen mogen niet voor meer dan één uitleg vatbaar zijn. De vragen moeten grammaticaal niet ingewikkeld zijn. Het taalgebruik moet begrijpelijk zijn. De vragen mogen niet suggestief zijn. De vragen moeten geen kennis of feiten veronderstellen die niet vermeld staan. Zorg voor een duidelijk lay-out van de vragen. Dit zorgt ervoor dat ze betrouwbaarder worden ingevuld. Maak gebruik van heldere gedragscriteria. Controleer dit bij collega’s of bij de klant. De vragen moeten de doelstelling van de training of opleidingsinterventies dekken. Phillips (1997) raadt daarom ook aan eerst de doelstellingen op te stellen, en vervolgens de vragen te formuleren. Je kunt een pretest en een posttest hanteren. De vragen moeten echter overeenkomen om te kunnen vergelijken. Stel de belangrijkste vraag aan het begin van de vragenlijst. Bij lastige begrippen of gedragsindicatoren is het goed om vooraf te vermelden wat je onder het begrip verstaat.
Voorbeeld Omschrijving gedragsvaardigheden – Onderdeel van een invulinstructie Prestatiemotivatie De mate waarin betrokkene door zijn gedrag laat blijken over voldoende inzet, enthousiasme, teamgeest, alsmede betrokkenheid bij de gang van zaken in zijn bedrijfsonderdeel te beschikken. Initiatief/ besluitvaardigheid Uit zichzelf reageren op kansen en niet passief afwachten. Beslissingen nemen door middel van het ondernemen van acties of zichzelf vastleggen door middel van het uitspreken van meningen.
Hoe kunnen diverse vragenlijsten eruit zien? De invulling van een vragenlijst kan veel vormen aannemen. Qua antwoordmogelijkheden en soorten vragen. Ook kun je gebruikmaken van een mix aan antwoordmogelijkheden. Voorbeeld 1 Voorbeeld schriftelijke vragenlijst – Potential-niveau Inzicht in jezelf en de omgeving (doelstelling cursus) 1. Ik heb inzicht in mijn eigen stressniveau 2. Ik heb inzicht in de stressbronnen op de werkplek 3. Ik herken stresssignalen bij mezelf 4. Ik herken stresssignalen bij collega’s 5. Ik kan stresssituaties bij collega’s bespreekbaar maken
1 2 3 4 5 6 7 8 9 10
Inzicht in mogelijke oplossingen (doelstelling cursus) 1. Ik heb inzicht in de mogelijke oplossingen voor omgaan met werkdruk 2. Ik heb inzicht in de mogelijke oplossingen voor omgaan met ingrijpende gebeurtenissen
1 2 3 4 5 6 7 8 9 10
Voorbeeld 2 Voorbeeld schriftelijke vragenlijst - Performance Zwak
Matig
Goed
Sterk
Zeer sterk
N.v.t.
Klantgerichtheid
Oplossingsgericht denken
Plannen en organiseren
Voortgangscontrole
Voorbeeld 3 In het onderstaande voorbeeld is de vragenlijst te gebruiken bij zowel de individuele deelnemer als bij de gehele afdeling. Voorafgaand aan het hieronder afgebeelde voorbeeld stond een instructie voor de wijze van invulling waarin duidelijk werd gesteld wat de doelstelling van de vragenlijst was en wat ‘het AC niveau’ inhoudt.
Voorbeeld schriftelijke vragenlijst - Performance Terrein klantenbehandeling Op dit moment scoor ik op dit punt: Activiteit In mijn omgang met klanten los ik problemen zelfstandig en volgens de gestelde regels en procedures op.
1 2 3 4 5 6 7 8 9 10
Resultaat Al mijn medewerkers zijn op de hoogte van het credo klantenbehandeling en houden er rekening mee in hun werk.
1 2 3 4 5 6 7 8 9 10
De klanten zijn tevreden over de manier waarop zij vinden door mijn afdeling behandeld te worden.
1 2 3 4 5 6 7 8 9 10
Antwoordmogelijkheden: 1 = Duidelijk onder AC niveau 2 = Onder AC niveau 3 = Op AC niveau 4 = Ruim voldoende op AC niveau 5 = Goed op AC niveau 6 = Niet van toepassing
Bronnen:
Arets, J., & Heijnen, V. (2008). Kostbaar misverstand. Van training naar business improvement. Den Haag: Academic service.
Baarda, D.B., & de Goede, M.P.M. (2006). Basisboek Methoden en Technieken. Groningen: Stenfert Kroese. Phillips, J.J. (1997). Return on investment. In training and performance improvement programs. Texas: Gulf Publishing Company.
Sandick, A.S., & Schaap-Neuteboom, A.M. (1993). Rendement van een bedrijfsopleiding. Een instrument voor het bepalen van het financiële rendement van trainingen. Zaandam: Albert Heijn opleidingen.
Stokking, K.M. (1998). Bouwstenen voor onderzoek in onderwijs en opleiding. Utrecht: Capaciteitsgroep Onderwijskunde.
360-GRADEN FEEDBACK
Dit is een feedbackmethode waarbij we personen uit de werkomgeving van de te beoordelen persoon vragen die persoon feedback te geven op zijn of haar functioneren. In sommige gevallen wordt ook klanten gevraagd feedback te geven. Vaak wordt feedback gegeven door middel van een vragenlijst. Dit kan zowel digitaal als schriftelijk worden afgenomen. Op het internet zijn diverse aanbieders voor deze methode te vinden. Je kunt ervoor kiezen om de feedbackgever anoniem de gegeven feedback terug te sturen. Op welk niveau kun je de 360-graden feedbackmethode gebruiken? Deze test kun je gebruiken op ‘performance’-niveau. Voordelen
De kracht van het instrument zit vooral in het feit dat de medewerker/ manager een helder beeld krijgt van de manier waarop hij of zij bij collega’s, managers en/of klanten overkomt in de werkomgeving. De deelnemer van de opleidingsinterventie wordt door verschillende personen met verschillende belangen beoordeeld. Het draagt bij aan een open cultuur, in de zin van het open staan voor feedback en verbeteringen.
Nadelen
In eerste instantie is een 360-graden feedbackmethode bedoeld als formatieve toetsing, dus gericht op ontwikkeling en dus niet gericht op beoordeling. Door het als beoordelingsinstrument te gebruiken wordt het instrument minder betrouwbaar, want anders ingevuld. Niet in alle bedrijfsculturen wordt het geven van feedback gewaardeerd.
Tips
Er moet een open en eerlijke communicatie heersen bij de organisatie. Wordt de methode al ingezet bij een organisatie? Gebruik dan deze methode en haal de stellingen eruit waar de opleidingsinterventie effect op heeft. Zorg voor duidelijke regels waaraan de feedback moet voldoen. Houd het simpel en maak de vragenlijst niet te lang, dit belemmert het invullen. Koppel nooit 360-graden feedback aan een beloningsstructuur of beoordelingsmethode.
Hoe kan een 360-graden feedbackmethode eruit zien? Voorbeeld 1: Feedbackmethode voorbeeld De collega, de medewerker zelf en de manager vullen allemaal dezelfde vragenlijst in. In de vragenlijst zijn diverse stellingen opgenomen, waarbij de getallen de volgende waarden kunnen hebben: 1 = niet/nauwelijks ontwikkeld 2 = onvoldoende ontwikkeld 3 = voldoende ontwikkeld 4 = zeer goed ontwikkeld Het onderstaande voorbeeld is de beoordeling van een leidinggevende Leiding geven 1.
1 2 3 4 5 6 7 8 9 10
Voelt zich verantwoordelijk voor het eindresultaat
2.
Geeft duidelijke instructies aan medewerkers
3.
Hakt knopen door
4.
Overtuigt medewerkers
5.
Overziet de activiteiten die op de afdeling spelen
6.
Past stijl van leidinggeven aan
Groepsgericht leiding geven 1.
Benadrukt het gemeenschappelijke doel van de afdeling
2.
Maakt een duidelijke taakverdeling
3.
Benadrukt het belang van samenwerken in een afdeling
4.
Vraagt een actieve inbreng van de teamleden
1 2 3 4 5 6 7 8 9 10
Plannen & organiseren 1.
Plant werkzaamheden in
2.
Maakt een plan van aanpak voor een
1 2 3 4 5 6 7 8 9 10
project 3.
Zorgt voor de nodige hulpmiddelen
Voortgangsbewaking 1.
1 2 3 4 5 6 7 8 9 10
Controleert of doelen op tijd worden gehaald
2.
Stelt meetbare doelen
Bronnen:
Breman, P., & Bruinsma, J. (2006). Leidt competentie tot prestatie? Tijdschrift voor HRM, 2, 61- 72. Tillema, H.H. (red.) (1996). Development centers. Ontwikkelen van competenties. Deventer: Kluwer bedrijfswetenschappen.
MYSTERY SHOPPING
Dit is een onderzoeksmethode waarbij een organisatie of instelling bezocht wordt door een persoon die zich voordoet als klant, zonder dat het personeel van het bedrijf of de instelling op de hoogte is van het onderzoek. De mystery shopper let op een aantal aspecten en maakt hiervan een verslag. Ook kan dit aan de hand van een scorelijst. Onderdelen van dienstverlening die zich prima lenen voor dit type onderzoek zijn bijvoorbeeld: klachtgerichtheid; productkennis evalueren; uiterlijk van het filiaal (aanwezigheid promotiemateriaal, uiterlijk van de winkel); correctheid en volledigheid van aanwezige informatie. Naast ‘mystery shopping’ kan ook worden gedacht aan ‘mystery calling’ en ‘mystery mailing’. Bij ‘mystery calling’ wordt telefonisch contact gezocht met de deelnemer om te kijken in hoeverre hij over de aangeleerde vaardigheden beschikt. Bij ‘mystery mailing’ wordt dit gedaan met e-mail. Op welk niveau kun je de ‘mystery shopping’ methode gebruiken? Met behulp van de ‘mystery shopping’ methode kun je beoordelen of de deelnemer daadwerkelijk het geleerde kan toepassen op de werkplek. Voordelen
De context van de deelnemer is direct duidelijk bij deze methode. Onzichtbare beslismomenten worden zichtbaar en kunnen direct benoemd worden. Deze methoden wordt in een aantal organisaties al gehanteerd om zicht te krijgen op de prestaties van de werknemers. De ‘mystery shopper’ kan zowel letten op kwantitatieve als kwalitatieve aspecten binnen de bedrijfsvoering.
Nadelen
Werknemers worden geobserveerd zonder dat zij hiervan op de hoogte zijn. Ze kunnen zich hierdoor niet verdedigen tegen eventuele slechte uitkomsten. Sommige werknemers zien deze methode als een motie van wantrouwen van het management.
Tips Zorg ervoor dat de werknemers/ deelnemers weten op welke criteria zij beoordeeld worden. Houd met deze methode rekening met de privacywetgeving. Link de doelstelling van de ‘mystery shopper’ aan de doelstelling van de training. De volgende stappen kun je ondernemen bij het hanteren van de ‘mystery shopping’ methode: Stel servicerichtlijnen of -criteria vast. Op deze wijze is het voor alle betrokkenen duidelijk waar zij op beoordeeld worden of moeten beoordelen. Werk het script voor de mystery shopper uit. Informeer alle betrokkenen. Het is belangrijk dat de werknemers of deelnemers weten dat zij geobserveerd kunnen worden in een bepaalde periode. Laat de observatie uitvoeren door de ‘mystery shopper’ aan de hand van een script en een evaluatieformulier. Verwerk de resultaten van de observatie. Rapporteer de resultaten naar de deelnemers en het management. Bepaal maatregelen op de tekortkomingen. Voer nogmaals een observatie uit.
Hoe kan deze methode eruit zien? Voorbeeld 1: Hieronder een voorbeeld van een checklist die gebruikt kan worden bij een ‘mystery shopping’ bezoek. De criteria zijn vastgesteld aan de hand van de training ‘klantenservice’. Voorbeeld Checklist – Mystery shopping - Klantenservice Organisatie: Datum: Tijdstip: Geholpen door: Duur van het gesprek: … min Aantal minuten voordat je geholpen wordt: Onvoldoende
Voldoende
vaardig
vaardig
1
2
3
Zeer vaardig 4
Maakt een positieve eerste indruk door zichzelf goed te presenteren Heeft inzicht in de voordelen en eigenschappen van de eigen producten en diensten en kan deze toelichten. Heeft inzicht in de voordelen en eigenschappen van producten en diensten van andere afdelingen en kan deze toelichten. Toont interesse voor de klant door daarop in te spelen (bijvoorbeeld: ‘Ik zie dat u haast heeft’).
Bron:
Reijmes, J. (2008). Onderzoek naar klanttevredenheid en ‘waarde voor de klant’. Toepassingen en nieuwe evoluties. Gevonden op 5 februari 2010, op http://uhdspace.uhasselt.be/dspace/handle/1942/8605
5
INTERVIEWS
Een interview is een gesprek met het doel kennis te vergaren, over de persoon (respondent) die wordt bevraagd, zijn ervaring, zijn kijk op bepaalde zaken, zijn attitudes, zijn gedrag, etc. Interviews kunnen verschillend zijn in structuren en wijze/ vormen van afname: Structuur van het interview Een interview kan de volgende structuren hebben: open, halfgestructureerd of (volledig) gestructureerd. Bij een open interview gaat het om een gesprek over een bepaald onderwerp en beschikt de interviewer ten hoogste over een aantal aandachtspunten. Het heeft vaak een meer kwalitatief onderzoekskarakter. Bij een halfgestructureerd interview is vooraf een aantal (open) vragen geformuleerd, die in principe in de voorbereide volgorde en formulering worden gesteld. Bij een gestructureerd interview is sprake van voorgestructureerde antwoorden (en/of vragen). Wijze van afname Een interview kan op verschillende wijze worden afgenomen: individueel, groepsgewijs, individueel, telefonisch of via de webcam. Afhankelijk van het niveau waar je zicht op wilt krijgen, maak je een keuze voor je gesprekspartner(s). Voor bijvoorbeeld het zicht krijgen op de resultaten op ‘Productivity’- en ‘Performance’-niveau wordt het in gesprek gaan met de managers aangeraden. Zien zij de resultaten van de training terug in de bedrijfsresultaten? Op welk niveau kun je deze methode gebruiken? Het interview kan informatie geven over verschillende evaluatieniveaus: ‘Potential’, ‘Performance’ en ‘Productivity’. Het hangt van de vraag af welk niveau je daadwerkelijk toetst. Tips
Bij een mondeling interview dat via de telefoon wordt afgenomen, kan de interviewer direct de gegevens invoeren in de computer. Je kunt er ook voor kiezen om tijdens het interview aantekeningen te maken op je laptop. Het interview kun je opnemen met geluidsapparatuur. Het taalgebruik van de vragen moet aangepast zijn aan de geïnterviewde, niet te moeilijk. De vragen mogen niet suggestief zijn. De vragen mogen naar niet meer dan één ding tegelijk vragen. De vragen moeten geen kennis of feiten veronderstellen die niet vermeld zijn. Bij een open interview is het goed gebruik te maken van een interviewschema.
Voor- en nadelen van vragenlijsten en mondelinge interviews Hieronder is in de tabel weergegeven wat de voor- en nadelen zijn van het afnemen van een vragenlijst, mondeling versus schriftelijk.
Mondeling
Schriftelijk
Minder voorbereiding
Veel voorbereiding
Geschikt voor open en ingewikkelde vragen
Geen emotionele opvang
Emotionele vragen
Niet te veel vragen
Goede controle invulling
Geen controle op de invulling
Weinig onvolledige lijsten
Veel non-respons
Moeilijker realiseerbaar
Makkelijk realiseerbaar
Niet anoniem
Anoniem
Erg gevoelig voor sociale wenselijkheid
Minder gevoelig voor sociale wenselijkheid
Naast het afnemen van een ‘gewoon’ interview kun je er ook voor kiezen om het interview groepsgewijs of telefonisch af te nemen. Hieronder vind je de voor- en nadelen tegen elkaar afgewogen:
Ongestructureerd groepsgesprek
Voordelen
Nadelen
Minder tijd
Meer mensen
Groep lokt reactie uit
Groepsgewijze afname vragenlijst
Meer en snellere respons
Kost minder tijd van de interviewer
Betere controle
Telefonisch interview
Kost minder tijd
Makkelijk te organiseren
Snelle verwerking mogelijk
Invloed sociaal wenselijkheid
Groep kan ook de reactie van mensen remmen
Kost iets meer tijd van de deelnemers
Ongeschikt bij lange of ingewikkelde vragenlijsten
Hoe kunnen de diverse vormen van interviews eruit zien? Een stappenplan voor een interview kan zijn: Ontwikkel de vragen die je wilt stellen en zorg dat ze zo worden opgesteld dat ze het niveau van één van de vijf P’s toetsen: ‘Pleasure’, ‘Potential’, ‘Performance’, ‘Productivity’ & ‘Profitability’. Probeer het interview eerst uit en stel desnoods zaken bij. Geef bij de deelnemer aan het interview duidelijk aan wat de doelstellingen van het interview zijn en wat er met de gegevens wordt gedaan. Maak een hand-out voor de interviewer; hoe lang duurt het interview, plaats, etc. Voorbeeld 1 Voorbeeld open interview – Performance-niveau Je neemt bij een aantal verschillende werknemers en afdelingshoofden een aantal vragen af: In hoeverre is de situatie op de afdeling veranderd? Waaraan ziet u dit? Wat merkt u aan de deelnemers van de training? Zijn er ook mensen op de afdeling die niet hebben deelgenomen? Zo ja, welk verschil is merkbaar in gedrag? De antwoorden op de vragen worden in een rapport uitgewerkt.
Voorbeeld follow-up interview – Performance – Potential-niveau Na een periode van minstens drie maanden kan er een follow-up interview georganiseerd worden. Dit heeft twee doelstellingen. Ten eerste kun je de vooruitgang in kennis en vaardigheden evalueren door de vragenlijst die vooraf is ingevuld te bespreken. Op die manier worden deelnemers zich opnieuw bewust van bijvoorbeeld hun communicatie en kunnen ze de toepassing naar de praktijk beter maken. Ten tweede is het doel te signaleren waarin medewerkers belemmeringen en hindernissen ervaren bij de toepassing van het geleerde in de praktijk, als zowel de opdrachtgever als de deelnemers laten blijken dat de trainingsdoelen nog niet volledig zijn bereikt. Op manier kan er samen naar oplossingen worden gezocht om het geleerde uit te kunnen voeren in de praktijk. Het resultaat kan zich uiten in een rapport met een analyse van de persoonlijke kwaliteiten en de leerbehoeften van de deelnemers. Bronnen:
Arets, J., & Heijnen, V. (2008). Kostbaar misverstand. Van training naar business improvement. Den Haag: Academic service.
Baarda, D.B., & de Goede, M.P.M. (2006). Basisboek Methoden en Technieken. Groningen: Stenfert Kroese. Phillips, J.J. (1997). Return on investment. In training and performance improvement programs. Texas: Gulf Publishing Company.
Stokking, K.M. (1998). Bouwstenen voor onderzoek in onderwijs en opleiding. Utrecht: Capaciteitsgroep Onderwijskunde.
FOCUSGROEPEN
Om het effect van een opleidingsinterventie vast te stellen gebruik je idealiter een controlegroep. In de praktijk is dit vaak niet haalbaar en realistisch. Om toch het effect van een opleidingsinterventie te kunnen vaststellen, kun je gebruik maken van een focusgroep binnen een organisatie (Stoel, 2003). Dit is een groep mensen die door hun ervaring weten welke factoren het succes van de organisatie beïnvloeden. Zij kunnen op basis van hun ervaring een inschatting maken van de factoren die van invloed zijn op bijvoorbeeld de omzet, verkoopcijfers of klachten. Op welk niveau kun je deze methode gebruiken? Dit is een methode die je kunt gebruiken op het niveau van ‘Productivity’. Het doel van deze methode is dat je een schatting maakt van de bijdrage van de training aan de productiviteit binnen de organisatie, door de focusgroep in te zetten samen met het meetinstrument. Voordelen
Je hebt geen controlegroep meer nodig. De factoren die invloed hebben op het resultaat worden besproken en ingezet op waarde.
Nadelen
Voor deelnemers kan het lastig zijn om aan te geven in percentages wat de bijdrage is van de gevolgde training. Er kan sprake zijn van sociaal wenselijke antwoorden Het blijven schattingen.
Tips
Overtuig het management of de leidinggevende van de voordelen van het werken met een focusgroep, dit zorgt ervoor dat zij de uiteindelijke informatie als geloofwaardiger ervaren. De specifieke onderwerpen, vragen en kwesties moeten goed worden gepland. Maak de focusgroep niet te groot. Een range van 6 tot 12 deelnemers wordt aanbevolen. Zorg ervoor dat de focusgroep uit een representatieve groep van werknemers bestaat. Dring er bij de klant op aan dat het gaat om experts.
Hoe kan de uitvoering van het werken met een focusgroep eruit zien? Voorbeeld 1: Het doel van de onderstaande training was: Meer orders uit gesprekken waarin een prijsbezwaar op tafel komt. Naast de focusgroep is er ook gebruik gemaakt van de verkoopcijfers. De opbouw van de focusgroep ziet er in dit geval als het volgt uit:
De focusgroep krijgt de verkoopcijfers te zien (met een omzetstijging van 45% in de maand juli). Zet de factoren op een rij waarvan aannemelijk is dat ze bepalend zijn geweest voor de omzetstijging (bijvoorbeeld de financieringsregeling en de training). Laat elk groepslid schatten hoe groot de invloed van de factoren is geweest op de omzetstijging. Druk de onderlinge verhoudingen van de invloedsfactoren uit in percentages. Laat iedereen aangeven hoe zeker zij zijn van hun oordeel. Dit is van groot belang: als mensen twijfelen is de schatting minder betrouwbaar.
Figuur 1. Voorbeeld uitwerking focusgroep (Stoel, 2003) Bronnen:
Phillips, J.J. (1997). Return on investment. In training and performance improvement programs. Texas: Gulf Publishing Company.
Stoel, D. (2003). Het rendement van een training. Sales Management, 10, 32- 34.
BRONNENSTUDIE
Een bronnenstudie houdt het bestuderen in van documenten die binnen de organisatie aanwezig zijn. Het betreft bronnen die in de betreffende organisatie zelf worden gemaakt en gebruikt. Vaak vervullen dergelijke bronnen slechts een rol in aanvulling op bevraging van betrokkenen. Onder de betrokkenen worden onder andere de deelnemers aan de training en de managers verstaan. Hoe belangrijker de rol van de bronnen, des te meer aandacht moet worden besteed aan de volledigheid van de verzamelde bronnen (dan wel het maken van een zorgvuldige, representatieve selectie) en de wijze van gebruik. Op welk niveau kun je deze methode inzetten? Deze methode kun je inzetten op het ‘Productivity’-niveau. Je krijgt door het uitvoeren van een bronnenstudie zicht op wat de training oplevert op organisatie- en/of teamniveau. Voordelen
Het sluit aan bij de meetinstrumenten die in de organisatie aanwezig zijn. Het voordeel hiervan is dat er geen nieuwe meetinstrumenten ontwikkeld hoeven te worden. In de bronnen zijn objectieve data te vinden. Door je goed in te lezen en effectief in te lezen in de diverse bronnen ervaart de opdrachtgever dat je zijn context en situatie begrijpt. Je spreekt de taal van de interne of externe klant!
Nadelen
Sommige stukken zijn niet openbaar voor HR-afdeling of externen (bijvoorbeeld EMC). Niet alle documenten zijn actueel. Sommige maatstaven worden immers één per jaar getoetst. Er spelen meerdere factoren een rol bij bepaalde kengetallen van een organisatie. Het werken met een controlegroep of focusgroep wordt daarom aangeraden.
Tips
Data uit indirecte bronnen (zoals management rapportages) zijn uitstekend geschikt om te combineren met data uit directe bronnen (zoals gesprekken, observaties). Je kunt bijvoorbeeld vragen stellen na het lezen en analyseren van een management rapportage tijdens een interview. Combineer de bronnenstudie met een focusgroep. Op die manier kun je een inschatting maken in hoeverre de training een bijdrage heeft geleverd. Zie voor meer informatie ‘Focusgroep’.
Waar kun je op letten bij een bronnenstudie?
Het meten van prestaties die zichtbaar worden in de ‘productie’ van de organisatie
Belangrijke maatstaven
Zaken die meestal worden gebruikt
Maateenheden:
Waar kun je naar kijken om de
voor organisaties
om prestaties in de organisaties te
Wat kan worden geteld en
gegevens te verzamelen?
meten
gewogen?
Klanttevredenheid
Percepties en meningen in de
Waarderingscijfers
Waarderingcijfers op enquête
vorm van een tevredenheids-
Aantal ongevallen
Focusgroepen
onderzoek (schriftelijk of
Kosten om problemen op te
Cijfers klantenservice
mondeling)
lossen
Klachten en retourzendingen
Doorverwijzingen
Tevredenheid van
Moreel
Gemiddelde scores in enquête
medewerkers
Klachten
Ziekteverzuim
Omzet
Recruteringskosten
Personeelsverloop
Medewerkerstevredenheidsonderzoeken
Enquêtes
Gesprekken met vertrekkende medewerkers
Marktaandeel
De werkelijke marktwaarde
Omzet (in euro’s)
Marktonderzoek
vergelijken met de potentiële of
Percentages van verkoop
Bedrijfsindexen
met de concurrentie
Aantal verkochte eenheden
Wat zijn de kosten voor het verbeteren van de service? Afgezet tegen het effect.
Productprestatie
Kosten
Euro’s per eenheid
Financiën
Terugzendingen
Standaarddeviaties
Statistische gegevens
Afwijkingen in het product
Waarderingscijfers
Procescontrole
Meningen van klanten over het
Percentages of ratio’s
Focusgroepen
product
Directe en indirecte afvalkosten
Servicegesprekken
Prestatie werknemers
Ongeplande service
Hoeveelheid afval
Wat is het rendement van de
Ratio en percentage
werknemer?
Percentage van tijd
Hoeveel tijd is besteed aan de
Percentage van presentatie
Tijdstaten/ weekstaten
taak?
Verhoudingen werknemers en
Planningen
managers
Budgetten
Streefbedrag directe en
Omzet per werknemer /
In hoeverre bereiken ze de organisatiedoelstellingen?
Wat zijn de kosten voor de supervisie?
SPC-gegevens (statistische procescontrole)
indirecte kosten
targets
Verbetering productiefouten
Vastgestelde KPI’s (kritieke prestatie-indicatoren)
Prestatiecontracten met individuele werknemers
Belangrijke maatstaven
Zaken die meestal worden gebruikt
Maateenheden
Waar kun je naar kijken om de
voor organisaties
om prestaties in de organisaties te
Wat kan worden geteld en
gegevens te verzamelen?
meten
gewogen?
Wat zijn de vaste kosten?
Ratio
Variabele kosten
Percentage van de kosten
Groeisnelheid
Verkoopkosten
Verkoopanalyse
Servicekosten
Management surveys
Formele claims
Kwantitatieve gegevens
Kwaliteitscontrole rapporten
Aantal gevallen van niet-naleven
Waarde in euro’s
Telefoongesprekken met
Verplichte verslaglegging
Hoeveelheid per 100 uur
klanten die een klacht
Aantal gevallen van niet-
hebben ingediend
Financiële prestatie
Naleving
Groei
Training
Planningen
Dagelijkse rapporten Werkelijke euro’s versus begrote euro’s
naleven
Dagvaardingen
Aantal getrainde werknemers
Werkelijk versus budget
en aantal niet-getrainde
Veranderingen in de
werknemers
database
Geïnvesteerde euro’s per werknemer
In hoeverre komt het tegemoet aan de persoonlijke ontwikkelingsplannen?
Personeelsverloop
Bronnen:
Arets, J., & Heijnen, V. (2008). Kostbaar misverstand. Van training naar business improvement. Den Haag: Academic service.
Phillips, J.J. (1997). Return on investment. In training and performance improvement programs. Texas: Gulf Publishing Company.
