Is 360-graden feedback een geschikte methode voor opleidingsevaluatie?

04-jellema-def

31-03-2004

15:44

Pagina 49

&

Is 360-graden feedback een geschikte methode voor opleidingsevaluatie? EEN

PRAKTIJKONDERZOEK NAAR DE BETROUWBAARHEID EN VALIDITEIT Froukje Jellema

Bij 360-graden feedback ontvangt een medewerker feedback over het werkgedrag van een aantal mensen uit de werkomgeving, zoals de leidinggevende, collega’s, medewerkers en klanten. Dit artikel gaat in op de vraag of 360-graden feedback een geschikte methode is voor het evalueren van veranderd werkgedrag als gevolg van opleiding en ontwikkeling. Om deze vraag te beantwoording is in drie organisaties onderzoek gedaan. Belangrijke voorwaarde voor het gebruik van 360-graden feedback voor opleidingsevaluatie is dat de methode betrouwbaar en valide is. Ook voor andere toepassingen, zoals personeelsbeoordeling, is dit een belangrijke voorwaarde. Vandaar dat dit artikel ook op de psychometrische eigenschappen van 360-graden feedback ingaat. Dit artikel is daarmee interessant voor een brede doelgroep, namelijk zowel opleidingsfunctionarissen die geïnteresseerd zijn in evaluatie als iedereen die zich bezighoudt met het gebruik van 360-graden feedback.

Dr. F.A. Jellema is werkzaam als docent Personeel & Arbeid aan de Hanzehogeschool te Groningen.

Inleiding en achtergrond Van oudsher is de leidinggevende de voornaamste beoordelaar van het werkgedrag van medewerkers. Aangezien er steeds meer in teams wordt gewerkt en organisaties platter worden, heeft de leidinggevende meer en meer een beperkt zicht op het werkgedrag van medewerkers (Bracken, 1994; Cascio, 1995; Murphy en Cleveland, 1995). Dat verklaart de opkomst in het gebruik van 360graden feedback (Van Velsor, Leslie en Fleenor, 1997). Bij 360-graden feedback krijgt een werknemer (in het vervolg de feedbackontvanger genoemd) feedback op het eigen functioneren van verschillende personen uit de werkomgeving, zoals 49

04-jellema-def

&

31-03-2004

15:44

N U M M E R 2 - M A A RT / A P R I L - 2 0 0 4

Pagina 50

I S 3 6 0 - G R A D E N F E E D B A C K E E N G E S C H I K T E M E T H O D E V O O R O P L E I D I N G S E VA L U AT I E ?

de leidinggevende, collega’s, medewerkers, klanten en leveranciers (in het vervolg feedbackgevers genoemd). Daarnaast geeft de feedbackontvanger zijn of haar eigen mening over het functioneren. Vervolgens worden de feedbackscores van de verschillende groepen feedbackgevers met elkaar vergeleken. In het algemeen heeft 360-graden feedback twee toepassingen: • het stimuleren van de ontwikkeling van medewerkers; en • het beoordelen van het functioneren van medewerkers.

Froukje Jellema

Bij de eerste toepassing is de gedachte dat, doordat een persoon van verschillende invalshoeken informatie krijgt over zijn of haar functioneren, deze persoon daarmee ook ideeën krijgt voor mogelijke ontwikkelrichtingen. Doorgaans wordt na afloop van de 360-graden feedback een persoonlijk ontwikkelplan (POP) gemaakt. De achterliggende gedachte is dat werknemers eerst inzicht in hun sterke punten en ontwikkelpunten moeten hebben voordat ze zich kunnen ontwikkelen (Borman, 1997; Garavan, Morley en Flynn, 1997). Bij deze toepassing is met name relevant wát de persoon in kwestie met de feedback doet en worden er doorgaans minder eisen gesteld aan de betrouwbaarheid en validiteit van de feedback. Het belangrijkste is dat de feedbackontvanger van de feedback kan leren. Van de Nederlandse organisaties die 360-graden feedback gebruikt, doet 93 procent dit in het kader van personeelsontwikkeling (Jellema, 2000a). Bij de tweede toepassing, personeelsbeoordeling, kan de feedback basis zijn voor het nemen van beslissingen over salaris en promotie. In het algemeen overheerst in de literatuur de mening dat met deze toepassing van 360-graden feedback zeer voorzichtig moet worden omgegaan, aangezien dit veel onzekerheid en weerstand kan oproepen (London en Beatty, 1993). Van de Nederlandse organisaties die 360-graden feedback gebruikt, doet 20 procent dit in het kader van personeelsbeoordeling (Jellema, 2000a). Duidelijk mag zijn dat bij deze toepassing een belangrijke voorwaarde is dat de feedback betrouwbaar en valide is, aangezien het vergaande consequenties kan hebben voor de feedbackontvanger. Wellicht kan 360-graden feedback ook gebruikt worden voor een derde toepassing, te weten evaluatie van bedrijfsopleidingen en andere ontwikkelinterventies. Alhoewel in diverse handboeken geopperd wordt dat 360-graden feedback een geschikte methode is voor evaluatie van bedrijfsopleidingen (zie bijvoorbeeld Brown en Seidner, 1998; Kirkpatrick, 1994; Robinson en Robinson, 1989), staat het gebruik van 360-graden feedback voor opleidingsevaluatie nog in de kinderschoenen (zie Jellema, 2000a) en is er slechts in beperkte mate onderzoek naar gedaan (zie bijvoorbeeld Rosti en Shipper, 1998; McLean, Sytsma, en KerwinRyberg, 1995; Van Sandick en Schaap-Neuteboom, 1993). De term ‘360-graden feedback’ kan misleidend zijn, aangezien het lijkt te suggereren dat er sprake is van een nieuw concept. Het idee achter 360-graden feedback is echter niet nieuw, aangezien er al (gevraagd en ongevraagd) feedback wordt gegeven zolang mensen met elkaar samenwerken (Moses, Hollenbeck en Sorcher, 1993). De formele toepassing van deze methode is echter van een recente datum (Jansen en Vloeberghs, 1998). 360-Graden feedback kan enerzijds als 50

04-jellema-def

&

31-03-2004

15:44


Pagina 51


een individugerichte benadering gezien worden. De methode wordt dan gebruikt voor het stimuleren van de persoonlijke ontwikkeling en wordt vaak ingezet op initiatief van de feedbackontvanger zelf (de in het bovenstaande eerste toepassing). De methode kan anderzijds ook in een meer organisatorische context worden ingezet, met als doel het beoordelen van personeel (de tweede toepassing) of het evalueren van opleidingen (de derde toepassing). De meeste literatuur op het gebied van 360-graden feedback richt zich op de eerste toepassing. Dit artikel gaat in op het gebruik in een organisatorische context.

Froukje Jellema

Het is interessant om de mogelijke toepassing voor 360-graden feedback voor opleidingsevaluatie nader te bekijken, aangezien er veel geld en tijd wordt geïnvesteerd in opleiding van werknemers en organisaties behoefte hebben aan inzicht in de effecten van opleidingen. Opleidingsevaluatie wordt ook wel gezien als een van de meest cruciale kwesties waar het HRD-veld mee te maken heeft (Holton, 1996). Een bekende indeling met betrekking tot de focus van evaluatie is de indeling van Kirkpatrick (Kirkpatrick, 1994). Deze indeling maakt een onderscheid tussen de reactie op de opleiding, het geleerde ten gevolge van de opleiding, het veranderde werkgedrag, en de invloed van de opleiding op de organisatieresultaten. Organisaties tonen met name een toenemende interesse in de vraag of het geleerde daadwerkelijk leidt tot veranderd werkgedrag op de werkvloer (‘de transfer’). Mogelijk wordt dit veroorzaakt door de toenemende onderkenning van een ‘transferprobleem’: slechts een klein percentage van de investeringen in opleiding leidt daadwerkelijk tot transfer van het geleerde naar de werksituatie (McCarthy en Garavan, 1999). In het algemeen kunnen er vier verschillende typen evaluatiemethoden worden onderscheiden (Swanson en Holton, 1997): • zelfoordelen: de deelnemers van een opleiding geven zelf aan of ze iets aan de opleiding hebben gehad, bijvoorbeeld in een gesprek aan het einde van de opleiding of door middel van een vragenlijst; • observatie: hieronder vallen bijvoorbeeld checklists, mystery shoppers en development en assessment centers; • objectieve methoden: hierbij wordt gebruikgemaakt van instrumenten die erg accuraat kunnen meten. Een voorbeeld is een work sample. Dit is met name mogelijk bij heel concrete vaardigheidstrainingen, zoals autorijden (het rijexamen) en een typecursus; • schattingen: schattingen van het opleidingseffect, meestal gedaan door experts op een bepaald gebied. Evaluatie vindt op dit moment vooral plaats door de zelfoordelen van deelnemers. Het gaat dan vaak om de reactie van de deelnemers na afloop van de opleiding: wat vonden ze ervan, was het zinvol, et cetera. Daarnaast richten dergelijke evaluaties zich ook vaak op de vraag of de deelnemer zelf vindt dat hij of zij iets geleerd heeft (het ‘leerniveau’ van Kirkpatrick). Wanneer we geïnteresseerd zijn of deelnemers het geleerde daadwerkelijk toepassen op de werkvloer, wordt ook wel gebruikgemaakt van zelfoordelen (Baldwin en Ford, 1988; Hazucha, Hezlett en Schneider, 1993). 51

04-jellema-def

&

31-03-2004

15:44

Pagina 52



Wanneer men kan kiezen tussen de verschillende methoden, is er een voorkeur voor de meest objectieve methode. Echter, deze zijn niet altijd beschikbaar, praktisch of betaalbaar. Dit is waarschijnlijk ook de reden waarom er zoveel gebruik wordt gemaakt van zelfoordelen. Het kan dan een stap in de goede richting zijn om zelfoordelen te combineren met de oordelen van relevante personen in de omgeving van de deelnemer. Juist hier zou 360-graden feedback een rol kunnen spelen, aangezien mensen met wie men nauw samenwerkt, vaak een goed zicht hebben op het werkgedrag. Deze personen zouden dan ook in staat moeten zijn veranderd werkgedrag als gevolg van een opleiding te observeren. Het voorgaande resulteert in twee onderzoeksvragen:

Froukje Jellema

Is 360-graden feedback een betrouwbare en valide methode zodat het, naast voor personeelsontwikkeling, ook voor personeelsbeoordeling en opleidingsevaluatie gebruikt kan worden? Is het mogelijk om met 360-graden feedback opleidingseffecten te meten?

1. Beschrijving van het onderzoek In het kader van een promotieonderzoek (Jellema, 2003) is 360-graden feedback gebruikt voor opleidingsevaluatie binnen drie Nederlandse organisaties: het Onze Lieve Vrouwe Gasthuis (OLVG) in Amsterdam, de Holland Beton Groep (HBG) en de gemeente Den Haag. In dit artikel worden de belangrijkste uitkomsten van het onderzoek besproken. DE OPLEIDINGEN

In de drie organisaties zijn bestaande opleidingen geselecteerd waarvan de gedachte was dat ze geschikt waren voor evaluatie met 360-graden feedback. Belangrijke criteria voor de opleiding was dat het voor een groot deel om het ontwikkelen van werkgedrag en vaardigheden ging, aangezien 360-graden feedback met name daarvoor een geschikte meetmethode is. Een opleiding die enkel gericht was op het ontwikkelen van kennis, kwam daardoor niet in aanmerking. Het eerste onderzoek is uitgevoerd binnen het Onze Lieve Vrouwe Gasthuis (OLVG). Sinds enige tijd kent dit ziekenhuis een nieuwe functie, die van seniorverpleegkundige. Speciaal voor seniorverpleegkundigen is een leergang ontwikkeld, bestaande uit achttien dagen gedurende negen maanden waarbij veel aandacht is voor leren coachen. Alle seniorverpleegkundigen, op het moment van het onderzoek ongeveer veertig, moeten in principe de leergang volgen. Het tweede onderzoek is uitgevoerd binnen de Holland Beton Groep (HBG). Speciaal voor jonge hoogopgeleide medewerkers heeft deze organisatie een Bedrijfs Introductie Cursus (de BIC). Deze opleiding duurt een week en bestaat onder andere uit oefeningen, management games en individuele coaching op basis van 360-graden feedback. 52

04-jellema-def

&

31-03-2004

15:44

Pagina 53



Het derde onderzoek vond plaats binnen de gemeente Den Haag. Binnen deze organisatie wordt meerdere keren per jaar de opleiding ‘Haagse Vaardigheden’ gegeven. De opleiding bestaat uit zeven dagen gedurende drie maanden. Vaardigheden die aan bod komen zijn bijvoorbeeld communicatie, feedback geven, coachen en leidinggeven. 360-GRADEN FEEDBACK-INSTRUMENT EN -PROCES

Froukje Jellema

In het onderzoek is gebruikgemaakt van twee verschillende 360-graden feedback-instrumenten. Dit omdat resultaten (zoals betrouwbaarheid, validiteit) wellicht kunnen afhangen van het individuele instrument. In het onderzoek binnen het OLVG en HBG werd voor het verzamelen van de 360-graden feedback het instrument Reflector van PiMedia gebruikt (voor meer informatie over dit instrument zie Jellema 2000b). Reflector bestaat uit een groot aantal competenties waaruit een aantal geselecteerd is. Voor het onderzoek in het OLVG zijn acht competenties geselecteerd en voor het onderzoek binnen HBG twaalf competenties (zie tabel 5 en 6 voor de geselecteerde competenties). Elke competentie van Reflector wordt gemeten door vijf items waarbij de respondent door middel van een vijfpuntsschaal kiest tussen twee tegenovergestelde beweringen over gedrag. In het onderzoek binnen de gemeente Den Haag is het standaardinstrument SwetsHFM360 gebruikt (zie tabel 7 voor een overzicht van de competenties). Dit instrument maakt gebruik van een vierpuntsschaal, lopend van onvoldoende tot goed. Beide instrumenten, Reflector en SwetsHFM360, zijn gestructureerde vragenlijsten. Uit een onderzoek naar zeven Nederlandse instrumenten (Jellema, 2002b) kwamen deze instrumenten naar voren als geschikt voor het onderzoek. Er is gekozen om gestructureerde vragenlijsten te gebruiken, omdat de feedback dan gegeven wordt aan de hand van concrete gedragsvoorbeelden, wat de betrouwbaarheid ten goede komt. Bovendien kunnen feedbackgevers hun feedback op deze manier anoniem geven, wat ook belangrijk is om betrouwbaarheid te verhogen. In alledrie de onderzoeken kon de feedbackontvanger zelf de feedbackgevers selecteren. Ze werden verzocht om de 360-graden feedback-vragenlijsten te verspreiden onder mensen in hun werkomgeving, bij voorkeur een aantal onder de leidinggevende(n), collega’s (personen op hetzelfde functieniveau), medewerkers (personen aan wie ze leidinggeven) en eventueel klanten. De feedbackontvanger werd verzocht om bij de voor- en nameting zoveel mogelijk dezelfde feedbackgevers te vragen. Alle betrokkenen werden uitgebreid geïnformeerd, zowel mondeling (feedbackontvangers) als schriftelijk (feedbackontvangers en feedbackgevers). Feedbackgevers konden de vragenlijsten anoniem invullen en in een gesloten enveloppe retourneren aan de feedbackontvanger die alle vragenlijsten verzamelde en opstuurde naar de auteur. Vervolgens ontving iedere feedbackontvanger een vertrouwelijk feedbackverslag, waarin de feedback per categorie (leidinggevende, collega’s, medewerkers, klanten) gepresenteerd werd. De feedback53

04-jellema-def

&

31-03-2004

15:44

Pagina 54



verslagen werden besproken tijdens een terugkoppelingsbijeenkomst. Bovendien werden feedbackontvangers gestimuleerd een persoonlijk ontwikkelplan (POP) te maken. Hoewel de belangrijkste toepassing van 360-graden feedback in dit onderzoek opleidingsevaluatie was, is er heel nadrukkelijk voor gekozen dat feedbackontvangers ook zelf iets aan de feedback moesten hebben. HET ONDERZOEKSONTWERP

Froukje Jellema

Een ‘problematische’ factor is dat 360-graden feedback oorspronkelijk bedoeld is als ontwikkelinstrument en niet als evaluatie-instrument. Dit betekent dat de feedback die voorafgaand aan de opleiding wordt gegeven, het werkgedrag na de opleiding kan beïnvloeden. Sterker nog: dit is vaak de belangrijkste doelstelling van 360-graden feedback. Wanneer 360-graden feedback als evaluatiemethode wordt gebruikt, lopen dus twee interventies door elkaar: enerzijds wordt een effect van de opleiding verwacht, maar anderzijds heeft de 360-graden feedback zelf ook effecten. Dit probleem wordt deels ondervangen door naast een experimentele groep ook een controlegroep aan 360-graden feedback deel te laten nemen, met als enige verschil dat de controlegroep niet deelneemt aan de opleiding. In alledrie de organisaties was sprake van een wachtlijst voor de opleidingen, zodat het gebruik van een controlegroep ook mogelijk was: personen op de wachtlijst kwamen in een controlegroep. Zowel deelnemers in de controle- als de experimentele groep namen twee keer deel aan 360-graden feedback (zie tabel 1). Met name de timing van de nameting is van belang, aangezien deelnemers daadwerkelijk de kans moeten hebben het nieuwe werkgedrag in de praktijk toe te passen. Wanneer de nameting te vroeg plaatsvindt, kan het zijn dat deelnemers nog aan het experimenteren zijn met het nieuwe gedrag, waardoor eerder een achteruitgang dan een vooruitgang te zien is. Het moment van de nameting hangt onder andere af van de soort vaardigheden die geleerd worden, hoe vaak deelnemers deze vaardigheden kunnen gebruiken en hoe vaak de feedbackgevers in de positie zijn om de nieuwe vaardigheden te observeren op de werkplek (Robinson en Robinson, 1989). Vaak wordt gesteld dat de nameting drie tot zes maanden na de opleiding moet plaatsvinden (Robinson en Robinson, 1989). In dit onderzoek vond de nameting enige maanden na afloop van de opleiding plaats. In tabel 1 is een schematisch overzicht gegeven van het evaluatieontwerp. Dit ontwerp was ongeveer hetzelfde in alledrie de organisaties, met een uitzondering voor HBG waar twee experimentele groepen waren. Tabel 1.

Voormeting

Het evaluatieontwerp in de drie onderzoeken

54

Nameting

Experimentele groep

360-graden feedback

Opleiding

360-graden feedback

Controlegroep

360-graden feedback

Geen opleiding

360-graden feedback

04-jellema-def

&

31-03-2004

15:44

Pagina 55



In tabel 2 is het aantal feedbackontvangers dat in elk van de drie onderzoeken deelnam aan de voor- en nameting, samengevat. Tabel 2.

Voormeting 360graden feedback

Nameting 360-graden feedback

Respons nameting t.o.v. voormeting

Experimentele groep 1

n=12 deelnemers

n=11 deelnemers

92%

Controlegroep

n=9 deelnemers

n=7 deelnemers

78%


n=20 deelnemers

n=9 deelnemers

45%


n=22 deelnemers

n=13 deelnemers

59%

Controlegroep

n=19 deelnemers

n=16 deelnemers

84%

Experimentele groep

n=12 deelnemers

n=11 deelnemers

92%

Controlegroep

n=14 deelnemers

n=11 deelnemers

79%

Deelnemers aan het onderzoek

OLVG

HBG

Froukje Jellema

Gemeente Den Haag

De lage respons bij HBG kan worden verklaard door het feit dat het onderzoek plaatsvond in een hele drukke periode voor deze organisatie. In het OLVG kregen de feedbackontvangers bij de voormeting gemiddeld feedback van 7.4 feedbackgevers en bij de nameting van gemiddeld 6.6 feedbackgevers. In het HBG-onderzoek was dit 5.9 bij de voormeting en 5.4 bij de nameting. Bij de gemeente Den Haag was dit 6.9 bij de voormeting en 5.9 bij de nameting. De feedbackgevers bij de voor- en nameting waren niet altijd voor 100 procent dezelfde personen, aangezien de feedbackontvanger ze zelf kon selecteren. Dit had wel de voorkeur, aangezien soms wordt gesteld dat feedback afhankelijk is van de individuele feedbackgever (Mount et al., 1998). Als dan bij de voor- en nameting verschillende personen betrokken zijn, is het niet duidelijk of een gevonden effect is toe te schrijven aan de opleiding of aan het feit dat andere feedbackgevers betrokken zijn. Dit was in dit onderzoek echter niet volledig haalbaar. Door middel van een achtergrondvragenlijst is onderzocht of de experimentele en de controlegroep verschillend zijn in geslacht, leeftijd, opleidingsniveau en werkervaring van de deelnemers. Dit bleek niet het geval te zijn, behalve binnen de gemeente Den Haag waar deelnemers in de controlegroep significant meer werkervaring in de huidige functie hadden dan deelnemers in de experimentele groep.

55

04-jellema-def

&

31-03-2004

15:44

Pagina 56



2. Resultaten In deze paragraaf zal ik eerst kort ingaan op de resultaten met betrekking tot de betrouwbaarheid en validiteit van 360-graden feedback (onderzoeksvraag 1). Vervolgens ga ik in op 360-graden feedback als methode voor opleidingsevaluatie (onderzoeksvraag 2). B E T R O U W B A A R H E I D E N VA L I D I T E I T VA N 3 6 0 - G R A D E N F E E D B A C K

Froukje Jellema

Als eerste is gekeken naar de verdeling van de 360-graden feedback-scores. Het blijkt dat feedbackgevers in het algemeen voornamelijk positieve feedback geven. De gemiddelde score ligt dan ook ruim boven het gemiddelde van de schaal. Op basis van de data van alle geretourneerde 360-graden feedback-vragenlijsten is vervolgens gekeken naar de interne consistentie van het gebruikte 360-graden feedback-instrument. De interne consistentie zegt iets over de betrouwbaarheid van het instrument. In het algemeen wordt gesteld dat de interne consistentie, meestal gemeten met Cronbach’s alpha, hoger dan .70 moet zijn. De interne consistentie kan zowel voor alle feedbackgevers gezamenlijk als per feedbackgeverscategorie onderzocht worden. Op basis van dit onderzoek kan worden geconcludeerd dat de interne consistentie in de meeste gevallen voldoende is (zie Jellema 2003 voor een uitgebreide bespreking van de resultaten). Vooral op het niveau van alle feedbackgevers gezamenlijk zijn de alpha’s vrijwel altijd ruim voldoende (boven de .70). Wanneer de interne consistentie per feedbackgeverscategorie wordt berekend, is deze vaak wat lager, vooral voor zelfscores. Dit hoeft niet per definitie te betekenen dat zelfscores minder betrouwbaar zijn, maar kan ook een aanwijzing zijn dat de feedbackontvangers zelf een meer gedifferentieerd beeld hebben van het eigen gedrag (Van der Heijden, 1998).

Tabel 3.

Z-LG

Interbeoordelaars-

Comp

betrouwbaarheid in de drie onderzoeken

OLVG HBG Gemeente

.11 tot .39 .11 tot .53 –.28 tot .36

Z-C TS .34 .38 .02

LG-MW Comp OLVG HBG Gemeente

Comp –.04 tot .23 .19 tot .54 –.03 tot .47

Z-MW TS .00 .39 .13

LG-K TS

.12 tot .32 .32 –.03 tot .58 .30 –.38 tot .63 –.32

Comp .07 tot .47 –.09 tot .57

Comp –.13 tot .15 –.10 tot .53 –.06 tot .78

Z-K TS

Comp

TS

Comp

TS

.22 .40

.02 tot .51

.03 .24

.07 tot .44 .12 tot .55 –.02 tot .51

.29 .36 .30

C-MW TS .39 .32

Comp –.16 tot .31 –.33 tot .32

C-KL TS .03 .01

Z=zelf; LG=leidinggevende; C=collega; MW=medewerker; K=klant Comp=uitkomst per competentie; TS=uitkomst per totaalscore (gemiddelde score van alle competenties) 56

LG-C

Comp

MW-K TS

–.16 tot .35 –.09

Comp

TS

–.49 tot .55

.14

04-jellema-def

&

31-03-2004

15:44

Pagina 57



Een van de belangrijkste karakteristieken van 360-graden feedback is dat vanuit verschillende perspectieven feedback wordt gegeven. Uit de literatuur is bekend dat de feedback van de verschillende categorieën (leidinggevende, collega’s, medewerkers, klanten en de feedbackontvanger zelf) vaak maar in geringe mate samenhangen. Deze samenhang wordt vaak gemeten door middel van correlaties. In tabel 3 zijn de correlaties samengevat. Overigens waren niet in alledrie de onderzoeken alle feedbackgeverscategorieën betrokken.

Froukje Jellema

Correlaties zijn zowel per competentie als voor de totaalscore van alle competenties berekend. Zo blijkt bijvoorbeeld dat in het OLVG de correlatie tussen zelf en leidinggevende voor de verschillende competenties uiteenloopt van .11 tot .39, terwijl de correlatie .34 is voor de totaalscore. In het algemeen is de correlatie laag. De hoogste correlatie die wordt gevonden, ligt rond de .30/.40, wat overeenkomt met de uitkomsten van andere onderzoeken (McLean, Sytsma, en Kerwin-Ryberg, 1995; Van Sandick en Schaap-Neuteboom, 1993; Harris en Schaubroeck, 1988). In het algemeen is de correlatie tussen de leidinggevende en elk van de andere categorieën het hoogst. Een belangrijke conclusie is dat, gezien de lage correlatie tussen categorieën, uitkomsten van 360-graden feedback niet gemiddeld kunnen worden tot één totaalscore voor alle feedbackgevers tezamen, maar dat scores per categorie gepresenteerd moeten worden. Overigens hebben de meeste 360-graden feedback-instrumenten deze mogelijkheid. Het is ook interessant om te kijken of feedbackgevers binnen een bepaalde categorie (bijvoorbeeld collega’s onderling) het met elkaar eens zijn. Dit heet de intrabeoordelaarsbetrouwbaarheid. De meeste feedbackontvangers hebben feedback gekregen van meerdere leidinggevenden, collega’s, medewerkers en/of klanten. Wanneer dat het geval was, is de gemiddelde score berekend en gebruikt voor het bepalen van de correlatie. Overigens waren niet in alledrie de onderzoeken alle feedbackgeverscategorieën betrokken. In tabel 4 zijn de resultaten samengevat. Ook de betrouwbaarheid binnen feedbackgeverscategorieën is erg laag. De betrouwbaarheid is voor sommige competenties hoger dan voor andere, dus kennelijk zijn sommige competenties makkelijker te beoordelen dan andere. De hoogste correlatie wordt gevonden voor leidinggevenden. Conclusie is dat feedbackscores eigenlijk ook niet per categorie gepresenteerd kunnen worden, wat vaak het geval is bij 360-graden feedback-instrumenten. Gezien de resultaten zou de feedback per individuele feedbackgever gepresenteerd moeten worden. Tabel 4. Intrabeoordelaars-

Leidinggevenden Comp TS

Collega’s Comp TS

Medewerkers Comp TS

–.07 tot .47 .30 –.31 tot .44 .17 –.28 tot .43 .01

–.19 tot .31 .12

.17 tot .54

betrouwbaarheid in de drie onderzoeken

OLVG HBG Gemeente

.48

Comp=uitkomst per competenties; TS=uitkomst per totaalscore (gemiddelde score van alle competenties) 57

04-jellema-def

&

31-03-2004

15:44

Pagina 58



Froukje Jellema

Een punt van kritiek op 360-graden feedback is de subjectiviteit van de methode: de methode is beperkt tot percepties van mensen over het functioneren van de feedbackontvanger. Beter zou zijn om een objectieve methode te gebruiken voor het meten van werkgedrag. Vaak is het echter moeilijk om een objectieve methode te vinden om het werkgedrag te meten. In het geval van de evaluatie in het OLVG is besloten om de 360-graden feedback te vergelijken met een meer objectieve methode, namelijk een coachingsimulatie waaraan acht feedbackontvangers deelnamen. Deze personen voerden een coachinggesprek met een denkbeeldige medewerker, gespeeld door een actrice, waarin een aantal van de competenties uit de 360-graden feedback naar voren kwam. De gesprekken zijn opgenomen op video en beoordeeld door twee getrainde studenten. Het bleek dat de 360-graden feedback en de scores van de simulatie niet met elkaar samenhangen. In alle gevallen was de feedback beduidend positiever dan de scores van de simulatie. Ook binnen HBG is onderzoek gedaan naar de validiteit en ook daar bleek de feedback niet samen te hangen met een andere meetmethode, in dit geval een aantal managementgames. Ook hier was de 360-graden feedback positiever dan de scores van de managementgames. In beide onderzoeken correleerde de feedback van de leidinggevende het hoogst (maar niet significant) met de vergelijkende meting. Op grond van dit onderzoek kan geconcludeerd worden dat 360-graden feedback geen valide methode is. Een andere verklaring kan echter zijn dan de vergelijkende methoden geen geschikte methode waren om het werkgedrag te meten. 3 6 0 - G R A D E N F E E D B A C K A L S M E T H O D E V O O R O P L E I D I N G S E VA L U AT I E

Hieronder zal ingegaan worden op de tweede onderzoeksvraag: is het mogelijk om met 360-graden feedback opleidingseffecten te meten? Belangrijkste aandachtspunt in het onderzoek was of deelnemers in de experimentele groep bij de nameting meer vooruit zijn gegaan dan deelnemers in de controlegroep. Een gebruikelijke methode voor het analyseren van verandering is ANCOVA (Arvey en Cole, 1989). Bij ANCOVA, analyse van covariantie, wordt gekeken of de nametingscores van de experimentele groep en de controlegroep verschillen, nadat deze zijn gecorrigeerd voor de scores van de voormeting. Tabel 5. Verschil in nametingscores tussen de experimentele en de controlegroep OLVG

Competentie

Zelf

Leidinggevende

Collega

Medewerker

Actief luisteren Partnership Stimuleren Diagnose Schakelen Feedback geven Stressbestendigheid Integriteit Totaal score

.19 (-) .13 (-) .00 (-) .09 (-) .15 (-) .33* (-) .14 (-) .35 (-) .19 (-)

.24 (-) .09 (-) .19 (-) .27 (-) .14 .30 (-) .36 (-) .16 (-) .20 (-)

.20 .09 (-) .01 (-) .24 .19 (-) .13 .41 .07 (-) .08

.23 .14 (-) .04 (-) .01 (-) .04 (-) .24 .19 (-) .03 .00

*=significant op .05 niveau; (-) betekent dat de nametingscores van deelnemers in de controlegroep positiever zijn dan van deelnemers in de experimentele groep 58

04-jellema-def

&

31-03-2004

15:44

Pagina 59



In tabel 5, 6 en 7 zijn de resultaten samengevat voor de drie onderzoeken. Hierbij moet opgemerkt worden dat de scores binnen de gemeente Den Haag gemeten zijn met een vierpuntsschaal en die in de andere twee onderzoeken met een vijfpuntschaal. Wanneer de nametingscores van de deelnemers in de experimentele groep hoger zijn dan die in de controlegroep, wat verwacht wordt als de opleiding effectief was, dan moet de verschilscore positief zijn. Wanneer het omgekeerde het geval is, is dit in de tabel aangegeven door (-). Tabel 6. Verschil in nametingscores tussen de experimentele en de controlegroep HBG

Zelf

Leidinggevende

Collega

Plannen en organiseren Klantgerichtheid Oordeelsvorming Besluitvaardigheid Creativiteit Sensitiviteit Overtuigingskracht Stressbestendigheid Initiatief Resultaatgerichtheid Situationeel gedrag Flexibiliteit Totaal score

.15 (-) .05 (-) .02 (-) .16 (-) .12 (-) .13 .04 .23 (-) .18 (-) .21 (-) .03 .29 (-) .09 (-)

.05 (-) .10 (-) .03 .08 (-) .10 (-) .01 (-) .00 (-) .21 (-) .10 (-) .07 (-) .05 .04 .03 (-)

.09 .15 .22 (-) .03 (-) .04 (-) .01 (-) .04 (-) .07 (-) .13 (-) .04 (-) .18 (-) .13 (-) .02

Froukje Jellema

Competentie

(-) betekent dat de nametingscores van deelnemers in de controlegroep positiever zijn dan van deelnemers in de experimentele groep Tabel 7. Verschil in nametingscores tussen de experimentele en de controlegroep gemeente Den Haag

Competentie

Zelf

Leidinggevende

Collega’s

Risicobereidheid Netwerken Marktgerichtheid Onderhandelen Presenteren Overtuigen Initiatief Prestatiemotivatie Resultaatgerichtheid Teambuilding Interpersoonlijke effectiviteit Coachen en motiveren Corrigeren en feedback geven Delegeren Controleren Organiseren en plannen Overzicht Analyseren Organisatie bewustzijn Totaal score

.13 (-) .06 .16 (-) .02 (-) .12 .14 (-) .03 (-) .00 (-) .05 (-) .01 .08 .03 (-) .11 .13 (-) .10 .12 .03 .15 (-) .00 .05 (-)

.15 (-) .12 (-) .00 (-) .08 (-) .05 (-) .06 (-) .05 (-) .00 (-) .02 (-) .04 .23* (-) .06 (-) .37 .00 (-) .07 .02 (-) .07 (-) .03 (-) .16 (-) .03 (-)

.17 .06 .08 .09 .21 .19* .23 .18 .26 .31* .13 .18 .30 .41* .31* .32* .30* .27* .24* .23*

*=significant op .05 niveau; (-) betekent dat de nametingscores van deelnemers in de controlegroep positiever zijn dan van deelnemers in de experimentele groep 59

04-jellema-def

&

31-03-2004

15:44

Pagina 60



In het OLVG blijkt het maar één keer significant uit te maken of iemand naar de opleiding is geweest of niet. Het verschil is echter positief voor deelnemers in de controlegroep. Binnen HBG maakt het niet uit of iemand naar de opleiding is geweest of niet, aangezien het verschil in geen enkel geval significant is. Gezien de vele negatieve verschilscores is de nameting van deelnemers in de controlegroep echter vaak positiever dan die van deelnemers in de experimentele groep. Het blijkt dat het er in de meeste gevallen niet toe doet of een deelnemer wel of niet naar de opleiding is geweest. In veel gevallen zijn de nametingscores voor deelnemers in de controlegroep zelfs positiever. Alleen voor de opleiding binnen de gemeente Den Haag worden positieve effecten gevonden, maar dan enkel door collega’s van de deelnemer.

Froukje Jellema

3. Conclusie en discussie De conclusie is dat 360-graden feedback een betrouwbare noch een valide methode is. De meest positieve resultaten worden gevonden voor de feedback van leidinggevenden. Hoewel de interne consistentie van de instrumenten voldoende is in alledrie onderzoeken, is de interbeoordelaarsbetrouwbaarheid over het algemeen laag, met uitzondering van correlatie tussen leidinggevende en de andere categorieën. Als gevolg van deze lage interbeoordelaarsbetrouwbaarheid kunnen scores van verschillende categorieën niet samengevoegd worden in één totaalscore. De intrabeoordelaarsbetrouwbaarheid is over het algemeen ook laag, maar wederom het hoogst voor leidinggevenden. Het criterium validiteit, onderzocht door de 360-graden feedback te vergelijken met een andere methode, is ook laag. Deze uitkomst betekent eigenlijk dat 360-graden feedback niet gebruikt kan worden als methode voor personeelsbeoordeling. De oordelen van mensen in de werkomgeving zijn simpelweg niet betrouwbaar en valide genoeg voor het nemen van belangrijke beslissingen over bijvoorbeeld salaris en promotie. De feedback van de leidinggevende blijkt in het algemeen het meest betrouwbaar en valide te zijn, ondanks de kritiek dat leidinggevenden steeds minder een goed zicht hebben op het werkgedrag van hun medewerkers (zie de inleiding). Gezien de resultaten met betrekking tot de psychometrische kenmerken van 360graden feedback, luidt de conclusie dat 360-graden feedback geen geschikte methode is voor opleidingsevaluatie. Ook om een oordeel over een opleiding te kunnen geven (bijvoorbeeld doorgaan of stoppen met de opleiding) is het nodig dat de beslissing wordt genomen op grond van betrouwbare en valide informatie. Naast het feit dat 360-graden feedback in het algemeen slecht scoort ten aanzien van betrouwbaarheid en validiteit, worden er in de drie onderzoeken, met uitzondering van het onderzoek binnen de gemeente Den Haag, weinig opleidingseffecten gevonden. Een mogelijke verklaring voor de geringe effecten is dat 360-graden feedback geen geschikte methode is om deze te meten. Een andere verklaring is dat het wel mogelijk is effecten te meten met 360-graden feedback, ook al beperkt dat zich 60

04-jellema-def

&

31-03-2004

15:44


Pagina 61


Froukje Jellema

dan tot wellicht onbetrouwbare percepties, maar dat er geen opleidingseffecten zijn opgetreden. Dit kan veroorzaakt zijn doordat deelnemers in de controlegroep ook actief hebben gewerkt aan hun persoonlijke ontwikkeling door zowel het deelnemen aan andere leerinterventies als door het benutten van feedback van de voormeting. Uit de achtergrondvragenlijst bleek dat dit inderdaad het geval was. Een andere verklaring kan zijn dat de opleiding niet effectief was. De opleiding binnen HBG richtte zich slechts gedeeltelijk op werkgedrag, terwijl de opleiding bij de gemeente Den Haag zich vooral richtte op werkgedrag. Dit kan verklaren waarom de meeste effecten werden gevonden in het onderzoek binnen de gemeente. Bovendien kan het simpelweg erg moeilijk zijn om werkgedrag te veranderen: zelfs als de opleiding succesvol is, kan het zijn dat deelnemers meer ondersteuning op de werkplek en hulpmiddelen nodig hebben om hun werkgedrag te kunnen aanpassen. Een laatste mogelijke verklaring is dat de manier waarop in dit onderzoek effecten zijn gemeten, niet ideaal was. Het trainen van feedbackgevers in het invullen van de vragenlijst was in geen van de drie onderzoeken mogelijk. Wellicht waren ze daardoor niet in staat om verandering in het werkgedrag waar te nemen. Bovendien konden de feedbackontvangers zelf hun feedbackgevers selecteren, zodat de feedbackgevers bij de voor- en nameting niet altijd dezelfde personen zijn. Aangezien feedback voor een groot deel afhangt van de individuele feedbackgever, kan dit de resultaten hebben beïnvloed. Vooral binnen de gemeente Den Haag hebben deelnemers bij de voor- en nameting dezelfde feedbackgevers geselecteerd en wellicht dat daardoor binnen die organisatie de meeste effecten zijn gevonden. Een andere beperking van de gebruikte methode was dat feedback anoniem werd gegeven, waardoor de feedback van de voor- en nameting niet per feedbackgever vergeleken kon worden. Hierdoor moesten de gemiddelde scores per feedbackgeverscategorie gebruikt worden in de analyse. Wellicht dat meer effecten waren gevonden als ze bestudeerd hadden kunnen worden per individuele feedbackgever.

4. Besluit De conclusie van dit onderzoek is dat de betrouwbaarheid en validiteit van 360graden feedback gering zijn. Dit betekent dat deze methode niet gebruikt kan worden voor personeelsbeoordeling. Ook voor opleidingsevaluatie is 360-graden feedback geen geschikte methode. Dit betekent niet dat de methode niet in een opleidingscontext gebruikt kan worden. Zowel feedbackgevers als feedbackontvangers geven in aanvullende vragenlijsten aan dat ze de deelname aan 360-graden feedback waarderen en feedbackontvangers geven bovendien aan dat de feedback wel degelijk een positieve invloed had op hun persoonlijke ontwikkeling. Als methode voor personeelsontwikkeling lijkt 360-graden feedback dus wel degelijk geschikt. De 360-graden feedback kan daarnaast gebruikt worden als behoeftebepaling (needs assessment) voorafgaand aan een opleiding. In dat geval is de feedback basis voor het nemen van opleidingsgerelateerde beslissingen, zoals welk soort activiteiten het beste 61

04-jellema-def

&

31-03-2004

15:44


Pagina 62


Froukje Jellema

kunnen plaatsvinden en op welke gedragskenmerken de opleiding zich specifiek kan richten. Bovendien kan de feedback gedurende de opleiding gebruikt worden als basis voor reflectie en discussie waarbij zowel de deelnemer als de trainer meer bewust wordt van individuele leerdoelen. 360-Graden feedback is in dit onderzoek vooral gebruikt voor het bepalen van de mate waarin de opleiding effectief was. Evaluatie zou zich echter ook kunnen richten op de mate waarin de opleiding heeft bijgedragen aan tevredenheid van de ‘afnemers van het gedrag’ van de feedbackontvangers: de collega’s, medewerkers, leidinggevenden, klanten, et cetera. De feedback wordt dan gebruikt voor het monitoren van de persoonlijke ontwikkeling van medewerkers. In dit geval wordt de feedback periodiek verzameld op initiatief van de feedbackontvanger zelf, om te monitoren of resultaten van ontwikkelactiviteiten worden waargenomen en gewaardeerd. De aandacht is dan gericht op effecten van persoonlijke ontwikkeling in plaats van op opleidingseffecten. Wanneer 360-graden feedback voor een dergelijke toepassing wordt gebruikt, is het gemakkelijker voor feedbackontvangers om een verklaring te vinden voor onduidelijke resultaten, doordat ze zelf hun feedbackgevers om een toelichting kunnen vragen. Het is dan ook minder belangrijk dat feedbackgevers bij de voor- en nameting dezelfde personen zijn. Een ander voordeel is dat het dan niet nodig is om opleidingseffecten te isoleren van andere mogelijke effecten en dat daarom gebruik van een controlegroep overbodig is. Het is dan bijvoorbeeld ook mogelijk om in plaats van een schriftelijke vragenlijst de feedback te verzamelen door gesprekken tussen feedbackontvanger en feedbackgevers. De methode wordt dan echter gebruikt in de context van het stimuleren van de persoonlijke ontwikkeling in plaats van in een meer organisatorische context. Voor gebruik in een meer organisatorische context lijkt de methode namelijk vooralsnog te problematisch.

Literatuur Arvey, R.D. en D.A Cole (1989), ‘Evaluating change due to training’. – In: I. Goldstein (Ed.), Training and development in organizations. . – San Francisco: Jossey-Bass Baldwin, T.T. en J.K. Ford (1988), ‘Transfer of training: a review and directions for future research’. – In: Personnel Psychology, 41, 1, p. 63-105 Borman, W.C. (1997), ‘360-degree ratings: an analysis of assumptions and a research agenda for evaluating their validity’. – In: Human Resource Management Review, 7, 3 , p. 299-315 Bracken, D.W. (1994), Straight talk about multirater feedback’. – In: Training & Development, 48, 9, p. 44-51 Brown, S.M. en C.J. Seidner (1998), Evaluating corporate training: models and issues. – Boston: Kluwer Academic Publishers Cascio, W. F. (1995), Managing human resources. – New York: McGraw-Hill

62

04-jellema-def

&

31-03-2004

15:44


Pagina 63


Froukje Jellema

Garavan, T., M. Morley, en M. Flynn (1997), ‘360 degree feedback: its role in employee development’. – In: Journal of Management Development, 16, 2/3, p. 134-147 Harris, M.M. en J. Schaubroeck (1988), ‘A meta-analysis of self-supervisor, selfpeer, and peer-supervisor ratings’. – In: Personnel Psychology, 41, 1, p. 43-62 Hazucha, J., S. Hezlett en R. Schneider (1993), ‘The impact of 360-degree feedback on management skills development’. – In: Human Resource Management, 32, 2/3, p. 325-351 Heijden, B. van der (1998), The measurement and development of professional expertise throughout the career: a retrospective study among higher level Dutch professionals. – Proefschrift Universiteit Twente Holton, E.F. (1996), ‘The flawed four-level evaluation model’. – In: Human Resource Development Quarterly, 7, 1, p. 5-21 Jansen, P.G.W. en D.F.J. Vloeberghs (1998), ‘360-graden feedback methoden: consequenties voor persoon en organisatie’. – In: M&O, januari/februari, p. 4762 Jellema, F.A. (2003), Measuring training effects: the potential of 360-degree feedback. – Proefschrift Universiteit Twente Jellema, F. (2000a), ‘Toepassing van 360-graden feedback in Nederlandse organisaties’. – In: Opleiding & Ontwikkeling, (7/8), p. 27-31 Jellema, F. (2000b), ‘De kwaliteit van 360-graden feedback instrumenten: 7 Nederlandse instrumenten nader bekeken’. – In: M&O, mei/juni, p. 23-35 Kirkpatrick, D.L. (1994), Evaluating training programs: the four levels. – San Francisco: Berrett-Koehler London, M. en R. Beatty (1993), ‘360-degree feedback as a competitive advantage’. – In: Human Resource Management, 32, 2/3, p. 353-372 McCarthy, A.M. en T.N. Garavan (1999), ‘Developing self-awareness in the managerial career development process: the value of 360-degree feedback and the MBTI’. – In: Journal of European Industrial Training, 23, 9, p. 437-445. McLean, G., M. Sytsma en K. Kerwin-Ryberg (1995), ‘Using 360-degree feedback to evaluate management development: new data, new insights’. – In: Academy of Human Resource Development, conference proceedings Moses, J., G.P. Hollenbeck en M. Sorcher (1993), ‘Other people’s expectations’. – In: Human Resource Management, 32, 2/3, p. 283-297 Mount, M.K., T.A. Judge, S.E. Scullen, M.R. Sytsma en S.A. Hezlett (1998), ‘Trait, rater and level effects in 360-degree performance ratings’. – In: Personnel Psychology, 51, 3 , p. 557-576. Murphy, K. en J. Cleveland (1995), Understanding performance appraisal: social, organizational, and goal-based perspectives. – Thousand Oaks: Sage Robinson, D. en J. Robinson (1989), Training for impact: how to link training to business needs and measure the results. – San Francisco: Jossey-Bass Rosti, R. en F. Shipper (1998), A study of the impact of training in a management development program based on 360 feedback’. – In: Journal of Managerial Psychology, 13, 1/2, p. 77-89

63

04-jellema-def

&

31-03-2004

15:44


Pagina 64


Froukje Jellema

Sandick, A. van en A. Schaap-Neuteboom (1993), Rendement van een bedrijfsopleiding: een instrument voor het bepalen van het financiële rendement van trainingen. – Proefschrift Universiteit Twente Swanson, R.A. en E. F. Holton (Ed.) (1997), Human Resource Development Research Handbook: linking research and practice. – San Francisco: BerrettKoehler Velsor, E. van, J. Leslie en J. Fleenor (1997), Choosing 360: a guide to evaluating multi-rater feedback instruments for management development. – Greensboro, NC: Center for creative leadership

64

Is 360-graden feedback een geschikte methode voor opleidingsevaluatie?

Recommend Documents