Assessment van Gespreksvaardigheden via de Webcamtest: Onderzoek naar Betrouwbaarheid, Beleving en de Samenhang met Persoonlijksfactoren
Assessment of Counseling Communication Skills by Means of the Webcamtest: A Study of Reliability, Experience and Correlation with Personality Factors
Petra L. van den Heuvel-Langenberg
Studentnummer:
838675290
Eerste begeleider:
Dr. Mark Hommes
Tweede begeleider: Dr. Wim Bloemers
december 2011 Faculteit Psychologie Afstudeerrichting Arbeids- en Organisatiepsychologie Open Universiteit Nederland
Assessment van Gespreksvaardigheden via de Webcamtest
Inhoudsopgave Samenvatting
4
Summary
6
Inleiding Situational judgment test
8
Van paper & pencil test tot webcamtest
10
Invloed persoonlijkheid op gespreksvaardigheden
14
Het toetsen van gespreksvaardigheden
16
Beleving
18
Het huidige onderzoek, onderzoeksvraag en hypothesen
21
Methode Onderzoeksgroep
22
Meetinstrumenten
23
Procedure
25
Analyseplan
26
Resultaten Beschrijving onderzoeksgroep
26
Hypothese 1.1: Interbeoordelaarsbetrouwbaarheid
28
Hypothesen 2.1, 2.2, 2.3: Beleving
28
Hypothesen 3.1, 3.2, 3.3: Invloed van persoonlijkheidsfactoren
30
Petra van den Heuvel
2
Assessment van Gespreksvaardigheden via de Webcamtest Discussie Interbeoordelaarsbetrouwbaarheid
32
Beleving
32
Persoonlijkheid
34
Beperkingen
35
Aanbevelingen voor nader onderzoek
36
Literatuur
Petra van den Heuvel
39
3
Assessment van Gespreksvaardigheden via de Webcamtest Samenvatting Achtergrond. Het aanleren van gespreksvaardigheden is een vast onderdeel in het curriculum van psychologiestudenten aan de Erasmus Universiteit Rotterdam. Deze vaardigheden worden getentamineerd door middel van een schriftelijke reactie op videofragmenten van geënsceneerde praktijksituaties. In deze thesis is een nieuwe manier van toetsen onderzocht, namelijk door de student deze reactie in een webcam te laten uitspreken. Doel. Het doel van dit onderzoek was na te gaan of een assessment van gespreksvaardigheden per webcamtest betrouwbaar is en hoe de webcamtest door de kandidaten beleefd wordt. Tevens is onderzocht of persoonlijkheidsfactoren van invloed zijn op de resultaten van toetsing van gespreksvaardigheden door middel van de webcam. Deelnemers, procedure en onderzoeksontwerp. Deelnemers aan dit onderzoek waren studenten psychologie aan de Erasmus Universiteit Rotterdam die de schriftelijke toets eenmaal of tweemaal hebben gedaan. De totale onderzoeksgroep (N=34) bestond uit 22 eerstejaars, negen tweedejaars en drie vierdejaars studenten, in de leeftijd van 19 tot 24 jaar. Kandidaten hebben zich na een algemene oproep aan alle studenten vrijwillig aangemeld voor deelname. Meetinstrumenten. Voor het meten van de gespreksvaardigheden via de webcam zijn de 42 filmfragmenten en vragen uit de op de Erasmus Universiteit door J. Kuntze ontwikkelde schriftelijke toets (VVGT) omgezet in een webcamversie. Beleving werd gemeten met vier meerkeuzevragen en één open vraag. De webcamtest en de belevingsvragen zijn aangeboden via het door VanderMaesen|Koch HRM-Advies ontwikkelde testportaal T-Station. De persoonlijkheidsfactoren emotionaliteit, extraversie en integriteit zijn gemeten met de HEXACO-PI(R) persoonlijkheidsvragenlijst. Resultaten. De onderzochte interbeoordelaarsbetrouwbaarheid is hoog gebleken (r > .80). Met betrekking tot beleving hebben de deelnemers aangegeven de webcamtest gemiddeld
Petra van den Heuvel
4
Assessment van Gespreksvaardigheden via de Webcamtest leuker en realistischer, maar ook moeilijker te vinden dan de schriftelijke toets. De invloed van de persoonlijkheidsfactoren emotionaliteit, extraversie en integriteit op de prestatie op de webcamtest werd in dit onderzoek niet aangetoond. Conclusie. Hoewel de resultaten gezien de beperkte omvang van de onderzoeksgroep met enige voorzichtigheid geïnterpreteerd dienen te worden, bieden de gevonden hoge interbeoordelaarsbetrouwbaarheid en de positieve beleving van de kandidaten perspectief voor de verdere ontwikkeling van webcamtesten voor onderwijs- en selectiedoeleinden. Het onderzoek wordt afgesloten met aanbevelingen voor nader onderzoek.
Keywords: SJT; persoonlijkheid; emotionaliteit; extraversie; integriteit; webcamtest; gespreksvaardigheden; beleving
Petra van den Heuvel
5
Assessment van Gespreksvaardigheden via de Webcamtest Summary Background. The acquisition of counseling communication skills is part of the curriculum of psychology students at the Erasmus University Rotterdam. These skills are assessed by means of a written reaction to video clips of relevant situations. In this study a new way of assessing was tested, namely to let the student express their reaction verbally into the webcam. Aim. The aim of this study was to investigate whether an assessment of counseling communication skills by means of a webcam test is reliable and how the webcam test is experienced by the participants. Furthermore we investigated the influence of personality factors on the results of the webcamtest. Participants, procedure, design. Participants were psychology students at the Erasmus University Rotterdam who have taken the written version of the test once or twice. The total sample (N=34) consisted of 22 freshmen, nine second-year and three fourth-year students, aged from 19 to 24. After a general invitation to all students participants have volunteered to participate in this study. Measures. To measure the counseling communication skills by means of the webcam the 42 video clips and questions of the original paper & pencil test (VVGT: Kuntze, 2009) were transformed into a webcam test. Experience was measured by four multiple choice questions and one open ended question. The webcamtest and the questions with regard to experience were presented by means of the test software T-Station (VanderMaesen|Koch HRM-Advies). The personality factors emotionality, extraversion and honesty-humility were measured by means of the HEXACO-PI(R), the HEXACO personality inventory revised. Results. The interrater reliability of the webcam test was high (r > .80). With regard to experience the participants indicated the webcam test as more user friendly and realistic, but also more difficult than the paper & pencil version with written answers. The influence of the
Petra van den Heuvel
6
Assessment van Gespreksvaardigheden via de Webcamtest personality factors emotionality, extraversion and honesty-humility on the results of the webcam test could not be established. Conclusion. Although the results of this study should be interpreted with caution because of the limited sample size, the high interrater reliability and the positive experience of the participants do offer opportunities for further development of webcam tests for the purpose of education and selection. The study concludes with recommendations for future research.
Keywords: SJT; personality; emotionality; extraversion; honesty-humility; webcam test; communication skills; experience
Petra van den Heuvel
7
