Martha Vreijsen (Marketing & Communicatie, Horizon College Alkmaar)

Martha Vreijsen (Marketing & Communicatie, Horizon College Alkmaar) Paper 4

De korte internationale mbo Italiëuitwisseling-2014: het verloop van de intensiveringsinterventies en de uitvoering van het onderzoek Paper 5

Korte intensieve internationale studentenuitwisselingen: persoonlijkheidseffecten en perspectieven 1 augustus 2015

Martha Vreijsen Marketing & Communicatie, Horizon College Alkmaar

De korte internationale mbo Italiëuitwisseling-2014: het verloop van de intensiveringsinterventies en de uitvoering van het onderzoek

paper 4

1

Martha Vreijsen De korte internationale mbo Italië-uitwisseling-2014: het verloop van de intensiveringsinterventie en de uitvoering van het onderzoek

paper 4 samenvatting paper 1 3 inleiding 3 1. de uitvoering van de interventies 3 1.1 interventie 'focussen op internationale support relaties' 4 1.2 interventie stadsverkenning 4 1.3 interventie gastgezin 5 1.4 interventie samenwerkingsavontuur fotozoektocht 5 2. het verloop van het verzamelen van de data 5 2.1 de aanwezigheid van tweetalige leerlingen 7 2.2 heterogene groepsamenstelling 7 literatuur 8 Bijlagen: bijlage 1 scharnierpunten van het onderzoek; bijlage 2 figuur 2; schema interventies (paper 1); bijlage 3 figuur 1; interventies: van ontwerp tot evaluatie; bijlage 4 big five enquête 2013 en 2014: dataverzameling bijlage 5 berekening relatieve effectverdeling interventies bijlage 6 chronologie onderzoeksgegevens Italië-uitwisseling 2013 en 2014 bijlage 7 vragen telefonische big five ouders-enquête 2013 en 2014 bijlage 8 ochtend- en slotinterviews Italië-uitwisseling 2014 bijlage 9 dataverzameling big five online tests Italië-uitwisseling 2014 bijlage 10 HC 2014 experiment en controle: van percentielen naar z-scores bijlage 11 kopie paper 2, par. 1: het interventieontwerp bijlage 12 controlevragen na afloop van de ouders-enquête 2013 en 2014

2

Samenvatting paper 1 De Italië-uitwisseling van het Horizon College [HC] Marketing en Communicatie [M&C] Alkmaar met Fermi Polo Montale (FPM) Ventimiglia heeft in 2014 een nieuwe doelstelling ten opzichte van de uitwisseling 2013: een sprong in de persoonlijkheidsontwikkeling van de deelnemers: leergieriger, evenwichtiger en vriendelijker worden en daardoor een beter carrièreperspectief en een beter leervermogen krijgen. Zimmermann en Neyer [Z&N] (2013) hebben onderzocht hoe een internationale studentenuitwisseling een life event veroorzaakt die de big five persoonlijkheidskenmerken Openheid (O), Emotionele stabiliteit (Em) en Vriendelijkheid (V) verdiept. De Zimmermann en Neyer uitwisseling duurt 5 en 8 maanden, de Italië-uitwisseling duurt één week; om hetzelfde effect te bereiken als Zimmermann en Neyer heeft de Italië-uitwisseling 2014 interventies nodig voor leerintensivering. De leerintensieve interventies bestaan uit het leggen van zo veel mogelijk nieuwe internationale contacten en het uitdagen tot focus en betrokkenheid. De onderzoeksvraag luidt: wat is het effect van een intensieve internationale mbouitwisseling van één week op de persoonlijkheidsontwikkeling van de leerlingen?

Inleiding In paper 4 wordt de uitvoering van de interventies bij de Italië-uitwisseling in 2014 beschreven en geëvalueerd aan de hand van de ontwerpregels van paper 1 (hier bijlage 2) en de ontwerpinterventies, uitgewerkt in paper 2 hier bijlage 11. Paper 4 is de uitvoering van bijlage 11. Er is geen een-opeen verband tussen de ontwerpregels en de deelinterventies (zie bijlage 2, figuur 2): ontwerpregels kunnen verbonden zijn met meerdere (deel)interventies, en omgekeerd. Omdat er veel informatie beschikbaar is (vragenlijsten, interviews) is op basis daarvan nagegaan hoe de leerlingen de uitvoering van de interventies hebben beleefd, zie bijlage 5 en paper 5. Daaruit volgt tevens de relatieve impact van de afzonderlijke interventies. De slotinterviews maken duidelijk dat de mbo-uitwisselleerlingen van 2014 in een week meer nieuwe internationale contacten hebben gelegd dan de studenten van Zimmermann en Neyer (2013) (bijlage 8). Als apart onderdeel van dit paper 4 wordt het verzamelen van de data (zie ook bijlagen 4, 9 en 10) kort beschreven en geëvalueerd. De chronologische volgorde (wanneer zijn welke data verzameld, wat zijn de uitvoeringsmodaliteiten en in welke vorm zijn ze uitgewerkt) is beschreven in bijlage 6.

1. de uitvoering van de interventies De uitwisseling heeft plaatsgevonden van 16 tot en met 21 februari 2014. De interventies hebben vooral beoogd het aantal nieuwe internationale relaties op te voeren en bij de mbo-leerlingen de betrokkenheid en concentratie op te wekken die daarvoor nodig is, en ze te doordringen van dit leerdoel. In figuur 1, bijlage 3 zijn alle aspecten van de interventies in kaart gebracht. De interventies zijn naar verwachting verlopen, behalve het interventiedeel van de fotozoektocht.

3

1.1 Interventie ‘focussen op internationale support relaties’1 (paper 2: interventie 1) (bijlage 8)

De focus-interventie heeft als doel de leerlingen zo veel mogelijk internationale relaties aan te laten gaan. Dit is gerealiseerd door de leerlingen buitenschoolse opdrachten te laten uitvoeren waarbij ze nauw met een Italiaanse leerling samenwerken. De mate van regie bij deze interventie is echter beperkt, ik ben er immers niet bij als de leerlingen een opdracht uitvoeren. De regie heeft vooral in de voorbereiding gezeten. De opdrachten zijn zo geformuleerd dat de leerlingen ze moeten uitvoeren met een Italiaanse leerling, behalve de opdracht in Monaco omdat deze opdracht wordt uitgevoerd tijdens de heenreis voor aankomst in Ventimiglia. Mede door de focus-interventie zijn er in de uitwisselweek veel nieuwe internationale relaties aangegaan. Focussen vooronderstelt bekendheid met het leerdoel (Hattie (2012)). Hattie (2009) beveelt indirecte sturing (zie bijlage 11 sub non-directivity) aan. Dat is ook gebeurd: na de t1-meting van de online big five test (http://www.outofservice.com/bigfive/) eind januari 2014 hebben de leerlingen me meteen gevraagd waar die toe dient. Ik heb het steeds uitgelegd: om het effect te meten van de uitwisseling zodat die kan worden verbeterd, en om na te gaan hoe gemakkelijk je met mensen uit een ander land contact kunt maken. De leerlingen hebben hierdoor het gevoel serieus genomen te worden. Tijdens de uitwisseling zijn er elke ochtend mini-interviews afgenomen (1. Wat vond je het meest speciaal gisteren?, 2. Wat heb je over jezelf ontdekt?). De leerlingen hebben positief gereageerd: ze vinden het spannend te worden geïnterviewd door hun docenten, die bovendien de antwoorden zorgvuldig noteren. Daarom hebben de leerlingen die vragen elke dag serieus voorbereid en het gevolg is geweest dat ze zich gefocust hebben op hun rol. Ze hebben door deze dagelijkse interviews veel aandacht gekregen, zijn zich belangrijk gaan voelen en medeverantwoordelijk voor wat ze zelf meemaken. De Italiaanse leerlingen vragen onze collegae of zij zoiets ook kunnen krijgen. Ook het slotinterview blijkt te werken: ze kunnen nu een totaalbeeld formuleren over wat ze bereikt hebben. Samenvattend zegt een leerling: "Groots aangepakt!" Er is geen discrepantie tussen het interventieplan en de interventie-uitvoering 1.2 Interventie stadsverkenning (paper 2: interventies 2 en 4) Het doel van de interventies ‘stadsverkenning’ is drieledig geformuleerd: leren kijken, niet ‘terug’vallen op ‘eigen’ groepjes, gebruik maken van de geboden mogelijkheid voor serieuze gesprekken. De leerlingen hebben enthousiast gereageerd op de opdrachten: “actief”, “zo kom je op plekken waar je anders nooit zou komen”. Een vast kenmerk van de interventies ’stadsverkenning’ is dat alle opdrachten samen met de Italiaanse uitwisselpartner worden uitgevoerd, dat pakte goed uit. Die koppeling heeft daadwerkelijk ‘eigen groepjes’ voorkomen. De interventie is verlopen volgens planning. Bij de stedentrip naar Nice, waarvoor nog geen leerintensivering was ontwikkeld, vielen de leerlingen terug op het stramien van de uitwisseling-2013: in taaleigen vrienden- en vriendinnengroepjes ongeconcentreerd rondlopen, gericht op strand, shopping, en terrasjes. Er lijkt die dag weinig geleerd. Nice is nauwelijks genoemd in de leerlingbeoordeling (paper 5, bijlage 9). Nergens was het beoogde effect van een interventie zo zichtbaar.

1

Voor het opbouwen van een nieuw internationaal sociaal netwerk zijn ondersteunende internationale sociale contacten essentieel: instrumentele, vriendschappelijke en romantisch/emotionele. (Lubbers et al., 2010)

4

De totstandkoming van deze interventies is gecompliceerd omdat ze moeten worden ingepast in het programma dat de Italiaanse gastschool in overleg met mij had opgesteld. De speelruimte was dus niet onbeperkt. Zo is Nice buiten het interventieprogramma gehouden om de sfeer van goede samenwerking in stand te houden. 1.3 interventie gastgezin (paper 2: interventie 3) De kern van de interventie ‘gastgezin’ is dat leerling een interview met de gastmoeder afneemt. Het interview met de gastmoeder heeft goed gewerkt: de band met de gastmoeder bleek hechter dan in 2013, ook werd vaker kennisgemaakt met de overige familie. De hulpinterventies, ‘snelcursusje Italiaans’ en ‘zich voorstellen in het Italiaans’, hebben er waarschijnlijk toe bijgedragen dat tijdens deze uitwisseling de communicatie tussen de Nederlandse en de Italiaanse leerlingen (en de familie) goed is verlopen, in tegenstelling tot de uitwisseling-2013. De interventie is succesvol verlopen en het beoogde resultaat is bereikt. 1.4 interventie ’samenwerkingsavontuur fotozoektocht’ Het is niet gelukt veel Italiaanse leerlingen mee te laten doen aan de fotozoektocht. Het was de bedoeling de communicatieve inventiviteit op de proef te stellen in een samenwerkingsopdracht onder tijdsdruk. Slechts één Italiaanse leerling meldde zich aan. De groep is verdeeld in 2 teams van 5 leerlingen, in één team deed een Italiaanse leerling mee. Het bleek voor zijn groepje moeilijk om rekening met hem te houden. De opdracht was uitermate geslaagd gezien de reacties van de leerlingen in de interviews (zie bijlage 5), maar de verandering van het samenwerkingsavontuur door de Italianen erbij te betrekken, de interventie dus, is mislukt. Voor de uitwisseling 2015 is het beter de fotozoektocht niet al op de derde dag te doen, maar een paar dagen later, dan hoeven de Italiaanse leerlingen niet al op de eerste dag te beslissen of ze meegaan.

2. het verloop van het verzamelen van de data De chronologische volgorde van de verzameling van de data is beschreven in bijlage 6. In dit hoofdstuk wordt de inzameling van de data beschreven aan de hand van de instrumenten. In 2.1 en 2.2 worden drie factoren besproken die invloed kunnen hebben gehad op de dataverzameling. A.

Big five online test (OutofService), afgenomen in januari en maart 2014 bij de HC 2014 experiment- en controlegroep; (bijlage 9). De 2014-leerlingen hebben de online tests (twee weken) voor en (drie weken) na de uitwisseling op school gemaakt. De resultaten zijn ingeleverd als de complete papieren uitdraai van de test, op papier met vermelding van naam en scorelijst, of soms als mailtje met de testresultaten. Vooral bij de test die drie weken na afloop is afgenomen is het verzamelen van de testresultaten moeizaam verlopen. De leerlingen mochten deze test op een zelfgekozen moment in de afgesproken week maken, maar achteraf was het beter geweest om ze op een bepaald moment bij elkaar te roepen en na afloop meteen de gegevens te verzamelen. Van de 9 controlegroepleerlingen (ad random geselecteerd uit medeleerlingen die zich niet hadden aangemeld) is één leerling bij t1 niet komen opdagen, daar-

5

door is het aantal leerlingen in de experimentgroep en in de controlegroep niet gelijk, dit kan afbreuk doen aan de conclusie bij een zo kleine groep. B. Telefonische big five ouders-enquête Het tweede instrument dat is ingezet is een big five telefonische enquête onder ouders van leerlingen, met vragen over Openheid, Vriendelijkheid en Emotionele stabiliteit, de drie persoonlijkheidskenmerken die bij een uitwisseling betrokken zijn. Bij de groep HC 2013 is de enquête afgenomen, 10 maanden na de uitwisseling en bij de groep HC 2014 in maart 2014 (zelfde groep als sub 1). Als in januari 2014, twee maanden na de start van dit onderzoek, blijkt dat het Horizon College een uitwisseling-februari 2015 voor Marketing & Communicatie Alkmaar vooralsnog niet nuttig acht, moet plotseling de uitwisseling van 2013 als vergelijkingsbasis-achteraf dienen voor die van 2014. Psycholoog Bernou Melisse adviseerde me dat ik om mijn onderzoek te ‘redden’ onmiddellijk een test over 2013 zou afnemen. De uitwisseling-2013 was 10 maanden eerder, in maart 2013. Gegevens na 10 maanden over 2013 zijn misschien niet te vergelijken met die na drie weken over 2014. Dat zou afhangen van hoeveel de ouders zich na tien maanden nog zouden herinneren. Mede om die reden heb ik de enquête uitgebreid met een reeks controlevragen, om het geheugen van de ouders op de proef te stellen. Als na twee ouders zou blijken dat ze zich nog maar weinig herinnerden van de uitwisseling van 10 maanden eerder, zou een alternatief instrument zijn geweest hun kinderen te interviewen. De leerlingen zijn echter moeilijk bereikbaar omdat ze, deels in het buitenland, op stage zijn. Het bleek dat de ouders zich nog de kleinste details herinnerden van de uitwisseling-2013 van hun zoon of dochter, alsof ze er zelf bij geweest waren. De 2013-gegevens van de ouders-enquête zijn even betrouwbaar als de 2014-gegevens van dezelfde enquête.

De enquêtevragen zijn voor dit doel geselecteerd door GZ-psycholoog Eline Vreijsen op basis van de NVP2-vragenlijst (Nederlandse Vereniging voor Psychologen). Ik heb ze aangepast aan de interviewvorm en -situatie. De telefonische ouders-enquêtes zijn positief verlopen. De ouders wisten veel details te vertellen, dus blijkbaar hebben de leerlingen uitgebreid verteld over hun ervaringen. Slechts bij één leerling wisten de ouders weinig te vertellen, omdat die leerling niet meer thuiswonend was; de leerling is in deze test dus buiten beschouwing gelaten. De telefonische enquête duurde ongeveer 20 minuten per gesprek, alle ouders heb ik meteen de eerste keer kunnen bereiken en ze reageerden enthousiast op mijn vraag of ze bereid waren om mijn vragen te beantwoorden. Er zijn 7 vragen over Vriendelijkheid, Emotionele stabiliteit en Openheid gekozen, en die zijn aangepast voor telefonisch gebruik, drie voor Emotionele stabiliteit, twee voor Vriendelijkheid en voor Openheid. Achteraf bleek dat ik beter van elk persoonlijkheidskenmerk evenveel vragen kon hebben omdat de effectverhouding tussen de drie persoonlijkheidskenmerken van belang kon zijn voor het onderzoek dat toen nog uitgewerkt moest worden. Als oplossing heb ik er achteraf voor gekozen een derde Vriendelijkheid-vraag V3 toe te voegen met als waarde de helft van de som van (V1+V2). Vraag Openheid-1 is dubbel geteld, omdat die de kerninformatie bevatte. In kolom O1 kan daardoor een '2' voorkomen. Zie bijlage 4. C. Twee open controlevragen over hoogtepunten uitwisseling per leerling HC 2013/HC 2014 Tijdens de telefonische ouders-enquête heb ik de ouders 2 open vragen gesteld: Waar was uw zoon/dochter het meest van onder de indruk? Wat vond uw zoon/dochter het leukst? 6

De ouders bleken nog goed op de hoogte. Dit onderdeel is goed verlopen. In de eerste fase van de opzet van het onderzoek heb ik me gespiegeld aan correlatieonderzoeken zoals Angulo (2008) en de daar geciteerde literatuur, en Zhang, Mandl en Wang (2010). D. Vier controlevragen over ervaringen en plannen gezien de uitwisseling (bijlage 12) De controlevragen zijn door de ouders uitgebreid beantwoord en leverden leuke gesprekken op. De controlevragen zouden van belang kunnen zijn om een indicatie te hebben in hoeverre de leerlingen al pasten in een profiel dat succes (een life event) voorspelde van de uitwisseling. Dit sluit aan op de theorie van het ‘corresponsive principle’ 2(Caspi & Roberts, 1999). Angulo (2008) heeft veel correlaties die een succesvolle uitwisseling voorspellen beschreven, en Zimmermann en Neyer (2013) hebben dat ook gedaan en die gegevens gekoppeld aan de t-1 scores. De uitkomsten van deze vier controlevragen zijn niet uitgebreid geanalyseerd omdat zowel de relevantie als het aantal leerlingen onvoldoende was om er in dit verslag veel ruimte aan te geven. De vragen staan in bijlage 12, de antwoorden in bijlage 5. Dit onderdeel is naar wens verlopen. E.

Dagelijkse ochtendinterviews van de Horizon College-leerlingen tijdens de uitwisseling 2014 (‘Wat vond je het meest speciaal gisteren?’ en ‘Wat heb je gisteren over jezelf ontdekt?’) en een slotinterview op de terugreis (HC 2014), (bijlage 5A en B)). Elke ochtend bij aankomst op school is bij de leerlingen een individueel interview afgenomen en zijn de antwoorden genoteerd. De leerlingen hebben die aandacht als prettig ervaren en zijn serieus omgegaan met deze interviews. Ze hebben goed nagedacht over de antwoorden. Dit onderdeel is naar verwachting verlopen.Het slotinterview is afgenomen op de terugweg in de trein en op de luchthaven. Het slotinterview is goed verlopen. 2.1 de aanwezigheid van tweetalige leerlingen Het bleek dat onder de Italiaanse leerlingen een meisje was met een Nederlandse moeder. Ze spreekt daardoor uitstekend Nederlands. Daarnaast was er een Nederlandse leerling die redelijk Italiaans spreekt. Beide leerlingen zijn door de groep ingezet om bij de gesprekken die tussen de groepsleden onderling en met derden plaats vonden, indien nodig te vertalen. Door toedoen van de tweetalige leerlingen is het culturele contrast, nodig voor de life event3, weliswaar geringer geworden, maar anderzijds zijn daardoor meer en diepgaander gesprekken mogelijk geweest waardoor er meer intensievere relaties zijn ontstaan, en daardoor een grotere kans op een life event. De validiteit van het onderzoek is door de tweetalige leerlingen dus niet in het gedrang gekomen.

2.2. heterogene groepsamenstelling 2

“The effect of life experience on personality development is to deepen the characteristics that lead people to those experiences in the first place”. 3

Een ingrijpende gebeurtenis in iemands leven, vaak gekoppeld aan burgerlijke-standgebeurtenissen (verhuizing, huwelijk, enz), die de aanzet is tot een verandering van de persoonlijkheid. De life event ‘internationale mobiliteit’ die optreedt bij studentenuitwisselingen, wordt door Zimmermann en Neyer afgeleid van de basis life event ‘verhuizing’: een nieuw sociaal netwerk moeten opbouwen in een nieuwe omgeving.

7

Bij de HC-2014 groep heeft vooraf geen selectie plaats gevonden op buitenlandervaring of screening op geschiktheid voor deelname aan de uitwisseling. De groep is zeer heterogeen van samenstelling. Dat kan consequenties hebben voor de meetresultaten, de spreiding van de uitkomsten is daardoor immers heel groot. De resultaten van de Horizon College-leerlingen worden in de analyse vergeleken met onderzoeksresultaten van andere uitwisselingen (Zimmermann & Neyer) met een door selectie zeer homogene samenstelling, dat kan een scheef beeld opleveren. Op grond daarvan is bij het bepalen van het gemiddelde van de Openheid-Vriendelijkheid-Emotionele stabiliteit/3 uitkomsten in paper 5 één Horizon College-leerling met pdd-nos buiten het gemiddelde gehouden. In de verzameling van de data ontbreekt een follow-up meting zes maanden na t2, om gegevens te verzamelen over het langetermijneffect van de data. Zie paper 5, bijlage 6 sub 10. Het langetermijneffect is een wezenlijk onderdeel van het effect van een life event. De conclusie van hoofdstuk 2 is: er is geen sprake geweest van een systematisch probleem ten aanzien van betrouwbaarheid en validiteit van de dataverzameling. Omdat twee testen (online en telefonische enquête) naast elkaar gebruikt worden (uitwisseling-2014), vallen afwijkingen op en kunnen die gecorrigeerd worden; dat is ook gebeurd. Dit komt in paper 5 aan de orde.

literatuur Angulo, S. K. (2008). Identity Change in Students Who Study Abroad. (Dissertatie, The University of Texas at Austin, 2008). Ontleend aan http://www.lib.utexas.edu/etd/d/2008/angu los97170/angulos97170.pdf#page Baarda, B., Bakker E., Hulst, M. van der, Fisher, T., Julsing, M., Vianen, R. van, & Goede, M. de (2012). Basisboek methoden en technieken: kwantitatief praktijkgericht onderzoek op wetenschappelijke basis. 5e druk, Groningen/Houten, Noordhoff Uitgevers. Caspi, A., & Roberts, B. W. (1999). Personality continuity and change across the life course. In L. A. Pervin & O. P. John (Eds.), Handbook of personality theory and research (2nd ed.), (pp. 300–326). New York, NY: Guilford Press. Duijvenvoorde, A. C. K. van, & Crone, E. A. (2013). The teenage brain: A neuroeconomic approach to adolescent decision making. Current Directions in Psychological Science. 22, 108-113. doi: 10.1177/0963721413475446 Elffers, L. (2011). The transition to post-secondary vocational education. Students’ en- trance, experi ence and attainment. (Dissertatie, Universiteit van Amsterdam, 2011). Fischer, K. (2009, February 12). Short study-abroad trips can have lasting effect, research suggests. Chronicle of Higher Education. Retrieved from www.Chronicle.com/article/Short-Study Abroad-Trips-Can/1541 Fischer, K. (2011, November 18). Study-Abroad Numbers Rebound as Colleges Offer Cheaper Options. Chronicle of Higher Education, 00095982, 11/18/2011, 58(13). Hattie, J. A. C., Marsh, H. W., Neill, J. T., & Richards, G. E. (1997). Adventure education and outward bound: Out-of-class experiences that make a lasting difference. Review of Educational Research, 43-87. Hattie, J. A. C. (2009). Visible Learning. A synthesis of over 800 meta-analyses relating to achieve ment. London and New York: Routledge. 8

Hattie, J, A. C. (2012). Visible learning for teachers: Maximizing impact on learning. London and New York: Routledge. Hunley, H. A. (2010). Students’ functioning while studying abroad: The impact of psychological distress and loneliness. International Journal of Intercultural Relations. 34(4), 386-392. Keulers, E. H. H., Stiers, P, & Jolles J. (2011). Developmental changes between ages 13 and 21 years in the extent and magnitude of the BOLD response during decision making. NeuroImage, 54 (2), 1442-1454. Martinsen, R. A. (2010). Short-Term Study Abroad: Predicting Changes in Oral Skills. Foreign Language Annals, 43(3), 504-530. Ritz, A. A. (2011). The Educational Value of Short-Term Study Abroad Programs as Course Components. Journal of Teaching in Travel & Tourism, 11(2), 164-178. doi:10.1080/15313220.2010.525968 Rodriguez, S. L., & Chornet-Roses, D. (2014). How ‘Family’ is your host family? An examination of student–host relationships during study abroad. International Journal of Intercultural Relations, 39, 164- 174. Soto, C. J., John, O. P., Gosling, S. D., & Potter, J. (2011). Age differences in personality traits from 10 to 65: Big five domains and facets in a large cross-sectional sample. Journal of Personality and Social Psychology, 100, 330-348. doi: 10.1037/a0021717 Sussman, N. M. (2000). The Dynamic Nature of Cultural Identity Throughout Cultural Transitions: Why Home Is Not So Sweet. Personality and Social Psychological Review,4 ,355-373. Veerman, J. W. (2008). Methoden voor het kwantificeren en toetsen van effecten. In: T.A. van Yperen & J.W. Veerman (red.). Zicht op effectiviteit: handboek voor praktijkgestuurd effectin de jeugdzorg. (pp. 307-330). Delft: Eburon. WRR. (2009). Vertrouwen in de school: over de uitval van ‘overbelaste’ jongeren. Amsterdam: Amsterdam University Press. Yair, G. (2008), Key educational experiences and self-discovery in higher education. Teaching and teacher education, 92-103. Yair, G. (2009). Key Educational Experiences in Israeli Families: Adventures, Trust and Self-Discovery. Journal of Comparative Family Studies, 809-825. Zimmermann, J., & Neyer, F. J. (2013). Do We Become a Different Person When Hitting the Road? Personality Development of Sojourners. Journal of Personality and Social Psychology, 105 (3), 515-530. doi: 10.1037/a0033019

9

bijlage 1 scharnierpunten van het onderzoek onderzoeksvraag: wat is het effect van een intensieve internationale mbo-uitwisseling van één week op de persoonlijkheidsontwikkeling van de leerlingen? nulhypothese: de effectgrootte van de HC Italië-uitwisseling 2014 op de big five persoonlijkheidskenmerken Openheid, Vriendelijkheid en Emotionele stabiliteit is niet of nauwelijks groter dan van de HC Italiëuitwisseling 2013. alternatieve hypothese: de effectgrootte van de Italië-uitwisseling 2014 op de big five persoonlijkheidskenmerken Openheid, Vriendelijkheid en Emotionele stabiliteit is, afgezien van de duur en de intensiteit, zeer vergelijkbaar met die van de 20 (t2) en 32 (t3) weken durende uitwisselingen in Zimmermann & Neyer (2013). probleembeschrijving 2013: als bij een internationale uitwisseling sprake is van een ongericht leerdoel, van een geringe socialisatiedruk, van moeizame communicatie tussen de bezoekende en de gastleerlingen, van eentalige (Nederlandse vriendinnen)-groepjes, en bovendien van weinig inhoudelijke uitdaging, is de kans op een sprong in de persoonlijkheidsontwikkeling gering. ontwerphypothese: als bij een internationale uitwisseling van één week het programma geïntensiveerd wordt (zie figuur 2) neemt bij adolescenten (13-19 jr) en jongvolwassenen (18-22 jr) de kans op een life event (een specifieke sprong in de persoonlijkheidsontwikkeling) toe. (perioden ontleend aan Van Duijvenvoorde & Crone (2013) en Keulers, Stiers en Jolles (2010)) ontwerpregels voor ontwerpplan interventies (paper 1) De belangrijkste mogelijke oplossingen zijn samengenomen in onderstaande ontwerpregels: (1) de socialisatiedruk verhogen teneinde de geringe duur van de ultrakorte internationale uitwisseling te compenseren, (2) het risico van een te zwak English as a Foreign Language (Erasmus Engels) in het programma, wat kan leiden tot afhaken, tegengaan door een 100- woordencursusje Italiaans vooraf aan te bieden, waardoor ook de communicatie met het gastgezin beter wordt, 3) het wegebben van socialisatiespanning tegengaan door Italiaans-Nederlandse groepjes te formeren en die aanvullende vakopdrachten mee te geven, (4) de vakinhoud zo kiezen dat de socialisatiespanning erdoor wordt bevorderd en tegelijk de parallellie met de onderwijsgroep in Alkmaar in stand blijft.

10

bijlage 2 figuur 2: schema interventies paper 1

11

bijlage 3 figuur 1 interventies: van ontwerp tot evaluaties

12

bijlage 4 ‘big-3'enquête 2013 en 2014: dataverzameling uitwisseling M&C/HC Alkmaar met FPM Ventimiglia, uitwisseling in Italië 2013 03 17-23 respectievelijk 2014 02 16-21. Telefonische enquête onder (een van de) ouders van de nl-deelnemers, 10 maanden later. Data enquête: 27 en 28 januari 2014 (over 2013) en (over 2014) eind maart 2014. onderwerp: 1. enquête waarin wordt gevraagd naar een verandering in de persoonlijkheidskenmerken Vriendelijkheid (V), Emotionele stabiliteit (Em) en Openheid (O); 2. controlevragen over de uitwisseling, aan de hand waarvan vaak duidelijk is of de uitwisseling al dan niet een succes is geworden.Alle big five vragen hebben betrekking op het verschil tussen voor-de-uitwisseling en na-deuitwisseling. De big five ja/nee vragen zijn ontleend aan het NPV2, vijffactorenmodel, Lickert-schaal, aangeraden door een gz-psycholoog4. Er is geen Lickertschaal gebruikt, maar ja/nee-vragen. Er zijn 7 vragen over Vriendelijkheid, Emotionele stabiliteit en Openheid gekozen, en die zijn aangepast voor telefonisch gebruik, drie voor Emotionele stabiliteit, twee voor Vriendelijkheid en voor Openheid. Om te kunnen vergelijken is V3 achteraf toegevoegd met als waarde de helft van de som van (V1+V2).Vraag O1 dubbel geteld (omdat die de kerninformatie bevatte). In kolom O1 kan daardoor een '2' voorkomen. 'b3'-telefonische ouders-enquête: O, V, Em ruwe data

tabel b3

uitwisseling 2013:

ja/nee vragen aan ouders over verschil voor en na de uitwisseling mrt 2013; scores per j/n-vraag, telefonisch, 10 maanden later, N=13

ouders leerl.

V1 1 2 3 4 5 6 7 8 9 10 11 12 13

V2 0 1 0 1 0 0 0 1 0 0 0 0 0

Em1 0 0 0 1 1 0 0 0 0 0 1 0 0

Em2 0 1 0 1 0 0 0 1 1 0 1 0 1

Em3 0 0 1 1 1 0 0 1 1 0 1 0 0

O1*2 0 1 0 0 0 0 0 1 0 0 0 0 0

0 2 2 1 2 1 1 1 2 2 0 2 2

O2 V3 0 0 0 0,5 0 0 0 1 0 0,5 0 0 0 0 1 0,5 0 0 0 0 0 0,5 0 0 0 0

:

4

GZ-psycholoog Eline Vreijsen

13

'b3'-telefonische ouders-enquête: O, V, Em N=8 Italië-uitwisseling 16-21 februari 2014 ouders leerl. V1 V2 Em1 Em2 Em3 O1*2 O2 V3 1 1 1 1 1 1 2 1 1 2 1 0 1 1 1 1 1 0,5 3 1 0 1 1 0 1 1 0,5 4 1 1 1 1 1 2 1 1 5 0 1 1 0 1 2 1 0,5 6 1 0 0 0 0 1 1 0,5 7 8 9

1 0

0 0

1 1

1 0

0 0

2 2

1 0,5 1 0

kolom V3: V3 is het gemiddelde van V1 en V2

kolom O1*2: O1 telt dubbel omdat weggevallen O3 niet werkte nr 7: zoon woont zelfstandig, de ouders zijn niet op de hoogte. Dus daarom 8 leerlingen resterend

toelichting: Let op: deze scores over 2013 en 2014 gaan alleen over de verandering van een persoonlijkheidskenmerk. Bij een lage gecombineerde V-O-(Em) score is de socialisatiespanning ontoereikend voor een life event. Bijvoorbeeld leerling 1 van 2013: hij is tamelijk bereisd en heeft niet veel te leren van de uitwisseling; de moeder scoorde opvallend resoluut 'nee' op alle vragen, dit heeft veel invloed op de groepsscore; er is twijfel. Zie de theoriediscussie aan de hand van Sussman (2000) en Angulo (2008). Een lage score kan, behalve op 'bereisdheid' ook wijzen op gebrek aan motivatie of op onverschilligheid. Het verschil tussen de O2-scores in 2013 en 2014 is groot, maar ook reëel. uitwisseling 2013: externe factoren Gebeurtenissen bij de uitwisseling 2013 die de test kunnen hebben beïnvloed: leerling 7 (2013) moet van gastgezin wisselen omdat haar uitwisselmaatje autistisch is. Leerling 11 treft een uitwisselmaatje dat 24 uur per dag op haar mobiel social media bijhoudt. uitwisseling 2014: De enquête vindt plaats ruim drie weken na de uitwisseling. Om de kwaliteit van de uitwisseling te verbeteren is in 2014 uitgaande van de ervaring in 2013, op aanraden van US-onderwijsgoeroe G.W. Fry (zie paper 1, Fischer (2009), Ritz (2011)) en op basis van effectiviteitslijsten van Hattie (2009 en 2012) de leerintensiteit ervan opgeschroefd door drie soorten interventies: ombuigen mbo-attitude (meer focus, belangstelling en betrokkenheid), een onderdompelingsprocedure voor het aangaan van nieuwe supportrelaties, en ten slotte uitdagend kennisaanbod om te kunnen leren kijken. De inspiratie is ontleend aan Hattie et al. (1997), Hattie (2009; 2012) en Yaïr (2008; 2009). externe factoren 2014: Leerling 7 woont zelfstandig, dus zijn ouders-enquête is achteraf zinloos; scores niet meegeteld. De leerlingen 3, 6, 7 en 9 zijn 19 jaar of ouder. Vanaf 13-14 jaar is de schommeling van de persoonlijkheidskenmerken groter naarmate de persoon jonger is (Soto, John, Gosling en Potter (2011)). De 14

hoogste scores in de test 2014 zijn voor de jongste leerlingen. De gemiddelde leeftijd in 2013 en 2014 is echter nagenoeg gelijk: 2013: 17,38 jaar, 2014 17,75 jaar. In 2013 scoren drie 16-jarigen heel laag, maar de actieve allerjongste 16-jarige scoort zeer hoog. Bij zo kleine aantallen en een zo turbulente leeftijd valt er weinig over te zeggen. Het interventie-effect is veel dominanter. De leerlingnummers 2014 van de enquêtes corresponderen met de 2014-online leerlingnummers in bijlage 10 en 9.

Bijlage 5 Berekening relatieve effectverdeling interventies Na de uitwisseling 2014 hebben de leerlingen (A en B) en, indirect, de ouders van de leerlingen (C) een oordeel gegeven over interventies in hun antwoorden op de volgende vragen: A. dagelijkse interviews: 1. wat was het meest speciaal gisteren? 2. wat heb je over jezelf ontdekt? B. slotinterviews: 1. in hoeverre heeft deze week aan je verwachtingen voldaan? 2. hoe heb je je verblijf in het gastgezin ervaren? 3. welk programmaonderdeel zou je een onvoldoende/voldoende/goed/geven? 4. met hoeveel mensen heb je, behalve met je uitwisselmaatje, een echt gesprek gehad? C. open vragen ouders enquete-2014: 1. waar was uw zoon of dochter het meest van onder de indruk? 2. wat vond uw zoon of dochter het leukst? berekening: aandeel interventies op grond van interviews en open vragen puntentelling: opmerking positief gerelateerd aan interventie: punt voor specifieke interventie opmerking pos gerelateerd aan doel interventies: punt voor interventies globaal opmerking pos gerelateerd aan succes uitwisseling punt voor de hele uitwisseling zoals 2013 opmerking irrelevant (zakkenrollers) geen punt opm negatief over onderdeel (spierpijn fotowandeling) minpunt totaalscores: score per interventie delen door totaalscore interventies =percentage per interventie

A. dagelijkse interviews uitwisseling 2014 per persoon vier dagen lang één vraag, soms meer dan één antwoord 9 leerlingen Vraag A1: Het meest speciaal? Uitzicht uitzicht over zee de sneeuwbergen in de verte aanvlieguitzicht vanuit vliegtuig samenwerkingsoefening 'fotowandeling' gastgezin Excursies Monaco Sanremo

ruwe score

p

toelichting

totaal: xxxxxxxxxxx xx x xxxxxxxxxxx xxxxxxxxxxx totaal xxxxxx (6) xxxxxxxx (8)

14

hele uitwisseling

11 11 19

interv. mislukt, hele uitw gastgezin steden festival, dure winkels 15

Ventimiglia-alta Nice restgroep: band onderling citroenen plukken zich voorstellen in italiaans de 1e keer vliegen Vraag A2: Over jezelf ontdekt? contact maken lukt nu met Italianen minder onzeker, zelfstandiger draai gevonden in nieuwe cultuur en groep ben ergens goed in,vaardigheid genoemd: ik kan alleen reizen ik heb een goed richtingsgevoel ik ben goed in fotozoekspel ik kan beter samenwerken dan ik dacht nu meer geduld ik spreek alweer redelijk goed italiaans restgroep: wat heb ik het in NL goed ik wil ook meer genieten van het leven ik ben fanatiek, wil niet verliezen voortaan dingen beter voorbereiden ik wil een bedrijf in delicatessen niet lang wandelen, erge spierpijn akelig gevoel in russisch kerk geen talenknobbel

xxxxx x

(5)

x x x x

1

straatjes, kathedraal hele uitwisseling

1 1 1 1

hele uitwisseling interv.mislukt, hele uitw gastgezin hele uitwisseling

per persoon vier dagen lang één vraag, soms meer dan één antwoord xxxxxxx xxxxxxx xxxxxxx totaal:

7 7 7 4

Interventies globaal Interventies globaal Interventies globaal Hele uitw

x x 3 1

interv mislukt hele uitwisseling interv mislukt hele uitwisseling

x x totaal: xx x x x x xx x

6 plusgevoel

-2 -1

hele uitwisseling

interv mislukt, hele uitw steden

B. slotinterviews 2014 B1 aan verwachtingen voldaan? +++ "grootse aanpak" "opdrachten precies goed" B2 verblijf in gastgezin: +++ B3 programmaonderdelen: lessen (Walter)//school llb-opdracht alle opdrachten Nice Kasteel fotowandeling de afstemming van alles B4 hoe vaak echt gesprek? cijfer begeleiding

1 1

gem 15x gem 8,8

Interventies globaal Interventies globaal

-7 Hele uitwisseling -1 Steden, sanremo 8 Interventies globaal 1 (zie ook boven) hele uitwisseling 2 Interv mislukt hele uitwisseling 3 Interv. mislukt hele uitwisseling 1 Interventies globaal scoorbaar? neen

'het leukst' 16

C. open vragen 2014 'onder de indruk' fotozoektocht afwisseling één grote belevenis, echt alles! lunchgesprek met docent Van Wonderen Nice het eten school de eigen groep italiaanse mentaliteit/cultuur excursies Monaco/dure auto's/casino gastgezin TOTALEN: hele uitwisseling (=zoals in 2013) interventies: Interventies globaal interventie steden interventie gastgezin

lijst geslaagde interventies * gastgezin * *

steden focus

7 interv. mislukt, hele uitwisseling 3 Interventies globaal 2 hele uitwisseling 1 hele uitwisseling 1 hele uitwisseling 1 hele uitwisseling -1 hele uitwisseling 5 interventies globaal 4 interventies globaal 2 steden 7 steden: monaco 6 gastgezin 45 punten (waarvan 17 voor fotowandeling) 37 punten, verdelen onder de 3 interventies. 26 punten 18 punten 81 punten persoonlijkheidswinst

globaal eindscore: 12 = 30 >>>>37%

18 26

+

12 = 39 12 = 12 81

>>>>48% >>>>15%

eindscore is percentage van de in paper 5 berekende persoonlijkheidsverandering als gevolg van de interventies

17

bijlage 6 kalender verzamelen onderzoeksgegevens Italië-uitwisseling 2013-14 Datum 2014 jan 27-28

jan 29

telefonische ouders-enquête over voor-na uitwisseling 17-23 maart 2013. onderdeel1: persoonlijkheidsveranderingen zoon/dochter tav O, V en Em onderdeel 2: controlevragen over uitwisseling kenmerken: geen afspraak vooraf; duur per gesprek: 20 minuten uitwerking: ‘resultaten ouders-enquêtes 2013 en 2014’ online big five test t1 OutofService experimentgroep en controlegroep kenmerk: twee weken voorafgaand aan de 2014-uitwisseling 16-21 februari uitwerking: ‘resultaten online big five test 2014, in percentielen’

feb 16-21

dagelijkse interviews en slotinterview met uitwisselleerlingen afzonderlijk kenmerk: antwoorden worden door de begeleider opgeschreven uitwerking: verslag

half mrt

online Out of Service big five tests t2 voor exp-groep en controlegroep kenmerk: drie weken na de 2014-uitwisseling 16-21 februari

half mrt

telefonische ouders-enquête over voor-na uitwisseling 16-21 febr 2014 ond.1: persoonlijkheidsveranderingen zoon/dochter tav Openheid, Vriendelijkheid en Emotionele stabiliteit ('b3') ond. 2: controlevragen over uitwisseling kenmerk: geen afspraak vooraf; duur per gesprek: 20 minuten Uitwerking: ‘resultaten ouders-enquêtes 2013 en 2014’

18

Bijlage 7 vragen telefonische enquête 2013 en 2014

Big five selectie: Vriendelijkheid, Emotionele stabiliteit, Openheid Telefonische Interviewvragen voor ouders van groep maart 2013 en groep februari 2014: Op basis van theorie big five vragen ontleend aan NPV2, getoetst door GZ- psycholoog Eline Vreijsen Vriendelijkheid: Hoe was het gesteld met zijn vriendelijkheid na de reis in vergelijking met voor de reis? (waar merkte u dan aan?)

Is zijn begrip voor mensen die fouten maken, veranderd? Heeft hij In gezelschap genoeg om over te praten? (reserve) Emotionele stabiliteit: Vindt u achteraf dat uw zoon veranderd is tav volwassenheid sinds de excursie? Is er een verandering opgetreden in zijn zelfvertrouwen sinds de uitwisseling? Maakt uw zoon zich meer/minder of net zo vaak zorgen sinds de uitwisseling in vgl met daarvoor? Is uw zoon sinds de uitwisseling minder snel zenuwachtig? (reserve) Openheid: Heeft uw zoon nog contact gehad met Italianen die hij tijdens de uitwisseling ontmoet heeft? (+ Hoe vaak?) >2=2pnt Is er sinds de uitwisseling iets veranderd in hoe vaak hij naar feestjes gaat? Heeft hij sinds de uitwisseling meer vrienden en vriendinnen? ( reserve)

Bijlage 8 ochtend- en slotinterviews Italië-uitwisseling 2014 19

Ochtendinterviews: Vragen ('s ochtends op 16, 17, 18 en 19 februari 2014 in Italië op school) 1 Wat vond je het meest speciaal vandaag? 2 Wat heb je over jezelf geleerd? leerling 2014 exp 3:

Vraag1 16/2 Het leven in het gastgezin, dat is helemaal nieuw voor mij 17/2 De wandeling door de oude stad van Ventimiglia, met de kleine straatjes 18/2 Dat ik me al zo snel thuis voel in het gastgezin 19/2 Het uitzicht vanaf het kasteel en de fotowandeling Vraag 2 16/2 Ik maak makkelijk contact met nieuwe mensen 17/2 De spanning van de eerste dag is weg en omgezet in een goed gevoel 18/2 Ik zag er en beetje tegenop om bij het gastgezin te zijn, ik vond het heel spannend, maar het is niet zo moeilijk. 19/2 Ik ben goed in het fotozoekspel leerling 2014 exp 2:

Vraag 1 16/2 Het uitzicht. ‘s Morgens als ik opsta kijk ik uit over de Middellandse Zee en Monaco 17/2 Ik was ‘s avonds thuis in het gastgezin en heb de hele avond met de ouders gepraat over de thuissituatie, de familie en school. Dat was erg leuk 18/2 De band die we tussen de Nederlanders onderling en tussen de Nederlanders en Italianen al hebben 19/2 Uitzicht bij het kasteel en tijdens de wandeling en het citroenen plukken Vraag 2 16/2 Ik kan lol hebben zonder van iemand afhankelijk te zijn 17/2 Het is leuk om met mensen uit een ander land te praten en de verschillen en overeenkomsten te zien 18/2 De drempel om mezelf te zijn is lager geworden; ik ben minder onzeker en durf meer voor mijn eigen mening uit te komen. 19/2 Ik wil niet meer zo ver wandelen leerling 2014 exp 8:

Vraag 1 16/2 De ontmoeting op het station in Ventimiglia en met het gastgezin 17/2 Het panorama; Nice en Monaco 18/2 De straatverkopers en persoonlijke standbeelden in Sanremo; de mensen maken gebruik van het feit dat het festival is in Sanremo en willen een centje bijverdienen. 19/2 De fotowandeling, alles is nieuw, het is leuk dat je moet samenwerken, zo leer je elkaar beter kennen. Vraag 2 16/2 Ik heb interesse in de buitenlandse (Italiaanse) cultuur 20

17/2 Het is prima en zelfs wel leuk om een gesprek aan te gaan met handen en voeten 18/2 Ik vind het leuk om met de mensen in Italië (in het algemeen) te praten. Ik raak in gesprek met de Italianen. 19/2 Ik heb meer geduld dan ik had verwacht leerling 2014 exp 7:

Vraag 1 16/2 De gastvrijheid in het gastgzin 17/2 De Italiaanse leerlingen en ik begrijpen niet waarom de Nederlanders zich in het Italiaans moesten voorstellen. Het was wel leuk, maar onwennig 18/2 De Russisch Orthodoxe kerk in Sanremo en de kerk in Bordighera. De iconenopdracht voor LLB is lastig, maar wel interessant omdat ik hier niets van af wist 19/2 Het kasteel, het uitzicht en de rust Vraag 2 16/2 Ik heb geen talenknobbel en al helemaal geen Italiaanse 17/2 Ik moet dingen zoals het voorstellen, serieus aanpakken en beter voorbereiden. Dat is beter 18/2 ik had een akelig, raar gevoel in de kerk 19/2 Ik ben er achter wat ik echt wil; ik wil graag een eigen bedrijf; een winkel in wijn en delicatessen. Ik zie die winkels hier veel en dat zou ik ook graag willen later.+ Ik kom zo heerlijk tot rust hier, ik heb geen stress. leerling 2014 exp 5:

Vraag 1 16/2 Samen met Shantey rennend de berg beklimmen naar het Koninklijk Paleis in Monaco 17/2 De wandeling door de oude stad van Ventimiglia met de groep 18/2 Het festival in Sanremo, de filmploegen en de bekende mensen die we daar zagen. 19/2 De wandeling en het kasteelbezoek Vraag 2 16/2 Ik kan alleen reizen en het bevalt goed. Ik begrijp de wegwijzers in een andere taal 17/2 Ik heb het thuis in Nederland erg goed, qua huis bijv. Ik waardeer nu meer wat ik in Nederland heb. 18/2 Ik moet minder naïef zijn en goed opletten voor zakkenrollers. + we zijn intiem met de Nederlanders, het groepsgevoel is sterk, we zijn een eenheid. Er valt niemand buiten de groep en ook met de Italianen mengt het goed. 19/2 Meedoen is belangrijker dan winnen + mijn richtingsgevoel is goed leerling 2014 exp 6:

Vraag 1 16/2 De wandeling door Monaco, ik herkende veel van tv (rally van Monte Carlo)+ de hoogteverschillen in de stad 17/2 Het uitzicht naar de grens en de besneeuwde bergtoppen; echt buitenland! 18/2 Sanremo is een relatief kleine plaats, er zijn heel veel dure kledingwinkels terwijl Noord Italie op dit moment een arme regio is door de crisis 21

19/2 Het uitzicht was magnifiek, de fototocht vond ik het leukst Vraag 2 16/2 Ik spreek beter Italiaans dan verwacht; ik heb geen cultuurschok in het gastgezin, ik voel me beter op mijn gemak in Italië dan gedacht 17/2 Ik ken al heel veel Italiaanse woorden 18/2 Het gastgezin; De Italiaanse volwassenen in het gastgezin genieten van het leven. Ik denk meer dan Nederlanders. Dat vind ik mooi. Ik merk dat ik me hiermee kan identificeren. Dat ga ik ook meer doen 19/2 Ik ben goed in het herkennen van plekken vanaf de foto + ik ben beter dan gedacht in samenwerken leerling 2014 exp 1:

Vraag 1 16/2 De aankomst per vliegtuig; het uitzicht was zo mooi! 17/2 De gastvrijheid in het gastgezin; ze maken bijv. speciaal voor mij een ontbijt (met alles er op en er aan) terwijl ze zelf niet ontbijten 18/2 De mooie dure winkels in Sanremo. Het verschil in welvaart tussen Ventimiglia en Sanremo 19/2 Het uitzicht vanaf de berg en het kasteel, maar eigenlijk de hele wandeling. Vraag 2 16/2 Ik heb er moeite mee dat mijn Italiaanse ouders geen Engels spreken. Ik dacht dat ik dat makkelijker zou vinden 17/2 Het negatieve gevoel (zie 16/2) heb ik kunnen omzetten in een positief gevoel. Eerst voelde ik me niet goed, maar ik heb me er overheen kunnen zetten en nu vind ik het erg leuk in het gastgezin, we kunnen ook communiceren en de hele excursie tot nu toe is erg leuk. 18/2 Ik mis mijn familie en vrienden, maar ik denk dat ik zelfstandiger ben geworden; je moet jezelf hier redden+ Ik heb er respect voor wat ze hier hebben. Maar wij hebben het thuis qua welvaart beter, dat waardeer ik nu ook meer 19/2 Ik ben fanatiek en wil niet verliezen leerling 2014 exp 4:

Vraag 1 16/2 Het vliegen; het was voor mij de eerste keer + Monaco; de mooie palmen, de zon, de natuur 17/2 Het uitzicht over de stad vanuit Ventimiglia Alta en het bezoek aan de kerken 18/2 De Russisch orthodoxe kerk in Sanremo, heel anders dan de kerken die ik al ken; door de opdracht over de iconen moest je goed kijken, maar het was wel lastig want er stonden soms dezelfde personen op afgebeeld 19/2 Het kasteel en de wandeling Vraag 2 16/2 Ik ben een huismus, maar met deze groep op stap is erg gezellig, ik maak makkelijk contact

22

17/2 Ik kom goed mee met de groep, ik ben socialer dan ik dacht; ik heb aansluiting en dat is nieuw voor mij, normaal sta ik altijd alleen 18/2 Ik ben niet goed in berg op en berg af lopen, ik heb erge spierpijn 19/2 Ik ben goed in foto’s zoeken leerling 2014 exp 9:

Vraag 1 16/2 Het verblijf en de ontmoeting met het gastgezin 17/2 De wandeling door de kleine straatjes van Ventimiglia alta en de kathedraal met de onderkerk (dat had ik nog nooit gezien) 18/2 De Russische kerk midden in een Italiaans stadje; er wordt rekening gehouden met de Russische bevolking + het festival, er was zoveel media aandacht 19/2 Het mooie uitzicht over de Middellandse Zee en de bergen Vraag 2 16/2 Ik kan me goed alleen redden en ben zelfstandig 17/2 Ik maak makkelijk contact met de Italianen 18/2 Het samenwerken met een Italiaan; samen aan een opdracht werken is leuk en gaat goed 19/2 Het samenwerken tijdens de wandeling vond ik zo leuk, normaal werk ik graag alleen

Slotinterviews. Evaluatie internationalisering 16 februari t/m 21 februari 2014 1 In hoeverre heeft deze week aan je verwachtingen voldaan? leerling 2014 exp 6: Het heeft mijn verwachtingen overtroffen. Ik verwachtte grotere verschillen, maar dat viel mee leerling 2014 exp 1: In het begin viel het tegen om met mijn Italiaanse uitwisselmaatje in het Engels te communiceren. Ik heb mij er overheen gezet, legde dingen weer eens op een andere manier uit. Daardoor kwam er een omslagpunt en werden we beiden losser. leerling 2014 exp 4: In alle opzichten. Ik had meer en anders les verwacht, maar het was leuker. leerling 2014 exp 7: Meer dan. Ik had niet echt hoge verwachtingen voor aanvang. leerling 2014 exp 3: Verwachtingen waren in eerste instantie hoog. Tijdens de heenreis zakte dit door spanning. Na deze week vind ik dat het aan de verwachtingen heeft voldaan. leerling 2014 exp 5: Ik ging onbevangen, blanco heen. Om bij voorbaat teleurstellingen te voorkomen. Het is mij uiteindelijk beter bevallen dan ik verwacht had. Ook de grootse aanpak. leerling 2014 exp 9: Meer dan ik had verwacht. Top! Opdrachten waren precies genoeg. leerling 2014 exp 2: Echt boven verwachting; dacht in eerste instantie dat het niets zou worden. leerling 2014 exp 8: In het begin eng i.v.m. gastzin. Viel later erg mee en vond het leuker dan verwacht. 23

2 Hoe heb je het verblijf in het gastgezin ervaren? leerling 2014 exp 6: Heel aangenaam. Zij hebben goed voor mij gezorgd, lekker eten, vriendelijk en vrolijk. leerling 2014 exp 1: Heel goed. Goed verzorgd, interesse door vragen van ouders over bijv. cultuur. leerling 2014 exp 4: Heel fijn. Lieve mensen, goed verzorgd en heel veel rekening met mij houdend. leerling 2014 exp 7: Heel gastvrij. Gezellige en aardige mensen. leerling 2014 exp 3: Prima! Gastvrije mensen, goed eten en gezellig. Ook zelfs nog met de buren gegeten. Zou zo wel een tweede keer naar hen toe willen. leerling 2014 exp 5: Positief door gastvrijheid. Aandacht door gastgezin, ’s avonds met hen nog wat ondernomen. Goede zorg. leerling 2014 exp 9: Redelijk tot goed. Niets te klagen. leerling 2014 exp 2: Supergezellig. leerling 2014 exp 8: Positief. Mensen zijn aardig. 3 Welk programma onderdeel zou je een onvoldoende/voldoende/goed geven. leerling 2014 exp 6: onvoldoende: geen voldoende: lessen goed: fototocht, opdrachten leerling 2014 exp 1: onvoldoende: geen voldoende: school goed: kasteel en puzzeltocht leerling 2014 exp 4: onvoldoende: lessen voldoende: geen goed: alle andere opdrachten leerling 2014 exp 7: onvoldoende: lessen, sloegen nergens op. voldoende: alle andere onderdelen. Er was niets wat er bovenuit stak. goed: geen leerling 2014 exp 3: onvoldoende: de uitleg van de docent Engels over San Remo voldoende: alle andere onderdelen goed: misschien de fototocht leerling 2014 exp 5: 24

onvoldoende: geen voldoende: schoolactiviteiten goed: al het andere: excursies, opdrachten. leerling 2014 exp 9: onvoldoende: geen voldoende: geen goed: Alle onderdelen. Er was voor elk wat wils. leerling 2014 exp 2: onvoldoende: geen voldoende: geen goed: alle onderdelen goed op elkaar afgestemd leerling 2014 exp 8: onvoldoende: schoolactiviteiten, LLB-opdracht voldoende: filmopdracht goed: wandeling, bezoek San Remo, Nice en Ventimiglia 4

Met hoeveel mensen heb je, behalve met je uitwisselmaatje, een echt gesprek gehad? nl+it (incl uitwisselmaatje) leerling 2014 exp 6 11 11 6+6 leerling 2014 exp 1: 14 14 8+7 leerling 2014 exp 4: 12 à 13 12 8+5 leerling 2014 exp 7: met allen, behalve Alessia 15 8+8 leerling 2014 exp 3: Met allen en met Giuseppe, Emma, Valentina B en Lorenzo 12 8+5 leerling 2014 exp 5 Allen, behalve met Alessia. Veel met Emma gepraat. 15 8+8 leerling 2014 exp 9: Met allemaal 16 8+9 leerling 2014 exp 2: Met iedereen. 16 8+9 leerling 2014 exp 8: 15 8+8 Met iedereen. Met Federico en met Valentina B heel veel. Veel met Giuseppe en Emma. totaalscore gemiddeld

70+65 nl 7,7 7,2 intern. totaal: 14,9

5 Welk cijfer geef je de Nederlandse begeleiding? leerling 2014 exp 6: 8 leerling 2014 exp 1: 8 leerling 2014 exp 4: 25

8 – 8,5 leerling 2014 exp 7: 8,5 leerling 2014 exp 3: 9 leerling 2014 exp 5: 9 leerling 2014 exp 9: 8 NB Cijfer voor de gehele week: 10+ leerling 2014 exp 2: 7 NB totaalbeoordeling deze week: 10+ leerling 2014 exp 8: dikke 9

bijlage 9 dataverzameling big five online tests Italië-uitwisseling 2014 experiment- en controlegroep tabel I HC exp 2014 t1-t2 experiment-groep 2014 HC N=9 exp '14

middle tail z-scores

o t1

o t2

z t1

z t2

ex t1 ex t2

v t1 v t2

em

em 26

1 2 3 4 5 6 7 8 9 Stdev gemiddelde

0,15 0,2 0,06 1,96 1,18 0,45 0,93 0,45 0,93

0,176 0,345 0,202 2,17 1,282 0,613 1,282 0,454 1,036

0,61

0,661 0,529

0,802 0,353

0,49 0,543

0,53 0,536

0,64

0,7

0,84 0,725

0,885 1,356

1,515 1,078

1,101 1,021

1,39

t2-t1 gem

0,13692

tabel 2

1,015 0,385 0,706 0,806 2,626 0,126 1,598 0,075 0,628

middle tail z-scores

ctr '14 1 2 3 4 5 6 7 8

o ct1 0,2 0,05 0,54 0,39 0,45 0,54 0,25 0,31

o ct2 0,063 0,05 0,568 0,151 0,202 0,202 0,202 0,385

z ct1 1,476 0,806 0,806 1,751 2,17 0,126 0,385 0,806

1,598 1,126 1,036 1,036 1,598 0,824 1,695 1,476 1,812

0,16017

HC ctr 2014 t1-t2

N=8

stdev gem

0,915 0,215 0,706 1,254 1,598 0,126 1,126 0,266 0,319

z ct2 1,254 1,254 1,372 1,598 1,254 0,164 0,454 0,524

1,372 1,598 1,254 1,036 2,17 0,643 1,812 2,054 1,695

0,583 0,583 1,126 1,372 1,645 0,583 1,645 0,413 1,751

0,15913

0,643 1,015 0,897 1,598 2,17 0,413 1,254 0,789 1,126

t1 t2 0,69 1,34 0,789 1,1 1,103 1,48 0,897 1,23 2,17 2,58 0,202 0,31 0,897 1,81 1,103 0,9 1,341 1,81

0,02278

0,3729

controlegroep 2014 HC

ex ct1 1,695 1,372 0,915 1,476 1,126 1,812 1,126 1,44

0,17 0,172 0,697 0,523 0,303 0,34 0,228 1,041 0,984 1,37

ex ct2 1,695 1,254 1,126 1,372 1,126 1,695 0,643 0,524

em em v ct1 v ct2 ct1 ct2 1,372 1,372 1,476 1,48 0,345 0,345 1,103 1,7 0,675 0,897 0,524 0,99 1,372 1,372 0,897 1,23 0,345 0,496 1,598 1,81 0,345 0,306 1,476 1,7 0,279 0,306 0,372 0,52 0,113 0,075 1,44 0,84

0,43 0,498 1,18 0,606

0,505 0,646

0,47 1,111

0,47 1,28

Bijlage 10 HC 2014 experiment- en controlegroep: van percentielen naar z-scores (from: easycalculation.com) De uitkomsten van OutofService zijn in percentielen: percentiel k is het getal dat k% lagere waarden scheidt van (100-k)% hogere waarden. Percentiel 50 geeft dus de mediaan aan (Wikipedia). Het na27

deel van percentielen is dat er niet mee gerekend mag worden, het zijn relatieve (want rangorde-) waarden. De nauw verwante z-score is niet een afhankelijke, gestandaardiseerde, waarde, er kan dus mee gerekend worden. De z-score geeft aan hoeveel keer de standaarddeviatie een uitkomst afwijkt van de gemiddelde uitkomst; een z-score 3 betekent een zeer hoog betrouwbaarheidspercentage van ruim 99,73%. online big five data met omzetting van percentielen in z-scores experimentgroep exp-groep 2014 Horizon online College: big five test OutofService t1=eind jan 2014, t2= half maart 2014 percentielen prctl prctl prctl prctl prctl prctl prctl prctl prctl prctl N=9 z-score z-score z-score z-score z-score z-score z-score z-score z-score z-score exp o t1 o t2 z t1 z t2 ex t1 ex t2 v t1 v t2 em t1 em t2 1 12 0,15 14 0,18 64 0,92 69 1,02 89 1,6 83 1,37 44 0,58 48 0,64 51 0,69 82 1,34 2 16 0,2 27 0,35 17 0,21 30 0,39 74 1,13 89 1,6 44 0,58 69 1,02 57 0,79 73 1,1 3 5 0,06 16 0,2 52 0,71 52 0,71 70 1,04 79 1,25 74 1,13 63 0,9 73 1,1 86 1,48 4 95 1,96 97 2,17 79 1,25 58 0,81 70 1,04 70 1,04 83 1,37 89 1,6 63 0,9 78 1,23 5 76 1,18 80 1,28 89 1,6 98 2,63 89 1,6 97 2,17 90 1,64 97 2,17 97 2,17 99 2,58 6 35 0,45 46 0,61 10 0,13 10 0,13 59 0,82 48 0,64 44 0,58 32 0,41 16 0,2 24 0,31 7 65 0,93 80 1,28 74 1,13 89 1,6 91 1,7 93 1,81 90 1,64 79 1,25 63 0,9 93 1,81 8 35 0,45 35 0,45 21 0,27 6 0,08 86 1,48 96 2,05 32 0,41 57 0,79 73 1,1 63 0,9 9 65 0,93 70 1,04 25 0,32 47 0,63 93 1,81 91 1,7 92 1,75 74 1,13 82 1,34 93 1,81 stdev 0,61 0,66 0,53 0,8 0,35 0,49 0,54 0,53 0,54 0,64 gemiddelde0,7 0,84 0,73 0,89 1,36 1,51 1,08 1,1 1,02 1,39 online data met omzetting van percentielen in z-scores

controlegroep

ctr-groep 2014 Horizononline College big five test OutofService t1=eind jan 2014, t2= half maart 2014 percentielen prctl prctl prctl prctl prctl prctl prctl prctl prctl prctl N=8 z-score z-score z-score z-score z-score z-score z-score z-score z-score z-score ctr o ct1 o ct2 z ct1 z ct2 ex ct1 ex ct2 v ct1 v ct2 em ct1 emem ct2ct2 1 16 0,2 5 0,06 86 1,48 79 1,25 91 1,7 91 1,7 83 1,37 83 1,37 86 1,48 86 1,48 2 4 0,05 4 0,05 58 0,81 79 1,25 83 1,37 79 1,25 27 0,35 27 0,35 73 1,1 91 1,7 3 41 0,54 43 0,57 58 0,81 83 1,37 64 0,92 74 1,13 50 0,67 63 0,9 40 0,52 68 0,99 4 30 0,39 12 0,15 92 1,75 89 1,6 86 1,48 83 1,37 83 1,37 83 1,37 63 0,9 78 1,23 5 35 0,45 16 0,2 97 2,17 79 1,25 74 1,13 74 1,13 27 0,35 38 0,5 89 1,6 93 1,81 6 41 0,54 16 0,2 10 0,13 13 0,16 93 1,81 91 1,7 27 0,35 24 0,31 86 1,48 91 1,7 7 20 0,25 16 0,2 30 0,39 35 0,45 74 1,13 48 0,64 22 0,28 24 0,31 29 0,37 40 0,52 8 24 0,31 30 0,39 58 0,81 40 0,52 85 1,44 40 0,52 9 0,11 6 0,08 85 1,44 60 0,84 stdev 0,17 0,17 0,7 0,52 0,3 0,43 0,5 0,51 0,47 0,47 gemiddelde 0,34 0,2 1,04 0,98 1,37 1,18 0,61 0,65 1,11 1,28

Bijlage 11 het interventieontwerp (=paper 2, paragraaf 1) In 2012 besloten FPM in Ventimiglia en het Horizon College in Alkmaar tot een uitwisseling van één week. Na 2013 is gezien de nieuwe doelstelling duidelijk dat één week alleen kan als daarvoor een leerintensiveringsprogramma wordt ontwikkeld, zie figuur 1. De problemen en de ontwerpmotieven zijn behandeld in paper 1. Uit het leerintensiveringsprogramma volgt het ontwerp van de interventies. Het doel van dit ontwerp is te bereiken dat de uitvoering ervan in 2014 substantieel 28

meer life-events oplevert dan in 2013. Benchmarking: de Italië-uitwisseling 2014 moet de b5kengetallen (‘trait change effectivity’)van Zimmermann en Neyer (2013) evenaren. Het interventieprogramma moet rekening houden met eisen van andere betrokkenen: de directie van het Horizon College stelt als voorwaarde dat curriculumonderdelen worden ingepast in de Italië-uitwisseling ("win-win situatie", ook volgens de leerlingen), de uitwisselschool in Italië is meegaand maar de uitwisselcollega's tonen zich bezorgd over de ambitie die onze Italiëinterventies uitstralen; de succesvolle onderdelen van het programma moeten dus intact blijven: culturele stedentrips (in 2014 Sanremo, Nice, Monaco, Ventimiglia); een ochtendschoolprogramma met een gezamenlijk project, bedrijfsbezoeken of -presentaties; en een samenwerkingsopdracht/fotozoektocht plus een bedrijfsbezoek aan een evenementenkasteel-in-ontwikkeling. Bijlage 2 bevat de draaiboeken voor de interventieopdrachten. Het life-event effect van een uitwisseling komt tot stand door het aanknopen van voldoende nieuwe internationale support relaties (Zimmermann & Neyer, 2013). Dit is een proces dat zich leent voor optimalisering door onderwijs. De klasssieke uitwisseling waarbij psychologisch ongemak en eenzaamheid (Hunley 2010) noodzakelijk zijn voor een tijdrovende (Martinsen (2010); Fischer 2009, 2011) aanloop naar de life-event is achterhaald; Angulo (2008) toont aan dat zulk ongemak en eenzaamheid nauwelijks effect hebben op de persoonlijkheid. Een uitwisselingsproces dat leidt tot de life-event, kan dus geoptimaliseerd worden: efficiënter (dus sneller) en effectiever. De effectiviteitsranglijsten van Hattie (2009) en Hattie (2012) zijn een algemeen uitgangspunt voor de gekozen leerintensiveringen. Zijn ranglijst voor de docent-student relatie geldt mutatis mutandis voor de leeromgeving bij internationale uitwisseling. De drie factoren met de hoogste effectscore zijn: “ 1. non-directivity d=0,74 2. empathy d=0,68, 3. warmth d=0,68" (Hattie, 2009, p.118-119). Deze drie toonzetters voor het onderwijseffect worden bij alle interventies in acht genomen. Daarnaast “ 4. high expectations for each student d=1,44 (rank 1) 5. feedback d=0,75 (rank 10)” (Hattie, 2012, p. 269-270) In de tekst zal naar deze factoren worden verwezen door middel van 'Hattie 1-5'. interventie 1: focussen op het aanknopen van nieuwe support relaties a. online big five test, 0-meting, januari 2014 De leerlingen die zich hebben opgegeven moeten weten waar de uitwisseling om gaat. Om ze gerichter te betrekken bij de uitwisseling vragen we ze 14 dagen voor vertrek de online big five persoonlijkheidstest te doen (die meteen ook een uitslag geeft). Dit zet aan tot zelfreflectie ("Mevrouw, ben ik echt zo onvriendelijk?") en tot een meer analytische kijk op anderen. Voor zover het een leermiddel is, geeft de toets aan wat belangrijk is voor de komende uitwisseling. De leerlingen wilden weten waar het nu voor was (antwoord: “Wij willen graag het effect meten van de Italiëuitwisseling, het verschil tussen ervoor en erna. Dan weten we wat beter moet.”) De leerlingen voelen zich zo serieus genomen. Cf Hattie 2 en 4. b. dagelijks mini-interviews, elke ochtend van de uitwisseling 'Wat vond je het meest speciaal gisteren?' en 'Wat heb je gisteren over jezelf ontdekt?' Elke morgen bij aankomst op school stellen we aan elke M&C-leerling deze twee vragen over de dag voordien, en noteren we zichtbaar hun antwoord. De leerling denkt zo beter na over het proces dat hij doormaakt, zodat hij zich beter focust op zijn rol ("Mevrouw, midden in de nacht was ik al aan het denken wat ik op uw twee vragen zou antwoorden.") De leerlingen krijgen elke dag aandacht, ze 29

voelen zich belangrijk. Cf Hattie 2, 3, 5 c. uitgebreid slotinterview, laatste dag van de uitwisseling Tijdens de reis weer terug naar huis nemen we een uitgebreid slotinterview af bij onze leerlingen, een afrondende terugblik op het hele programma. We stimuleren zo de leerling zich een relevant totaalbeeld te vormen van wat hij heeft bereikt in de afgelopen week. Zo wordt het effect van de uitwisseling versterkt, vooral ook in het geheugen van de leerling. De leerlingen voelen zich belangrijk en zeer serieus genomen. Cf Hattie 2, 3, 4, 5 interventie 2: meer socialisatiedruk bij trip Monaco, opdracht citymarketing algemeen: een buitenschoolse opdracht die je dwingt te kijken naar je omgeving en die zo aanknopingspunten biedt voor nieuwe kennismaking De opdracht is collectief want het doel is kennis met elkaar maken. De leerlingen gaan videoopnamen maken voor een tv-commercial (20 seconden) voor een luxe artikel, met kenmerkende beelden van Monaco; ze moeten wel voor alle opnamen toestemming vragen. Monaco bezoeken we tussen de aankomst op vliegveld Nice Côte d'Azur en de aankomst in Ventimiglia. De opdracht (en de apparatuur) krijgen de leerlingen uitgereikt op het station van Nice waar de trein naar Monaco vertrekt. Het gaat erom uit de Nederlandse sfeer te raken door onderdompeling in de sfeer van elegantie en luxe, de eerste socialisatiedruk te voelen (de meeste leerlingen kennen elkaar nog nauwelijks): de opdracht zet eenieder ertoe aan de afstandelijkheid te laten varen en het risico te nemen voor een echte kennismaking, dus tal van nieuwe support relaties: je bent immers nog een week op elkaar aangewezen. De opdracht zet er ook toe aan om de concentratie voor het leggen van nieuwe contacten op peil te houden omdat hij uitdaagt de grens van het toelaatbare op te zoeken. De opdracht daagt ook inhoudelijk uit: citymarketing van Monaco/Monte-Carlo is motiverender dan van Heerhugowaard). Meteen in het begin van de uitwisseling merken de leerlingen dat opdrachten vooral een nuttige handreiking zijn als je in nieuwe situaties terecht komt, en dus nietdirectief zijn. De leerlingen reageren dienovereenkomstig: "Leuke opdracht, mevrouw." De opdracht loopt parallel met een buitenschoolse opdracht deze week in Alkmaar of Heerhugowaard, maar is wel spectaculairder. De opdracht dwingt tot precies kijken, tot samenwerking en kennismaking. Cf Hattie 1, 2, 3 interventie 3: opdracht interview moeder gastgezin a. interview moeder gastgezin Gedurende de eerste twee dagen rijzen er gemakkelijk communicatieproblemen in het gastgezin (Rodriguez en Chornet-Roses, 2014), storend omdat het gastgezin het vertrouwensanker is tijdens de uitwisseling; om die problemen te voorkomen, vragen we de leerlingen de gastmoeder te interviewen, zodat er snel een vertrouwensband ontstaat. Het is een nieuw middel om goede contacten met het gastgezin te krijgen. Cf Hattie 2, 3

b. snelcursus Italiaans in Alkmaar, 5 a 6 lessen Voor het interview uit (a) is het nodig dat de leerlingen op school in Alkmaar een snelle mini-cursus Italiaans volgen (5of 6 lessen van 50 minuten). Het cursusje maakt het mogelijk zich voor te stellen in het Italiaans, en de gastmoeder te interviewen. Daarnaast kan de cursus voorkomen dat de moed wordt opgegeven als de gemeenschappelijke taal tekort schiet. c. zich voorstellen aan de totale groep in het Italiaans De eerste schooldag stellen zowel de Italiaanse als de Nederlandse leerlingen zich voor aan de groep, de Italianen in het Engels, de Nederlanders in het Italiaans, bij wijze van oefening voor het 30

interview met de gastmoeder dat meestal de volgende dag op het programma staat. De voorbereiding (samen met het uitwisselmaatje) in Engels en Italiaans vergemakkelijkt de support relaties met het gastgezin. Cf Hattie 3 interventie 4: meer socialisatiedruk bij stedentrips Sanremo en Ventimiglia Een parallelle buitenschoolse opdracht die je dwingt te kijken naar je omgeving en die zo aanknopingspunten biedt voor onderlinge (internationale) gesprekken, Dit leidt tot nieuwe support relaties, en voorkomt dat de aandacht verslapt; de inhoud biedt uitdaging om iets van de omgeving te begrijpen dan wel van de achtergronden van de bloeiperiode van Sanremo. Voor de mbo-leerlingen is de verleiding om in de grote stad ongeïnteresseerd rond te lopen met een groepje, zonder wat dan ook op te merken, heel groot. De opdracht is een hulpmiddel om ze integendeel te verleiden een leerprestatie te leveren. Door samen met het uitwisselmaatje aan de opdracht te werken vallen de leerlingen niet zo gemakkelijk terug op groepjes in de eigen taal als de vaardigheid in Engels tekort schiet. Er is parallellie met Alkmaar: in Alkmaar doen de thuisgebleven leerlingen een vergelijkbare buitenschoolse opdracht. Cf Hattie 1, 2, 3 a. opdracht commerciële communicatie in Ventimiglia Met het Italiaanse uitwisselmaatje materiaal verzamelen van een specifieke categorie commerciële uitingen en die plaatsen in een theoretisch kader. Cf Hattie 1 b. opdracht Russische kerk in Sanremo Culturele opdracht LLB over de betekenis van de kleuren op iconen. Er wordt weer samengewerkt met het uitwisselmaatje. Cf Hattie 1 De trip naar Nice, die de hele dag duurt, is nog niet aangepast aan de nieuwe doelstelling; hij wordt door FPM georganiseerd. Als de effecten in Sanremo en Ventimiglia voldoende zijn, wordt volgend jaar ook de trip naar Nice geïntensiveerd. interventie 5: het samenwerkingsavontuur 'Fotozoektocht' nu met de Italiaanse leerlingen De Italiaanse collegae en leerlingen hebben tot nog toe niet meegedaan aan deze voor hen facultatieve opdracht: "teveel lopen", "kasteel is oude rommel", "te Nederlands programma". Voor de Nederlandse leerlingen is dit steeds (2012 en 2013) het hoogtepunt van de week. We willen dat alle leerlingen worden ingedeeld in gemengde Italiaans-Nederlandse groepen voor de samenwerkingsopdracht 'Fotozoektocht'; we zullen hiervoor de Italiaanse leerlingen afzonderlijk uitnodigen. Voor de reis aan de leerlingen vragen passend schoeisel mee te nemen en op de eerste maandag aan de Italianen vragen om zich dezelfde dag nog op te geven zodat er voldoende geïndividualiseerde fotosetjes aanwezig zijn. Cf Hattie 1, 2, 3, 4, 5

Bijlage 12 controlevragen na afloop van de ouders-enquête 2013 en 2014 Na afloop van de ouders-enquête zijn nog twee soorten vragen gesteld aan de ouders: 2 vragen om een indruk te krijgen of de uitwisseling voor de leerling geslaagd is, om indien nodig een correlatie te zoeken tussen een geslaagde uitwisseling en de uitkomsten van het onderzoek, zoals in Angulo (2008) en Zhang, Mandl & Wang (2010). Zie bijlage 5.

31

4 vragen om een indruk te krijgen of er verband was tussen de individuele uitkomsten en ervaringen en plannen van de leerling: Is de uitwisseling nog steeds onderwerp van gesprek bij u thuis? Wie nam het initiatief tot de aanmelding voor de uitwisseling, U of uw zoon/dochter? Is uw zoon/dochter van plan stage te gaan lopen in het buitenland? Is uw zoon/dochter geïnteresseerd om in de toekomst deel te nemen aan een buitenlandse studiereis?

Martha Vreijsen paper-5

1 augustus 2015 32

korte intensieve internationale studentenuitwisselingen: persoonlijkheidseffecten en perspectieven samenvatting paper-1

34

Inleiding

35

1.

De globale opzet van het onderzoek

36

2.

De effectgrootte van de uitwisseling Horizon College 2014 (online big five test)

37

3.

Benchmarking Horizon College 2014 met Zimmermann en Neyer

40

3.1

tce-verschillen tussen Horizon College 2014 en Zimmermann en Neyer

40

3.2

Het aantal nieuwe internationale supportrelaties

43

4.

De exploratieve telefonische big five ouders-enquêtes 2013 en 2014

44

5.

Het aantal Individuele life events bij de uitwisselingen 2014 en 2013

46

6

Significantie van het effectverschil uitwisseling 2014 en 2013

49

7.

Bespiegelingen over de rol van Emotionele stabiliteit

49

8.

Conclusies en discussie

52

8.1

Conclusies en discussie ten aanzien van de interventie

52

8.2

Conclusies en discussie ten aanzien van het onderzoek

53

8.2.1 Conclusie ten aanzien van het onderzoek

53

8.2.2 Discussie ten aanzien van het onderzoek

54

Bijlagen bijlage 1 scharnierpunten van het onderzoek bijlage 2 relevante basisinformatie: deelvragen met korte antwoorden bijlage 3 ruwe testuitkomsten online en enquête bijlage 4 berekeningen, analyses en diagrammen bijlage 5 individuele analyses online en enquête, groepsanalyse enquête bijlage 6 ingevuld onderzoeksevaluatieformulier NJI bijlage 7 het belang van het onderscheid totaaleffect en vooruitgang bijlage 8 voorbeeld OutofService big five persoonlijkheidstest online bijlage 9 leerlingevaluaties van de uitvoering van de interventies 2014

33

diagrammen in tekst diagram ht1 duur/effecten per kenmerk; r2 t2-t1 d’s Horizon College/Zimmermann & Neyer

50

diagram ht2 Emotionele stabiliteit/Horizon College/t2 geprojecteerd naar week 38/0.35 sd

50

diagram ht3 t1- en t2- scores (O+V+Em)/3 per leerling 2014

47

diagram ht4 (t2-t1)ES online versus gemeten ES enquête per leerling uitwisseling-2014

47

tabellen in tekst tabel 1 gemiddelde scores van experiment- en controlegroep, Horizon College 2014 online

38

tabel diagram-0.3 vooruitgang: verschil experiment- en controlegroep tussen t1 en t2

38

tabel diagram-0.4 totaaleffect: verschil experiment- en controlegroep op t2

38

tabel-0.5 gemiddelde ruwe scores: totaaleffect en vooruitgang per persoonlijkheidskenmerk

38

tabel 2 d’s Horizon College-2014 online, in sd’s

40

tabel 3 (t2-t1)-d’s Horizon College-2014 online versus Zimmermann en Neyer 5 maanden en 8 maanden

41

tabel 4 nieuwe internationale contacten tijdens uitwisseling

43

tabel 5 telefonische enquête d’s HC 2013 versus HC 2014

45

tabel 6 aantal individuele life events bij uitwisselingen 2013 en 2014

47

Samenvatting paper 1 Op basis van uitgebreid internationaal onderzoek5 wordt aangenomen dat internationale studentenuitwisselingen van meer dan vier maanden in ongeveer 75% van de gevallen leiden tot betere carrièrekansen en tot een beter leervermogen. De kern van het effect is volgens een groot opgezet big five onderzoek van Zimmermann en Neyer (2013) en op basis van eerdere correlatiestudies een life event als gevolg van verdieping van de persoonlijkheidskenmerken Openheid, Vriendelijkheid en Emotionele stabiliteit. Ik ga in dit onderzoek na of die life event ook bereikt kan worden in één week, door een interventie bestaande uit maximalisering van nieuwe internationale contacten in het kader van een leerintensiveringsprogramma geïnspireerd op Hattie (2009 en 2012). Eerstejaars mbo-leerlingen van Marketing & Communicatie Alkmaar (Horizon College) zijn de deelnemers aan de Italië-uitwisseling van februari 2014 en (ter vergelijking) van februari 2013: een experimenteel evaluatieonderzoek met gevarieerde big five testvormen, met zowel een experimentgroep als een controlegroep, en met Zimmermann en Neyer (2013) als benchmark studie. De aanleiding voor het onderzoek is het geringe rendement van de uitwisseling 2013. Het onderzoek speelt in op de toenemende vraag vanuit de markt naar goedkopere en dus kortere studentenuitwisselingen. De onderzoeksvraag luidt: wat is het 5

Engel, 2010; Janson, Schomburg, & Teichler,2009; Bachner & Zeutschel, 2009; Messer & Wolter,2005; Paige, Fry, Stallman, Josic, & Jon,2009; Nunan, 2006; Angulo,2008; Horn & Fry, 2012; Zimmermann & Neyer, 2013

34

effect van een intensieve internationale mbo-uitwisseling van één week op de persoonlijkheidsontwikkeling van de leerlingen?

Inleiding Leerintensivering houdt in dat er meer geleerd wordt in minder tijd. De internationale Horizon College-uitwisseling 2014 van één week met Italië is, vergeleken met die van 2013, geïntensiveerd door een interventie (maximalisering van het kernproces, uitdagen tot focus en betrokkenheid) en gericht op ontwikkeling van de persoonlijkheid: opener, vriendelijker en evenwichtiger, met daardoor betere carrièrekansen en een versterkt leervermogen. Om het gemeten effect van die interventie-2014 te interpreteren wordt gebruik gemaakt van twee referentiepunten: (1) het effect op de persoonlijkheid van de even lang durende uitwisseling van 2013, die gelijk is aan die van 2014 maar zonder de interventie. (2) Daarnaast wordt het effect-2014 gespiegeld aan een in de literatuur beschreven uitwisseling (of liever: grote verzameling uitwisselingen). In 2010 voerden Zimmermann en Neyer (2013) een groot onderzoek uit over de uitwisseling van meer dan duizend Duitse studenten aan universiteiten in Frankrijk, Spanje en Engeland, met een duur van een semester (5 maanden) of een studiejaar (8 maanden). De persoonlijkheid werd vooraf (t1), in maand 5 (t2) en indien van toepassing na maand 8 (t3) met een big five test onderzocht. Ook moesten de studenten een gedetailleerd overzicht bijhouden van hun nieuwe internationale contacten (instrumenteel, vriendschappelijk en romantisch). Het doel was na te gaan in hoeverre de persoonlijkheidseffecten gekoppeld konden worden aan een life event, uitgaande van het corresponsive principle. Het uitwisselingseffect op de persoonlijkheid wordt vooral spontaan bereikt in de vrije tijd. In deze omstandigheden bereikt ongeveer 75% van de uitwisselaars de life event, althans bij Angulo (2008), die vergelijkbare settings als de Zimmermann en Neyer-uitwisselingen heeft onderzocht, maar spreekt van ‘persoonlijkheidsverandering’ in plaats van life event. Bij Zimmermann en Neyer is een life event een voorwaarde voor persoonlijkheidsverandering. Zimmermann & Neyer (2013) is door mij als benchmark gekozen vanwege het grote aantal studenten dat aan het onderzoek heeft meegewerkt, vanwege een volledige theoretische onderbouwing van het uitwisselingseffect op basis van het corresponsive principle6 (Caspi & Roberts (1999)) en life events, en vanwege de grote nadruk die gelegd wordt op het statistisch kwantificeren van de resultaten van hun onderzoek. Vergelijking van de uitkomsten van de big five tests van 2013, 2014, Zimmermann & Neyer-5 maanden en Zimmermann & Neyer-8 maanden moet aangeven in hoeverre de leerintensiveringsinterventie geleid heeft tot life events, zowel collectief als individueel. Daarmee wordt de onderzoeksvraag grotendeels beantwoord. Op basis van de antwoorden op de onderzoeksvraag wordt teruggekoppeld naar de nulhypothese, naar de alternatieve hypothese, en naar de ontwerphypothese van de leerintensiveringsinterventie. De onderzoeksresultaten uit de vorige alinea beogen een bescheiden nieuwe bijdrage te leveren aan een beter begrip van het uitwisseleffect. Die bescheidenheid is vooral gebaseerd op het geringe aantal proefpersonen in dit onderzoek. Dit risico wordt enigszins beperkt door tal van controletechnieken, zoals het gebruik van twee verschillende big five tests voor de centrale onderzoeksgroep en de toepassing van gemakkelijk testbare parallelle real life verschijnselen naast de big five testen. Heel 6

“The effect of life experience on personality development is to deepen the characteristics that lead people to those experiences in the first place”.

35

veel onderzoeksvariatie, kortom. Per hoofdstuk worden deelantwoorden op de onderzoeksvraag verzameld. Op basis van Zimmermann en Neyer (2013) mag dit paper 5 verwachten dat de persoonlijkheidskenmerken Openheid, Vriendelijkheid en Emotionele stabiliteit worden verdiept door een studieverblijf/stage/studentenuitwisseling in het buitenland, in dit paper samengenomen als "uitwisseling". Het kan leiden tot een sprong in de persoonlijkheidsontwikkeling (life event) waardoor de leerling opener, vriendelijker en evenwichtiger wordt. Ik dank de collega’s van FermiPoloMontale in Ventimiglia/Bordighera, Walter Scavello en Laura Ascheri voor hun prettige medewerking tijdens de uitwisselingen 2012-2014 en voor hun ongekende gastvrijheid. Jammer dat ons beider prachtige project in 2015 geen doorgang kon vinden. Jammer ook voor de 26 leerlingen die zich al hadden aangemeld voor de uitwisseling februari 2015. Ik dank ook de medebegeleiders uit 2012 en 2014, mijn Horizon College collega’s Erik de Vries en Simon van Wonderen voor hun stimulerende inzet. Onderzoek doen is een wijsheidstraject doorlopen met hoogte- en dieptepunten. Dank en bewondering voor het geduld en de inzet van de begeleiders, André Koffeman (papers 1-2-4-5) en Rika Schut (papers 2-3-4-5), voor het advies van Ard Vermeulen en dat van prof. dr. Jan van Bolhuis, emeritus hoogleraar mathematische statistiek. Dank ook aan mijn partner Nico Apeldoorn en mijn dochters Eline Vreijsen en Bernou Melisse, die voor mij waardevolle ‘sparring partners’ zijn geweest.

1. de globale opzet van het onderzoek De onderzoeksvraag luidt: wat is het effect van een intensieve internationale mbo-uitwisseling van één week op de persoonlijkheidsontwikkeling van de leerlingen? (zie paper-1); de aard van het onderzoek is exploratief. Paper 5 beschrijft een experimenteel evaluatieonderzoek (Baarda et al., 2012) met twee zeer verschillende testvormen, met benchmarking, en met een experimentgroep (exp) en een controlegroep (ctr). Er is geen sprake van RCT (randomized controlled trial, dat wil zeggen een willekeurige toewijzing in exp of ctr), de beide groepen (exp en ctr) doen dezelfde opleiding, 1e jaars Marketing en Communicatie, hebben dezelfde leeftijd en komen uit dezelfde regio Noord-Kennemerland/NoordHolland Noord. Op basis van de testvorm onderscheiden we: 1. De negen Horizon College leerlingen van de experimentgroep van de uitwisseling-2014 doen de big five online persoonlijkheidstest van OutofService7, wereldwijd gevalideerd, de t1-test, twee weken voorafgaand aan de uitwisseling. Dat doen ook de uiteindelijk acht leerlingen van de controlegroep. Beide groepen doen de test ook drie weken na de uitwisseling, de t2-test. Hun gemiddelde leeftijd is 17,5 jaar. De testuitkomsten zijn in percentielen, die een rangorde aangeven en voor rekenkundige bewerkingen worden omgezet in z-scores. In bijlage 8 is een OutofService test opgenomen; de test (alleen het eerste gedeelte) bestaat uit 48 gesloten vragen met een Lickert-schaal, de leerlingen beantwoorden de vragen over zichzelf. 7

http://www.outofservice.com/bigfive/ Deze site geeft ook een uitgebreid overzicht van wetenschappelijke publicaties die gebruik hebben gemaakt van de OutofService big five test. De validiteit is aangetoond door Denissen, Geenen, Van Aken, Gosling en Potter (2008).

36

2. De tweede testvorm is een exploratieve telefonische big five ouders-enquête achteraf, die wordt gehouden onder de ouders van de leerlingen die meededen aan de uitwisseling 2013 (13 leerlingen) en 2014 (dezelfde groep als hierboven ad 1, 8 leerlingen, één leerling is niet thuiswonend). De enquête over 2013 vindt plaats 10 maanden na de uitwisseling, die van 2014 drie weken na de uitwisseling. De test bestaat uit gesloten (ja/nee) vragen, die door GZ-psycholoog Eline Vreijsen zijn ontleend aan de NPV2 [Nederlandse Psychologen Vereniging] big five test. De verwachting is dat de leerintensiveringsinterventie ertoe leidt dat ongeveer 75% (Angulo, 2008) van de mbo-leerlingen van de uitwisseling-2014 de life event ‘internationale mobiliteit’ mee zal maken. 3. De benchmarkstudie is Zimmermann en Neyer (2013) Do you become a different person when hitting the road? Hun uitwisselingen duren 5 maanden en 8 maanden, de experimentgroep bestaat uit 527 studenten. Het gaat om Duitse studenten van ruim 22 jaar die in 2010 een semester of een studiejaar gestudeerd hebben aan universiteiten in Spanje, Engeland of Frankrijk. De resultaten van de Horizon College leerlingen van de uitwisselingen 2014 worden vergeleken met die van de studenten van Zimmermann en Neyer, die eenzelfde big five test hebben gemaakt, waarvan Zimmermann en Neyer rapporteren in z-scores, die zijn verwerkt tot effectgroottes met de klassieke Cohen d ESformule, nagenoeg gelijk aan de voor 2014 gebruikte Veerman (2008)-nuancering ervan. Uitgaande van de onderbouwde veronderstelling dat ongeveer 75% van de Zimmermann & Neyer-studenten een life event8 ‘internationale mobiliteit’ heeft ervaren, kan de interventie als geslaagd worden beschouwd als de uitwisseling 2014 een testresultaat behaalt dat ten minste gelijk is aan dat van de uitwisselingen van Zimmermann en Neyer.

2. de effectgrootte van de uitwisseling HC-2014 (online big five test) In bijlage 3 staan de 'ruwe' resultaten van de OutofService online big five test van de Italiëuitwisseling van 16-21 februari 2014 (Horizon College Alkmaar). Hieruit zijn in tabel 1 de gemiddelde scores van t1 (2 weken vooraf) en t2 (drie weken nadien) per persoonlijkheidskenmerk ('trait') overgenomen, zowel van de experimentgroep als van de controlegroep. De oorspronkelijke online testresultaten zijn in percentielen, daarmee kan echter niet gerekend worden, dus ze zijn eerst omgezet in z-scores9 (zie bijlage 3). In de diagrammen 0.1 en 0.2 (bijlage 4) worden van de ruwe resultaten uit tabel 1 voorlopige effecten geanalyseerd. Tabel 1 kan op twee manieren gelezen worden: tabel diagram 0.3 of tabel diagram 0.4 (zie de diagrammen 0.1, 0.2, 0.3 en 0.4 in bijlage 4), afhankelijk van de

8

Een ingrijpende gebeurtenis in iemands leven, vaak gekoppeld aan burgerlijke-standgebeurtenissen (verhuizing, huwelijk, enz), die de aanzet is tot een verandering van de persoonlijkheid. De life event ‘internationale mobiliteit’ die optreedt bij studentenuitwisselingen, wordt door Zimmermann en Neyer afgeleid van de basis life event ‘verhuizing’: een nieuw sociaal netwerk moeten opbouwen in een nieuwe omgeving. 9 z-scores corresponderen met betrouwbaarheidsintervallen. Vaak wordt in de statistiek gerekend met ‘mooie’ betrouwbaarheidsintervallen, zoals 90%, 95% en 99%. Bij elk percentage is de bijbehorende z-score: • Bij 90% hoort min en plus 1,64 • Bij 95% hoort min en plus 1,96 • Bij 99% hoort min en plus 2,58 bron: hbostatistiekdotnl

37

gestelde vraag, respectievelijk ‘Wat is het totaaleffect?’ (exp-ctr op t2) en ‘Wat is de vooruitgang?’ (t2-t1)10. Het belang van dit onderscheid wordt verder toegelicht in bijlage 7.

tabel 1 gemiddelde scores van experimentgroep en controlegroep, Horizon College 2014 online O=Openheid online HC 2014 gem t1 en t2

O t1

O t2

V=Vriendelijkheid Em=Emotionele stabiliteit

V t1

V t2

Emt1

Emt2

exp-groep

0,70

0,84

1,08

1,10

1,02

1,39

ctr-groep

0,34

0,23

0,61

0,65

1,11

1,28

z-scores

ctr=controlegroep (thuisblijvers) N=8, exp=experimentgroep (deelnemers aan de Italië-uitwisseling), N=9

totaaleffect en vooruitgang Parallel aan diagram 0.1 en 0.2 is in bijlage 4 een aparte diagram gemaakt voor vooruitgang en voor totaaleffect, respectievelijk diagram 0.4 en 0.3. De bijbehorende tabellen zijn:

tabel diagram-0.4

tabel diagram-0.3

totaaleffect: verschil exp-ctr op t2 O V controlegroep 0,23 0,65 experimentgroep 0,84 1,1 totaaleffect bij t2: exp-ctr 0,61 0,45

vooruitgang: verschil exp-ctr tussen t1 en t2 O V Em t1 0,36 0,47 -0,09 t2 0,61 0,45 0,11 vooruitgang bij t2 0,25 -0,02 0,2

Em 1,28 1,39 0,11

tabel-0.5

gemiddelde ruwe scores: totaaleffect en vooruitgang per persoonlijkheidskenmerkOpenheid Vriendelijkheid Emotionele stabiliteit hc2014 Ot1 Ot2 verschil hc2014 Vt1 Vt2 verschil hc2014 Emt1 Emt2 verschil ctr14 0,34 0,23 -0,11 ctr14 0,61 0,65 0,04 ctr14 1,11 1,28 0,17 exp14 0,7 0,84 0,14 exp14 1,08 1,10 0,02 exp14 1,02 1,39 0,37 verschil 0,61 0,25 verschil 0,45 -0,02 verschil 0,11 0,2 totaaleffect vooruitgang totaaleffect vooruitgang totaaleffect vooruitgang Een aantrekkelijke methode om uitwisselingen met elkaar te vergelijken is door de som, de ‘trait change effectivity’ (tce) (Zimmermann & Neyer), van Openheid, Vriendelijkheid en Emotionele stabiliteit als uitgangspunt te nemen; ze zijn immers alle drie betrokken bij uitwisselingen. Bij ‘vooruitgang’ in tabel diagram-0.3 is de ‘tce’ 0,43, bij ‘totaaleffect’ in tabel diagram 0.4 is de ‘tce’ 1,17. ’Effectivity’ is een zo ruim begrip dat van alle persoonlijkheidskenmerkenclusters, hoe verschillend ook, de onderliggende verdiepingsscores bij elkaar kunnen worden opgeteld. De gestandaardiseerde effectgrootte (ES of d) van HC-2014 online Door standaardisering worden verschillen (exp-ctr; t2-t1) in ruwe scores statistisch vergelijkbaar gemaakt door ze te delen door de gemiddelde standaarddeviatie. In bijlage 4 worden aan de hand van 10

Meta-analyses gebruiken (in een reeks) alleen de t2-score, om een te grote invloed van een ongecontroleerde t1-factor (de voorgeschiedenis) te omzeilen. In de vakliteratuur over uitwisselingen wordt standaard met ‘vooruitgang’ (t2-t1) gerekend. In een t2-score is meestal de relevantie van Vriendelijkheid groter, in een t2-t1score de relevantie van Emotionele stabiliteit. Emotionele stabiliteit wordt geacht een rol te spelen bij het ontstaan van life events en bij langetermijneffecten (Jeronimus et al. 2014)

38

de beide effect size (basis)-formules van Hattie (2009, p8) de gestandaardiseerde effecten berekend. De (t2-t1)-ES-formule wordt gebruikt om de ‘vooruitgang’ te berekenen, de t2-ES-formule wordt gebruikt om het ‘totaaleffect’ te berekenen. Het verschil tussen beide ES-formules is de impact van t1, dus de impact van de voorgeschiedenis. In dit onderzoek worden niet Hattie’s basis-ES-formules gebruikt maar de meer geavanceerde effect size formules van Veerman (2008)11, met ‘spooling’ van SD’s en met een ingebouwde N-controle om de ES-formule geschikt te maken voor kleine aantallen proefpersonen. Het verschil van de Veerman-ES-formules met de klassieke Cohen d ES-formule, zoals gebruikt door Zimmermann en Neyer, is uiterst gering. De resultaten per persoonlijkheidskenmerk staan in tabel 2. Het gebruik van de t2-effectgrootteformule leidt ertoe dat het effect op Emotionele stabiliteit irrelevant wordt, het gebruik van de (t2-t1)-effectgrootteformule leidt ertoe dat het effect op Vriendelijkheid irrelevant wordt. In hoofdstuk 5 wordt op basis van de ouders-enquête experimenteel nagegaan hoe de ouders van de leerlingen zelf de uitkomst zouden zien van de Openheid-VriendelijkheidEmotionele stabiliteit-effectgrootteverhouding; de uitkomst blijkt een gemeten O-V-Em-verdeling te zijn waarin zowel Vriendelijkheid als Emotionele stabiliteit relevant zijn, dus zonder de nadelen van de extreme polen (t2) en (t2-t1). De ouders hebben kunnen inschatten in hoeverre de voorgeschiedenis van hun zoon of dochter relevant was voor de ‘verandering’. In bijlage 4 is sub berekeningen-1 “tabel 2” op basis van tabel 1 de gestandaardiseerde effectgrootte berekend voor de Italië-uitwisseling 2014. Van de Horizon College uitwisseling 2014 online test zijn de uitkomsten:

tabel 2 d’s Horizon College 2014 online, in sd’s O

V

Em

tce (=trait change effectivity)[som]

a. t2-d hc 2014 online

1,23

0,88

0,20

2,30 sd

b. (t2-t1)-d hc 2014 online

0,5

-0,03

0,35

0,82 sd

c. t1-d (=verschil a-b)

0,73

0,91

-0,15

1,48 sd

11

Effectgrootte (t2-t1) (t2-t1)-d HC-2014 online (zie tabel 1 voor de inputgemiddelden) 2 ((t2-t1)exp - (t2-t1)ctr)/WORTEL(((Nexp -1)*SD expt2 + (Nctr -1)*SD2ctrt2) / (Nexp + Nctr -2)) Veerman (2008, 319): "geschikt voor kleine N")(ES=effect size=d) (in excel-notatie)

(zie tabel 1 voor de inputgemiddelden) t2-d HC-2014-online Effectgrootte t2 Veerman’s (2008) “tussengroeps”-ES voor HC-2014-online: (in excel-notatie) (gem t2exp - gem t2ctr)/WORTEL(((Nexp-1)*SD2expt2 + (Nctr-1)*SD2ctrt2) /(Nexp + Nctr -2))

39

In bijlage 4 zijn de resultaten van tabel 2 grafisch weergegeven in diagram b1(abc), b2 (b) en b3 (a); (a) geeft het totaaleffect weer op t2, per persoonlijkheidskenmerk, en opgeteld als tce; (b) geeft de tussen t1 en t2 geboekte vooruitgang weer; per kenmerk en als tce; (c) geeft de O-V-Em-scores vooraf weer, de voorgeschiedenis. De detailberekening van de ES’en (a) en (b) is te vinden in bijlage 4 onder berekening, sub Detailberekening.

Conclusie in verband met de onderzoeksvraag: In tabel 2 zijn onder (b) de t1-t2 ES-waarden voor Openheid, Vriendelijkheid en Emotionele stabiliteit bij elkaar opgeteld van de Horizon College Italië-uitwisseling 2014, een centrale uitkomst in dit onderzoek: 0,82 sd. De beoordeling van deze uitkomst (Hattie (2009)): minder dan 0,3 onbetekenend, 0,4 net effectief, 0,8 zeer groot effect. Het gemiddelde effect van de uitwisseling-2014 op de persoonlijkheid van de leerling is dus zeer groot. Vooralsnog moet deze uitkomst worden gerelativeerd: ze krijgt immers pas reliëf door vergelijking met het effect van andere uitwisselingen: van Zimmermann & Neyer (2013), hieronder in hoofdstuk 3, en van de Horizon College Italië-uitwisseling-2013, in hoofdstuk 4. De relativering geldt ook de rol van het toeval gezien de kleine N van HC 2014.

3 benchmarking Horizon College 2014 met Zimmermann en Neyer 3.1 tce-verschillen tussen Horizon College 2014 en Zimmermann en Neyer Het tweede onderdeel van de data-analyse betreft de vergelijking van de uitkomsten van de uitwisseling-2014 met die van een benchmarkstudie, Zimmermann & Neyer (2013). Benchmark waren de twee zeer grote experimentsgroepen van respectievelijk 5 en 8 maanden (en de corresponderende RCT-controlegroepen), die respectievelijk een t1- en een t2-big five test, of een t1-, een t2- en een t3-big five test invulden op de site van Zimmermann en Neyer, op RCT na vergelijkbaar met de uitwisseling-2014; de big five test was de Duitse versie van de Big Five Inventory (BFI), gevalideerd in Lang et al. (2001). Hoe de ‘ruwe uitkomsten’ tot z-scores werden omgevormd, is niet vermeld. Met de klassieke Cohen d ES-formule (de Veerman-nuancering voor kleine aantallen proefpersonen was hier overbodig) zijn de hierboven met tabel 2 sub b corresponderende (t2-t1)-ES-waarden door Zimmermann en Neyer berekend. In tabel 3 hieronder zijn de 2014-ES-waarden van tabel 2 sub (b) aangevuld met die van Zimmermann en Neyer. tabel 3 (t2-t1)-d’s Horizon College 2014 online versus Zimmermann en Neyer 5 en 8 mnd O

V

Em

trait change effectivity:

HC 2014 (t2-t1) 1week

0,5

-0,03

0,35

0,82 sd

[=tabel 2 (b)] N exp 9, N ctr 8

Z&N-5 (t2-t1) Z&N-8 (t2-t1)

0,23 0,12

0,1 0,13

0,13 0,16

0,46 sd 0,41 sd

N exp 230 N exp 297

5mnd 8mnd

N ctr 607 idem 40

Z&N-8 (t3-t1)

8mnd

0,14

0,18

0,27

0,59 sd N exp 297 idem (bron: Zimmermann & Neyer (2013))

Zimmermann en Neyer hebben op t2 ook de 8-maanden studenten halverwege getest: de resultaten wijken af van die van de 5-maanden studenten voor wie het de slot-test was. Zimmermann en Neyer speculeren dat het einde van een uitwisseling een speciaal psychologisch effect heeft. Diagrammen van tabel 3 worden besproken in hoofdstuk 7. De t1-ES-waarden bij Zimmermann en Neyer zijn: O Z&N t1 5 mnd 0,19 Z&N t1 8 mnd 0,19

V 0,22 0,12

Em 0,23 0,19

N exp 230 N exp 297

In combinatie met de t2 en t3 waarden in tabel 3 geven Zimmermann en Neyer de volgende ontwikkeling per kenmerk aan in hun uitwisselingen (zeer vrij geparafraseerd): *ontwikkelingsregel Openheid: in het begin spannend en interessant, later minder verrassend; *ontwikkelingsregel Vriendelijkheid: vooraf lijkt alles nog eng, later kun je je steeds gemakkelijker sociaal bewegen; *ontwikkelingsregel Emotionele stabiliteit: eerst een paar maanden van psychologische aanpassingsproblemen, dan een aanzienlijke toename van emotionele stabiliteit. Als deze ontwikkelingslijnen bij Zimmermann en Neyer vergeleken zouden worden met de ontwikkellijnen bij HC-2014 tussen t1 en t2 dan laten Openheid en Emotionele stabiliteit bij HC van meet af aan een zeer sterke stijging zien, Vriendelijkheid blijft stabiel negatief. Er lijkt is dus geen verband aanwijsbaar tussen de t1-t2 ontwikkeling van Zimmermann en Neyer en die van het Horizon College. Als in tabel 3 de linkerkolom wordt weggelaten (en als de derde regel wordt geschrapt), alsof alleen de duur een rol zou spelen en de ontwikkelingslijnen volledig persoonlijkheidskenmerkspecifiek zouden zijn, zijn wel opvallende grote lijnen zichtbaar: een daling van Openheid, een langzame maar gestage stijging van Vriendelijkheid en geen enkele lijn in de ontwikkeling van Emotionele stabiliteit. De tweede helft van de ontwikkelingsregels van Zimmermann en Neyer sluit daarbij aan, behalve de waarde voor Emotionele stabiliteit. Een speculatieve oplossing daarvoor wordt ontwikkeld in hoofdstuk 7 op basis van Jeronimus et al. (2014). De vergelijking aan de hand van de ‘trait change effectivity’ is vrij grof. In hoofdstuk 7 wordt een alternatief ontwikkeld dat nog niet voldoende operationeel is om toe te passen in berekeningen zoals tabel 3. Maar de tce is wel goed bruikbaar, het is een stabiele maat. De opbouw bij uitwisselingen is meestal een hoge waarde voor Openheid, een niet erg hoge waarde voor Emotionele stabiliteit en een verwaarloosbare waarde voor Vriendelijkheid (omdat het een (t2-t1)-vooruitgangsberekening is). [De naam ‘vooruitgang’ is wel relatief: de belangrijkste factor is (de aftrek van) het verleden (t1), waarover geen enkele controle bestaat, ‘ongecontroleerd’ zou dus een passender benaming zijn.] Terug naar tabel 3. Uitgaande van Hattie (2009) is een effect van 0,2 sd onbetekenend, 0,4 sd net voldoende effectief, 0,8 sd zeer effectief. Het effect van de uitwisseling 2014 (0,82 sd) lijkt dus veel groter dan dat van Zimmermann en Neyer, 5 maanden (0,46 sd) dan wel 8 maanden (0,59 sd).

41

Conclusie onderzoeksvraag op basis van de tce-vergelijking HC-2014 en Z&N Het effect van uitwisseling Horizon College 2014 op de persoonlijkheidskenmerken die betrokken zijn bij internationale uitwisselingen, 0,82 sd, lijkt zéér groot. Het doel van deze uitwisseling was in één week het effect van Zimmermann en Neyer 5 maanden (0,46 sd) of zelfs 8 maanden (0,59 sd) te evenaren; het lijkt veel meer te zijn geworden. De rol van het toeval is door het kleine aantal 2014-leerlingen echter een factor van belang. De vraag is of appels en peren zijn vergeleken. Het gaat in beide gevallen om studenten/leerlingen die in het kader van hun studie enige tijd in het buitenland verblijven en die daardoor in veel gevallen een persoonlijkheidsverandering ondergaan. Van tal van varianten op de aard van zo’n uitwisseling is het effect op de persoonlijkheid beschreven, meestal in correlatieonderzoek. Het onderzoek naar het effect van de interventie-2014 in hoofdstuk 2 en 3 is een experimenteel onderzoek met een experimentgroep en een controlegroep. De experiment- en de controlegroep zijn bij de uitwisseling-2014 niet strak gematcht, zeker niet in vergelijking met de ultieme ‘Randomized Controlled Trial’ bij Zimmermann en Neyer. Dit neemt niet weg dat de beide 2014-groepen goed vergelijkbaar zijn, en dat het gemakkelijk voorstelbaar is dat als de groepen omgewisseld zouden zijn, de uitkomsten ongeveer gelijk zouden zijn. Zijn er systematische verschillen tussen de 22-jarige studenten en de 17 jarige mbo-leerlingen? De grootste verschillen betreffen kennis, persoonlijkheid, concentratievermogen en leervermogen. Het verschil in kennis speelt nauwelijks een rol bij uitwisselingen. Het gaat om de kenmerken die in de interventie aan de orde komen: je concentreren op je leerdoel, openstaan voor nieuwe inzichten, en dat voortdurend toepassen waardoor je ervaart hoe leuk dat is en wat het met je doet. Aan het kennisverschil wordt niet rechtstreeks gesleuteld tijdens de HC-uitwisseling, maar des te meer aan de openheid/nieuwsgierigheid, aan aandacht, focus en betrokkenheid, en ten slotte aan de integratie ervan in de vele persoonlijke gesprekken. De studenten van Zimmermann en Neyer moeten daarentegen alles in hun eentje uitzoeken en wat doen ze? In paragraaf 3.2 blijkt dat ze zich vooral bemoeien met gelijkgestemde taalgenoten, vergelijk de probleembeschrijving in bijlage 1. Een beetje zoals in de HC-uitwisseling-2013. Een interventie zoals bij HC-uitwisseling-2014 zou ook bij hen wonderen kunnen verrichten, in een week.

3.2 het aantal nieuwe internationale supportrelaties12 Zimmermann en Neyer’s ontdekking dat het effect van het aantal nieuwe supportrelaties voor een groot deel samenvalt met het effect van hun hele uitwisseling op Openheid en Emotionele stabiliteit, gemeten met een (t2-t1)-ES-formule waarin Vriendelijkheid irrelevant is (!), maakt het mogelijk om de uitwisselingseffecten en de life event sneller en gerichter te realiseren: in een aantrekkelijke context een maximum aan nieuwe internationale contacten leggen, los van studie of stage, en dan veel sneller dan in 5 of 8 maanden (zoals bij Zimmermann & Neyer) de life event ‘internationale mobiliteit’, een sprong in de persoonlijkheid van Openheid, Vriendelijkheid en Emotionele stabiliteit, meemaken. Het is de kern van de interventie bij de één week durende Italië-uitwisseling van dit onder12

Voor het opbouwen van een nieuw internationaal sociaal netwerk zijn ondersteunende internationale sociale contacten essentieel: instrumentele, vriendschappelijke en romantisch/emotionele. (Lubbers et al., 2010)

42

zoek. Daarnaast is het aantal contacten een belangrijke praktische en meetbare doelstelling is, die voor de big five testuitkomsten een aanvullende onafhankelijke verificatie vormt. Ontwerpregel 1 (bijlage 1) bepleit het opvoeren van de socialisatiedruk als onderdeel van de leerintensivering van de interventie. Elk indringend contactgesprek is een examen voor je status in de groep, vooral als je 17 jaar bent, en dat gemiddeld 14 keer in de uitwisselweek. Een groot aantal internationale supportrelaties is de basis geweest voor de intensiveringsdoelstelling van het interventieprogramma tijdens de Horizon College-uitwisseling van één week. In paper-4 is het gemiddelde aantal nieuwe internationale- en nationale supportrelaties vastgesteld op basis van de slotinterviews met de leerlingen. In tabel 4 hieronder is het aantal nieuwe internationale contacten vergeleken: 7,3 Horizon College versus 3,5 Zimmermann en Neyer. De effectiviteit bij dit onderdeel is goed vergelijkbaar: HC: 0,11 sd (=0,82/7,3) per internationaal contact, Z&N-5maanden: 0,16 sd (=0,46/2,9) per internationaal contact; een internationaal contact kost bij Z&N meer sd’s. (Zie voor 0,82 en 0,46 tabel 3). In tabel 4 is geen rekening gehouden met de grote invloed van Zimmermann en Neyer-contacten die verloren zijn gegaan, dat effect heeft immers voornamelijk betrekking op nationale contacten die voorbij gaan tijdens de uitwisseling; die spelen hier geen rol.

tabel 4

nieuwe internationale contacten tijdens uitwisseling,

Horizon College vs Zimmermann en Neyer, gemiddelden per persoon nationaal internationaal HC 2014 N=9

totaal

7,8

7,3

15,1 1 week zeer efficiënt;

Z&N-5

11,4

2,9

14,3 5 maanden ongeorganiseerd

Z&N-8

10,8

3,5

14,3 8 maanden ongeorganiseerd

De verhouding 7,3/3,5 van HC-2014/Z&N-8 lijkt nog groter dan de verhouding 0,82/0,59 in tabel 3, en ondersteunt daarmee de conclusies bij tabel 3.

Conclusie onderzoeksvraag op basis van het aantal nieuwe internationale supportrelaties Het verschil in het aantal nieuwe internationale supportrelaties zou een ondersteuning moeten zijn van de conclusie over het effectverschil tussen HC-2014 en Zimmermann en Neyer in tabel 3. Die conclusie is bevestigd.

4

de exploratieve telefonische big five ouders-enquêtes 2013 en 2014

Het derde onderdeel van de data-analyse betreft de vergelijking van de uitkomsten van de uitwisseling-2014 met die van 2013 op Openheid, Vriendelijkheid en Emotionele stabiliteit. Het gaat in 2014 over één groep leerlingen en twee verschillende testen. De uitwisseling-2014 en die van 2013 hebben globaal dezelfde setting en hetzelfde programma. Het aantal leerlingen verschilt: in 2014 8 leerlingen, in 2013 13 leerlingen. Het belangrijke inhoudelijke verschil tussen de uitwisselingen 2013 en 43

2014 is de interventie 2014. In bijlage 3 tabel b3 en b4 en vooral in bijlage 5 worden de enquêteresultaten van de uitwisseling 2014 vs 2013 geanalyseerd. Het doel is het effect van de interventie-2014 en van de uitwisseling 2013 zo te meten dat de ouders indirect in de test bepalen welk deel van de t1-voorgeschiedenis relevant is geweest voor de verandering per persoonlijkheidskenmerk. Exploratieve effectmeting onder ouders Het is moeilijk om in januari 2014 de leerlingen te bereiken om ze te vragen om met terugwerkende kracht over de 2013 een OutofService t-2 big five test te doen: ze zijn op stage, deels ook in het buitenland. Wel kan ik contact opnemen met de ouders van de 2013-uitwisselleerlingen, voor een aangepaste telefonische big five enquête. In de psychologie is het inschakelen van de ouders een betrouwbaar alternatief (zie jeugdriagg.nl en bij focuz.nl (over adhd bij kinderen van 4-18 jaar)), vaak betrouwbaarder dan opvattingen over de eigen persoonlijkheid door proefpersonen zelf. Na tien maanden blijken die ouders nog heel veel details te weten. Tegelijk is, gezien de lage Vriendelijkheideffectscore bij Zimmermann en Neyer en in diagram 0.2 sub Vriendelijkheid, bewust gekozen voor een meer exploratieve effectmeting, die eventueel alternatieve oplossingen biedt: naar “verandering” vragen. De telefonische enquête bestaat uit zeven Openheid-Vriendelijkheid-Emotionele stabiliteit-ja/neevragen naar "verandering"; dit 3-2-3-aantal is achteraf aangevuld met een Vriendelijkheid-vraag, omdat de verhouding tussen O, V en Em belangrijk kon worden voor de onderzoeksvraag. Dit is opgelost door de zogenaamde 3e Vriendelijkheid-vraag te laten bestaan uit de gemiddelde score van Vriendelijkheid-vraag 1 en Vriendelijkheid-vraag 2. Eén Openheid-vraag bleek onbruikbaar, en is na een paar enquêtes geschrapt. In plaats daarvan telt de eerste Openheid-vraag dubbel, omdat die het meest de kern van Openheid bevraagt. Na de uitwisseling-2013 had ik de indruk dat er minder was geleerd dan in 2012. Mede daarom het onderhavige onderzoek. De gemiddelde scores zijn het gemiddelde van de 9 scores (0 of 1) op de vraag (per persoonlijkheidskenmerk) of er een specifieke "verandering" ("change") was tussen voor en na de uitwisseling bij de zoon/dochter. Een ’ja’ is op zich een duidelijke statement: “verandering, vooruitgang”, maar moeilijk in te passen in een t2-t1 keurslijf of een ‘t2’-versie. Elk ja-antwoord kan immers een t2-t1-verschilantwoord zijn (zoals in diagram 0.2), of een t2-antwoord ‘de nieuwe situatie is anders’ (zoals in diagram 0.1). De gemiddelde ‘change’ is het gemiddelde van de ja (=1) of nee (=0) antwoorden op de vragen naar “verandering”. Een ja-antwoord impliceert het onderkennen van een verschil: dit verschil is ook het verschil in de teller van de ES-formule. De ‘gemiddelde verandering’ is dan de teller in de ES-formule. In bijlage 5 zijn de ES-waarden van de enquête-big five test uitgerekend:

Tabel 5 telefonische enquête: d’s HC 2013 versus HC 2014

d’s HC 2013 d’s HC 2014 verschil

O

V

Em

1,88 4,62 2,74

0,7 1,76 1,06

1 1,9 0,9

tce

omgerekend naar 0,82 ipv 8,25 tabel2:

3,62 0,36 N=13 8,25 0,82 N=8 4,63 = interventie 2014 0,46

In principe kan de interventie 2014 ook berekend worden door 2013 als controlegroep te gebruiken bij 2014 als experimentgroep. Beide groepen hebben immers dezelfde uitwisseling gedaan, zij het 44

dat 2013 geen interventie had. Het nadeel is dat de groepen flink verschillen in aantal: 13 (2013) en 8 (2014), en dat het effect van de interventie al deel uitmaakt van de 0,82 sd van uitwisseling 2014. De verschiloplossing in tabel 5 is eleganter en minder complex dan de berekening met experiment- en controlegroep. In tabel 2 is te zien dat bij de t2-berekening de waarde voor Emotionele stabiliteit erg laag is, en bij de (t2-t1)-berekening juist de waarde voor Vriendelijkheid. Dit patroon is niet terug te vinden in de 2013- en 2014-effectgroottes van de enquête. De ouders van de leerlingen hebben gemiddeld een andere Openheid-Vriendelijkheid-Emotionele stabiliteit-verhouding voor ogen dan de t2-formule of de (t2-t1)-formule in tabel 2, behalve wat betreft de belangrijkste waarde, die voor Openheid (omgerekende enquête-waarde wordt 0,4592 sd in tabel 5 (4,62*0,82/8,25), tegenover 0,5 sd in tabel 2). Het kleine aantal proefpersonen in de enquête relativeert de impact van de uitkomsten. Dat probleem is op twee manieren enigszins ondervangen: 1. De uitkomsten van HC-2014 in tabel 2 moeten identiek zijn aan de uitkomsten van HC-2014 in tabel 5. Omdat de personen identiek zijn, moeten de uitkomsten dat ook zijn. De cijfers in tabel 5 zijn omgerekend naar die van tabel 2. Als een conclusie gedragen wordt door twee totaal verschillende testvormen, is de betrouwbaarheid groter 2. De uitkomsten van 2013 in tabel 5 worden via HC-2014 ook gedragen door de effectvergelijking van HC-2014 met die van Zimmermann en Neyer (tabel 3). De 527 experiment-studenten van Zimmermann en Neyer dragen bij aan de betrouwbaarheid van het resultaat van tabel 5. Daarnaast is de vraag interessant in hoeverre het verschil tussen 0,36 sd (uitw 2013) en 0,82 sd (uitw 2014) een uitvloeisel is van het tijdsverloop tussen de uitwisseling maart 2013 en de telefonische enquête in januari 2014, een periode van 10 maanden met dienovereenkomstig uitgesleten effecten. Daartoe zijn aan de ouders na afloop van de telefonische enquête een reeks controlevragen gesteld: als de ouders geen concrete antwoorden zouden kunnen geven of lang zouden nadenken over een antwoord, zou de test van die ouders geschrapt worden (zie paper 4, bijlage 12 en bijlage 5). Eén ouder moest antwoorden schuldig blijven, en hij gaf aan dat zijn zoon niet meer thuis woonde; de enquête van nr 7 heb ik meteen geschrapt. Alle overige ouders waren enthousiast, noemden veel details, en waren nauwelijks te stuiten. De uitwisselingen moeten diepe indruk op de ouders hebben gemaakt, na 10 maanden heb ik geen spoor ontdekt van effectslijtage.

Conclusies onderzoeksvraag over verschil tussen HC 2014 en HC 2013 Tabel 5 beantwoordt aspecten van de onderzoeksvraag: Effect van de interventie-2014 op Openheid-Vriendelijkheid-Emotionele stabiliteit: 0,46 sd Effect van uitwisseling 2013 op Openheid-Vriendelijkheid-Emotionele stabiliteit: 0,36 sd Het effect van de uitwisseling 2014 t.o.v. 2013 is een verdubbeling [228% (0,82/0,36)] Het effect van de uitwisseling Horizon College 2014 is 0,82, een zeer groot effect Het effectverschil HC 2014 t.o.v. Zimmermann en Neyer 5 mnd, is 0,36 sd (0,82 - 0,46), t.o.v. Zimmermann en Neyer 8 mnd 0,23 sd (0,82 - 0,59). De interventie bestaande uit maximalisering van het aantal internationale contacten en het focuspakket: 0,46 sd, is effectief. De nulhypothese (bijlage 1) dat er bijna geen effectverschil is tussen de uitwisselingen-2013 en -2014 is nu weerlegd: een verdubbeling . 45

De alternatieve hypothese (bijlage 1), dat de Italië-uitwisseling van het Horizon College, los van duur en leerintensiteit, al vergelijkbaar is met de Zimmermann en Neyer-uitwisselingen van vijf en acht maanden, is weerlegd: zonder interventie (46 sd), zou de HC uitwisseling 2014 (0,82 sd) het effect hebben van de uitwisseling-2013: 0,36 sd. Dat is aanzienlijk minder dan de effecten van de uitwisselingen van vijf en acht maanden bij Zimmermann en Neyer (2013), respectievelijk 0,46 en 0,59 sd. Van de onderzoeksvraag dienen nu nog de individuele life events te worden vastgesteld, alsook de significantie van het verschil tussen de uitwisseling 2013 en die van 2014.

5

het aantal individuele life events bij de uitwisselingen 2014 en 2013

In bijlage 5 worden zowel de groepsresultaten per persoonlijkheidskenmerk geanalyseerd, als de persoonlijke resultaten van de testgroepen waarbij de scores per kenmerk worden gemiddeld. De individuele analyse omvat de online (t2-t1) cijfers en de in ‘t2-t1’ omgezette telefonische enquêteresultaten, zie diagram 1 en 2 hieronder. De online resultaten zijn nauwkeuriger. Omdat de berekening van het aantal life events samenhangt met de onderzoeksvraag, wordt deze eerst besproken; in het tweede deel van dit hoofdstuk kom ik terug op de verhouding tussen de persoonlijkheidskenmerken in de ES berekeningen van HC 2013 en 2014. het aantal individuele life events De vraag die beantwoord moet worden is in hoeverre aannemelijk is te maken of er sprake is geweest van een life event13 voor internationale mobiliteit. De enige mij bekende norm daarvoor is Angulo (2008): bij 74% van de buitenlandse studenten die naar de Universiteit van Texas kwamen voor een studieverblijf, was er een correlatie tussen een geslaagde uitwisseling en persoonlijkheidsverandering, bij 95% met persoonlijkheidsgroei (waarvoor geen life event vereist is). De berekening van individuele resultaten van de enquêtetests 2013 en 2014 staat in bijlage 5, net als die van de online test; in de online versie is een kolom opgenomen met de geconverteeerde enquêteresultaten. Als strenge norm bij “(t2-t1)” is gekozen voor de 0,4-norm van Hattie (2009 en 2012).

tabel 6 aantal individuele life events bij uitwisselingen 2013 en 2014 (zie bijlage 5) telefonische enquête 2013: 3 op 13, telefonische enquête 2014: 6 op 8, big five online test 2014: 5 op 8

23 % 75 % (aantal personen naar boven afgerond) 62,5% (aantal personen naar beneden afgerond)

testoordeel over verandering in plaats van t2-t1 mechanisme De individuele t1- en t2-scores van Openheid+Vriendelijkheid+Emotionele stabiliteit/3 van HC 2014 online zijn in diagram ht3 weergegeven. De niet-gestandaardiseerde scores laten zien hoe relatief gering de ruimte tussen de lijnen (“de vooruitgang”) is. De effect sizes van de online test en van de telefonische enquête met betrekking tot dezelfde leerlingen staan afgebeeld in diagram ht4. De enquête-ES volgt uit de testuitkomsten: de proefpersoon geeft zelf aan in hoeverre er sprake is van verandering, en die verandering betreft de waarde van ‘(t1-t2)’ in de ES (t2-t1) formule. Er wordt dus 13

Een ingrijpende gebeurtenis in iemands leven, vaak gekoppeld aan burgerlijkestandgebeurtenissen (verhuizing, huwelijk, enz), die de aanzet is tot een verandering van de persoonlijkheid. De life event ‘internationale mobiliteit’ die optreedt bij studentenuitwisselingen, wordt door Zimmermann en Neyer afgeleid van de basis life event ‘verhuizing’: een nieuw sociaal netwerk moeten opbouwen in een nieuwe omgeving. (=voetnoot 5)

46

geen gebruik gemaakt van oncontroleerbare t1-verledens (zie diagram ht3) van de proefpersonen, de proefpersoon geeft indirect de door hem/haar gepercipieerde verandering aan. Daarin neemt hij/zij zelf impliciet mee in hoeverre daarbij meer of minder vriendelijkheid is betrokken, en meer of minder evenwichtigheid: dat perceptieoordeel is gebaseerd op de vaak niet bewuste ervaringskennis (opgebouwd bij de vorming van zijn persoonlijkheid) van de uitwisselingscocktail OpenheidVriendelijkheid-Emotionele stabiliteit. De ES effectlijn van de enquête in diagram ht4 is gebaseerd op een oordeel van de proefpersoon. Omdat ja/nee-vragen heel erg grofmazig zijn, moet de tce van een parallelle big five test de grofmazigheid verminderen, zie de berekeningen van de individuele life events in bijlage 5. Aan de proefopstelling van de enquête moet nog geschaafd en gesleuteld worden, het aantal proefpersonen is immers uitermate beperkt en er is geen literatuur over gevonden. Zolang er parallelle tests zijn om te corrigeren, zoals de HC 2014 online test, kan het afbreukrisico beperkt blijven. Bij het life event oordeel op basis van de ES in de tabel bij diagram ht4, geeft de online-ES de doorslag omdat de t2-t1 test vergelijking toestaat met ander onderzoek. De exploratieve telefonische enquête-ES-uitkomst klinkt dus niet door in het antwoord op de onderzoeksvraag. Diagram ht3

Diagram ht4

47

online O+V+Em/3 O+V+Em/3 HC 2014 HC 2014 ES online ES enquête 1 2 3 4 5 6 7 8 9 gem

0,68 0,82 0,26 0,7 0,96 0,09 0,8 0,16 -0,05 0,49 sd

0,65 0,53 0,45 0,65 0,53 0,28 0,53 0,33 0,49 sd

online

O+V+Em/3 O+V+Em/3 t1 t2 0,47 0,52 0,76 1,41 1,66 0,41 1,16 0,66 1,34 0,93 z-scores

0,72 0,82 0,86 1,66 2,01 0,44 1,45 0,71 1,32 1,11 z-scores

Hoofdstuk 5 begon met het aantal individuele life events. Het enquêteresultaat van 75% individuele life events is conform Angulo (2008). De verhouding 62,5%/23% sluit goed aan bij de tce-verhouding 2014-2013 van 0,82sd/0,36 sd (zie tabel 3 en tabel 5), respectievelijk 2,72 en 2,28.

Conclusie onderzoeksvraag over life events 2013 en 2014 Het aantal life events in 2014 is ongeveer drie keer zo groot als in 2013, uitgedrukt in procenten: 70% tegenover 23%. Deze verhouding ondersteunt de tce-verhouding tussen het effect van 2014 en 2013: 0,82 sd tegenover 0,36 sd, een ruime verdubbeling.

6 Significantie van het effectverschil uitwisseling 2014 en 2013 In bijlage 5 sub enquête is ten slotte de significantie uitgerekend van het belangrijkste verschil van het onderzoek in de onderzoeksvraag: het verschil tussen de uitwisseling 2013 en 2014. Dit verschil, de p-waarde, is online uitgerekend bij Graphpad quickcalcs: invoer: gegevens 2013: M=0,3577, sd=0,2256, N=13 gegevens 2014: M=0,7, sd=0,2245, N=8. Graphpad quickcalcs: two tailed, p-value: 48

uitkomst:

0,0031

“very statistically significant”

De interventie mag geslaagd heten. Het lijkt zinloos de significantie te berekenen van het verschil tussen de Horizon College uitwisseling 2014 online en die van Zimmermann en Neyer (2013), gezien het onoverbrugbare verschil in aantallen leerlingen/studenten, namelijk 9 versus 527. Dat was ook niet de belangrijkste reden om Zimmermann en Neyer (2013) als benchmark te kiezen, al zijn resultaten met zoveel proefpersonen wel maatgevend. In hoofdstuk 7 wordt niettemin, parallel aan de significantieberekening van het effectverschil tussen uitwisseling 2014 en 2013, getracht de samenhang (r) te berekenen tussen de HC2014 online ES’en en die van Zimmermann en Neyer in tabel 2.

De ontwerphypothese De ontwerphypothese (bijlage 1) die stelt dat leerintensivering zoals in de interventie van de Horizon College 2014-uitwisseling bij internationale uitwisselingen voor leerlingen tussen de 13 en de 22 jaar leidt tot een grotere kans op life events ‘internationale mobiliteit’, is ten dele bevestigd. Het onderzoek kan immers slechts uitspraken doen over 16- tot 20-jarigen, de deelnemers aan de Horizon College-uitwisselingen. De individuele analyses laten zien dat sommige 16-jarigen laag scoren op t1: ze hebben dan nog te weinig persoonlijkheid ontwikkeld, al hangt dit waarschijnlijk ook samen met de opleidingscategorie. Twintigjarigen hebben soms vooraf al veel persoonlijkheid ontwikkeld en vorming ondergaan, waardoor de vooruitgangstest lager uitvalt dan verwacht; het uitdagingselement in de interventie, vooral gezien de opleidingscategorie, kan niet sterk genoeg zijn. Voor 16- tot 20jarigen is de ontwerphypothese bevestigd. Voor zover de ontwerphypothese een doelgroepanalyse weerspiegelt, is de nieuwe korte internationale uitwisseling uitermate geschikt voor het mbo klas 1 en 2 en de bovenbouw van het voortgezet onderwijs. Voor de meeste studenten van 22 jaar kan desnoods een groot deel van het (leuke én arbeidsintensieve) focuspakket van de leerintensivering in de interventie vervallen.

7 Bespiegelingen over de rol van Emotionele stabiliteit In de loop van het betoog is het verschil tussen Openheid en Vriendelijkheid enerzijds en Emotionele stabiliteit anderzijds enige malen aan de orde geweest, zoals bij het contrast tussen totaaleffect en vooruitgang naar aanleiding van tabel 1; er is nog niet diep op ingegaan omdat het onderwerp buiten het directe bereik van de onderzoeksvraag valt. In de analyse van tabel 3 bleek de afwijkende rol van Emotionele stabiliteit aantrekkelijke oplossingen in de weg te staan. Jeronimus et al. (2014) schrijven Emotionele stabiliteit een cruciale rol toe bij life events en langetermijneffecten, dat geldt niet voor Openheid en Vriendelijkheid. In diagram 0.1 (bijlage 4) blijken Openheid en Vriendelijkheid vooral verdiept te worden voor het ‘totaaleffect’, en Emotionele stabiliteit in diagram 0.2 (bijlage 4) vooral voor de ‘vooruitgang’. Emotionele stabiliteit is zo ongeveer alleen actief tussen t1 en t2. Volgens Zimmermann en Neyer (2013) is het effect op Emotionele stabiliteit afhankelijk van de duur van de uitwisseling. Dat wijst er mijns inziens op dat Openheid en Vriendelijkheid een kenmerkspecifiek ontwikkelingspatroon hebben dat los staat van de uitwisselingsduur, terwijl het scorebord met streefdoelen voor Emotionele stabiliteit zichtbaar bij het einde van de uitwisseling staat.

49

Als er sprake is van een kenmerkspecifiek ontwikkelingspatroon dan wordt daarmee de afstand van de ES-waarden die ik tot nu toe heb berekend, tot de kenmerkspecifieke ontwikkelingslijn een nieuw belangrijk meetpunt voor wellicht een mogelijke life event. Een tweede consequentie van een kenmerkspecifieke ontwikkelingslijn is dat de samenhang tussen verschillende uitwisselingen groter wordt. Laat ik diagram ht1 als voorbeeld nemen:

In diagram ht1 is tabel 3 weergegeven als waren HC-2014 en Zimmermann en Neyer 5 maanden en 8 maanden één uitwisseling. Het opmerkelijke is dat V-HC/t2/wk1 (het linker rode blokje) precies op de verlengde lijn ligt die V-t2/Z&N/5mnd verbindt met V-t3/Z&N/8mnd, r2=1. Dat wil zeggen dat de gemiddelde 2014/HC’er wat Vriendelijkheid betreft zijn life event deelcertificaat keurig heeft gehaald op hc/t2/week1 ondanks de negatieve score. Bij Openheid is de samenhang iets minder volmaakt: r2=0,9773, dus: of er is wat afstand van O/HC/t2 tot de O-ontwikkelingslijn, en wel in positieve zin, dus de gemiddelde 2014/HC’er heeft op t2 zijn life event deelcertificaat voor Openheid gehaald, of HC-2014/O past niet naadloos op de O-ontwikke-

lingslijn omdat het aantal leerlingen (9) veel meer statistische ruis veroorzaakt dan het aantal studen50

ten (527) van Zimmermann en Neyer, maar ook dan ligt O/HC/t2 nog aanzienlijk boven het verlengde van de lijn O/ZN/t2 en O/ZN/t3, en is de kans groot op een life event deelcertificaat. Em-hc/t2 (het groene driehoekje in vak ‘week1 x 0,35’) past echter volstrekt niet op de lijn van EmZ&N/t2-t3, met kruisjes aangegeven. Emotionele stabiliteit is wel sterk afhankelijk van de duur van de uitwisseling: een lage Em-waarde bij het begin van de uitwisseling, een hoge aan het einde ervan. In diagram ht1 heeft Emotionele stabiliteit op week-1 al de waarde die normaal zou zijn in de fictieve week 38, zie diagram ht2. Voor Emotionele stabiliteit is niet de impactwaarde van het moment doorslaggevend, maar het verschil daarvan met de ingebouwde eindwaarde in week 32. Geprojecteerd in het vlak van week 32 is een positieve eindscore al bereikt op week-1. De gemiddelde 2014-HC’er heeft op t2 met verve zijn nieuwe setpoints ingesteld van de persoonlijkheidsverandering O-V-Em, de life event is een feit. Doordat Emotionele stabiliteit zich spiegelt aan het streefdoel bij het eindpunt van de uitwisseling dat bereikt moet worden voor een life event, wordt het fundamentele bezwaar tegen een kenmerkspecifieke interpretatie van tabel 3 weggenomen. De consequentie zou zijn dat niet, zoals in tabel 2 en 3, de ES-waarden van Openheid, Vriendelijkheid en Emotionele stabiliteit bepalend zijn voor de life event, maar de afstand van de ES-waarden tot de kenmerkspecifieke ontwikkelingslijn. Dit vergt nieuw onderzoek. De rol van Emotionele stabiliteit bij langetermijneffecten Jeronimus, Riese, Sanderman en Ormel (2014) beschrijven de wederzijdse causaliteit van Emotionele stabiliteit en levenservaringen. Emotionele stabiliteit voorspelt majeure levenservaringen, en majeure levenservaringen en life events verklaren de helft van de variantie in Emotionele stabiliteit. Veranderingen in Emotionele stabiliteit als gevolg van levenservaringen hebben een langetermijneffect, life events hebben geen langetermijneffect op Emotionele stabiliteit-‘setpoints’. Dit kan betekenen dat Emotionele stabiliteit binnen de cluster ‘internationale mobiliteit’ langetermijnveranderingen kan vastleggen in setpoints. Grote veranderingen in Emotionele stabiliteit als gevolg van indringende levenservaringen, zoals bij HC 2014 (t2-t1) ES in tabel 2, kunnen dan in combinatie met grote effecten op Openheid en Vriendelijkheid (zoals in diagram ht1), ook een langetermijneffect hebben. Dit alles is nog erg speculatief, maar diagram ht1 en ht2 bieden aanknopingspunten voor verder onderzoek. Tot dan lijkt de benadering in dit paper 5 op basis van een ‘trait change effectivity’ een verantwoorde werkwijze.

8 Conclusies en discussie In hoofdstuk 8 worden het onderzoek en de resultaten ervan geïnterpreteerd ten opzichte van de context. In bijlage 6 is het onderzoek getoetst aan de eisen die het NJI (Nederlands Jeugd Instituut) stelt aan zulk onderzoek.

8.1 conclusies en discussie ten aanzien van de interventie De belangrijkste conclusies van de interventie hebben betrekking op de ontwerphypothese (hierboven in par 6) en op de ontwerpregels. Ontwerphypothese De ontwerphypothese (bijlage 1, hier samenvatting van de conclusie in hoofdstuk 6) houdt in dat 51

leerintensivering zoals in de interventie van de Horizon College uitwisseling 2014 ertoe leidt dat 1322 jarige deelnemers aan een internationale uitwisseling een grotere kans hebben op een life event ‘internationale mobiliteit’. Deze hypothese wordt bevestigd in de individuele analyse van de online big five test en van de telefonische enquête big five test, althans voor zover het 16-20 jarige mboleerlingen betreft. Voor 13-15 jarige deelnemers is de persoonlijkheid vaak niet voldoende ontwikkeld (een lage t1-score naast een lage t2-score), maar dat is erg afhankelijk van de opvoeding en opleiding. Voor 20-22-jarigen lijkt belangrijk of zij voldoende vorming/opvoeding hebben genoten om een minimale basis voor openheid te hebben opgebouwd. Leeftijd alleen is in dezen niet een allesbepalende factor, het gaat vooral ook om opvoeding en onderwijs. Ontwerpregels: Ontwerpregels (1), (3) en (4) (bijlage 1) zijn in de tekst herhaaldelijk expliciet gesignaleerd. Ze zijn ontstaan als een mix tussen theorie en praktische ervaring (zie bijlage 1 sub probleembeschrijving uitwisseling 2013), en lijken hun nut via de score van de interventie te bewijzen. De ontwerpregel (2) is blijkens de interviews met de leerlingen vooral nodig geweest om tot een goede band met het gastgezin te komen. Hij heeft goed gewerkt. In 2014 bleken de Italiaanse leerlingen, voor wie Engels de tweede vreemde taal is, duidelijker op taalkennis gescreend, zoals ook na 2013 was afgesproken. Een derde factor is dat er in 2014 twee leerlingen waren die zowel Nederlands als Italiaans (en omgekeerd) spraken, en dus (met veel plezier) konden tolken als het echt nodig was. Gezien de belangrijke rol van het gastgezin (een soort ‘thuis’-anker voor de nog maar 17-jarigen) blijft ook ontwerpregel 2 belangrijk. Bij wijze van conclusie worden de interventies nog eens kort nagelopen vanuit het perspectief van het programma (afgezien van het eerste punt): 1. De evaluatie In hoofdstuk 5 is het effect van de interventies gemeten: 0,46 sd (tabel 10, H5), berekend als het verschil tussen het effect van de uitwisseling 2013 en 2014. Gerekend naar de Hattie-norm van 0,4 sd is dit net voldoende effectief. Van dit effect gaat 48 % naar interventies bij stedenbezoeken, 37% gastgezin, en 15% focus (zie bijlage 9), vastgesteld aan de hand van verwijzingen ernaar in de leerlingdocumentatie (interviews, vragenlijsten, enquêtes, feedbacklijstjes), conform de hypothese op basis van het interventieontwerp. De kern van de interventies is het maximaliseren van het aantal nieuwe internationale contacten, de score (H4): 7,3 (in 1 week)(vs de benchmarkpublicatie 3,5 (in 8 maanden)). De mbo-leerlingen lijken ver boven hun schoolniveau gepresteerd te hebben. De meest effectieve onderwijstechnieken van Hattie (2009 en 2012) hebben goed gewerkt, maar waren erg arbeidsintensief. De leerlingen waren onder de indruk: “Groots opgezet!” Vanuit de leerlingen gezien was de hele uitwisseling-2014 een groot succes, en daarnaast ook leuk. In H6 zijn de individuele scores van de leerlingen: ruim 5 op 8 een life event, vergelijkbaar met de 74%-norm van Angulo (2008) voor studenten; in 2013 is de individuele score 3 op 13, dus 23%. Het verschil tussen de uitwisseling 2013 en 2014 (0,46 sd), de interventie dus, is zeer significant: pwaarde 0,0031. 2. Tussen uitwisseling en interventie

52

De interventies vooronderstellen wel een mbo-setting: een groep leerlingen [dus veel peerfeedback], relatief jonge leerlingen (gemiddeld 17,5)(vergelijk de bespreking van de ontwerphypothese, par 6), met zeer intensieve begeleiding (interviews, opdrachtmaterialen, zo nodig niet-directief bijsturen). De gastgezinfactor maakt deel uit van de interventies. In toenemende mate gaan ook studenten in groepsvorm op uitwisseling. De omgeving moet ook uitdagend zijn: Lamborghini’s in de etalages van Monaco, de sfeer proeven in het Casino, de jachten in de haven, onbetaalbare mode in Sanremo, winkelen en flaneren in Nice. Zulke omgevingsfactoren maken vooral deel uit van de uitwisseling, niet van de interventie. Je voelt je als mbo-leerling dan heel, heel ver van huis, en van school. 3. Hattie: leren zichtbaar maken De theoretische onderbouwing van het interventieontwerp (de hoogste onderwijs succestechnieken van Hattie, de mbo-leerlinganalyses van WRR (2009) en Elffers (2011) en de theoretische onderbouwing van het uitwisselingseffect (Zimmermann en Neyer, 2013) hebben bijgedragen tot een aansluitende leeruitdaging voor de leerlingen. Het meest geslaagde effect van de interventies, dat echter niet direct gemeten is, is focus geweest; de leerlingen waren niet te onderscheiden van serieuze studenten. Het zichtbaar maken van het leren (veel tests, interviews, feedback) maakt leren voor de leerling interessant ( cf Hattie, 2012).

8.2 conclusies en discussie ten aanzien van het onderzoek Aan het slot van par 5 zijn de nulhypothese en de alternatieve hypothese weerlegd. De belangrijkste uitkomsten zijn opgesomd aan het einde van par. 5 en van par 6. In par 6 en 7.1 is de ontwerphypothese van de interventie bevestigd voor de leeftijdscategorie 16-20 jaar.

8.2.1 conclusies ten aanzien van het onderzoek conclusie 1 de antwoorden op de onderzoeksvraag De onderzoeksvraag luidt: wat is het effect van een intensieve internationale mbo-uitwisseling van één week op de persoonlijkheidsontwikkeling van de leerlingen? 

  



Het effect van de Horizon College uitwisseling-2014 is ‘zeer groot’. De leerlingen zijn zozeer gegroeid in openheid, vriendelijkheid en evenwichtigheid dat ze de life event ‘internationale mobiliteit’ hebben meegemaakt, waardoor er sprake kan zijn is van een langetermijneffect, van persoonlijkheidsverandering. Maar zie ook het laatste punt van 8.2.2. De interventie-2014 is de doorslaggevende factor; ze verklaart meer dan de helft van het effect van de hele uitwisseling 2014. Het effect van de uitwisseling 2014 is ruim het dubbele van 2013. Het verschil tussen 2013 en 2014 is ‘zeer significant’. Van toeval kan nauwelijks sprake zijn. Het aantal life events ‘internationale mobiliteit’ in 2014 is gestegen tot 75% vergeleken met 23% in 2013, respectievelijk 6 op 8 leerlingen en 3 op 13. Dit percentage correspondeert met de internationale norm bij studentenuitwisselingen. Het effect van 2014 in één week is bijna twee keer zo groot als het effect van internationale studentenuitwisselingen van 5 en 8 maanden van een groot toonaangevend onderzoek dat

53

als benchmark-studie heeft gefungeerd. Het aantal nieuwe internationale contacten dat per leerling is gelegd, komt daarmee overeen, respectievelijk 7,3 en 2,9, ruim het dubbele. Behalve voor de eerstejaars mbo-leerlingen van het Horizon College, lijken de conclusies (op basis van de interventie) toepasbaar op alle eerste- en tweedejaars mbo-leerlingen, bovenbouw havoleerlingen en vierdejaars vwo-leerlingen die aan een internationale uitwisseling deelnemen. De ondergrens is 16 jaar. Maar gezien het verschil in effect size tussen de Horizon College uitwisseling2014 en de uitwisselingen van Zimmermann en Neyer kan de indirecte sturing van de 2014interventies ook wonderen verrichten onder 22-jarigen. conclusie 2 De relevantie van het onderzoek voor de school Het effect voor de school is groot: er komen meer open, vriendelijke en evenwichtige leerlingen terug op school. Zij zullen waarschijnlijk beter, soepeler en verantwoordelijker de opleiding vervolgen, althans als de school inspeelt op de Hattie-benadering (‘leren zichtbaar maken’) van tijdens de uitwisseling. Jammer genoeg is er geen follow-up big five test geweest na 6 maanden. conclusie 3 Het maatschappelijk rendement van het onderzoek Veel geld besteedt de Europese Unie aan subsidie voor inter-Europese uitwisselingen (Erasmus), met als doelstelling een groter wij-gevoel binnen de EU. Als de duur van een uitwisseling kan worden ingekort met daarbij een groter effect, dan kan er wellicht bezuinigd worden. Als de uitwisselingen goedkoper worden, en de persoonlijke winst in termen van carrière en leervermogen toeneemt, dan neemt naar verwachting ook de behoefte aan subsidie af.

8.2.2 discussie ten aanzien van het onderzoek Suggesties voor herontwerp: Onderzoek vanuit beide scholen Het is beter als beide uitwisselscholen meedoen aan het onderzoek. In dat geval kunnen de onderzoeksgegevens van beide kanten vergeleken worden. De door het onderzoek beschreven gebeurtenissen zijn nu volledig vanuit Nederlands perspectief geïnterpreteerd. De interculturele aspecten van de persoonlijkheidswinst zijn nu ook onderbelicht gebleven. Follow-up effectmeting Na een half jaar een follow-up big five online test, om na te gaan of de langetermijneffecten na een half jaar nog doorwerken, en om te zien of en hoe de uitwisseling de schoolcarrière heeft beïnvloed. De oorspronkelijke opzet van het onderzoek was een uitwisseling in februari 2014 en een in februari 2015. De big five enquête over 2013 zou dan een minder prominente rol hebben gehad. Ik betreur dat het Horizon College niet heeft ingestemd met een uitwisseling in 2015. Voor positieve internationale effecten op het onderwijs, zie Oonk (2004); Scholtes, Groot & Visser (2005); Maslowski, Naayer, Oonk, & Van der Werf (2009) en Thijs & Resink (2010). Leereffect Openheid meteen verankeren Eén kernelement uit paper-1 is in het onderzoek volkomen veronachtzaamd. Daarom herhaal ik het nu graag: In paper 1 is herhaaldelijk (zie aldaar paragraaf 4.3) gewezen op Hattie’s (2009, p157) conclusie dat life event effecten qua leervermogen (dus Openheid) na de interventie (bij Hattie een avontuurpro54

gramma uit Hattie et al. (1997), in dit onderzoek een internationale uitwisseling) meteen moeten worden benut. Hierboven betreurde ik al dat er geen follow-up effectmeting uiterlijk 6 maanden na t2 heeft plaatsgevonden, dat is jammer; zie ook bijlage 6. Jammer is ook dat met het toegenomen effect niets is gedaan. Geen speciale aandacht om de teruggekeerde mbo-uitwisselaars hun nieuwe leervermogen, in ieder geval ten aanzien Openheid, vaster te laten verankeren. Zoals alle onderwijseffecten vergen ook uitwisselingseffecten onderhoud.

Literatuur: Angulo, S. K. (2008). Identity Change in Students Who Study Abroad. (Dissertatie, The University of Texas at Austin, 2008). Ontleend aan: http://www.lib.utexas.edu/etd/d/2008/angu los97170/angulos97170.pdf#page=3 Baarda, B., Bakker, E., Van der Hulst, M., Fisher, T., Julsing, M., Van Vianen, R., & De Goede, M. (2012). Basisboek methoden en technieken: kwantitatief praktijkgericht onderzoek op weten schappelijke basis. (5e druk). Groningen/Houten: Noordhoff Uitgevers. Bachner, D., & Zeutschel, U. (2009). Long-term effects of international educational youth exchange. Intercultural Education, 45-58. Caspi, A., & Roberts, B. W. (1999). Personality continuity and change across the life course. In L. A. Pervin & O. P. John (Eds.), Handbook of personality theory and research (2nd ed.), (pp. 300–326). New York, NY: Guilford Press. Denissen, J. J. A., Geenen, R., Aken, M. A. G. van, Gosling, S. D., & Potter, J. (2008) The Big five Inventory (BFI) – Dutch version, Reliability, validity, and factorial invariance across age groups and languages. Journal of Personality Assessment, 9(2), 152-157. Duijvenvoorde, A. C. K. van, & Crone, E. A. (2013). The teenage brain: A neuroeconomic approach to adolescent decision making. Current Directions in Psychological Science. p. 108-113. doi: 10.1177/0963721413475446 Elffers, L. (2011). The transition to post-secondary vocational education: Students’ entrance, experience and attainment. (Dissertatie, Universiteit van Amsterdam, 2011). Engel, C. (2010). The impact of Erasmus Mobility on the professional career: Empirical results of international studies on temporary student and teaching staff mobility. Belgeo, 4 Fischer, K. (2009, February 12). Short study-abroad trips can have lasting effect, research suggests. Chronicle of Higher Education. Retrieved from www.Chronicle.com/article/Short-Study Abroad-Trips-Can/1541 Fischer, K. (2011, November 18). Study-Abroad Numbers Rebound as Colleges Offer Cheaper Options. Chronicle of Higher Education, 00095982, 11/18/2011, 58(13). Handboek over de internationalisering van het hoger onderwijs in Vlaanderen (2013)(online, 2e druk)

55

Hattie, J. A. C., Marsh, H. W., Neill, J. T., & Richards, G. E. (1997). Adventure education and outward bound: Out-of-class experiences that make a lasting difference. Review of Educational Re search, 43-87. Hattie, J. A. C. (2009). Visible Learning: A synthesis of over 800 meta-analyses relating to achievement. London and New York: Routledge. Hattie, J. A. C. (2012). Visible learning for teachers: Maximizing impact on learning. London and New York: Routledge. Horn, A. S., & Fry, G. W. (2012). Promoting Global Citizenship through Study Abroad: The Influence of Program Destination, Type, and Duration on the Propensity for Development Volunteerism. International Journal of Voluntary and Nonprofit Organizations, 1-21. Hunley, H. A. (2010). Students’ functioning while studying abroad: The impact of psychological distress and loneliness. International Journal of Intercultural Relations, 34 (4), 386–392.nt. London and New York: Routledge. Janson, J. K., Schomburg, H., & Teichler, U. (2009). The professional value of Erasmus Mobility. ACApaper Jeronimus, B. F., Riese, H., Sanderman, R., & Ormel, J. (2014). Mutual reinforcement between neuroticism and life experiences: A five-wave, 16-year study to mutual reinforcement between neuroticism and life experiences: A five-wave, 16-year study to test reciprocal causation. Journal of Personality and Social Psychology (Impact Factor: 5.08). 08/2014; 107(4). doi: 1Jero0.1037/a0037009 Lang, F. R., Lüdtke, O., & Asendorpf, J. B. (2001). Testgüte und psychometrische Äquivalenz der deutschen Version des Big Five Inventory (BFI) bei jungen, mittelalten und alten Erwachsenen [Validity and psychometric equivalence of the German version of the Big Five Inventory in young, middle-aged and old adults]. Diagnostica, 47, 111–121. doi: 10.1026//00121924.47.3.111 Lubbers, M. J., Molina, J., Lerner, J., Brandes, U., Ávila, J., & McCarty, C. (2010). Longitudinal analysis of personal networks: The case of Argentinean migrants in Spain. Social Networks, 32, 91–104. doi: 10.1016/j.socnet.2009.05.001 Martinsen, R. A. (2010). Short-Term Study Abroad: Predicting Changes in Oral Skills. Foreign Language Annals, 43(3), 504-530. Maslowski, R., Naayer, H., Oonk, G. H., & Werf, M. P. C. van der. (2009). Effecten van internationalisering in het voortgezet onderwijs: Een analyse van de implementatie en effecten van een Europese en internationale oriëntatie. Groningen: Rijksuniversiteit Groningen. Messer, D., & Wolter, S. C. (2005). Are student exchange programs worth it? Forschungsinstitut zur Zukunft der Arbeit. Discussion paper 1656. Nunan P. (2006) An exploration of the long term effects of student exchange experiences. In: Australian International Education Conference 2006, pp 1-10 – www.idp.com/aiec 56

Oonk, G. H. (2004). De Europese integratie als bron van onderwijsinnovatie: een onderzoek naar de betekenis en de resultaten van de internationalisering in het voortgezet onderwijs in Nederland. (Dissertatie, Universiteit van Amsterdam, 2004). Paige, R. M., Fry, G. W., Stallman, E.M., Josic, J., & Jon, J. E. (2009). Study abroad for global engage ment; the long-term impact of mobility experiences. Intercultural Education. 29-44. doi 10.1080/14675980903370847 Ritz, A. A. (2011). The Educational Value of Short-Term Study Abroad Programs as Course Components. Journal of Teaching in Travel & Tourism, 11(2), 164-178. doi:10.1080/15313220.2010.525968 Rodriguez, S. L., & Chornet-Roses, D. (2014). How ‘Family’ is your host family? An examination of student–host relationships during study abroad. International Journal of Intercultural Relations, 39, 164- 174. Scholtes, E., Groot, A., & Visser, F. (2005). Varianten van internationalisering in het Nederlandse Onderwijs: Verkenning in opdracht van de Onderwijsraad. Amersfoort: Twynstra Gudde. Soto, C. J., John, O. P., Gosling, S. D., & Potter, J. (2011). Age differences in personality traits from 10 to 65: Big five domains and facets in a large cross-sectional sample. Journal of Personality and Social Psychology, 100, 330-348. doi: 10.1037/a0021717 Thijs, A., & Resink, F. (2010). Leren van internationaal onderwijs: vier internationale onderwijsprogramma's in het voortgezet onderwijs in kaart gebracht. Enschede: SLO. Verbondenheid-leerprestaties-leerdruk. (2014) Ontleend aan http://www.pluskracht.nl/ (beginhelft geblokkeerd) Veerman, J. W. (2008). Methoden voor het kwantificeren en toetsen van effecten. In: T. A. van Yperen & J. W. Veerman (red.), Zicht op effectiviteit: handboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. (pp. 307-330). Delft: Eburon. WRR. (2009). Vertrouwen in de school: over de uitval van ‘overbelaste’ jongeren. Amsterdam: Amsterdam University Press. Yair, G. (2008), Key educational experiences and self-discovery in higher education. Teaching and teacher education, 92-103. Yair, G. (2009). Key Educational Experiences in Israeli Families: Adventures, Trust and Self-Discovery. Journal of Comparative Family Studies, 809-825. Zimmermann, J., & Neyer, F. J. (2013). Do We Become a Different Person When Hitting the Road? Personality Development of Sojourners. Journal of Personality and Social Psychology, 515-530. doi: 10.1037/a0033019 Zhang, J., Mandl, H., & Wang, E. (2010). Personality, acculturation, and psychological adjustment of Chinese international students in Germany. Psychological Reports 107 (2) 511-525. doi: 10.2466/07.09.11.17.PRO.107.5.511-525 57

BIJLAGEN bijlage 1 scharnierpunten van het onderzoek onderzoeksvraag: Wat is het effect van een intensieve internationale mbo-uitwisseling van één week op de persoonlijkheidsontwikkeling van de leerlingen? nulhypothese: de effectgrootte van de HC Italië-uitwisseling 2014 op de big five persoonlijkheidskenmerken Openheid, Vriendelijkheid en Emotionele stabiliteit is niet of nauwelijks groter dan van de Horizon College Italië-uitwisseling 2013. alternatieve hypothese: de effectgrootte van de Italië-uitwisseling 2014 op de big five persoonlijkheidskenmerken Openheid, Vriendelijkheid en Emotionele stabiliteit is, afgezien van de duur en de leerintensiteit, vergelijkbaar met die van de 20 (t2) en 32 (t3) weken durende uitwisselingen in Zimmermann en Neyer (2013). probleembeschrijving uitwisseling 2013: als bij een internationale uitwisseling sprake is van een ongericht leerdoel, van een geringe socialisatiedruk, van moeizame communicatie tussen de bezoekende en de gastleerlingen, van eentalige groepjes, en bovendien van weinig inhoudelijke uitdaging, is de kans op een sprong in de persoonlijkheidsontwikkeling gering. ontwerphypothese: als bij een internationale uitwisseling van één week het programma geïntensiveerd wordt (zie figuur 2) neemt bij adolescenten (13-19 jr) en jongvolwassenen (18-22 jr) de kans op een life event, een specifieke sprong in de persoonlijkheidsontwikkeling) toe. (perioden ontleend aan Van Duijvenvoorde & Crone (2013) en Soto, John, Gosling, & Potter (2010)) ontwerpregels voor ontwerpplan interventies (paper 1) De belangrijkste mogelijke oplossingen zijn samengenomen in onderstaande ontwerpregels: (1) de socialisatiedruk verhogen ten einde de geringe duur van de ultrakorte internationale uitwisseling te compenseren. (2) het risico van een te zwak English as a Foreign Language (Erasmus Engels)in het programma, wat kan leiden tot afhaken, tegengaan door een 100- woordencursusje Italiaans vooraf aan te bieden, waardoor ook de communicatie met het gastgezin beter wordt. (3) het wegebben van socialisatiespanning tegengaan door Italiaans-Nederlandse groepjes te formeren en die aanvullende vakopdrachten mee te geven. (4) de vakinhoud zo kiezen dat de socialisatiespanning erdoor wordt bevorderd en tegelijk de parallellie met de onderwijsgroep in Alkmaar in stand blijft.

58

bijlage 2 relevante basisinformatie: deelvragen met korte antwoorden 1. wat zijn de belangrijkste effecten van een internationale uitwisseling? Literatuur: +carrière, +groter leerpotentieel, +minder etnocentrisch wereldbeeld, +sprongetje persoonlijkheidsontwikkeling: Vriendelijkheid, Openheid en Emotionele Stabiliteit. De laatste factor, de persoonlijkheidsverandering, wordt gezien als de oorzaak voor de andere drie. 1.1 door welke factor komen die effecten vooral tot stand? Literatuur: +sprongetje persoonlijkheidsontwikkeling: Vriendelijkheid, Openheid, Emotionele stabiliteit; dus sturen op interventies die deze factor, meestal indirect, triggeren. Zie sub 1.3 1.2 wat is daarvoor de psychologische verklaring? Literatuur: Zimmermann en Neyer (2013): internationale uitwisseling leidt tot life event, waardoor specifieke persoonlijkheidsveranderingen ontstaan. Een life event is een zeer ingrijpende persoonlijke ervaring die je je hele leven bijblijft, zoals verhuizen, trouwen, ontslag, kinderen krijgen, je eerste baan, uit huis gaan etc., vaak komt de burgerlijke stand eraan te pas. De life event bij int. uitwisseling zou vallen onder 'verhuizen', volgens Z&N hier in de vorm van ‘internationale mobiliteit’ 1.3 wanneer in de uitwisseling treedt het sprongetje in de persoonlijkheidsontwikkeling op? Zimmermann en Neyer (2013) veronderstellen niet in de eerste drie maanden, en hebben onderzocht: niet na de zesde maand. G. W. Fry (in een interview van Fischer, 2011): ”Het kan ook in een week, als de leerintensiteit maar groot genoeg is.” Deze uitspraak van Fry wordt in dit onderzoek getoetst. 2. wat zijn de belangrijkste kenmerken van de Italië-uitwisselingen in 2012 en 2013? * duur ultrakort: 1 week * alles in het Engels, * gastgezin bij uitwisselmaatje thuis * dagdeel school; schoolcurriculum/bedrijfsbezoeken *doel 2012 en 2013: buitenlandervaring, (2014: life event ‘internationale mobiliteit’)

59

bijlage 3 ruwe testuitkomsten online en enquête online; omzetting percentielen in z-scores tabel b1

online big five data met omzetting percentielen in z-scores experimentgroep exp-groep 2014 Horizon College: online big five test OutofService t1=eind jan 2014, t2= half maart 2014 prctl prctl prctl prctl prctl prctl prctl prctl prctl prctl percentielen zzzzmiddle N=9 z-score score z-score score z-score score z-score score z-score z-sco tail em exp t1-t2 o t1 o t2 z t1 z t2 ex t1 ex t2 v t1 v t2 em t1 t2 em t 1 0,18 64 0,92 69 1,02 89 1,6 83 1,37 44 0,58 48 0,64 51 0,7 82 1,3 12 0,15 14 2 0,2 0,35 0,21 0,39 1,13 1,6 0,58 1,02 0,8 1 16 27 17 30 74 89 44 69 57 73 3 0,2 52 0,71 52 0,71 70 1,04 79 1,25 74 1,13 63 0,9 73 1,1 86 1,4 5 0,06 16 4 2,17 79 1,25 58 0,81 70 1,04 70 1,04 83 1,37 89 1,6 63 0,9 78 1,2 95 1,96 97 5 1,18 1,28 1,6 2,63 1,6 2,17 1,64 2,17 2,2 2,5 76 80 89 98 89 97 90 97 97 99 6 0,61 10 0,13 10 0,13 59 0,82 48 0,64 44 0,58 32 0,41 16 0,2 24 0,3 35 0,45 46 7 1,28 74 1,13 89 1,6 91 1,7 93 1,81 90 1,64 79 1,25 63 0,9 93 1,8 65 0,93 80 8 0,45 21 0,27 6 0,08 86 1,48 96 2,05 32 0,41 57 0,79 73 1,1 63 0 35 0,45 35 9 0,93 1,04 0,32 0,63 1,81 1,7 1,75 1,13 1,3 1,8 65 70 25 47 93 91 92 74 82 93 stdev 0,61 0,66 0,53 0,8 0,35 0,49 0,54 0,53 0,5 0,6 gemiddelde 0,7 0,84 0,73 0,89 1,36 1,51 1,08 1,1 1 1,3

controlegroep

tabel b2

online big five data met omzetting percentielen in z-scores ctr-groep 2014 Horizon College online big five test OutofService t1=eind jan 2014, t2= half maart 2014 prctl prctl prctl prctl prctl prctl prctl prctl prctl prctl percentielen N=8 ctr t1-t2 1 2 3 4 5 6 7 8 stdev

middle tail

o ct1 16 4 41 30 35 41 20 24

z-score z-score z-score z-score z-score z-score z-score z-score z-score z-sco o ct2 z ct1 z ct2 ex ct1 ex ct2 v ct1 v ct2 em ct1 ct2 em c 0,2 5 0,06 86 1,48 79 1,25 91 1,7 91 1,7 83 1,37 83 1,37 86 1,5 86 1,4 0,05 4 0,05 58 0,81 79 1,25 83 1,37 79 1,25 27 0,35 27 0,35 73 1,1 91 1 0,54 43 0,57 58 0,81 83 1,37 64 0,92 74 1,13 50 0,67 63 0,9 40 0,5 68 0,9 0,39 12 0,15 92 1,75 89 1,6 86 1,48 83 1,37 83 1,37 83 1,37 63 0,9 78 1,2 0,45 16 0,2 97 2,17 79 1,25 74 1,13 74 1,13 27 0,35 38 0,5 89 1,6 93 1,8 0,54 16 0,2 10 0,13 13 0,16 93 1,81 91 1,7 27 0,35 24 0,31 86 1,5 91 1 0,25 16 0,2 30 0,39 35 0,45 74 1,13 48 0,64 22 0,28 24 0,31 29 0,4 40 0,5 0,31 30 0,39 58 0,81 40 0,52 85 1,44 40 0,52 9 0,11 6 0,08 85 1,4 60 0,8 0,17 0,17 0,7 0,52 0,3 0,43 0,5 0,51 0,5 0,4 60

gemiddelde

0,34

0,2

1,04

0,98

1,37

1,18

0,61

0,65

1,1

61

1,2

dataverzameling: ruwe uitkomsten online bigfive test OutofService

tabel b1

experimentgroep 2014 Horizon College middle tail z-scores

N=9

exp '14

jan '14

o t1 o t2 z t1 z t2 ext1 ext2 vt1 v t2 0,15 0,18 0,92 1,02 1,6 1,37 0,58 0,64 0,2 0,35 0,21 0,39 1,13 1,6 0,58 1,02 0,06 0,2 0,71 0,71 1,04 1,25 1,13 0,9 1,96 2,17 1,25 0,81 1,04 1,04 1,37 1,6 1,18 1,28 1,6 2,63 1,6 2,17 1,64 2,17 0,45 0,61 0,13 0,13 0,82 0,64 0,58 0,41 0,93 1,28 1,13 1,6 1,7 1,81 1,64 1,25 0,45 0,45 0,27 0,08 1,48 2,05 0,41 0,79 0,93 1,04 0,32 0,63 1,81 1,7 1,75 1,13 stdev 0,61 0,66 0,53 0,8 0,35 0,49 0,54 0,53 gemiddelde 0,7 0,84 0,73 0,89 1,36 1,51 1,08 1,1 1 2 3 4 5 6 7 8 9

tabel 2 N=8 ctr '14 1 2 3 4 5 6 7 8 stdv gem

controlegroep 2014 Horizon College middle tail z-scores ex ex v o ct1 o ct2 z ct1 z ct2 ct1 ct2 ct1 0,2 0,06 1,48 1,25 1,7 1,7 1,37 0,05 0,05 0,81 1,25 1,37 1,25 0,35 0,54 0,57 0,81 1,37 0,92 1,13 0,67 0,39 0,15 1,75 1,6 1,48 1,37 1,37 0,45 0,2 2,17 1,25 1,13 1,13 0,35 0,54 0,2 0,13 0,16 1,81 1,7 0,35 0,25 0,2 0,39 0,45 1,13 0,64 0,28 0,31 0,39 0,81 0,52 1,44 0,52 0,11 0,17 0,17 0,7 0,52 0,3 0,43 0,5 0,32 0,23 1,04 0,98 1,37 1,18 0,61

em em t1 t2 0,69 1,34 0,79 1,10 1,1 1,48 0,9 1,23 2,17 2,58 0,2 0,31 0,9 1,81 1,1 0,90 1,34 1,81 0,54 0,64 1,02 1,39

jan '14 v em em ct2 ct1 ct2 1,37 1,48 1,476 0,35 1,1 1,695 0,9 0,52 0,995 1,37 0,9 1,227 0,5 1,6 1,812 0,31 1,48 1,695 0,31 0,37 0,524 0,08 1,44 0,842 0,51 0,47 0,465 0,65 1,11 1,283

o=openheid, z=zorgvuldigheid, ex=extraversie, v=vriendelijkheid, em=emotionele stabiliteit

de testvragen bij tabel

b3 en b4 (enquete 2013 en 2014) 62

Big five selectie: Vriendelijkheid, Emotionele stabiliteit en Openheid

Telefonische Interviewvragen voor ouders van groep maart 2013 en groep februari 2014: Basis: theorie big five vragen (NPV2), getoetst door GZ- psycholoog Eline Vreijsen Lees waar nodig ipv zoon dochter Vriendelijkheid: Hoe was het gesteld met zijn vriendelijkheid na de reis in vergelijking met voor de reis? (waar merkte u dat aan?)

Is zijn begrip voor mensen die fouten maken, veranderd? Heeft hij In gezelschap genoeg om over te praten? (reserve) Emotionele stabiliteit: Vindt u achteraf dat uw zoon veranderd is tav volwassenheid sinds de excursie? Is er een verandering opgetreden in zijn zelfvertrouwen sinds de uitwisseling? Maakt uw zoon zich meer/minder/net zo vaak zorgen sinds de uitwisseling? Is uw zoon sinds de uitwisseling minder snel zenuwachtig? (reserve) Openheid:

Heeft uw zoon nog contact gehad met de Italianen die hij van de uitwisseling kent?

(hoe vaak?)

Is er sinds de uitwisseling iets veranderd in hoe vaak hij naar feestjes gaat? Heeft hij sinds de uitwisseling meer vrienden en vriendinnen?

'b3'-ouders-enquête: O, V, Em ruwe data uitwisseling 2013:

tabel b3

ja/nee vragen aan ouders over verschil voor en na de uitwisseling mrt 2013; scores per j/n-vraag, telefonisch, 10 maanden later, N=13

ouders leerl.

V1 1 2 3 4 5

V2 0 1 0 1 0

Em1 0 0 0 1 1

Em2 0 1 0 1 0

Em3 0 0 1 1 1

O1*2 0 1 0 0 0

0 2 2 1 2

O2 V3 0 0 0 0,5 0 0 0 1 0 0,5 63

0 0 1 0 0 0 0 0

6 7 8 9 10 11 12 13

tabel b4

0 0 0 0 0 1 0 0

0 0 1 1 0 1 0 1

0 0 1 1 0 1 0 0

0 0 1 0 0 0 0 0

1 1 1 2 2 0 2 2

0 0 1 0 0 0 0 0

0 0 0,5 0 0 0,5 0 0

uitwisseling 2014: ruwe data 'b3'-ouders-enquête: O, V, Em

N=8 Italië-uitwisseling 16-21 februari 2014 ouders leerl. V1 V2 Em1 Em2 Em3 O1*2 O2 V3 1 1 1 1 1 1 2 1 1 2 1 0 1 1 1 1 1 0,5 3 1 0 1 1 0 1 1 0,5 4 1 1 1 1 1 2 1 1 5 0 1 1 0 1 2 1 0,5 6 1 0 0 0 0 1 1 0,5 7 8 9

1 0

0 0

1 1

1 0

0 0

2 2

1 0,5 1 0

kolom V3: V3 is het gemiddelde van V1 en V2 kolom O1*2: O1 telt dubbel omdat weggevallen O3 niet werkte nr 7: zoon woont zelfstandig, ouders niet op de hoogte. Dus 8 leerlingen

bijlage 4 berekeningen, analyses en diagrammen 64

ad par 1.1

tabel 1 (hoofdtekst) hc 2014 ctr14 exp14 verschil-1 verschil-2

Ot1 0,34

Ot2 0,23

Vt1 0,61

0,7

0,84

0,36

0,61 0,25

Vt2 0,65

Emt1 1,11

Emt2 1,28

1,08

1,1

1,02

1,39

0,47

0,45 -0,02

-0,09

0,11 0,2

Diagram 0.1 effect per kenmerk op enig moment, meestal op t2 (tabel 1). HC 2014 online experiment (parallel aan ES-berekening in tabel 8, ‘t2’)

Diagram 0.2 toename effect per kenmerk tussen t1 en t2 HC 2014 online (tabel 1) (parallel aan d (t2-t1) tabel 2)

65

t2 exp-ctr 0,61 0,45 0,11

berekeningen effectgroottes (d) tabel 2 a. berekening 1 effect HC uitwisseling-2014 per persoonlijkheidskenmerk (Cohen d)

(‘t2’ ES formule)(zie tabel 1 voor de inputgemiddelden) t2-d HC-2014-online Effectgrootte t2 Veerman’s (2008) “tussengroeps”-ES voor HC-2014-online: (in excel-notatie) (gem t2exp - gem t2ctr)/WORTEL(((Nexp-1)*SD2expt2 + (Nctr-1)*SD2ctrt2) /(Nexp + Nctr -2))

ES HC 2014 online ‘t2’

O 1,23

V 0,877

Em 0,196

tce (trait change effectivity)[som] 2,303

b. Effectgrootte (t2-t1) gebruikte ES-formule:

(in excel-notatie) 66

((t2-t1)exp - (t2-t1)ctr)/WORTEL(((Nexp -1)*SD2expt2 + (Nctr -1)*SD2ctrt2) / (Nexp + Nctr -2)) Veerman (2008, 319): "geschikt voor kleine N")(ES=effect size=d)

O

Em

tce

0,35

0,82

Uitkomsten voor de t1-waarde als uitkomst van ES-t2 minus ES-(t2-t1): O V Em 'd' t1 0,73 0,907 -0,154

tce 1,483

(t2-t1)-d HC 2014 online

0,5

V -0,03

(trait change effectivity)[som

c.

Detailberekening ES-waarden voor O, V en Em bij t2-formule en t2-t1-formule

KOLOM C

KOLOM D O

hc/exp/14 t1t2 stdev N=9 gem hc/ctr/14 t1t2 stdev N=8 gem

o t1 0,612383 0,703044

o t2 0,660586 0,839967

KOLOM E

KOLOM F V

KOLOM G

KOLOM H Em

v t1 v t2 em t1 em t2 0,543453 0,529627 0,53633 0,642307 1,077778 1,100556 1,021278 1,3942

rij: 4 5

o ct1 o ct2 v ct1 v ct2 em ct1 em ct2 0,171465 0,172097 0,497538 0,505418 0,470239 0,465033 0,34095 0,227875 0,605813 0,646025 1,11065 1,283188

8 9

effectgrootte Veerman (2008, p 319): t2-formule (voor totaaleffect) 1,23271 0,87668 0,19595 2 2 (gem t2exp - gem t2ctr)/WORTEL((Nexp-1)*SD expt2 + (Nctrl-1)*SD ctrt2) / (Nexp + Nctrl -2)) toepassing: t2-formule Openheid: =(D5-D9)/(WORTEL(((8*D4*D4)+(7*D8*D8))/15)) = 1,232708 (D12) Vriendelijkheid: =(F5-F9)/(WORTEL(((8*F4*F4)+(7*F8*F8))/15)) = 0,876677 (F12) Em. stabiliteit: =(H5-H9)/(WORTEL(((8*H4*H4)+(7*H8*H8))/15)) = 0,195953 (H12)

15 16 17

effectgrootte Veeerman (2008, p. 318-319) t2-t1-formule: (voor vooruitgang) 0,50348 -0,03363 0,35371 2 2 ((t2-t1)exp - (t1-t2)ctr)/(WORTEL(((Nexp -1)*SD expt2 + (Nctrl -1)*SD ctrt2) / (Nexp + Nctr -2)) toepassing: t2-t1 formule Openheid =((D5-C5) - (D9-C9))/(WORTEL((8*D4*D4 + 7*D8*D8)/15)) =0,503476 (D20) 67

20

Vriendelijkheid: =((F5-E5) - (F9-E9))/(WORTEL((8*F4*F4 + 7*F8*F8)/15)) = -0,03363 (F20) Emotionele stabiliteit: =((H5-G5) - (L9-G9))/(WORTEL((8*H4*H4 + 7*H8*H8)/15)) = 0,353709 (H20)

diagram b3 HC 2014 t2-ES, 1 w diagram b1

overzicht

diagram b2 HC 2014 (t2-t1)-ES, 1wk

alleen ‘vooruitgang’

totaaleffect op t2

68

Martha Vreijsen+I21E6A1:I22A1:I24A1:I26A1:I29A1:I30A1:I31A1:A1:I23 bijlage 5 paper 5 individuele analyse online; voor ruwe data zie bijlage 3 experimentgroep 2014 Horizon College individuele analyse online; voor ruwe data zie bijlage 3 N=9 voor groepsanalyse, zie bijlage 4 en hoofdtekst legenda: onderaan A

B

C

E F life event online enqu b3=o-v-em indiv norm: norm: t2o+v+em 't2-t1' Hattie Hattie score b3 t1 b3 t2 ES >0,4 >0,4 interviews etc 1 0,47 0,72 0,6819 ja 0,6514 2 ok, nu juist ++ over gastgezin, 2 0,52 0,82 0,8236 ja 0,5292 2,3 komt op gang, al meer zelfvertrouwen 3 0,76 0,86 0,2611 neen 0,4478 2,4 nog niet echt, contacten gaan beter 4 1,41 1,66 0,7094 ja 0,6514 4,6 nu wel + in groep, itt school 5 1,66 2,01 0,9606 ja 0,5292 5,6 zeer open en vriendelijk 6 0,41 0,44 0,0855 speciaal 0,2849 1,2 centrale rol als vertaler; ++; hors categorie 7 1,16 1,45 0,8066 ja --4 "uitw voegt niet veel toe", woont zelfstandig, ouder 8 0,66 0,71 0,1575 neen 0,5292 2 jong, enthousiast, ++ contact, + in groep 9 1,34 1,32 -0,048 neen 0,3257 3,7 ouder, + samenwerken, + in groep 0,93 1,11 0,4932 0,4936 3,09 gem gem gem gem gem life events 5 op 8:

toelichting

A B C D E

F

D

62,5%

(ll=leerling)

b3 t1 zijn de t1-gemiddelden van O+ V+Em in ruwe data. b3 t2 idem maar dan de t2-gemiddelden van O+ V+ Em ES: verschil A en B /0,36; ll 9 wel veel bagage van t1. ll3 negatief + afwachtend, ll 6 pdd (telt dus niet mee). ll3 en ll 8 hebben bij de enquête wel een life event bereikt, maar de geloofwaardigheid van de online cijfers is groter; ouders zijn misschien niet altijd even objectief. De E-cijfers zijn dubbel bewerkt na standaardisering: 1. conversie *0,82/8,25, enquête>online, 2. homogenisering van gemiddelden van hc 2014 online en hc 2014 enquête, omdat de groepen identiek zijn, zie gemiddelden sub C en E. Zie ook bijlage 5, individuele analyse enquête t2 geeft effect+vooruitgang weer. Ll 4 en 5 scoren in beide categorieën het hoogst. Contrast vooral bij ll 9: hoge t1-score wijst op hoog beginniveau, is ook ouder, maar kan er commu- . nicatief weinig mee. Lage t2-scores voor ll 1 en ll 8 wijzen op erg jong en nog weinig vorming.

69

Bijlage 5 individuele analyse enquête-uitkomsten 2013 en 2014 (zie onderaan) significantie algemene aan online individueel hele groep 2013 vs 2014 per persoonl.kenmerk conversie individueel p-data 2013: ->2014 onl2014 gem life sd 0,2256 gem sd /sd *0,82/8,25 *1,72 eventO V Em gem 0,3577 0 0 0 0 0 0 0 0 N 13 0,61 0,7 0,87 0,27335 0,4702 ja 2 1,5 2 0,33 0,74 0,45 0,1491 0,2565 2 0 1 0,67 0,46 1,44 0,2982 0,5129 ja 1 3 2 0,5 0,73 0,69 0,2237 0,3848 2 1,5 1 graphpad 0,11 0,35 0,31 0,0497 0,0855 1 0 0 quickcalcs: 0,11 0,35 0,31 0,05 0,086 1 0 0 two taIed 0,72 0,37 1,94 0,32305 0,5556 ja 2 1,5 3 p-waarde 0,44 0,76 0,59 0,1988 0,3419 2 0 2 2013 vs 2014: 0,22 0,71 0,31 0,0994 0,171 2 0 0 0,0031 0,39 0,5 0,78 0,17395 0,2992 0 1,5 2 "very 0,22 0,71 0,31 0,0994 0,171 2 0 0 statistically 0,33 0,74 0,45 0,149 0,2563 2 0 1 significant'' 0,36 0,16059 0,2762 gem 0,78 0,99 1 0,359 0,5483 0,6509 aantal >0,4: 23% 13,46 0,69 1,1 gem=0,3577 1,88 0,7 1 ES: 3,619

voor en na de uitwisseling mrt 2013;

leerl. 1 2 3 4 5 6 7 8 9 10 11 12 13

aanpassing

sd=0,2256

(zie onderaan) algemene homogenisering conversie met online >2014 onl '14 gemiddelde

leerl. 1 2 3 4 5 6 7 8 9

gem sd /sd 1 0,35 0,72 0,37 0,61 0,46 1 0,35 0,72 0,65 0,39 0,5 alleen online 0,72 0,65 0,44 0,76 0,7 gem:

*0,82/8,25

2,83 1,94 1,33 2,83 1,11 0,78

0,37871 0,30767 0,26033 0,37871 0,30767 0,16567

*1,72

O

0,6514 ja 0,5292 ja 0,4478 ja 0,6514 ja 0,5292 ja 0,2849 speciaal

p-data 2014 V Em sd 0,2245 3 3 3 gem 0,7 2 1,5 3N 8 2 1,5 2 3 3 3 3 1,5 2 2 1,5 0

1,11 0,30767 0,5292 ja 3 0,59 0,18933 0,3257 neen 3 0,28697 0,4936 0,52 0,701 0,5114 1,5654 aantal>0,4: 75% 62,39 online 2014: 0,493 4,62 2,74 0,493/0,287 = 1,72 gem 0,7 dus voor de vergelijkbaarheid sd 0,225 cijfers bewerking-1: *1,72

1,5 0 0,96 1,69 1,76 1,06

2 1 1,1 2 1,9 0,9 ES 8,24579 interv. ES 4,7

70

Bijlage 6 NJI checklist validiteit:

FORMULIER BESCHRIJVING KENMERKEN EN RESULTATEN ONDERZOEK Scoor met dit formulier elke effectstudie apart.

1

De meting is (mede) gericht op de doelen en de doelgroep van de interventie.

2

De meting is verricht met instrumenten die voldoende betrouwbaar zijn.

3

De meting is verricht met instrumenten die de doelen van de interventie valide operationaliseren.

4

Er is een voormeting (voorafgaand aan / bij start van de interventie).

5

Er is een nameting (aan het einde van de interventie).

6

De resultaten zijn met een adequate statistische techniek geanalyseerd en op significantie getoetst.

7

De resultaten zijn vergeleken met ander onderzoek naar de effecten van de gebruikelijke situatie, handelwijze of zorg (care-as-usual) of een andere zorgvorm bij een soortgelijke doelgroep.

8

Er is een (quasi-)experimentele en een controlegroep (care-as-usual) of een herhaald N=1 onderzoek met een baseline of een timeseries design met een multiple baseline of alternating treatments of een studie naar de samenhang tussen de mate waarin een interventie is toegepast en de mate waarin bedoelde uitkomsten zijn opgetreden.

9

Het onderzoek is uitgevoerd in de praktijk.

X X X

X X x

x

x

x

neen

10 Er is een follow-upmeting van minimaal 6 maanden na einde interventie.

neen

11 De experimentele en de controlegroep zijn ´at random´ samengesteld.

Zwak

Veranderingsonderzoek

1-6

Niveau 5

1-6

Niveau 4

Geen van de onderstaande alternatieven

Niveau 3

Zeer zwak

Niveau 2

Kruis aan van welk type de opzet is op basis van de aangekruiste antwoorden in het bovenstaande schema. Alle antwoorden in de aangegeven range moeten aangekruist zijn

Niveau 1

Bewijskracht

Typering opzet:

9

71

1-6

10

1-6

Resultaten van veranderingsonderzoek zijn vergeleken met ander onderzoek

Matig

9

10

1-6 7

Redelijk

Onderzoek met (quasi-) experimenteel design (niet in de praktijk)

1-6

8

Vrij sterk

Onderzoek met (quasi-) experimenteel design in de praktijk

1-6

8

9

x

Sterk

Onderzoek met (quasi-) experimenteel design in de praktijk en met followup

1-6

8

9

10

Zeer sterk

Onderzoek met experimenteel design in de praktijk en met follow-up

1-6

8

9

10

11

C. Typering resultaten van het onderzoek 0

0

Geen van de onderstaande rubrieken zijn van toepassing (licht toe!).

x

1

Positieve resultaten: De studie rapporteert positieve effecten# ten aanzien van de doelen van de interventie.

0

2

Effectiviteit niet aangetoond: De studie rapporteert dat er geen effecten# ten aanzien van de doelen van de interventie zijn.

0

3

Negatieve resultaten: De studie rapporteert negatieve effecten#

0

4

Positieve en negatieve resultaten: De studie rapporteert positieve en negatieve effecten# ten aanzien van de verschillende doelen van de interventie.

0

8

Effectiviteit onduidelijk of onbekend.

#

Positief effect = een doel van de interventie wordt (deels) gerealiseerd en deze winst is statistisch significant. Geen effect = een doel van de interventie wordt niet of deels gerealiseerd en deze winst is niet statistisch significant. Negatief effect: de interventie werkt statistisch significant - averechts of heeft ernstige, duidelijk aantoonbare ‘bijwerkingen’.

Bijlage 7 het belang van het onderscheid totaaleffect/vooruitgangseffect Het onderscheid tussen het totaaleffect (meetresultaat t2) en het vooruitgangseffect (meetresultaat t2 minus t1 (de beginsituatie)) is van groot belang. Bijvoorbeeld Angulo (2008) pleit ervoor om Emotionele stabiliteit te schrappen uit de uitwisselingscocktail Openheid-Vriendelijkheid-Emotionele stabiliteit, omdat ze een test gebruikt die alleen het totaaleffect meet (zoals in tabel diagram 0.4, waardoor ze geen resultaat ziet. Emotionele stabiliteit is dan nagenoeg irrelevant). Maar ook Zimmermann en Neyer (2013) lijken zich te vergissen: met een correlatietest vinden ze een groot uitwisselingseffect op Vriendelijkheid (net als Angulo), dat ze echter niet terug kunnen vinden als ze het proberen te meten met een t2-t1 effect size formule, die uitkomsten oplevert zoals in tabel diagram 0.3, en daarin is Vriendelijkheid nagenoeg irrelevant. Op grond daarvan bekennen zij zich tot een alternatief verklaringspad: het aantal nieuwe internationale supportrelaties tellen. [In het paper-5 onderzoek wordt hiervan gebruik gemaakt, maar niet als verklaringsmodel, maar als alternatieve testvorm]. De exploratieve procedure bij de berekening van de ES 2014 enqu en 2013 enqu,

72

waarbij uit de test voortvloeit in hoeverre de t1-factor een rol speelt bij de beoordeling van de verandering per kenmerk, had veel misverstanden kunnen voorkomen]

Bijlage 8 een uitdraai van de OutofService big five persoonlijkheidstest

Ik zie mezelf (of de andere persoon) als iemand die... 1. ...Spraakzaam is Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

2. ...Geneigd is kritiek te hebben op anderen Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

3. ...Grondig te werk gaat

4. ...Somber is

5. ...Origineel is, met nieuwe ideeën komt Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

6. ...Terughoudend is

7. ...Behulpzaam en onzelfzuchtig ten opzichte van anderen is Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens 73

8. ...Een beetje nonchalant kan zijn Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

9. ...Ontspannen is, goed met stress kan omgaan Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

10. ...Benieuwd is naar veel verschillende dingen Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

11. ...Vol energie is

12. ...Snel ruzie maakt

13. ...Een werker is waar men van op aan kan Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

14. ...Gespannen kan zijn

15. ...Scherpzinnig, een denker is

16. ...Veel enthousiasme opwekt

17. ...Vergevingsgezind is

74

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

18. ...Doorgaans geneigd is tot slordigheid Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

19. ...Zich veel zorgen maakt

20. ...Een levendige fantasie heeft

21. ...Doorgaans stil is

22. ...Mensen over het algemeen vertrouwt Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

23. ...Geneigd is lui te zijn

24. ...Emotioneel stabiel is, niet gemakkelijk overstuur raakt Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

2

3

4

5

Eens

25. ...Vindingrijk is

26. ...Voor zichzelf opkomt Mijzelf: Oneens 1

75

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

27. ...Koud en afstandelijk kan zijn

28. ...Volhoudt tot de taak af is

29. ...Humeurig kan zijn

30. ...Waarde hecht aan kunstzinnige ervaringen Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

31. ...Soms verlegen, geremd is

32. ...Attent en aardig is voor bijna iedereen Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

33. ...Dingen efficiënt doet

34. ...Kalm blijft in gespannen situaties

35. ...Een voorkeur heeft voor werk dat routine is Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens 76

36. ...Hartelijk, een gezelschapsmens is Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

37. ...Soms grof tegen anderen is

38. ...Plannen maakt en deze doorzet

39. ...Gemakkelijk zenuwachtig wordt

40. ...Graag nadenkt, met ideeën speelt

41. ...Weinig interesse voor kunst heeft

42. ...Graag samenwerkt met anderen

43. ...Gemakkelijk afgeleid is

44. ...Het fijne weet van kunst, muziek, of literatuur Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

45. ...Een hoge zelfwaardering heeft

77

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

46. ...Zeer religieus is

47. ...Politiek vooruitstrevend is

48. ...Vaak op gespannen voet leeft met anderen

Bijlage 9 2014

Mijzelf: Oneens 1

2

3

4

5

Eens

Ander: Oneens 1

2

3

4

5

Eens

leerlingevaluatie van de uitvoering van de interventies

1. samenvatting De leerlingen evalueren de uitvoering van de interventie in de dagelijkse interviews. De resultaten daarvan zijn in tabel 1 in procenten weergegeven: hoe vaker een interventie(cluster) genoemd is, hoe zwaarder de weging; cf Baarda et al. (2012, 209-210). tabel 1 frequentie-impact interventieclusters op basis van informatie leerlingen steden 48%,

gastgezin 37%,

focus 15%,

(fotozoektocht 0% want mislukt)

(zie bijlage 5 voor berekening) Het interventieschema van de ontwerpregels (figuur 2, bijlage 2) uit paper 1 is de basis voor de interventies. Daaruit is een hypothese afgeleid voor de te verwachten impactverschillen. Het relatieve belang van een interventieblok (per kleur) volgt dan uit het aantal oplossingen en problemen waarmee een koppeling (ontwerpregel) bestaat, en daarnaast uit de duur of frequentie van een interventie. De inschatting is dat een koppeling 1 punt oplevert, de duur/frequentie 0, 1 of 2 punten (minder dan 1 dagdeel/dagdeel/meer dagdelen). Zo ontstaat de volgende tabel:

78

tabel 2 impactverhouding interventies op basis van interventieschema figuur 2 (bijl. 2). interventieblokken: aantal 'oplossingen': aantal problemen: duur/frequentie: impactverhouding:

steden 3 3 2 8 44,4%

gastgezin 1 2 2 5 27,7%

fotozoektocht 1 1 1 3 16,7%

focus 1 1 0 2 totaal 18 11,1%

De interventie fotozoektocht is mislukt. Het rendement in persoonlijkheidswinst dat wordt gemeten, wordt daarom verdeeld over 100-16,6%=83,4%; er vindt een herberekening plaats waarbij 83,4 % op 100% gesteld wordt. Herberekende impactverhouding: 53% 33% 0% 13% Deze theoretische schatting in tabel 2 spoort goed met de gemeten impactverhouding in tabel 1 (en in bijlage 5). De gemeten impactverhouding is daarmee de basis voor de rendementstoerekening aan de afzonderlijke interventies. In de uitwerkinmg hieronder is niet verwezen naar de focusinterventie, omdat deze interventie daarvoor te abstract is.

2. berekening relatieve effectverdeling interventies Na de uitwisseling 2014 hebben de leerlingen (A en B) en, indirect, de ouders van de leerlingen (C) een oordeel gegeven over interventies in hun antwoorden op de volgende vragen: A. dagelijkse interviews: 1. wat was het meest speciaal gisteren? 2. wat heb je over jezelf ontdekt? B. slotinterviews: 1. in hoeverre heeft deze week aan je verwachtingen voldaan? 2. hoe heb je je verblijf in het gastgezin ervaren? 3. welk programmaonderdeel zou je een onvoldoende/voldoende/goed/geven? 4. met hoeveel mensen heb je, behalve met je uitwisselmaatje, een echt gesprek gehad? C. open vragen ouders enquete-2014: 1. waar was uw zoon of dochter het meest van onder de indruk? 2. wat vond uw zoon of dochter het leukst? berekening: aandeel interventies op grond van interviews en open vragen puntentelling: opmerking positief gerelateerd aan interventie: punt voor specifieke interventie opmerking pos gerelateerd aan doel interventies: punt voor interventies globaal opmerking pos gerelateerd aan succes uitwisseling punt voor de hele uitwisseling zoals 2013 opmerking irrelevant (zakkenrollers) geen punt opm negatief over onderdeel (spierpijn fotowandeling) minpunt totaalscores: score per interventie delen door totaalscore interventies =percentage per interventie

A. dagelijkse interviews uitwisseling 2014 per persoon vier dagen lang één vraag,

ruwe score

p

toelichting 79

soms meer dan één antwoord 9 leerlingen Vraag A1: Het meest speciaal? Uitzicht uitzicht over zee de sneeuwbergen in de verte aanvlieguitzicht vanuit vliegtuig samenwerkingsoefening 'fotowandeling' gastgezin Excursies Monaco Sanremo Ventimiglia-alta Nice restgroep: band onderling citroenen plukken zich voorstellen in italiaans de 1e keer vliegen Vraag A2: Over jezelf ontdekt? contact maken lukt nu met Italianen minder onzeker, zelfstandiger draai gevonden in nieuwe cultuur en groep ben ergens goed in,vaardigheid genoemd: ik kan alleen reizen ik heb een goed richtingsgevoel ik ben goed in fotozoekspel ik kan beter samenwerken dan ik dacht nu meer geduld ik spreek alweer redelijk goed italiaans restgroep: wat heb ik het in NL goed ik wil ook meer genieten van het leven ik ben fanatiek, wil niet verliezen voortaan dingen beter voorbereiden ik wil een bedrijf in delicatessen niet lang wandelen, erge spierpijn akelig gevoel in russisch kerk geen talenknobbel

totaal: xxxxxxxxxxx xx x xxxxxxxxxxx xxxxxxxxxxx totaal xxxxxx (6) xxxxxxxx (8) xxxxx (5) x

14

hele uitwisseling

11 11 19

interv. mislukt, hele uitw gastgezin steden

1

festival, dure winkels straatjes, kathedraal hele uitwisseling

x x x x

1 1 1 1

hele uitwisseling interv.mislukt, hele uitw gastgezin hele uitwisseling

per persoon vier dagen lang één vraag, soms meer dan één antwoord xxxxxxx xxxxxxx xxxxxxx totaal:

7 7 7 4

Interventies globaal Interventies globaal Interventies globaal Hele uitw

x x 3 1

interv mislukt hele uitwisseling interv mislukt hele uitwisseling

x x totaal: xx x x x x xx x

6 plusgevoel

-2 -1

hele uitwisseling

interv mislukt, hele uitw steden

B. slotinterviews 2014 B1 aan verwachtingen voldaan? +++ "grootse aanpak" "opdrachten precies goed"

1 1

Interventies globaal Interventies globaal 80

B2 verblijf in gastgezin: +++ B3 programmaonderdelen: lessen (Walter)//school llb-opdracht alle opdrachten Nice Kasteel fotowandeling de afstemming van alles B4 hoe vaak echt gesprek? cijfer begeleiding

gem 15x gem 8,8

C. open vragen 2014 'onder de indruk'

'het leukst'

fotozoektocht afwisseling één grote belevenis, echt alles! lunchgesprek met docent Van Wonderen Nice het eten school de eigen groep italiaanse mentaliteit/cultuur excursies Monaco/dure auto's/casino gastgezin TOTALEN: hele uitwisseling (=zoals in 2013) interventies: Interventies globaal interventie steden interventie gastgezin

lijst geslaagde interventies * gastgezin * *

steden focus

-7 Hele uitwisseling -1 Steden, sanremo 8 Interventies globaal 1 (zie ook boven) hele uitwisseling 2 Interv mislukt hele uitwisseling 3 Interv. mislukt hele uitwisseling 1 Interventies globaal scoorbaar? neen

7 interv. mislukt, hele uitwisseling 3 Interventies globaal 2 hele uitwisseling 1 hele uitwisseling 1 hele uitwisseling 1 hele uitwisseling -1 hele uitwisseling 5 interventies globaal 4 interventies globaal 2 steden 7 steden: monaco 6 gastgezin 45 punten (waarvan 17 voor fotowandeling) 37 punten, verdelen onder de 3 interventies. 26 punten 18 punten 81 punten persoonlijkheidswinst

globaal eindscore: 12 = 30 >>>>37%

18 26

+

12 = 39 12 = 12 81

>>>>48% >>>>15%

eindscore is percentage van de in paper 5 berekende persoonlijkheidsverandering als gevolg van de interventies

einde bijlagen paper 5 81

82