Formuleren en evalueren van internationale competenties. Adri Meijdam Raechel Torner. Presentatie voor NUFFIC bijeenkomst Internationalisation at Home

BACHELOR INTERNATIONAL BUSINESS ADMINISTRATION IBA

Formuleren en evalueren van internationale competenties Adri Meijdam Raechel Torner Presentatie voor NUFFIC bijeenkomst ‘Internationalisation at Home’ Utrecht, 5 februari 2015

NVAO EN LEARNING OUTCOMES NVAO: “ Learning outcomes are the crux of NVAO’s accreditation system. NVAO assesses learning outcomes at programme level both during ex ante (initial accreditation) and ex post (re-accreditation) assessment procedures.

NVAO includes both intended and achieved learning outcomes in its programme assessments. “

ILO’s Intended Learning Outcomes  IILO’s Intended International Learning Outcomes  IIILO’s Intended International and Intercultural Learning Outcomes ALO’s Achieved Learning Outcomes  AILO’s Achieved International Learning Outcomes  AIILO’s Achieved International and Intercultural Learning Outcomes

INTERNATIONAAL EN INTERCULTUREEL BIJ IBA Internationaal:  heeft betrekking op de inhoud (content)  kan overgedragen worden zonder dat er sprake hoeft te zijn van internationale groepsdynamiek  kan thuis (IaH) of in het buitenland

Intercultureel:  heeft betrekking op het proces  de international diversiteit van de studentengroep is een voorwaarde voor het behalen van de leerdoelen  de internationale diversiteit van de studentengroep is zelf onderwerp van studie  kan thuis (IaH) of in het buitenland => het onderwijs(proces) kapitaliseert op de diversiteit van de studentengroep

DE VAKKENMATRIX INTERNATIONAAL - INTERCULTUREEL

(reguliere) leer- en onderwijsprocessen

interculturele leer- en onderwijsprocessen

(reguliere) content

internationale content

i = 0.0

i = 0.1

Bijv. Mathematics

Bijv. Macroeconomics

i = 1.0

i = 1.1

Bijv. International Exchange, Effective Business Communication, Strategic Business Plan Internationale Case Competition

Bijv. Cross-Cultural Management, Mentor Programme, Organisational Behaviour

INTERNATIONAL/INTERCULTURAL LEARNING OUTCOMES CONTENT Environmental knowledge (I 1) Interaction between companies and determinants of business development (I 2) Cross-cultural management (I 3)

SKILLS Teamwork in culturally diverse groups (II 1) Function in international environment, often abroad (II 2) Communicate effectively with (non-) professionals of different culture (II 3) Effectively communicate in English (II 4)

ATTITUDE Interpret and accept personal place in society (III 1) Understand and interpret cultural limitations (III 2) Appreciate cultural differences (III 3)

Internalize international and intercultural orientation (III 4)

INTENDED INTERNATIONAL LEARNING OUTCOMES VERSUS COURSE OBJECTIVES (MEER WETEN? ZIE NVAO-GPIP) Intended International Learning Outcomes

Course name

Course objectives

Organisational Behaviour

Identify dimensions of national culture Recognize potential problems in cross-cultural communication

Content 1 2

3

Skills 1 2

3

x

x

x

Gain an appreciation of cultural diversity in human behavior

x

x

Understand the cultural influence of leadership

x

x

x

4

Attitude 1 2 3

x

x

x

x

x

x

x

x

x

4

x

VAN ILO’S NAAR ALO’S: EEN MODEL

ILO’s

ALO’s

opmerkingen

Content (inhoud)  begrip power distance van Hofstede leren

meten via toetsing (tentamens, werkstukken, scripties enz.)

gemakkelijk gangbaar veel kennis beschikbaar

(‘international’)

=> leidt tot kennis

VAN ILO’S NAAR ALO’S: EEN MODEL

ILO’s

ALO’s

opmerkingen

Content (inhoud)  begrip power distance van Hofstede leren

meten via toetsing (tentamens, werkstukken, scripties enz.)

gemakkelijk gangbaar veel kennis beschikbaar

(‘international’)

=> leidt tot kennis

Skills (vaardigheden) => voeren van een gesprek met een Duitse CEO

zelfreflectie groepsoefeningen meten via beoordeling

(‘international/intercultural’)

 leidt tot vaardigheid (‘kunde’, ‘behendigheid’)

vergt bezinning op hoe en wat te ‘meten’ vrij gangbaar redelijk wat materiaal/evidence beschikbaar HBO mogelijk op dit gebied beter/verder dan WO

VAN ILO’S NAAR ALO’S: EEN MODEL

ILO’s

ALO’s

opmerkingen

Content (inhoud)  begrip power distance van Hofstede leren

meten via toetsing (tentamens, werkstukken, scripties enz.)

gemakkelijk gangbaar veel kennis beschikbaar

(‘international’)

=> leidt tot kennis

Skills (vaardigheden) => voeren van een gesprek met een Duitse CEO

zelfreflectie groepsoefeningen meten via beoordeling

(‘international/intercultural’)

 leidt tot vaardigheid (‘kunde’, ‘behendigheid’)

Attitude (houding/gedrag/opvattingen)  De Duitse bedrijfscultuur op waarde kunnen schatten

assessment van waarneembaar gedrag: - handelingen - uitspraken maar ook: - sociale netwerken, zakelijk/ studie/prive/beroep  leidt tot competenties

(‘intercultural’)

vergt bezinning op hoe en wat te ‘meten’ vrij gangbaar redelijk wat materiaal/evidence beschikbaar HBO mogelijk op dit gebied beter/verder dan WO gebeurt nog weinig deels niet te assessen tijdens de studie hoe gedrag vertoond na afstuderen te bestuderen? Het hoogst bereikbare is aantoonbare cross-cultural competence, aangeleerd tijdens de studie en goed gebruikt na de studie

NAAR HET METEN VAN INTERCULTURELE COMPETENTIES

simpel

methode

voordelen

nadelen

vragen aan studenten: • survey • interview • zelfevaluatie

• gemakkelijk • snel • goedkoop • progressie goed meetbaar => een goede eerste stap

onbetrouwbaar: • overschatting (waardoor progressie klein) • sociaal wenselijke antwoorden

NAAR HET METEN VAN INTERCULTURELE COMPETENTIES

methode

voordelen

nadelen

simpel

vragen aan studenten: • survey • interview • zelfevaluatie

• gemakkelijk • snel • goedkoop • progressie goed meetbaar => een goede eerste stap

onbetrouwbaar: • overschatting (waardoor progressie klein) • sociaal wenselijke antwoorden

geavanceerder (tool)

gevalideerde vragenlijst (vraagt ‘indirect’)

• •

• • • •

Bijv. GMI, IRC, IDI, INSEAD,

overvloedig aanbod biedt mogelijkheden voor link met/verdere research • zeer presentabel => een goede tweede stap

•

zie: Deardorff (SAGE)

niet geheel in eigen hand lang niet altijd tailor-made duur tot zeer duur bij al te indirect: meten we echt wat we willen meten? bij te direct: sociaal wenselijke antwoorden te zichtbaar => onbetrouwbaar

NAAR HET METEN VAN INTERCULTURELE COMPETENTIES

methode

voordelen

nadelen

simpel

vragen aan studenten: • survey • interview • zelfevaluatie

• gemakkelijk • snel • goedkoop • progressie goed meetbaar => een goede eerste stap

onbetrouwbaar: • overschatting (waardoor progressie klein) • sociaal wenselijke antwoorden

geavanceerder (tool)

gevalideerde vragenlijst (vraagt ‘indirect’)

• •

• • • •

Bijv. GMI, IRC, IDI, INSEAD,

overvloedig aanbod biedt mogelijkheden voor link met/verdere research • zeer presentabel => een goede tweede stap

•

zie: Deardorff (SAGE)

top-notch

tijdens studie: observaties, simulaties na de studie: observeren van waarneembaar gedrag (van mobiliteit tot vergaderingen)

• •

‘the proof is in the eating……’ bestrijkt gehele spectrum

• • • •

niet geheel in eigen hand lang niet altijd tailor-made duur tot zeer duur bij al te indirect: meten we echt wat we willen meten? bij te direct: sociaal wenselijke antwoorden te zichtbaar => onbetrouwbaar wordt nog niet of nauwelijks gedaan observeren en evalueren kan alleen met goed (gevalideerd) instrumentarium niet gemakkelijk bewerkelijk

NAAR HET METEN VAN INTERCULTURELE COMPETENTIES: WAT WE (GAAN) DOEN BIJ IBA

survey

(voor) aanvang tijdens studie studie

einde studie

na de studie

Studiekeuzecheck

Exit survey = eindmeting

Graduate Placement Survey

B.1 Monitor = nulmeting

tool

observatie

Organisational Behaviour (B.1)

Cross-Cultural Management (B.2)

mogelijk in CCM

Human Resource Management (B.3)

track and trace - Master abroad - aard van de job - Locatie

WAT WE ZOAL VRAGEN AAN HET BEGIN……

Studiekeuzecheck (pre-selectie) : we vragen naar – voorgenomen – gedrag Bevat drie vragen over de interculturele dimensie van IBA: I. ‘ als je straks een studiegroepje moet kiezen, kies je dan een groep met vooral landgenoten of zoek je juist de studenten uit andere landen op?’ (NL 9.4; INT 9.6) II. ‘ als je straks een vriendenschaar gaat maken, beperk je je dan tot je landgenoten of ga je ook op zoek naar studenten uit andere landen?’ (NL 9.2; INT 9.6) III. ‘kies je straks in het derde jaar voor een internationale stage of een uitwisseling (of blijf je in Nederland om een Minor te doen)?’ (NL 9.8; INT 9.4) B.1 Monitor (kort na de start): is vooral een nulmeting geef oordeel op 10-puntsschaal over eigen interculturele competenties (11 items) nulmeting september 2014 eindmeting voor dit cohort najaar 2017 en deel 2018

Organisational Behaviour (eerste trimester): is vooral kennis/bewustwording survey over horizontale en verticale dimensies van individualisme en collectivisme survey over ‘tight and loose cultures’ met feedback aan studenten over de eigen resultaten, de resultaten van de totale groep en de resultaten voor vier grote subpopulaties: Nederlands, Duits, Frans en Chinees

WAT WE ZOALS VRAGEN TIJDENS EN AAN EINDE STUDIE……

Cross-Cultural Management (voor het eerst uitgezet voorjaar 2015) vak is spil in geheel: bezinning op stand van zaken tool (INSEAD): Social Capital Questionnaire twee delen: o data studenten: nationaliteit, herkomst, land van opleiding, type diploma, sociale achtergrond alsmede data studentengedrag: met name gedrag in groepen o netwerkanalyse gebruikt in de ‘Living Diversity Team Assignment’ HRM: nog niets Exit survey (voor het eerst in zomer 2014): hoe beoordeel je je eigen cross-culturele competenties (5 items) o bij aanvang studie o nu, aan einde studie Graduate Placement Survey (Master) het belang van cross-cultural competence (80% agree) na, naast of tijdens de studie verworven? (60% tijdens – hoera -, 33% naast, 5% na)

WAT WE PRECIES VRAGEN AAN HET BEGIN…… B.1 Monitor Question

Score on scale 1 - 10

I am interested in the international dimension of the field of business administration/management

9.3

I intend to go abroad (via exchange/internship) during my studies in IBA

9.4

If I have to work in a group and I am able to choose my own group members, I actively look for cultural/international diversity in the group

7.9

In informal/social groups I actively approach students from a culture which is different than my own

7.9

I can work effectively in a team with individuals from different cultural backgrounds

8.9

I am able to work effectively in a foreign environment

8.9

I have several close friends from different cultures

8.2

I can express myself in writing effectively in the English language

8.6

I can speak effectively in the English language

8.8

I would like to live abroad after graduation

8.5

I like to learn about other cultures and their customs

9.2

WAT WE PRECIES VRAGEN AAN HET EIND…… Exit survey • •

how you would evaluate the possession of these skills shortly before you started IBA: ‘before’ how you would evaluate the possession of these skills now you are about to finish IBA: ‘now’ – – – – –

your ability to speak effectively in the English language (skill) your ability to write effectively in the EnglishLanguage (skill) your appreciation of cultural differences (attitude) your ability to act ethically and responsibly in a business context (attitude) your ability to work effectively in a team with individuals from different cultural backgrounds (skill)

(.. => ..) (.. => ..) (.. => ..)

(.. => ..) (.. => ..)

Outcomes:   

hoge scores op ‘before’ (maar niet zo hoog als B.1 studenten op B.1 Monitor) zeer hoge scores op ‘now’…… analyse subpopulaties nodig: leercurve IB-kids anders dan 6 VWO uit Pijnacker

INTERNATIONALISATION AT HOME: VOORDELEN EN VEREISTEN

Voordelen van IaH:  



voor iedereen (exchange is niet voor iedereen) aanleren internationale content: - onderwerpen - studieboeken aanleren van internationale vaardigheden en competenties: - samenwerken met internationals

Voorwaarden voor goede IaH:    

onderwijs in het Engels voldoende buitenlandse studenten, liefst zo divers mogelijk  daar kan incoming exchange helpen groepswerk deugdelijke, expliciete ILO’s

WAT WE VERDER DOEN OM ILO’S BINNEN IaH TE REALISEREN……

….het gebeurt vooral binnen de groepen……  groepswerk ideaal voertuig voor realiseren IIILO’s  zorg voor voldoende vakken met groepswerk – dat helpt

 wij stellen de groepen samen aan begin studie en in vak Cross-Cultural Management o om klitten te voorkomen o om maximale exposure te faciliteren

NAAR EEN PORTFOLIO/SKILLS PASPOORT…. Een portfolio / skills paspoort wordt onderdeel van curriculum  toont welke vaardigheden de student op welk moment verworven heeft  biedt houvast voor verdere ontwikkeling vaardigheden Bevat bijvoorbeeld: 

vooraf/begin van de studie:  uitkomsten Studiekeuzecheck  motivation letter  pre-test component (vragen uit B.1 monitor)



tijdens de studie:  goal setting / expectation paper (mentor programma)  opdrachten binnen Skills vakken  CCM Living Diversity assignment & surveys  motivering keuzes in programma (electives, exchange report, internship report, etc.)  groepswerk (met wie heeft de student gewerkt & wanneer)