EFFECTMETING TAALBELEID Matthijs Eijgelshoven Projectmanager taalbeleid Dienst Studentenzaken
1
STELLING 1
Als iets geen effect heeft, moet je ermee stoppen.
2
STELLING 2
Als een taalinterventie (coaching, bijles, digitale ondersteuning, taalontwikkelend lesgeven) geen meetbaar effect heeft, moet je ermee stoppen. 3
WIE BEN IK? Projectmanager taalbeleid Hogeschool van Amsterdam Lid Nederlands/Vlaams Platform Taalbeleid Hoger Onderwijs 10 jaar hbo-docent (Engels, communicatie, taalbeheersing, NT2) Visie: ontwikkelings- en beroepsgericht taalbeleid 4
EFFECTMETING Effectmeting veronderstelt: • twee identieke groepen • een maakt deel uit van de taalinterventie • de ander maakt geen deel uit van de taalinterventie
Dit is in de onderwijspraktijk zelden mogelijk.
5
WAT GA IK VERTELLEN? • Drie ervaringen met onderzoek naar effecten taalactiviteiten • Wat wil je meten? • Op welke niveau wil je meten? • Bij wie wil je meten? • Wanneer wil je meten? • Tips • Vragen welkom, ook tussendoor 6
DRIE ERVARINGEN 1 Taalspreekuur Rapport problemen en oplossingen Enquête achteraf Vragen gericht op onze doelen: Weet je welke fouten je maakt? Weet je hoe je die kunt voorkomen/ corrigeren? 7
DRIE ERVARINGEN 2 Taalontwikkelende projectlessen Docenten geënquêteerd
Wandelgangenevaluaties Studenten via reguliere kwartaalonderzoeken Opdrachten en beoordelingen twee jaren vergeleken (nooit uitgevoerd) 8
DRIE ERVARINGEN 3 Beleidsnota, trainingen en instrumenten voor heel domein/hogeschool
Studenten en docenten herhaaldelijk enquêteren Managers interviewen Resultaten verschillende jaren vergelijken 9
WERKGROEP EFFECTMETING NVPTHO Tine Van Houtven Hilde Rombouts Veerle Schuyten Radha Gangaram Panday Matthijs Eijgelshoven
Met dank aan: Luk Indesteege Stafmedewerker Dienst Kwaliteit Katholieke Hogeschool Limburg
10
WAT WIL JE METEN? Doelen bereikt? Formuleer doelen SMART: • • • • •
Specifiek (concreet) Meetbaar (met een duidelijke meetschaal) Aanvaard (door studenten, docenten, managers) Relevant (van toepassing op opleiding en beroep) Tijdsgebonden (snel aansluitend bij het leerpoces)
11
WAT WIL JE METEN? 1. Een goede taalbeheersing is noodzakelijk om (later) mijn beroep goed te kunnen beoefenen. Helemaal niet mee eens
□
□
□
□
□
Helemaal mee eens
3. Mijn docenten benadrukken het belang van een goede taalvaardigheid. Nee, nooit
□
□
□
□
□
Ja, altijd
4. Ik krijg feedback op mijn taalgebruik bij de teksten die ik bij docenten inlever. Nee, nooit
□
□
□
□
□
Ja, altijd 12
OP WELK NIVEAU WIL JE METEN? Niveau
Wat meet je?
Waarmee meet je?
1 Reactie
Reactie/tevredenheid deelnemers
Vragenlijst (happy sheet)
2 Leerresultaat
Kennis/vaardigheden deelnemers
Praktijkproef, toets
3 Gedrag
Toepassing van het geleerde
Observatie, producten verzamelen
4 Werkomgeving
Consequenties voor beroep
360°-beoordeling, reviewgroep, interview
13
OP WELK NIVEAU WIL JE METEN?
5: rendement/imago 4: taalgebruik 3: taalcompetentie in vak 2: slaag% op testen 1: gewaardeerde acties
5: organisatieresultaten 4 : effect op de werkplek 3: groei competenties 2: testresultaten 1: happy sheets
14
BIJ WIE WIL JE METEN? • Doelgroep van de interventie: docenten, studenten • Gebruikers: docenten, studenten, stagebegeleiders, werkveld • Leidinggevenden: management, coördinatoren • Begeleiders van de interventie: trainers, coaches, projectteam 15
WANNEER WIL JE METEN? • Aan het einde van een interventie • Gedurende een interventie • +/- 3 maanden na de interventie • Voor de interventie begint 16
TIPS SUCCESVOLLE EVALUATIE • Weet wat je meet: omschrijf je doelen SMART. • Evalueer op verschillende momenten: voorafgaand, tijdens en achteraf. • Evalueer op verschillende niveaus: 1. reactie, 2. leerresultaat, 3. gedrag, 4. werkomgeving.
17
TIPS SUCCESVOLLE EVALUATIE • Evalueer bij verschillende personen: doelgroep, leidinggevenden, omgeving, trainer/uitvoerder. • Maak een stappenplan voorafgaand aan de eerste evaluatie/meting.
18
TIPS SUCCESVOLLE INTERVENTIE • Betrek de omgeving bij de interventie (docenten van de vakken waar studenten resultaten moeten laten zien, begeleiders op stageplaatsen, enz.) • Zorg dat doelgroep en omgeving weten wat het doel van je interventie is, en dat je dat meet. Dit motiveert en laat mensen bewust handelen.
19
[email protected]
20
