Handleiding onderwijsevaluaties Studentenbevraging – Opleidingsonderdeel
Inhoud
1.
Timing .........................................................................................................................................1 1.1.
Cyclus ..................................................................................................................................1
1.2.
Moment van afname ...........................................................................................................1
2.
Proces .........................................................................................................................................1
3.
Opleidingsspecifieke vragen ........................................................................................................1
4.
Rapporten ...................................................................................................................................2 4.1.
Raadpleging rapporten ........................................................................................................2
4.2.
Interpretatie rapporten .......................................................................................................3
4.2.1.
Signaalfunctie ..............................................................................................................3
4.2.2.
Statistieken ..................................................................................................................4
4.3.
Inzage rapporten .................................................................................................................6
4.3.1.
Contextualisering .........................................................................................................6
4.3.2.
Vrijgeven rapporten .....................................................................................................6
4.3.3.
Werkwijze ingeven commentaar en vrijgeven rapport .................................................6
5.
Afhandelen knelpunten ...............................................................................................................7
6.
Bijlagen .......................................................................................................................................8 6.1.
Bijlage 1: Opzetten onderwijsevaluaties OPO.......................................................................8
6.2.
Bijlage 2: Tips & Tricks voor het opstellen van vragen ..........................................................9
6.3.
Bijlage 3: Flow ‘Verspreiden van rapporten - OPO’ ............................................................. 11
6.4.
Bijlage 4: Toelichting bij Flow ‘Verspreiden van rapporten – OPO’ ..................................... 12
1. Timing 1.1.Cyclus
Elk opleidingsonderdeel dient minstens tweejaarlijks (d.i. om de twee jaar) bevraagd te worden. Dit kan in een cyclus worden vastgelegd voor een langere periode. Bijvoorbeeld: de ene helft van de opleidingsonderdelen in de even jaren, de andere helft in de oneven jaren. In deze planning kan rekening gehouden worden met oa. knelpunten uit onderwijsevaluaties, evaluatievergaderingen, curriculumwijzigingen, visitaties… Indien nodig kan de frequentie verhoogd worden naar een jaarlijkse bevraging. De verdeling van de te bevragen opleidingsonderdelen wordt best zo evenwichtig mogelijk gehouden, om studenten niet te overbevragen.
1.2.Moment van afname
Een opleidingsonderdeel dat over meerdere periodes gespreid is, zal aan het einde van de laatste periode (na de laatste examenperiode van het betreffende opleidingsonderdeel) bevraagd worden. Bijvoorbeeld: een opleidingsonderdeel staat ingepland in het 1e en 2e trimester, de bevraging gebeurt na de examenperiode van het 2e trimester. Evaluaties van opleidingsonderdelen worden opgezet na de examens en voor het bekendmaken van de resultaten.
2. Proces
De studieloopbaanbegeleiders en het OMT stellen bij aanvang van het academiejaar of halfjaarlijks een planning van de onderwijsevaluaties op. De planning voor het betreffende academiejaar of onderwijsperiode wordt door de studieloopbaanbegeleiders aan de coördinerend verantwoordelijken bezorgd. De coördinerend verantwoordelijke bekijkt in samenwerking met de OMT-voorzitter of het nodig is voor een bepaald opleidingsonderdeel om opleidingsspecifieke vragen (zie punt 3) toe te voegen.
Zie bijlage 1
3. Opleidingsspecifieke vragen
Er wordt ruimte gelaten voor toevoeging van maximum 5 opleidingsspecifieke vragen, o.a. naar aanleiding van: grondige curriculumwijzigingen grondige wijzigingen in een opleidingsonderdeel knelpunten gesignaleerd door kwaliteitszorginstrumenten (vb. bemerkingen vanuit evaluatievergaderingen, visitatiecommissie,…) … De coördinerend verantwoordelijke van een opleidingsonderdeel stelt de opleidingsspecifieke vragen op. De OMT-voorzitter dient deze vragen goed te keuren. Deze opleidingsspecifieke vragen dienen zowel in het Nederlands als het Engels te worden opgesteld. Enkel de antwoordcategorieën van de standaardvragenlijst kunnen toegepast worden (6 categorieën van helemaal niet akkoord tot helemaal akkoord + de categorie ‘niet van toepassing’).
2014-15/Onderwijsevaluaties/OPO
Pagina | 1
Uiterlijk 3 weken vóór het online gaan van de vragenlijsten bezorgt de coördinerend verantwoordelijke de opleidingsspecifieke vragen aan de studieloopbaanbegeleider, na goedkeuring door de OMT voorzitter. Deze vragen blijven in de applicatie opgeslagen, waardoor vergelijkbaarheid mogelijk is in de tijd op voorwaarde dat dezelfde vragen herhaald worden. Het OMT waakt over de opvolging hiervan.
Een korte handleiding met nuttige tips en tricks vindt u in bijlage 2.
4. Rapporten 4.1.Raadpleging rapporten 4.1.1. Toegang
De rapporten van de evaluatie van opleidingsonderdelen door studenten zijn te raadplegen via: Login op Intranet Personeel – Applicatieportaal Klik vervolgens op Onderwijsevaluatie onder de rubriek Onderwijsadministratie U komt meteen uit op de applicatie onderwijsevaluatie. Daar kiest u in het keuzemenu rapporten OO voor Rapporten. Voor resultaten en rapporten van bevragingen van vóór 2013-14 kan u terecht onder “Historiek”
4.1.2. Applicatie
Startscherm rapporten OO Maak keuze van de gewenste faculteit, opleidingsonderdeel, evaluatietype, soort rapporten…
2014-15/Onderwijsevaluaties/OPO
personeelslid,
Pagina | 2
In dit scherm krijgt u het volgende te zien:
Alle opleidingsonderdelen die nog lopen, commentaar vereisen of zijn afgelopen De data bij begin en einde geven aan wanneer de bevraging open staat voor studenten De deadlines van de coördinerend verantwoordelijke en OMT geven aan tot wanneer deze nog commentaar en verbeteracties kunnen ingeven Een groen vinkje geeft aan dat de persoon in kwestie het rapport heeft vrijgegeven of de termijn is verstreken en dit automatisch is gebeurd. Een potloodje geeft aan dat u het rapport kan voorzien van commentaar en verbeteracties. De status geeft aan hoe ver het rapport staat in het proces: 1. Het opleidingsonderdeel wordt op dit ogenblik bevraagd 2. De bevraging is afgerond, het rapport wordt ter beschikking gesteld van de coördinerend verantwoordelijke wanneer de examenresultaten ingegeven zijn 3. De coördinerend verantwoordelijke kan het rapport voorzien van commentaar 4. De OMT-voorzitter kan het rapport voorzien van commentaar 5. Het studentenrapport is afgeleverd, de onderwijsevaluatie is afgehandeld
4.2.Interpretatie rapporten 4.2.1. Signaalfunctie De bevragingen zijn generiek van aard. De resultaten van de bevragingen zullen dan ook eerder een signaalfunctie hebben naar de verschillende actoren (beleid op niveau van de instelling/faculteit/opleiding en naar de betrokken lesgevers). In de context van de resultaten van deze bevragingen wordt bekeken of er verder kwalitatief of kwantitatief onderzoek nodig is. Dit kan door middel van evaluatiecommissies, focusgroepen of door het opzetten van studietijdmetingen, specifieke vragenlijsten, ...
2014-15/Onderwijsevaluaties/OPO
Pagina | 3
4.2.2. Statistieken 4.2.2.1. Signaalrapport
N: totaal aantal studenten die de vragenlijst kunnen invullen n1: aantal studenten die de vraag hebben ingevuld (exclusief nvt) n2: aantal studenten die positief geantwoord hebben (eerder akkoord- akkoord- helemaal akkoord) n3: aantal studenten die nvt als antwoord hebben gegeven
De staaf geeft de proportie (P) aan van het aantal studenten die positief geantwoord hebben (eerder akkoord-akkoord-helemaal akkoord)
Zwarte lijn geeft het betrouwbaarheidsinterval aan (BI): 95% kans dat het BI de werkelijke populatiegrootheid bevat
Responsgraad (R): aantal studenten die vraag hebben ingevuld (n1) op het aantal studenten die de vraag konden invullen (N)
Foutenmarge (e): de fout die we toelaten op de schatting van een proportie doordat we niet de volledige populatie (N) bevragen maar slechts een steekproef (n1) Berekening: = 1.96 ∗
0.24
∗
− − 1
Kritische grenzen (kleurindicaties): ROOD: indien P en BI volledig onder 40% grens liggen ORANJE: indien P onder 40% grens ligt en BI zowel onder en boven 40% grens ligt indien P en BI tussen 40% en 60% grens liggen indien P boven 60% grens ligt en BI zowel onder en boven 60% grens ligt GROEN: indien P en BI boven 60% grens liggen
2014-15/Onderwijsevaluaties/OPO
Pagina | 4
4.2.2.2. Detailrapport
Betekenis horizontale as: 0) Niet van toepassing 1) Helemaal niet akkoord 2) Niet akkoord 3) Eerder niet akkoord 4) Eerder akkoord 5) Akkoord 6) Helemaal akkoord
N: totaal aantal studenten die de vragenlijst kunnen invullen n1: aantal studenten die de vraag hebben ingevuld (exclusief nvt) n2: aantal studenten die positief geantwoord hebben (eerder akkoord- akkoord- helemaal akkoord) n3: aantal studenten die nvt als antwoord hebben gegeven
Foutenmarge (e): de fout die we toelaten op de schatting van een proportie doordat we niet de volledige populatie (N) bevragen maar slechts een steekproef (n1) Berekening: = 1.96 ∗
0.24
∗
− − 1
4.2.2.3. Open vragen rapport
De open vragen rapporten bevatten de commentaar van de studenten op open vragen. Deze commentaren zijn confidentieel en dus enkel zichtbaar voor de coördinerend verantwoordelijke van een opleidingsonderdeel en de OMT-voorzitter van de betreffende opleiding. Ieder opsommingsteken “-“ stelt de commentaar van 1 individuele student voor.
2014-15/Onderwijsevaluaties/OPO
Pagina | 5
4.3.Inzage rapporten 4.3.1. Contextualisering De coördinerend verantwoordelijken (desgevallend co-titularissen) krijgen als eerste inzage in de rapporten en kunnen van commentaar en verbeteracties voorzien. Deze context/commentaren kunnen zijn: een nuancering van een schijnbaar negatief resultaat, extra informatie die nodig is om de resultaten te interpreteren,… Verbeteracties geven aan op welke manier minder goede resultaten zullen bijgestuurd worden. Deze verbeteracties zullen zichtbaar zijn in het rapport dat voor studenten beschikbaar is. De commentaren en verbeteracties worden bij voorkeur omschreven op generiek niveau. Dit wil zeggen dat deze contextualisering o.b.v. het signaal- of detailrapport wordt geformuleerd, en niet zozeer als reactie of antwoord op individuele bemerkingen van studenten (open vragen rapport). Zie bijlage 2
4.3.2. Vrijgeven rapporten De coördinerend verantwoordelijke krijgt als eerste de mogelijkheid commentaar en verbeteracties toe te voegen aan het rapport. Na een termijn van 28 dagen wordt het rapport automatisch vrijgegeven aan andere betrokken actoren en kan de OMT (co-)voorzitter het rapport becommentariëren en verbeteracties indien nodig aanpassen. Hiervoor is een deadline vooropgesteld van 90 dagen volgend op het beëindigen van de bevraging. Zie bijlage 3 en 4
4.3.3. Werkwijze ingeven commentaar en vrijgeven rapport
Om commentaar en verbeteracties in te geven klikt u op het potloodje. Dit symbool verschijnt enkel wanneer u commentaar en verbeteracties kunt ingeven. Wat afhankelijk is van uw functie voor desbetreffend opleidingsonderdeel en de status van de bevraging.
2014-15/Onderwijsevaluaties/OPO
Pagina | 6
Verbeteracties van de coördinerend verantwoordelijke (desgevallend co-titularis) verschijnen automatisch in het formulier van de OMT-voorzitter. De OMT-voorzitter kan deze verbeteracties indien nodig aanpassen en aanvullen.
5. Afhandelen knelpunten De knelpunten worden op volgende wijze opgevolgd:
Het OMT bespreekt de resultaten van de bevragingen van de verschillende opleidingsonderdelen en houdt daarbij ook rekening met de resultaten van evaluatievergaderingen met studenten. Indien nodig worden knelpunten ook besproken op de faculteitsraad/OWR. Voor alle aandachtspunten worden verbeteracties opgezet ter opvolging. De OMT-voorzitter voegt het verslag van de bespreking in een OMT-vergadering (desgevallend faculteitsraad of OWR) en het eventuele verbeterplan toe aan het rapport. De coördinerend verantwoordelijke van het betreffende opleidingsonderdeel voegt de rapporten toe aan zijn persoonlijk dossier Studenten kunnen een beknopt deelrapport op geaggregeerd niveau met verbeteracties inkijken. De instellingsbrede vragen hebben een signaalfunctie waardoor bijkomend kwalitatief of kwantitatief onderzoek nodig kan zijn. De OMT-voorzitter, in samenwerking met de studieloopbaanbegeleiders, waakt erover dat dit gebeurt d.m.v. opvolging in evaluatievergaderingen, focusgroepen, studietijdmetingen, specifieke vragenlijsten,... Resultaten hiervan kunnen worden toegevoegd aan de onderwijsevaluaties.
2014-15/Onderwijsevaluaties/OPO
Pagina | 7
6. Bijlagen
Coörd. Verantw.
SLB
OMT- voorzitter
6.1.Bijlage 1: Opzetten onderwijsevaluaties OPO
2014-15/Onderwijsevaluaties/OPO
Pagina | 8
6.2.Bijlage 2: Tips & Tricks voor het opstellen van vragen 1. Hanteer begrijpelijk taalgebruik
afhankelijk van opleiding(-sonderdeel)/doelgroep (vb. vragenlijst op niveau van student) vermijd te moeilijke woorden en te lange zinnen vermijd afkortingen eventueel begrip definiëren gebruik eenvoudige, begrijpelijke en eenduidige woorden toets de vragen en specifieke termen af bij de studenten, vb. weten studenten wat “leeractiviteiten” of “syllabus” betekent? centrale begrippen worden gedefinieerd; voorbeelden kunnen de centrale begrippen verhelderen vb. “De vorm waarin het studiemateriaal … (vb. reader met selectie van wetenschappelijke artikels, syllabus, handboek, multimediaal studiemateriaal, handleiding,…)….”
2. Formuleer concrete vragen
eenduidigheid in interpretatie vb. aantal lesuren van 50 minuten expliciet besteed aan wiskunde tijdens de voorbije lesweek:… (reken eventueel om indien u geen lestijden van 50 minuten gebruikt)
3. Vermijd vage bewoordingen
zoals “af en toe”, “soms”, “vaak”… vermijd vage bewoordingen: vage omschrijvingen laten veel ruimte voor interpretatie en leveren daarom meestal onnauwkeurige resultaten op vb. “De studiebelasting voor dit vak is aanvaardbaar” kan concreter geformuleerd worden als “De tijd die ik aan dit vak heb besteed, staat in verhouding tot het aantal toegekende studiepunten.”
4. Vermijd dubbele negaties
vb. twee keer “niet” in één vraag gebruiken vb. “Het is niet onmogelijk dat…” gebruik positieve formuleringen: ‘helemaal akkoord’ moet overeenkomen met het beste antwoord
5. Stel neutrale vragen en vermijd vooronderstellingen
leg de respondent geen antwoorden in de mond. Bepaalde vraagstelling kan ook de suggestie wekken dat een bepaald antwoord goed of fout is. Let dus op dat je het antwoord van de respondent niet beïnvloedt. vragen veronderstellen geen voorkennis die de respondent mogelijk niet bezit geen bevraging van individuele docenten – geen vermelding van namen
6. Stel één vraag tegelijk
een vraag mag slechts peilen naar één aspect vb. De docent gaf een antwoord op mijn vragen en gaf goed les. beter: opsplitsen in twee items die apart gescoord worden: De docent gaf een antwoord op mijn vragen. De docent gaf goed les.
2014-15/Onderwijsevaluaties/OPO
Pagina | 9
7. Wees voorzichtig met voorbeelden en opsommingen
kunnen suggestief zijn kunnen te beperkend zijn als rekening gehouden wordt met de context van de bevraging, kunnen aanvullingen als “in (het kader van) dit vak” weggelaten worden omdat dit toch uit de context blijkt opsommingen ter verduidelijking kunnen eventueel in een aparte zin worden toegevoegd, vb. “Met werkvormen bedoelen we: hoorcolleges, practica, oefenzittingen, excursies, opdrachten, …” vermijd (lange) opsommingen, en voeg die enkel toe als het een meerwaarde betekent en als de zin daardoor niet nodeloos verzwaart.
8. Wees consequent in de bewoordingen
vak vs. opleidingsonderdeel “kennen en kunnen” vs. “kennis en vaardigheden” vanuit het standpunt van één student (de respondent) (bv. “met mij”) of van alle studenten bekeken (“met ons” of “met de studenten”) consequentie in aanspreekvormen én de respondent wordt persoonlijk aangesproken: “Wat vind jij …” in plaats van “Wat vinden de studenten …”
2014-15/Onderwijsevaluaties/OPO
Pagina | 10
6.3.Bijlage 3: Flow ‘Verspreiden van rapporten - OPO’
2014-15/Onderwijsevaluaties/OPO
Pagina | 11
6.4.Bijlage 4: Toelichting bij Flow ‘Verspreiden van rapporten – OPO’ 1. Invullen vragenlijst (studenten) De studenten kunnen de vragenlijst invullen vanaf het examenmoment tot het moment waarop de resultaten beschikbaar zijn. Uitzonderingen hierop zijn mogelijk. De precieze data worden tijdens het overleg tussen de studieloopbaanbegeleider en de OMT-voorzitter vastgelegd en door de studiebegeleider in het systeem ingegeven bij het opzetten van de onderwijsevaluaties (zie flow opzetten onderwijsevaluaties).
2. Rapport bekijken (met studentencommentaar) en toevoegen van commentaar en verbeteracties (coördinerend verantwoordelijke of co-titularis) Wanneer de bevraging is afgesloten en de examenresultaten beschikbaar zijn, krijgt de coördinerend verantwoordelijke automatisch een mail met de melding dat het rapport ingekeken kan worden en dat hij commentaar en verbeteracties kan toevoegen aan het rapport. Verbeteracties worden opgesteld voor vragen waarvan de proportie studenten die de vraag als positief beoordeelde onder de 40% ligt en waarvan het betrouwbaarheidsinterval onder de 40%-grens ligt.
3. Rapport vrijgeven (coördinerend verantwoordelijke of co-titularis) De coördinerend verantwoordelijke wordt geacht zijn commentaren en verbeteracties door te sturen (“submit”) binnen de 28 dagen na het afsluiten van de bevraging. Commentaar en verbeteracties kunnen in tussentijd voorlopig bewaard worden (“save”). Na het klikken op “submit” kan de input niet meer gewijzigd worden en wordt het rapport vrijgegeven voor de leden van het onderwijsteam en voor de OMT voorzitter. Commentaar van de coördinerend verantwoordelijke komt automatisch in het rapport terecht en verbeteracties worden automatisch overgenomen naar het commentaarscherm van de OMT-voorzitter, die deze indien nodig nog kan aanpassen.
4. Rapport bekijken (met studentencommentaar), commentaar toevoegen en verbeteracties bijsturen (OMT-voorzitter) Wanneer de OMT-voorzitter het rapport raadpleegt, staan de commentaren van de coördinerend verantwoordelijke reeds in het rapport. De verbeteracties van de coördinerend verantwoordelijke worden overgenomen en de OMT-voorzitter kan deze indien nodig bijsturen. Bovendien kan hij zelf commentaar aan het rapport toevoegen en voorlopig opslaan (“save”). Indien er gekozen wordt voor “submit”, worden de definitieve rapporten (inclusief commentaar en verbeteracties) automatisch vrijgegeven. Er mag op dit ogenblik nog niet voor “submit” gekozen worden, het rapport dient eerst voorgelegd te worden aan het OMT, zie punt 5 en punt 8
5. Goedkeuring rapport in OMT-vergadering (OMT-voorzitter en OMT-leden) Dit rapport (becommentarieerd door de coördinerend verantwoordelijke en de OMT voorzitter) wordt besproken tijdens de OMT-vergadering. Voor knelpunten wordt een oplossing gezorgd en deze worden aan het rapport toegevoegd. Indien er geen knelpunten meer bestaan, worden de definitieve commentaren en verbeteracties toegevoegd aan het rapport (er kan overgegaan worden naar punt 8). Knelpunten waar geen oplossing voor gevonden wordt, kunnen opgenomen worden op de faculteitsraad (zie punt 6). 6.
Bespreking rapport in faculteitsraad (Decaan) Indien er knelpunten zijn waar men in de OMT-vergadering geen oplossing voor vindt, wordt het rapport van het opleidingsonderdeel voorgelegd aan de decaan die dit voorlegt aan de faculteitsraad. Indien de faculteitsraad een oplossing voor het conflict vindt, wordt er overgegaan naar punt 8. Indien er geen oplossing gevonden wordt, wordt het rapport voorgelegd aan de vicerector onderwijs (zie punt 7).
7. Bespreking rapport in onderwijsraad (Instelling) Indien er op de faculteitsraad geen oplossing is gevonden, wordt het rapport voorgelegd aan de vicerector onderwijs die het voorlegt aan de onderwijsraad (OWR). De onderwijsraad beslist dienaangaande (punt 8).
8. Bevestigen, aanpassen of toevoegen van commentaar en verbeteracties aan rapport (OMTvoorzitter) n.a.v. de OMT-vergadering (desgevallend van faculteitsraad en/of Onderwijsraad) De OMT-voorzitter kan de voorlopige commentaar en verbeteracties nog aanpassen, en bijsturen. Door te klikken op “save” worden de acties voorlopig bewaard. Door te klikken op “submit” worden de definitieve rapporten vrijgegeven (punt 9). Verbeteracties worden automatisch overgenomen in het studentenrapport (punt 10).
2014-15/Onderwijsevaluaties/OPO
Pagina | 12
9. Definitief rapport vrijgeven (OMT-voorzitter) Het definitief rapport wordt vrijgegeven in het geval de OMT-voorzitter de commentaar en verbeteracties “submit” of indien de termijn van 3 maanden volgend op de onderwijsevaluatie is verstreken.
10. Beknopt deelrapport (met verbeteracties) bekijken (studenten) De studenten krijgen een beknopt deelrapport (per bevraagde rubriek) met de door de coördinerend verantwoordelijke en OMT-voorzitter geformuleerde verbeteracties, desgevallend bijgestuurd door de faculteitsraad of door de onderwijsraad.
11. Toevoegen van definitief rapport aan het academisch dossier van de (coördinerend verantwoordelijke of cotitularis)
2014-15/Onderwijsevaluaties/OPO
Pagina | 13
