SEIN+ Webgebaseerd systeem voor de evaluatie van cursussen van de Open Universiteit Leo Wagemans IPO-project SEIN+
Inhoud
• • • • • • •
karakteristiek permanente cursusevaluatie technisch/ organisatorisch beschrijving StumisOnline verbeteringen evaluatie
Karakteristiek SEIN
• continue monitoring van de kwaliteit van de cursussen die worden aangeboden door de Open Universiteit • gebruik door alle faculteiten, m.u.v. Informatica die gebruik maakt van Olé • sterk geautomatiseerde tool
Permanente cursusevaluatie Kwaliteitsbewaking op faculteitsniveau • continue evaluatie van elke cursus • door de gehele studentpopulatie • gericht op verbetering • globaal en signalerend onderzoek • met korte standaardvragenlijsten • geautomatiseerde en gestandaardiseerde online verzending en dataverzameling
Signalerend Evaluatie INstrument TECHNISCH
ORGANISATORISCH
database met vragen en vragenlijsten
eenmalig samenstellen vragenlijsten
SPIL-koppeling
studentgegevens - SPIL
e-mail functie via SES
e-mail naar student met link
automatische dataverwerking opmaak rapportage
gegevens analyse en verslaglegging
ondersteuning IPO / beheer per faculteit
SEIN
• voorziet faculteiten en docenten van evaluatiegegevens van studenten • combinatie van een systeem voor • publiceren van vragenlijsten • geautomatiseerde dataverzameling • rapportage • faculteiten ontwerpen vragenlijsten bij cursussen • eenvoudige toegang voor studenten tot vragenlijsten • dagelijkse check van studentenadministratie
SEIN
• selecteert studenten die een cursus hebben afgerond • zendt automatisch een e-mailbericht naar studenten met het verzoek om de vragenlijst in te vullen • verzendt een herinnering indien er geen reactie is binnen 2 weken • verzamelt antwoorden van studenten in een database • biedt faculteiten de mogelijkheid per cursus rapportages te genereren
StumisOnline
• intranet applicatie van de OU • overzichten van historische gegevens over studenten en hun studiegedrag • ook SEIN-rapportages: aantallen uitnodigingen en responses, responserate • presentatie in de vorm van tabellen of grafieken • mogelijkheid tot exporteren naar formaten rtf, pdf en excel • diverse mogelijkheden data-overzichten: o.a. OUtotaal, per faculteit, per cursus, per maand, per jaar
StumisOnline Gegevens SEIN 2011 (1-1-2011 tot 7-12-2011)
Doorgevoerde verbeteringen sinds 2009
• betrouwbaarheid hoog • per faculteit veilige back-up ‘permeval.dat’ (belangrijk gegevensbestand voor vragen en vragenlijsten) • eenvormige en heldere rapportage in Word • verbeterde export en rapportage in Excel • batchgewijs genereren van rapportages • beveiliging invoer tekstvragen (max. 2000 karakters) • mogelijkheid voor studenten om de ingevulde gegevens op te slaan
Evaluatie SEIN, najaar 2009
• vernieuwd SEIN draait sinds december 2008 • mening van studenten bevraagd via Studentinzicht 7.3 (nov. 2009) • mening van beheerders en onderwijscoördinatoren van de faculteiten bevraagd via Questback • meta-evaluatie resultaten van een steekproef van 5 cursussen per faculteit
Mening van studenten (1)
• bevraagd via Studentinzicht 7.3: (776 studenten) • bekendheid niet groot (heeft o.a. te maken herkenbaarheid en met e-mailadres) • 87% is bereid om vragenlijst in te vullen • 146 studenten hebben SEIN-vragenlijst ingevuld • 93% vindt omvang vragenlijst goed
Mening van studenten (2)
• merendeel van de studenten (ong. 70%) vindt: • SEIN belangrijk • dat men zijn mening kwijt kan in SEIN • dat SEIN eenvoudig werkt • dat de SEIN-vragenlijst duidelijk is • dat met de SEIN-vragenlijst de cursus op alle punten wordt geëvalueerd
• Cijfer voor SEIN als evaluatie-instrument: 7,1
mening van beheerders en onderwijscoördinatoren van de faculteiten • • • • • • • • • • •
meestal maakt men zelf vragen aan de in SEIN aanwezige standaardvragen gelden als inspiratiebron weinig problemen bij het maken van vragen in het algemeen tevreden over de SEIN-rapportage neutraal over gebruikersvriendelijkheid van rapportagetool per faculteit verschil in omgang met de resultaten uit SEIN resultaten worden gebruikt voor het aanpassen van de cursus, o.a. studielast resultaten belangrijk voor de kwaliteitszorg mening over handleiding is verdeeld ondersteuning door Celstec positief gewaardeerd meerderheid heeft behoefte aan ondersteuning op afroep
Dank voor uw aandacht
