Wat doet C.H.O.I. met de resultaten van de NSE?
Slotbijeenkomst Nat Stud Enquête (NSE) 2013 Utrecht, 6 juni 2013
Frank Steenkamp
Outline: 1. Historie 2. Onze principes m.b.t. NSE 3. Toepassing in …. KEUZEGIDS 4. Toepassing in …. BENCHMARKING 5. Actuele highlights 6. Discussie
1. Historie 1991: Start Keuzegids - embryonale NSE - schriftelijk 1995: Keuzegidsenquête - met rapportcijfers - telefonisch 2003 : CHOICE: officiële start NSE. Disciplinecyclus 2007 : 30 oordeelsvragen. Voor het eerst deels webbased 2009 : NSE onder regie Studiekeuze123. => 100 vragen 2010 : NSE vernieuwd: landelijk dekkend. 5-puntsschaal 2013: Nog nieuwer!
2. Principes Rapportcijfers studiesteden
MISSIE: Onafhankelijk BESCHRIJVEN VERGELIJKEN BEOORDELEN voor breed publiek Dit betreft:
ARBEIDSMARKT TOELATING KOSTEN INHOUD
PRESTATIES KWALITEIT
9
Uitgaansleven Kameraanbod
8
7
6
5
4
3
Ensch.
Maastr.
Gron.
A'dam
(2. Principes)
EERLIJK vergelijken / beoordelen: ⇒ Criteria relevant en evenwichtig ⇒ Betrouwbaar ⇒ Actueel ⇒ Uniform HELDER presenteren: ⇒ Begrijpelijke dimensies ⇒ Eenvoudig, beknopt, overzichtelijk ⇒ Herkenbare indeling (verwante groepen)
Maar wat betekent dat allemaal in praktijk?
3. Toepassen op NSE en Keuzegids >Thema’s 15 thema’s = overkill • Leuk voor onderzoek en kwaliteitszorg • Niet nodig voor eerlijk meten van verschillen • Te veel voor heldere presentatie
Dus: reductie tot hoofdzaken
3. Toepassen KG: THEMA’s
2007 : Opleidingen vergeleken in 3-voud: • Grafiek Studiesucces • Tab. Deskundigenoordeel (10 criteria) • Tab. Studentenoordeel (10 criteria)
Keuzegids studentenoordeel 2007: 10 criteria, 10-puntsschaal, 1 dec. 600 miljard combinaties mogelijk…..
3. Toepassen KG: THEMA’s
2009 : Enorme datareductie Alles in één geïntegreerde ranking
40% prestaties: Uitval, succes, contacturen, groepsgrootte
10% deskundigenoordelen Want grillig, weinig actueel
50% studentenoordelen 5 kolom, 7-pts
“Nog maar” 16807 combinaties mogelijk…!
3. Toepassen KG: THEMA’s
50% studentenoordelen: mooie balans. Actueel en veelzijdig, maar 5 thema’s was genoeg Helaas 2010-2012: Weg NSE-vragen contacturen, groepsgrootte ⇒ tijdelijk 70% studentenoordelen, 7 thema’s (… bij masters 10 vd 15)
De KERN: kwaliteit vd opleiding NIET: kamers, sport, infopunt, sfeer, roosters
WEL: 30% Inhoud, 20% Praktijk, 20% Organ/Facil. … 33 vd 100 NSE oordeelsvragen benut
3. Toepassen KG: BETROUWBAARHEID
>Wanneer is oordeel betrouwbaar? Serieuze respondenten: Extra cleaning: 85% v ‘onze’ vragen beantwoord. (doet 90%)
Strenge eisen betrouwbaarheidsmarge: < 0,25 (sk123 zegt < 0,50) Vereist MEESTAL steekproef > 25 (sk123 soms 10) Dit is NOODZAAK, voor eerlijk vergelijken!
3. Toepassen KG: BETROUWBAARHEID En vervolgens tonen wij de oordelen zo:
Scores staan voor verschil met het landelijke hbo-gemiddelde Klassenbreedte ~ 0,25 = onze max betrouwbaarheidsmarge. We presenteren met dezelfde grofheid / precisie als we meten.
3. Toepassen KG: BETROUWBAARHEID Maar als de steekproef te klein is? Dan worden oordelen gebundeld: - 2-jarig gemiddelde - verwante opleidingen (bv leraren talen)
Nog niet betrouwbaar? Dan ook geen oordeel .. en dan mailt een masteropleiding: “JAMMER dat wij niet met een oordeel in uw gids staan. Terwijl wij als beste van Nederland uit de NSE komen!”
Steekproef? 7 studenten, waarvan 1 onvolledig.
3. Toepassen KG: BETROUWBAARHEID (on-)betrouwbaarheid betekent (in-)STABILITEIT Je wilt geen rare toevals-fluctuaties. Niet voor Keuzegids, niet voor kwaliteitszorg.
3. Toepassen KG: BETROUWBAARHEID
3. Toepassen KG: VERGELIJKBAARHEID Voor de Keuzegids zijn alle oordelen RELATIEF! a.
Door INDELING vergeleken met vakgenoten Eerlijker, want geen appels met peren
b.
Verschilscores dempen wijzigingen in vraagstelling e.d.
Zoals: Wetenschappelijke vorming in 2011 HBO-breed ‘verbeterd’, door aangepaste vraagstelling. Wij meten score t.o.v. landelijke gemiddelde
3. Toepassen KG: VERGELIJKBAARHEID Complicatie (1): als enkele grote instellingen een jaar niet meedoen, raakt het landelijke gemiddelde uit balans
Dit in 2011 opgelost: lege plekken HvA en Haagse Hs opgevuld met scores uit 2010 (maar.. wetenschappelijke vorming aangepast!) Complicatie (2): Door NAAMSWIJZIGING soms oordelen uit het verleden gewist. Terwijl ze nog zeker relevant zijn. Wij repareren die koppelingen, vrij fanatiek. Bv: VU bedrijfswiskunde & informatica <=> business analytics
3. Toepassen KG: CONCLUSIE Uit al deze kunstgrepen komt instellingsranking zonder woeste schommelingen, maar wel met interessante meerjarige trends.
4. Toepassingen in BENCHMARKING C.H.O.I. houdt zo ook geregeld opleidingen / instellingen een spiegel voor = BENCHMARKING - Vergelijkend met groep verwanten - Op handzame set thema’s (9 -10) - Met oog voor betrouwbaarheid, significantie een spiegel
Zelfde knelpunten, zelfde oplossingen Alleen: - Veel meer detail - Meer visualisatie - Meer analyse
4. Toepassingen in BENCHMARKING
5. Toepassingen in BENCHMARKING Trend Totaaloordeel opleiding (vgl met verwante studies)
3,9 BE XX
3,8
BE Land HBO totaal
3,7 3,6 3,5 3,4 3,3 3,2 2005
2008
2010
2011
2012
Maar natuurlijk laat niet elke opleiding een zo mooie trend zien!
5. Toepassingen in BENCHMARKING Er zijn hele instellingen die je in 10 jaar ziet wegzakken – als je maar goed de data combineert…
5. Actuele HIGHLIGHTS – NSE 2013 BENCHMARKING
Goed nieuws: gestegen respons (40%) ⇒ Hogere betrouwbaarheid ⇒ Minder bundels nodig ⇒ Minder lege plekken
Ook goed nieuws: Alg. tevredenheid hbo stijgt (weer) licht WO blijft constant.
5. Actuele HIGHLIGHTS – NSE
Verrassend detail: HBO positiever wetensch. vorming (!) en kritischer over beroepsvoorbereiding. WO precies andersom!
Straks is er geen verschil meer tussen die twee. Einde binair stelsel ;-)
5. Actuele HIGHLIGHTS – NSE
PRETTIG: terugkeer van vragen over contacturen en groepsgrootte. Wij vergeleken de resultaten met die uit 2007-8-9. Komt er iets vergelijkbaars uit?
Nee, of toch. JA!
5. Actuele HIGHLIGHTS – NSE
Nee: gewijzigde vraagstelling geeft ruim hogere schattingen contacturen Maar… is er wel een verband tussen laag-hoog TOEN en laag-hoog nu?
5. Actuele HIGHLIGHTS – NSE
JA, dat verband is verrassend sterk:
5. Actuele HIGHLIGHTS – NSE Dit is veelzeggend. In 2009 konden we met 90% zekerheid de verschillen in contacturen 2013 voorspellen! Bewijst ook stabiliteit NSE-uitslagen algemeen.
Toch een enkel knelpunt: Thema studiebegeleiding daalt, door meetellen afwijkende nieuwe vraag Thema informatievoorziening ook.
6. DISCUSSIE 1. Cijfers presenteren is “politiek” Doe ‘t eerlijk, zorgvuldig, transparant Dus: - Selectie van vragen, schalen/thema’s - Grafiek: keuze van assen en eenheden - Keuze van context (verwante studies) - Norm voor betrouwbaarheid
Ga hierover discussie aan!
Vragen?
[email protected]
