T H
M A
5-14
Vernieuwingen in de praktijk Datarubriek
rw
ijs
MEEKIJKEN OP HET DASH BOARD
H
og
er
on
de
Deze bijdrage kwam tot stand onder redactie van Reinout van Brakel met medewerking van: Maarten Panhuijsen (Hogeschool van Arnhem en Nijmegen, voorbeeld 1) Hiske Koldijk (NHL Hogeschool, voorbeeld 2) Martine Jansen (Fontys Hogeschool, voorbeeld 3)
Drie hogescholen en hun visualisaties Dataredactie Th&ma
82
De Dataredactie van Th&ma vroeg aan drie hogescholen of die hun ‘instellingsdashboard’ met ons wilde delen. Op verschillende manieren visualiseren ze aldus gegevens die ze gebruiken om te sturen en te verantwoorden.
T H
MA
themahogeronderwijs.org
Vernieuwingen in de praktijk
rw
In het primair en voortgezet onderwijs is er inmiddels een zekere standaardisatie bij het gebruik van dashboards. Het project Vensters voor Verantwoording is door een meerderheid van de scholen geadopteerd (zie www.scholenopdekaart.nl en voor iedereen zichtbaar.
de
on
Een zeer zichtbare uiting van de vele doelstellingen zijn de ‘dashboards’ of ‘balanced scorecards’ die onderwijsinstellingen gebruiken voor sturing en verantwoording. Die bevatten veelal een diversiteit aan indicatoren en datavisualisaties.
ijs
Stanford-professor Jim Collins schreef na zijn bestseller Good to Great over kenmerken van succesvolle bedrijven, een kort vervolg dat veel minder aandacht kreeg maar voor onderwijsinstellingen veel relevanter is: Good to Great and the Social Sectors. Daarin schrijft hij met bewondering over organisaties en leiders in de publieke sector. Er is een wezenlijk verschil met ondernemingen volgens hem. In de publieke sector moet een leider een veel bredere diversiteit aan doelstellingen bereiken.
H
og
er
DA SH BOARD
Wij vroegen drie hogescholen om (delen van) een instellingsdashboard met ons te delen. Het eerste voorbeeld laat een volledig dashboard zien, het tweede voorbeeld toont enkele schermafdrukken uit een online systeem, en het derde voorbeeld laat zien dat je met visualisaties ook complexere bewegingen in kaart kunt brengen.
83
T H
M A
5-14
Vernieuwingen in de praktijk
Voorbeeld 1
Realisatie van het instellingsplan
IP/ OCW
2011 (nulmeting)
Indicator ONDERWIJS
2/-
Survival
2013
DOELSTELLING 2013 2015-2016
vt
69,2%
70,9%
70,9%
71,1%
dt
71,6%
71,1%
74,8%
72,1%
du
67,6%
65,9%
70,8%
67,6%
vt
65,9%
66,4%
63,2%
65,7%
dt
61,8%
64,1%
63,7%
61,5%
du
69,9%
75,7%
64,4%
72,0%
vt
30,2%
29,7%
29,5%
30,0%
vt
11,3%
11,5%
11,2%
13,0%
vt
66,2%
68,2%
64,4%
66,0%
vt
85,5%
90,2%
95,2%
98%
dt
74,3%
63,2%
82,1%
80%
du
71,4%
83,3%
85,7%
76%
inst
7,17
7,25
7,28
7,30
M
7,41
7,43
7,32
7,43
Minimaal 15 uur in 1e jaar
vt
82,2%
88,3%
95,0%
97%
Minimaal 15 uur in 2e jaar
vt
50,8%
78,3%
88,5%
85%
(na één jaar inschrijving bij de instelling, bachelor)
Diplomarendement na 5 jaar
(survivors, bachelor)
-/1
Uitval (na één jaar inschrijving instelling, bachelor)
-/2
Switch (na één jaar inschrijving instelling, bachelor)
-/3
Diplomarendement
3/4
Studenttevredenheid
on
(survivors, bachelor)
Percentage opleidingen met minimaal 7,0
Gemiddelde studenttevredenheid 4/5
REALISATIE 2012
de
1/-
rw
ijs
Het eerste voorbeeld toont een dashboard waarmee de instelling zowel intern als extern de voortgang ten aanzien van het instellingsplan laat zien. Het instellingsbestuur gebruikt deze rapportage in de externe verantwoording naar de raad van toezicht en het ministerie van OCW. De rapportage is onderdeel van het jaarverslag en de rapportages over de managementafspraken aan de raad van toezicht. De afdelingen krijgen afgeleide versies hiervan, als hulpmiddel bij het rapporteren over de voortgang op de managementafspraken door de afdelingsdirecteuren aan het college van bestuur.
PRESTATIEAFSPRAAK
• • • • • • • • •
70,2%
nee
73,5%
nee
70,9%
nee
70,2%
nee
61,8%
nee
70,9%
nee
≤ 30%
ja HBO 1
< 13%
ja HBO 2
≥ 66%
ja HBO 3
• • • • •
100%
ja
100%
ja
100%
ja
7,3
ja HBO 4
7,4 - 7,5
ja
• •
100%
ja HBO 6
100%
ja
• •
134,2 fte
ja
100%*
ja
• •
100%
ja
• • •
8,0%
ja
5,5%
ja
6,0%
ja
• •
65%
ja
30%
ja
1%
ja
Geprogrammeerde contacttijd
ONDERZOEK Aantal fte voor onderzoek
inst
116,7
124,0
140,3
152,0
6/7
Implementatie leerlijn onderzoek in curriculum
vt
69%
72%
77%
76%
7/8
Middelen voor onderzoek
Percentage faculteiten dat 150.000 euro aan externe middelen per fte lector verwerft
inst
75%
75%
75%
84%
Gemiddelde verwerving van externe middelen per fte lector
inst
er
5/6
€ 202.000
€ 234.000
€ 214.800
€ 187.000
€
200.000
ja
BEROEPSPRAKTIJK EN REGIO
Personele inzet in valorisatie en ondernemerschap
inst
8,0%
nb
8,7%
8,0%
Middelen voor valorisatie en ondernemerschap
inst
5,5%
nb
6,2%
5,5%
10/11
Omzet contractonderwijs
inst
6,0%
nb
3,8%
6,0%
11/12
Deelname studenten aan ondernemerschapsonderwijs Percentage opleidingen met minimaal tussen de 1% en 3% ondernemerschapsonderwijs vt
-
47%
nnb
32,5%
Percentageopleidingen met meer dan 3% ondernemerschapsonderwijs
vt
-
43%
nnb
15,0%
Percentage afgestudeerden dat de minor Ondernemerschap heeft gevolgd
inst
3,8%
4,4%
3,4%
3,8%
og
8/9
9/10
H
KWALITEIT IS MENSENWERK
12/13
Docenten met een mastergraad dan wel gepromoveerd Percentage met ten hoogste een mastergraad
inst
57,2%
59,2%
61,3%
60,8%
Precentage docenten met ten hoogste een doctorsgraad
inst
6,3%
6,7%
7,9%
7,0%
13/14
Medewerkerstevredenheid
inst
7,8
7,6
7,6
7,7
14/-
Ziekteverzuim
inst
4,4%
4,4%
4,5%
4,0%
15/15
Professionaliseringsuitgaven
inst
5,6%
n.n.b.
n.n.b.
16/16
Percentage OP (in fte)
inst
60,9%
62,2%
62,9%
˜ ˜ ˜
99% of meer van de begroting 2013 gerealiseerd. Waar niet opgenomen in begroting 2013: op koers m.b.t. instellingsplan tussen de 99% en 95% van begroting 2013 gerealiseerd: Waar niet opgenomen in begroting 2013: redelijk op koers m.b.t. instellingsplan minder dan 95% van de begroting 2013 gerealiseerd. Waar niet opgenomen in begroting 2013: niet op koers m.b.t. instellingsplan
* Percentage is pas 100% als alle curriculumjaren van een opleiding van doorlopende leerlijn zijn voorzien vt voltijd inst instelling nb niet bekend dt deeltijd M master nnb nog niet bekend du duaal
84
63,0%
• • • • •
76%
ja HBO 5 ja HBO 5
minimaal 7,8
ja
4,0%
nee
minimaal 5%
ja
65,0%
ja HBO 7
T H
MA
themahogeronderwijs.org
Vernieuwingen in de praktijk
rw
ijs
Aanvullend op dit dashboard maakt de instelling gebruik van een onderwijsmonitor. De monitor geeft een indicatie van de status van de kwaliteit van de opleidingen vanuit vier perspectieven, te weten; accrediteerbaarheid, studiesucces, tevredenheid op de standaarden en de algemene tevredenheid. De gegevens worden maandelijks bijgewerkt. Hoewel de monitor onderdeel uitmaakt van het instrumentarium van de planning & control is het geen verantwoordingsinstrument. De monitor doet geen absolute uitspraken over de onderwijskwaliteit van een opleiding; het is een hulpmiddel bij het monitoren van de kwaliteit van het onderwijs en dient als gemeenschappelijk referentiekader bij het bepalen van opleidingen die extra aandacht en/of hulp nodig hebben. De monitor geeft vooralsnog de ‘totaalstatus’ van de opleidingen weer zonder onderscheid naar inrichtingsvorm en locatie. De monitor is operationeel en tevens in ontwikkeling. Aanpassingen vinden plaats op basis van ervaringen van het bestuur, de verfijning/aanpassing van de methodologische onderbouwing en de gewenste normering.
er
on
de
Deze rapportage geeft in de kern weer in hoeverre de instelling slaagt in de realisatie van het instellingsplan 2012-2016. De signalering is gebaseerd op het verschil tussen de doelstellingen voor 2013 (conform de begroting) en de realisatie in 2013. In de doelstellingen wordt onderscheid gemaakt tussen streefwaarden, prestatieafspraken en de verplichte prestatieafspraken met het ministerie van ocw. Op bepaalde aspecten zijn de doelstellingen voor 2013 hoger dan de initiële doelstellingen op de prestatieafspraken in 2012.
Alge me ne te vre de nhe id
Diplomarendement na 5 jaar cohort 2008
Eindkwalificaties (Afgestudeerden 2013)
Programma (NSE 2014)
Toetsing (NSE 2014)
Studenttevredenheid
Medewerkerstevredenh eid (2014)
Accreditatie / auditoordeel
Studiesucces
Tevredenheid op standaarden
Algemene tevredenheid
visitatie
2014
0
+
+
-
-
0
+
+
+
0
+
-
+
0
2
visitatie
2013
0
0
0
0
-
0
0
0
0
-
0
-
0
-
3
visitatie
2013
+
0
0
0
+
-
0
0
0
0
0
+
-
0
4
audit
2012
+
+
0
+
+
-
+
0
0
0
+
+
0
0
5
audit
2013
+
+
-
+
+
+
+
0
+
0
-
+
+
0
6
audit
2013
++
+
0
+
-
+
+
0
+
+
+
0
+
+
Opleiding
Werkgeverstevredenheid
Survival 1e jaar cohort 2012
1
og
S3
S a me nva tting
S2
T e vre de nhe id op sta nda a rde n
S1
S tudie succe s
jaar visitatie of audit
Accre dita tie /a udit
visitatie of audit
Accreditatiekalender
Afde ling B
In ontwikkeling
H
Afde ling A
7
audit
2013
++
+
0
0
0
+
+
0
+
+
+
0
+
+
8
visitatie
2014
+
+
+
0
-
+
+
+
+
+
+
-
+
+
85
T H
M A
5-14
Vernieuwingen in de praktijk
Voorbeeld 2
Managementdashboard
H
og
er
on
de
rw
ijs
Het tweede voorbeeld laat een intern managementdashboard zien, dat ontwikkeld is in een presentatietool. Het dashboard bestaat uit verschillende tabbladen: ontwikkeling studentenpopulatie, behaalde graden, NVAO-tabellen & scores uit de NSE (Nationale Studenten Enquête). Cijfers worden in beginsel voor de hogeschool als geheel weergegeven, maar vervolgens kan ingezoomd worden op instituten, afdelingen en opleidingen. Ook kunnen de gegevens uitgesplitst worden naar jaren. Een belangrijk nieuw en complex onderwerp is het voortgangsrendement (gemiddeld aantal ec’s ofwel studiepunten per onderwijsperiode). Daarmee krijgt de instelling snel een overzicht van het gemiddelde aantal ec’s dat studenten binnen een onderwijsperiode behalen ten opzichte van de te behalen norm.
Het dashboard is tot nu toe opengesteld voor directeuren van instituten, afdelingshoofden en beleidsmedewerkers van de staf. Op termijn kan de informatie ook zinvol zijn voor studieloopbaanbegeleiders, zodat (ook) zij meer zicht krijgen op de voortgang van de studentenpopulatie.
86
T H
MA
themahogeronderwijs.org
Voorbeeld 3
Studentenstromen
Een nog krachtiger visualisatie van studentenstromen is het zogenaamde Sankey-diagram. Met dit diagram kunnen studentenstromen goed gevisualiseerd worden. De breedte van een weergegeven stroom is evenredig met de omvang van de groep die gerepresenteerd wordt door de stroom. De hogeschool gebruikt dit diagram om inzicht te krijgen in interne switchpatronen: van welke eenheid (sector/insituut) naar welke eenheid wordt er geswitcht. In de onderstaande (fictieve) afbeelding valt bijvoorbeeld op dat waar het gros van de switchers vanuit eenheid C in eenheid C blijven, de switchers van eenheid F vooral vertrekken naar eenheid A.
H
og
er
on
Een van de uitdagingen bij het weergeven van ontwikkelingen binnen een organisatie, is de dynamiek van de studentenpopulatie. Het volgende plaatje geeft weer hoe een instroomcohort studenten uit 2007 zich heeft ontwikkeld. Dit ‘gestapeld vlakdiagram’ is gemaakt met Excel.
de
rw
ijs
Vernieuwingen in de praktijk
DASH BOARD 87
