Draaiboek Onderzoeksevaluatie Lectoraten Hogeschool Van Hall Larenstein (VHL) 2013 – 2016
1
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
Inhoudsopgave _Toc364069257 Inleiding ............................................................................................................................... 3 2. De taken van betrokkenen bij de onderzoeksevaluatie ................................................ 4 Betrokkenen binnen de hogeschool ................................................................................................... 4 Externe betrokkenen ........................................................................................................................ 6
3. Kosten van de onderzoeksevaluatie ............................................................................. 8 De kosten van commissie ................................................................................................................. 8 De kosten van de organisatie van de onderzoeksevaluatie ................................................................... 8
4. Communicatie in- en extern............................................................................................ 9 Communicatie bij een onderzoeksevaluatie......................................................................................... 9 Communicatie bij afgelasten onderzoeksevaluatie ............................................................................... 9
5. Planning en werkzaamheden.........................................................................................10 Samenvatting planning .................................................................................................................... 10 Planning ........................................................................................................................................ 11 Samenstelling onafhankelijke commissie .......................................................................................... 12 De opdracht .................................................................................................................................. 12 Zelfevaluatie incl. kritische zelfreflectie ............................................................................................ 13 Redactie, opmaak en druk .............................................................................................................. 13 Bijlagen bij de zelfevaluatie ............................................................................................................. 14 Het niet doorzetten van een onderzoeksevaluatie.............................................................................. 14 Bezoek commissie ......................................................................................................................... 15 Het Beoordelingsrapport van de commissie .................................................................................... 15
6. De zelfevaluatie (inclusief kritische reflectie) ...............................................................17 Het beheermodel van VHL ............................................................................................................... 17 Inhoudsopgave ............................................................................................................................... 18 Beoordelingskader VHL lectoraat..................................................................................................... 20
7. De vervolgstappen .........................................................................................................21 Bijlage I. Beoordelingskader onderzoeksevaluatie lectoraat .............................................................. 23 Bijlage II. Koppeling van inhoudsopgave met Branche-protocol en Beoordelingskader .......................... 30 Bijlage III. Vragenlijsten Interviews .................................................................................................... 33 Bijlage IV. Concept Programma ....................................................................................................... 39 Bijlage V. Werkzaamheden medewerker organisatie bezoek onderzoekscommissie lectoraat VHL ........ 42 Bijlage VI. Format Verbeterplan Lectoraat......................................................................................... 46 Bijlage VII. Concept aanbiedingsformulier CvB inzake def evaluatierapport .......................................... 49
2
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
Inleiding Hogeschool Van Hall Larenstein (VHL) heeft in de periode 2012 – 2015 gekozen voor beoordeling van de volgende lectoraten: • • • •
2012: Groene Leefomgeving van Steden; Welzijn van Dieren 2013: Melkveehouderij; Watertechnology; Marine Policy; Geïntegreerd Natuur- en Landschapsbeheer 2014: Biobased Economy; Duurzame Visserij en Aquacultuur 2015: Marine Ecosystems Management; Food, Health and Safety; Food Physics
De lectoren Groene Leefomgeving en Welzijn van Dieren hebben in 2012 de spits afgebeten. De lectoren hebben vanuit de richtlijnen van het Brancheprotocol Kwaliteitszorg Onderzoek een zelfevaluatie geschreven, die als input diende voor de onafhankelijke onderzoeksevaluatie per lectoraat. Op het moment van schrijven van de zelfevaluaties kende de hogeschool nog geen eenduidige richtlijnen inzake de opzet en inhoud van een zelfevaluatie met als gevolg dat elk van beide zelfevaluaties zijn gebaseerd op een eigen indeling, met accenten die soms net anders liggen en met uiteenlopende bijlagen. De leden van de externe onafhankelijke commissie hebben als hulpmiddel een eoordelingskader ontvangen, dat was gebaseerd op vergelijkbare kaders van collega-instellingen. De betrokken lectoren hebben het Beoordelingskader eerst na het schrijven van de zelfevaluatie ontvangen. VHL streeft naar eenduidigheid, transparantie en zo veel mogelijk uniformiteit in de opzet van zelfevaluaties. Het gaat dan om de organisatie van de uit te voeren onderzoeksevaluatie, de opzet van de zelfevaluatie (inclusie zelfreflectie), de opdracht aan de onafhankelijke commissie, het door de onafhankelijke commissie te hanteren beoordelingskader en het schrijven en implementeren van verbeterplannen. Het doel van deze notitie is het beschrijven van de te volgen procedure bij een onderzoeksevaluatie per lectoraat. Deze algemeen geldende opzet draagt bij aan een efficiënte en effectieve werkwijze bij het organiseren, schrijven, beoordelen en vaststellen van een zelfevaluatie intern en zorgt voor aansluiting op het beleid inzake onderzoek van VHL. Het Brancheprotocol Kwaliteitszorg Onderzoek 2009 – 2015 vormt het kader voor een uit te voeren onafhankelijke onderzoeksevaluatie. In het Brancheprotocol vastgelegd dat “elke hogeschool zorg draagt voor een intern kwaliteitszorgbeleid dat in ieder geval elke zes jaar leidt tot evaluatie van zelf te kiezen lectoraten. De beoordeling van de gekozen eenheid vindt plaats door een commissie bestaande uit onafhankelijke deskundigen. De samenstelling is representatief voor de beroepspraktijk, onderwijs, onderzoek en kennis en samenleving. De beoordeling van de commissie vindt plaats op basis van een zelfevaluatie van het lectoraat”). In het Brancheprotocol wordt gesproken over een onafhankelijke onderzoeksevaluatie. Andere aanduidingen voor het begrip ‘onderzoeksevaluatie’zijn: audit, visitatie of onderzoeksvisitatie, extern onderzoek of onafhankelijke evaluatie van het onderzoek. In deze notitie wordt, gelijk het Brancheprotocol, de term onafhankelijke onderzoeksevaluatie gehanteerd. Na elke onderzoeksevaluatie wordt bekeken of het draaiboek aanpassing behoeft. Het Stafbureau is daarvoor verantwoordelijk. De aanpassingen in deze versie zijn gebaseerd op de in 2013 uitgevoerde onderzoeksevaluaties bij de lectoraten Geïntegreerd Natuur- en Landschapsbeheer en Melkveehouderij. Ook zijn de ervaringen met de afgelaste onafhankelijke onderzoeksevaluatie Watertechnologie waar nodig verwerkt.
3
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
2. De taken van betrokkenen bij de onderzoeksevaluatie Betrokkenen binnen de hogeschool CvB −
− −
1
keurt de offerte van het externe onderzoeksbureau inzake de uitvoering van de evaluatie goed, inclusief inzet van een onafhankelijke voorzitter en een externe secretaris, op basis van een voorstel van het Stafbureau benoemt de leden van de onafhankelijke onderzoekscommissie stelt de opdracht van de externe commissie vast
− stelt het zelfevaluatierapport vast − stelt de feedback vanuit VHL vast op het beoordelingsrapport van de externe commissie NB. De externe commissie stelt het beoordelingsrapport vast na ‘hoor en wederhoor’.
− verleent décharge aan de externe commissie − stelt het verbeterplan voor de komende vier jaar vast (indien van toepassing) Lector De lector is verantwoordelijk voor een goede en efficiënte organisatie van de onderzoeksevaluatie i.s.m. de opleidingsdirecteur. De lector: −
− − − − − − − − − − −
draagt zorg voor een lijstje kandidaat-deskundigen voor de onafhankelijke commissie NB. De samenstelling van de commissie; de kandidaat-deskundigen hebben tezamen voldoende domeinspecifieke kennis om het onderzoeksprogramma in zijn geheel te dekken adviseert i.s.m. de opleidingsdirecteur het CvB over de vast te stellen opdracht voor de onderzoekscommissie draagt zorg voor een lijst te interviewen personen (docenten, studenten + alumni, stakeholders uit het werkveld) levert conform de afgesproken planning de zelfevaluatie aan bij medewerker Stafbureau (met de onderliggende info en evt. aanvullende informatie die wordt opgevraagd) draagt zorg voor de samenstelling van het dossier t.b.v. de onderzoekscommissie draagt zorg voor financiële overzichten in overleg met F&C draagt i.s.m. de opleidingsdirecteur zorg voor de inhoud en organisatie van het programma op de afgesproken datum (bezoek onderzoekscommissie) verspreidt na de gehouden onderzoeksevaluatie het rapport zelfevaluatie onder lectoren en opleidingsdirecteuren binnen de hogeschool controleert feitelijke gegevens in het beoordelingsrapport en geeft feedback (in het kader van hoor en wederhoor) van de commissie schrijft een verbeterplan i.s.m. de opleidingsdirecteur, conform de met het CvB afgesproken deadlines draagt zorg voor implementatie van het verbeterplan o.a. door vertaling in het jaarplan. is verantwoordelijk voor de communicatie over de onderzoeksevaluatie intern en extern.
Opleidingsdirecteur De opleidingsdirecteur draagt de verantwoordelijkheid voor de inhoud (van innovatie en kwaliteit van opleidingen, lectoraten, 2e en 3e geldstroomactiviteiten), een efficiënte en rechtmatige inzet van middelen en de aansturing van medewerkers. De opleidingsdirecteur:
1
Voor de eerste serie onderzoeksevaluaties heeft extern adviesbureau Hobeon de commissie voor de onderzoeksevaluaties georganiseerd.
4
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
-
-
draagt samen met de lector zorg voor het realiseren van de afgesproken planning onderzoeksevaluatie draagt zorg voor ondersteuning bij het schrijven van de zelfevaluatie, de aan te leveren bijlagen, de organisatie van het bezoek van commissie en ondersteuning op de dag zelf leest en denkt mee en stuurt bij waar nodig, rekening houdende met beleid VHL en beleid opleiding adviseert het CvB inzake de vast te stellen zelfevaluatie geeft feedback op het concept beoordelingsrapport adviseert het CvB inzake de vast te stellen feedback op het concept beoordelingsrapport en evt vervolgacties draagt samen met de lector de zorg voor het opstellen van een verbeterplan, conform de met het CvB afgesproken deadlines. Indien van toepassing: inclusief een aangepaste lectoraatsopdracht monitort de afgesproken verbeteracties in plannings- en voortgangsgesprekken en informeert het CvB over de jaarlijkse ontwikkelingen t.b.v. halfjaarlijkse managementgesprek en het beoordelingsgesprek is samen met de lector verantwoordelijk voor de interne en externe communicatie draagt zorg voor de communicatie in afstemming met CvB en M&C indien een ondezoeksevealuatie niet wordt doorgezet
Medewerker(s) lectoraat of opleiding, ter ondersteuning lector De opleidingsdirecteur stelt i.o.m. de lector een medewerker aan, die de lector ondersteunt bij het schrijven van de zelfevaluatie, het verzamelen en (indien nodig) het bewerken van informatie. De opleidingsdirecteur stelt een medewerker aan, die de lector ondersteunt bij de organisatie van het bezoek van de onderzoekscommissie. Dit kan dezelfde medewerker zijn, die is ingezet bij het schrijven. Op de dag zelf is deze persoon als gastheer/-vrouw aanwezig om het bezoek te ontvangen, koffie/thee/lunch te bewaken en bij te springen waar nodig. Medewerker Stafbureau Het Stafbureau ondersteunt het lectoraat inzake de uit te voeren onderzoeksevaluatie en heeft daartoe regelmatig contact met lector en medewerker, opleidingsdirecteur en CvB. Hij bewaakt de planning en de kwaliteit van de onderzoeksevaluatie in relatie tot het Brancheprotocol en het Draaiboek Onderzoeksevaluatie. De medewerker: − − − − − −
− − −
5
start het proces door afspraken te maken over de planning van de onderzoeksevaluatie, conform de afgesproken planning in het Onderzoeksbeleid 2013 – 2016 (pg. 40) levert het draaiboek aan en evt verdere relevante informatie ondersteunt waar nodig lector en opleidingsdirecteur bij het nemen van beslissingen inzake planning en organisatie is het aanspreekpunt voor vragen in- en extern inzake de onderzoeksinhoudelijke beoordeling screent de zelfevaluatie op aansluiting het beleid van en draagt zorg voor uniformiteit in de formulering van het beleid van de hogeschool adviseert het CvB inzake samenstelling commissie, opdracht en beoordelingskader NB. Hij is verantwoordelijk voor een zorgvuldige toetsing van de bezetting van de commissie: de domeindeskundige kennis dient het onderzoeksgebied van het lectoraat voldoende te dekken. adviseert het CvB inzake de vast te stellen tekst zelfevaluatie (aanbiedingsformulier) organiseert de planning en de wijze van feedback geven op het beoordelingsrapport van de commissie adviseert het CvB inzake het vast te stellen feedback op het beoordelingsrapport (hoor en wederhoor) van de onderzoekscommissie (aanbiedingsformulier)
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
− − −
draagt zorg voor plaatsing van het beoordelingsrapport op de site van de Vereniging Hogescholen ondersteunt waar nodig lector en opleidingsdirecteur bij het op te stellen verbeterplan monitort de afgesproken verbeteracties.
F&C -
e
e
e
levert financiële overzichten (1 , 2 en 3 geldstroom) voor de zelfevaluatie
Docenten Leden van de Kenniskring en docenten die op eigen wijze samenwerken met het lectoraat worden geïnterviewd aan de hand van een te voren toegestuurde vragenlijst. De samenvatting van de interviews is onderdeel van de zelfevaluatie. Leden van de Kenniskring en docenten die samenwerken met het lectoraat nemen deel aan het programma/het bezoek van de commissie. Dit kunnen dezelfde personen zijn als geïnterviewd; de voorkeur heeft een mix van geïnterviewden en andere personen. Studenten en alumni Studenten en alumni worden geïnterviewd aan de hand van een te voren toegestuurde vragenlijst. De samenvatting van de interviews is onderdeel van de zelfevaluatie. Studenten en alumni nemen deel aan het programma/bezoek van de commissie. Dit kunnen dezelfde personen zijn als geïnterviewd; de voorkeur heeft een mix van geïnterviewden en andere personen.
Externe betrokkenen VHL laat de functies Voorzitter Onderzoekscommissie respectievelijk Secretaris Onderzoekscommissie vervullen door een externe partij, een gerenommeerd onderzoeksevaluatiebureau zoals Hobéon. Voorafgaand elke onderzoek evaluatie wordt door de medewerker Stafbureau een offerte opgevraagd voor de inzet per lectoraat en adviseert het CvB ter zake. Het CvB is verantwoordelijk voor de besluitvorming inzake de inzet financiële middelen. De hogeschool zoekt de inzet van één onafhankelijke voorzitter voor twee of meer onderzoekscommissie. Doel: 1. het tot stand brengen van uniformiteit; 2. het formuleren van een meta-analyse op basis van twee of meer onderzoeksvisitaties t.b.v. het CvB. Voorzitter Onderzoekscommissie -
stemt met lector en de commissieleden de aanpak af en het te doorlopen proces bereidt visitatie voor en bestudeert de aangeleverde documentatie denkt mee over de invulling van het programma (bezoek onderzoekscommissie) zit de vergaderingen voor stemt met secretaris en commissieleden concept en definitieve rapportage af draagt desgevraagd zorg voor een jaarlijkse meta-analyse
Secretaris Onderzoekscommissie − − − − − 6
werkt nauw samen met de medewerker Stafbureau werkt nauw samen met de lector en ondersteuner inzake de aan te leveren stukken (incl. zelfevaluatie) en het programma voor het bezoek is verantwoordelijk voor de planning van de afspraken met de hogeschool en de onderzoekscommissie draagt zorg voor de verslaglegging van de audit levert het concept adviesrapport aan medewerker Stafbureau die zorgt voor de besluitvorming binnen de hogeschool
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
−
levert het definitieve rapport aan (hardcopy en digitaal) aan secretaris CvB, lector en opleidingsdirecteur
Leden van de onderzoekscommissie De onderzoekscommissie bestaat uit minimaal drie leden en een secretaris. De leden: -
voeren een analyse uit van de ontvangen informatie aan de hand van het Beoordelingskader voeren gesprekken op de dag van het bezoek met de uitgenodigde deelnemers formuleren samen met de voorzitter een eerste, mondelinge, terugkoppeling op de dag zelf formuleren schriftelijk hun bevindingen t.b.v. het eindrapport.
Stakeholders werkveld Opdrachtgevers van het lectoraat of vertegenwoordigers van andere kennisinstellingen die nauw samenwerken met het lectoraat worden geïnterviewd aan de hand van een te voren toegestuurde vragenlijst. De samenvatting van de interviews is onderdeel van de zelfevaluatie. Opdrachtgevers van het lectoraat of vertegenwoordigers van andere kennisinstellingen die nauw samenwerken met het lectoraat nemen deel aan het programma/het bezoek van de commissie. Dit kunnen dezelfde personen zijn als geïnterviewd; de voorkeur heeft een mix van geïnterviewden en nieuwe personen.
7
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
3. Kosten van de onderzoeksevaluatie De kosten van commissie Aan het begin van de traject vraagt de medewerker Stafbureau een offerte aan bij een extern onderzoeksbureau voor de inzet van de commissieleden. De offerte wordt gecontroleerd door de medewerker Stafbureau, waarna het CvB de offerte tekent. Op basis van de betalingsregeling ontvangen facturen worden door betrokken lector en medewerker Stafbureau gecontroleerd en voor accoord geparafeerd. Het CvB tekent voor betaalbaarstelling. De kosten voor de onderzoekscommissie komen ten laste van VHL als instelling.
De kosten van de organisatie van de onderzoeksevaluatie De kosten van de organisatie van de voorbereiding en de dag zelf komen ten laste van het lectoraat. De organisatie kan worden belegd bij een medewerker van het betreffende lectoraat en/of de opleiding, waaraan het lectoraat is gekoppeld. De organisatie kan ook worden belegd bij een medewerker van bijvoorbeeld T&C. De factuur voor de inzet wordt dan verstuurd aan de betrokken OD. Voor de onderzoek evaluatie kunnen kosten gemaakt, zoals (geen limitatieve opsomming): • • • • • • • •
het schrijven van de zelfevaluatie (inzet van extern redactie, opmaak en drukwerk van de zelfevaluatie te maken foto’s t.b.v. de zelfevaluatie opmaak van de samenvatting t.b.v. de deelnemers aanschaf USB-sticks aangetekend verzending naar extern onderzoeksbureau (zelfevaluatie + bijlagen) koffie/thee/lunch/frisdrank afsluitende borrel.
Alle kosten komen ten laste van het lectoraat. NB. Het is niet gebruikelijk een cadeau aan de leden van de onderzoekscommissie aan te bieden (zoals boekenbonnen en wijn). Wat zou kunnen: een boek dat vaker door VHL of lectoraat wordt weggegeven/waar we trots op zijn. NB. Externe deelnemers mogen reiskosten declareren: 1. Als individu via het algemene declaratieformulier VHL (intranet); 2. Als medewerker externe organisatie d.m.v. een aan VHL/lectoraatgerichte factuur.
8
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
4. Communicatie in- en extern Communicatie bij een onderzoeksevaluatie In Tabel 1 is de planning verwoord van communicatiemomenten. Wanneer
Wat
Wie
< 2 weken voor
Aankondiging op Intranet
Lector
Waar in dit rapport Bijlage VII
Dag zelf
Voorlopige conclusies onderzoek evaluatie in een openbare bijeenkomst
Voorzitter commissie
Hfd 4
>1 week
Impressie van het bezoek + eerste bevindingen van de commissie via Intranet Verspreiding rapport Zelfevaluatie binnen VHL Plaatsing rapport Zelfevaluatie op Intranet + Beoordelingskader
Lector i.s.m. OD
Bijlage VII
Lector
Hfd 5
Secretariaat Stafbureau
Hfd 5
Plaatsing Beoordelingsrapport op site Vereniging Hogescholen
Medewerker Stafbureau
Hfd 5
>8 weken
>20 weken
Korte beschrijving voortgang beoordeling Lector i.s.m. OD onderzoek op basis van verbeterplan en/of vernieuwde lectoraatsopsdracht >20 weken Presentatie Lectorenoverleg (maandelijks) Lector Tabel 1. De communicatiemomenten tijdens een onderzoeksevaluatie.
Hfd 5
Communicatie bij afgelasten onderzoeksevaluatie Na het besluit van het CvB om een onderzoeksevaluatie niet door te laten gaan maken het CvB, opleidingsdirecteur en M&C afspraken over de communicatie in- en extern. De opleidingsdirecteur stelt in overleg met M&C teksten op voor in- en extern en legt deze ter accordering voor aan het CvB. De opleidingsdirecteur informeert betrokken lector en verdere in- en externe betrokkenen op basis van de gemaakte afspraken. Medewerker Stafbureau informeert het externe onderzoeksbureau, die voor zover nodig, de deskundigen in de commissie op de hoogte stellen. Medewerker Stafbureau maakt afspraken over de afhandeling van de gemaakte kosten door het externe onderzoeksbureau en houdt in de gaten of de financiële afspraken juist worden afgehandeld.
9
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
5. Planning en werkzaamheden Samenvatting planning Wanneer < 24 weken voor
Ca 15 weken voor
< 11 weken voor
Wat Start onderzoek evaluatie - toesturen Draaiboek VHL onderzoek evaluatie - opvragen offerte (bij Hobéon e/o andere bureaus) Start onderzoeksevaluatie, - vaststellen datum bezoek commissie - verzamelen namen leden commissie - kandidaten bespreken met ingehuurd bureau - verzamelen namen te interviewen stakeholders - evt aanvullen opdracht commissie (uitgewerkt in Brancheprotocol) met eigen (=VHL) aandachtspunt(en) - aanstellen medewerker(s) opleiding ter ondersteuning schrijven zelfevaluatie + te houden interviews - start verzamelen (financiële) gegevens - start schrijven zelfevaluatie
Wie
Besluitvorming CvB inzake - offerte samenstelling commissie - opdracht - Beoordelingskader
Medewerker Stafbureau
Vastleggen def versie CvB op W-schijf
Secretariaat
-
<9 weken voor
<7 weken voor
<6 weken voor
10
voorleggen teksten Zelfevaluatie aan medewerker Stafbureau opstellen advies tbv CvB
Medewerker Stafbureau
Lector + OD
Lector + OD
OD
Lector (+F&C) Lector + medewerker(s)
Lector i.s.m. OD Medewerker Stafbureau
Besluitvorming CvB def zelfevaluatie
Medewerker Stafbureau
Vastleggen def versie CvB op W-schijf
Secetariaat
Verwerken commentaar CvB
Lector
Redigeren rapport door (externe) redacteur
Lector
Opmaak rapport volgens richtlijnen VHL
Lector
-
laten drukken zelfevaluatie (> 50 exemplaren) = Repro Velp = 1 dag - (aangetekend) verzending zelfevaluatie met bijlagen naar onderzoekscommissie (hardcopy)/digitale versie + bijlagen mailen aan secretaris Registratie ontvangst Zelfevaluatie gericht aan CvB in Decos (5 exemplaren + bijlage/USB)
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
Lector
Secretariaat
6 weken voor of eerder
-
start organisatie bezoek onderzoekscommissie check op programma + betrokkenen
Lector + OD Medewerker Stafbureau
2 weken voor
Toesturen programma aan secretaris + evt bijlagen
Lector
Datum X
Bezoek onderzoekscommissie
Lector + OD
8 weken na bezoek
12 weken na bezoek
-
digitale conceptrapport bevindingen door VHL ontvangen - op basis van hoor en wederhoor becommentariëren betrokkenen VHL rapport a.d.h.v. leidraad (figuur 3) Besluitvorming CvB op basis advies medewerker Stafbureau (bijlage VII) -
def eindrapport (hardcopy en digitaal) ontvangen bij VHL (> 25 exemplaren) registratie in Decos publicatie op intranet (+ Beoordelingskader/Opdracht)
Medewerker Stafbureau
Medewerker Stafbureau
Medewerker Stafbureau
Tabel 2. Samenvatting planning onderzoeksevaluatie.
Planning Cruciaal in de planning is de datum waarop de Onderzoekscommissie op bezoek komt bij het lectoraat. De gekozen datum is gebaseerd op en vastgelegd in de agenda’s van de voorzitter van het CvB, de betrokken lector en opleidingsdirecteur. De lector neemt het initiatief tot het vaststellen van een datum en stemt dit af met de medewerker Stafbureau. Na vaststelling datum bezoek stelt de medewerker Stafbureau een detailplanning op. In figuur 1 een voorbeeld van een planning, waarin zijn verwerkt: * de eis dat de zelfevaluatie 6 weken voorafgaand het bezoek van de commissie aan de commissie wordt toegestuurd; * de tijd nodig voor opmaak/vormgeving + drukken van het rapport; * de tijd nodig voor agendering in het CvB op basis van een advies van de medewerker Stafbureau Deadline 3 april 2013 20 februari
Actie Commissie op bezoek Def zelfevaluatierapport + bijlagen geprint/ klaar voor verzending naar Hobeon
Verantwoordelijke
Opmerkingen
Lectoren/medewerker opleiding
19 februari
Aanbieden opgemaakte versie aan Repro Velp
12 februari
Aanbieden definitieve teksten aan vormgever/opmaak
Lectoren/medewerker opleiding Kan via M&C (Jitske Benedictus) Lectoren/medewerker opleiding
Zes weken voorafgaand de peerreview. Ervaring heeft geleerd dat hier ruimte zit van ca een week (i.o.m. Hobéon of extern onderzoeksbureau) Van te voren overleg met Repro Velp
11
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
Conform VHL standaard; kan bij VHL ‘huisvormgever’ = vraagt tijdige aankondiging Tijdsbeslag kan bij goede
4 februari
Definitief besluit in overleg CvB
Beleidsmedewerker stelt advies op t.b.v. bespreking in het CvB
25 januari
Voorleggen teksten aan OD + beleidsmedewerker
Lectoren/medewerker opleiding
afspraken tot 2 á 3 dagen zijn Incl. opdracht commissie + beoordelingskader Aanleverdatum: wo voorafgaande voor 12.00 uur bij directiesecretaris Aandachtspunten: - afstemming met het beleid VHL, - toon (pos. kritisch) - volledigheid
Tabel 3. Een voorbeeld van de planning van een onderzoeksevaluatie.
Samenstelling onafhankelijke commissie De onderzoekscommissie bestaat uit minimaal drie leden en een secretaris. Indien gewenst kan de commissie worden uitgebreid tot vier leden en een secretaris. Eén reden zou kunnen zijn: de diversiteit in het werkveld. Deze keuze moet door lector i.s.m. opleidingsdirecteur worden onderbouwd. In het Brancheprotocol worden geen eisen aan de leden van de commissie gesteld. Dit i.t.t. een opleidingsvisitatie, waarbij strikte eisen worden gesteld aan de leden van de visitatiecommissie. Algemeen geldende eisen: • Tussen leden en het lectoraat bestaan geen samenwerkingsrelaties; • Tussen leden en het lectoraat is geen sprake van opdrachtgever – opdrachtnemer relatie; Een informele eis: een lid moet in staat zijn tot een onafhankelijk oordeel. Daarnaast stelt VHL eisen aan de externe deskundigen: de panelleden representeren zowel de beroepspraktijk als de gerelateerde onderzoeksinstellingen en het onderwijs, zoals weergegeven in Tabel 4. De lector en opleidingsdirecteur stellen een lijst beoogde kandidaten op en bespreken dit met de medewerker Stafbureau. De medewerker Stafbureau toetst de expertise en onafhankelijkheid van de externe panelleden in samenspraak met extern onderzoeksbureau. Het CvB neemt het besluit tot benoeming. Het aanzoeken, instrueren en begeleiding van de leden is belegd bij extern onderzoeksbureau. Dit is verwerkt in de uit te brengen offerte door extern onderzoeksbureau, incl. inzet onafhankelijke voorzitter en secretaris. Het CvB neemt een besluit inzake de offerte. Extern onderzoeksbureau is verantwoordelijk voor het ondertekenen van een onafhankelijkheidsverklaring door de aangestelde leden.
Panelleden Voorzitter Panellid A Panellid B Panellid C (optioneel)
Domein (inhoud en werkveld)
X X
Onderzoek
Onderwijs
Kwaliteitsmanagement
X X X X
X X X
X X
Tabel 4. Deskundigheid panelleden bij externe onderzoeksevaluatie conform criteria VHL.
De opdracht Het CvB stelt de opdracht vast op basis waarvan de onderzoekscommissie haar taken uitvoert. Uitgaande van het Brancheprotocol luidt de opdracht op hoofdlijnen: 12
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
I. a. b. c. II. III. IV. V.
Is er (v.w.b. het lectoraat) voldoende relevante productiviteit, impact, waardering en erkenning op het gebied van: kennisontwikkeling binnen het onderzoeksdomein; valorisatie naar beroepspraktijk en maatschappij; de betekenis voor onderwijs (aan studenten) en scholing (van docenten)? Vindt een en ander plaats vanuit een relevante en uitdagende missie en een helder onderzoeksprofiel? Worden de missie en het onderzoeksprofiel geborgd door het portfolio en de wijze waarop het lectoraat is georganiseerd? Is de inzet van mensen en middelen daarbij toereikend in kwalitatief en kwantitatief opzicht? Zijn de interne en externe samenwerkingsverbanden, netwerken en relaties daarbij voldoende relevant, intensief en duurzaam?
Daarnaast speelt de specifieke situatie bij het te beoordelen lectoraat een rol. Bijvoorbeeld: zijn er plannen om het lectoraat te verlengen of juist te beëindigen? Hoe ziet de toekomst van deze lector eruit: kan /wil VHL verlengen? Wat is de rol / inbreng in een CoE of ander samenwerkingsverband? Op basis van deze omstandigheden kunnen aanvullende vragen aan de onderzoekscommissie worden voorgelegd. Doel: betere onderbouwing van de invulling van het onderzoeksprogramma de jaren na de evaluatie, betere onderbouwing van de besluitvorming inzake de toekomst van het lectoraat en/of de invulling van de functie lector. NB. Eén of meer aanvullende vragen moeten aansluiten bij het karakter van de vijf vragen uit het Brancheprotocol: hier wordt een oordeel gevraagd. Een voorbeeld van een aanvullende vraag: VI. Het lectoraat heeft de ambitie trekker te worden van het te ontwikkelen CoE Natuur en Landschap. Wat zijn de adviezen van de commissie inzake de plannen voor de toekomst? De aanvullende vraag stelt duidelijke eisen aan de inhoud van hoofdstuk 5. Aanvullende vragen zijn eerst definitief na overleg met de voorzitter van de commissie én vaststelling door het CvB.
Zelfevaluatie incl. kritische zelfreflectie In hoofdstuk 4 wordt beschreven aan welke eisen de door de lector te schrijven Zelfevaluatie incl. kritische zelfreflectie moet voldoen. Een concept inhoudsopgave wordt uitgewerkt, op basis waarvan een Beoordelingskader VHL is ontwikkeld. Lector en opleidingsdirecteur maken afspraken over de ondersteuning bij het schrijven van de zelfevaluatie en het verzamelen van de benodigde gegevens t.b.v. de bijlagen.
Redactie, opmaak en druk Na vaststelling van de Zelfevaluatie door het CvB en het doorvoeren van evt gewenste wijzigingen, legt de lector de Zelfevaluatie voor aan een (externe) redacteur. De lector kan deze taak beleggen via M&C (Jitske Benedictus), mits tijdig benaderd. VHL heeft een standaard voor opmaak en uiterlijk van de Zelfevaluatie. Jitske Benedictus (M&C) is contactpersoon voor de opmaak van de cover. De lector levert hiervoor foto’s aan. Voorbeelden: Zelfevaluatie Lectoraat Welzijn van Dieren/Geïntegreerd Natuur- en Landschapsbeheer (GNLB)/Melkveehouderij. Voor de opmaak van de binnenkant zoekt de lector een vormgever. M&C kan hierbij helpen, mits op tijd benaderd. VHL stelt eisen aan de vormgeving van de binnenkant, zoals verwoord in Tabel 5. De lector stuurt de definitieve tekst naar M&C, die aanspreekpunt is voor de vormgever.
13
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
o o o o o o
o
o o o o
Lettertype Calibri voor bodytekst, hoofdstukken en paragrafen Aansluiten bij hoofdstuk-opbouw van eerdere zelfevaluaties Opmaak begin elk hoofdstuk: foto + balk in de voorgeschreven steunkleur hoofdstukken laten beginnen op een oneven rechterpagina Op elke pagina in de buitenhoek een klein logootje van VHL in de header Onderaan in de footer: Rapportage zelfevaluatie lectoraat xxxx, maand + jaartal, paginanummer Opdat bij het losnemen van een enkele pagina duidelijk is waar het vandaan komt Footer en header spiegelen i.v.m. dubbelzijdig afdrukken A4-formaat, opdat het bij de andere zelfreflecties past Omslag wordt extern vormgegeven via M&C Colofon op pagina 3; voor details zie Welzijn van Dieren/Melkveehouderij/GNLB Op pg 1 (derde bladzijde na voorkant + achterkant voorkant): balk in voorgeschreven steunkleur. Balk kan worden gebruikt voor titel Zelfevaluatie (niet verplicht) Voor de indeling van deze pagina: zie Welzijn van Dieren/Melkveehouderij/GNLB.
Tabel 5. Eisen aan opmaak en layout Zelfevaluatie lectoraat VHL. De zelfevaluatie wordt gedrukt bij de Repro in Velp. De lector bepaalt het aantal te drukken exemplaren: > 50. NB. 7 van de min 50 exemplaren worden ter beschikking gesteld aan het Stafbureau als input voor het volgende bezoek van de VKO. De lector draagt zorg voor verzending aan het CvB, directiesecretaris, medewerkers Stafbureau (2x incl. bijlagen), directiesecretariaat (1x incl. bijlagen t.b.v. archief) en het externe onderzoeksbureau (5x incl. bijlagen). Na het bezoek van de commissie draagt de lector zorg voor verspreiding onder de lectoren en opleidingsdirecteuren hogeschool. Daarnaast kan de lector besluiten het rapport Zelfevaluatie te verspreiden onder verdere (interne of externe) collega’s. De kosten van redactie, opmaak/vormgeving, drukwerk en verspreiding komen ten laste van het lectoraat.
Bijlagen bij de zelfevaluatie Naast de kritische zelfevaluatie is het aanleveren van een beperkt aantal – bij voorkeur authentieke – documenten wenselijk: denk aan (lectoraats)(meerjaren)plannen, jaarverslagen en een of meer factsheets. Op instellingsniveau: het Onderzoeksbeleid (incl. Lectorenplan), het Kwaliteitszorgplan en van toepassing zijnde draaiboeken. De zelfevaluatie bevat een overzicht van de publicaties van de lectoren. Een aantal lectoren werkt bij verschillende kennisinstituten waardoor niet alle publicaties rechtstreeks verbonden zijn met het onderzoek dat vanuit het lectoraat/VHL is verricht. De commissie ontvangt graag een lijst met publicaties die rechtstreeks voortkomen uit het lectoraatsonderzoek. De lector/ondersteuner draagt zorg voor de aanlevering van de bijlagen middels een USBstick. De commissie ontvangt in totaal 5 USBsticks (gelijk het aantal rapporten/indien separaat verzonden aangetekend). De USBsticks worden ook aangeleverd aan het Stafbureau (3 exemplaren).
Het niet doorzetten van een onderzoeksevaluatie Op basis van de Zelfevaluatie kunnen opleidingsdirecteur en medewerker Stafbureau het CvB adviseren de onderzoek evaluatie niet te laten doorgaan. Redenen kunnen zijn: inhoudelijk zwakke resultaten en/of onvoldoende invulling van de kwaliteitszorg. Besluit het CvB de onderzoeksevaluatie niet door te laten gaan, dan maken het CvB, 14
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
opleidingsdirecteur en M&C afspraken over de communicatie in- en extern. De opleidingsdirecteur informeert in- en externe betrokkenen op basis van de gemaakte afspraken. Medewerker Stafbureau informeert het externe onderzoeksbureau, die voor zover nodig, de deskundigen in de commissie op de hoogte stellen. Medewerker Stafbureau maakt afspraken over de afhandeling van de gemaakte kosten door het externe onderzoeksbureau en houdt inde gaten of de financiële afspraken juist worden afgehandeld.
Bezoek commissie De lector stelt i.s.m. de opleidingsdirecteur het programma op voor het bezoek. Het conceptprogramma wordt besproken met de medewerker Stafbureau en zo nodig doorgesproken met de voorzitter commissie. Een conceptprogramma is te vinden in bijlage V. Op basis van het conceptprogramma stelt lector de lijst van uit te nodigen gesprekspartners vast en bespreekt deze met medewerker Stafbureau. Deze borgt de samenstelling en het niveau van de uit te nodigen gesprekspartners. Na vaststelling mailt de lector het definitieve programma aan secretaris van de commissie, vergezeld van eventuele bijlagen. Lector/ondersteuner nodigt de voorgestelde gesprekspartners uit en legt dit vast aan de hand van de vastgestelde dagindeling. Lector/ondersteuner stuurt gesprekspartners een bevestiging via mail of brief (incl. tijd en locatie), vergezeld van de samenvatting van de zelfevaluatie. Dit om beïnvloeding van genodigden zo veel mogelijk te beperken. Lector/Ondersteuner draagt zorg voor een nette versie van de samenvatting (in dezelfde opmaak als de zelfevaluatie). De ondersteuner is aanspreekpunt voor vragen of degene waar betrokkene zich kan afmelden bij onvoorziene gebeurtenissen. De opleidingsdirecteur draagt zorg voor één of twee personen, die op de dag van het bezoek de gasten ontvangen, begeleiden, bedanken aan het eind en bijspringen waar nodig. Dit kan dezelfde persoon zijn als degene die de dag heeft helpen organiseren. In bijlage VI is een checklist te vinden van de uit te voeren werkzaamheden. NB. Externe deelnemers mogen reiskosten declareren: 1. Als individu via het algemene declaratieformulier VHL (intranet); 2. Als medewerker externe organisatie d.m.v. een aan VHL/lectoraatgerichte factuur. NB. Het is niet gebruikelijk een cadeau aan de leden van de onderzoekscommissie aan te bieden (zoals boekenbonnen en wijn). Wat zou kunnen: een boek dat vaker door VHL of lectoraat wordt weggegeven/waar we trots op zijn. De kosten van (organisatie van) deze dag komen ten laste van het lectoraat.
Het Beoordelingsrapport van de commissie Ca acht weken na het bezoek van de onderzoekscommissie levert de secretaris een digitale versie van de concept Beoordelingsrapport aan bij de medewerker Stafbureau. Medewerker Stafbureau en secretaris maken afspraken over de deadlines inzake het aan te leveren def Beoordelingsrapport rapport. Medewerker Stafbureau draagt zorg voor een snelle en tijdige ‘leesronde’ door lector, de opleidingsdirecteur, een collega binnen het Stafbureau en hemzelf. Leidraad zijn de vragen in Tabel 6. Aanvullingen/wijzigingen/adviezen worden middels Track Changes in het concept verwerkt. VHL streeft naar het retour sturen van één concept naar evaluatiecommissie met daarin verwerkt alle gemaakte opmerkingen/aanvullingen/adviezen. 15
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
• • • •
feitelijke onjuistheden (incl. terminologie)? wat ontbreekt er volgens lector/opleidingsdirecteur/Stafbureau? tekstueel goed/begrijpelijk leesbaar? wordt de trits: wat zijn de bevindingen, wat is het oordeel daarover en wat zijn daarop de aanbevelingen, goed en herkenbaar doorgevoerd? • is het beeld over het lectoraat juist en herkenbaar? • wordt het lectoraat en de organisatie recht gedaan? Tabel 6. Een leidraad voor het doornemen van het concept Beoordelingsrapport De feedback VHL op het concept Beoordelingsrapport kan zodanig zijn, dat de medewerker Stafbureau besluit de secretaris te vragen een aangepaste versie aan te leveren alvorens een besluit van het CvB te vragen. Is dit het geval, dat legt de medewerker Stafbureau de aangepaste versie voor aan lector, opleidingsdirecteur, de eerder genoemde collega Stafbureau. Betrokkenen worden gevraagd de vragen in figuur 4 te beantwoorden. •
In welke mate komen de aanpassingen tegemoet aan de door jou gemaakte opmerkingen/aanvullingen/adviezen op het eerste concept? Wat ontbreekt er volgens jou nog?
• • Tabel 7. Vragen m.b.t. lezing versie aangepast concept Beoordelingsrapport
De feedback op het concept Beoordelingsrapport wordt ter besluitvorming aangeboden aan het CvB, vergezeld van een advies van medewerker Stafbureau (bijlage VII), waarin de adviezen opleidingsdirecteur en portefeuillehouder Onderzoek zijn verwerkt. Medewerker Stafbureau informeert de secretaris over het genomen besluit inzake de feedback VHL. Onderzoekscommissie verstuurt 25 exemplaren van het eindrapport naar secretariaat CvB en mailt een digitale versie naar lector, opleidingsdirecteur, directiesecretaris en medewerker Stafbureau. Medewerker Stafbureau draagt zorg voor plaatsing op de site Vereniging Hogescholen middels een mail aan het betreffende secretariaat (mw. Tanja
[email protected]) Medewerker secretariaat CvB zorgt voor plaatsing van beoordelingsrapport, Zelfevaluatie, Beoordelingskader op Intranet VHL. De doorlooptijd tussen ontvangst eerste conceptversie en besluitvorming CvB inzake feedback is ca 8 weken. Desgewenst (bijvoorbeeld rond vakanties) maken secretaris en medewerkers Stafbureau afspraken over de planning afhandeling. Medewerker Stafbureau zorgt voor archivering van hardcopy en digitale versie, opdat deze beschikbaar zijn voor het komende VKO-bezoek..
16
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
6. De zelfevaluatie (inclusief kritische reflectie) In het Brancheprotocol Kwaliteitszorg Onderzoek 2009 – 2015 is vastgelegd dat een zelfevaluatie centraal staat bij de één keer in de zes jaar te organiseren onderzoeksevaluatie per lectoraat. In het Brancheprotocol Kwaliteitszorg Onderzoek 2009 – 2015 is vastgelegd dat “een zelfevaluatie startend vanuit het zelfbeeld en de missie gekeken wordt naar strategie, beleid, resultaten over de te evalueren periode. Dit mondt uit in een reflectie op de prestaties en de te realiseren doelstellingen en missie. Er worden perspectieven en verwachtingen voor de toekomst geformuleerd. De zelfevaluatie vindt zijn neerslag in een rapportage. In deze rapportage wordt de gekozen wijze van analyse geëxpliciteerd. Het proces van evaluatie, de analyse, de eventuele bijstelling missie, doelen en strategie en de toekomstperspectieven worden transparant beschreven. De gebruikte gegeven en data worden als bijlage bijgevoegd. Bij elke zelfevaluatie wordt in ieder geval aandacht besteed aan de volgende elementen: 1. De inbedding van het onderzoek binnen de instelling, zowel op organisatorisch, strategisch als op HRM-gebied en de missie van de onderzoekseenheid in relatie tot de instellingsmissie; 2. Doorwerking van de activiteiten in curricula van bachelor en masteropleidingen of verandering van opleidingsstructuren; 3. De doorwerking van het onderzoek op het gebied van professionalisering van de docenten/staf aan de instelling zowel op het gebied van onderwijs als op het gebied van de kennisfunctie; 4. Samenwerkingsverbanden en inhoudelijke relatie met instellingen van hoger onderwijs en onderzoek in Nederland en over de landsgrens; 5. Samenwerkingsverbanden en inhoudelijke relatie met bedrijven of instellingen in de regio of daarbuiten; 6. Evaluatie van het onderzoeksprofiel van de onderzoekseenheid op het gebied van wetenschappelijke standaarden en methoden en technieken; 7. Resultaten op het gebied van kennisoverdracht en praktijkgericht onderzoek gericht op het (georganiseerde) bedrijfsleven en/of de publieke sector, inclusief publikaties en produkten; 8. Financiële resultaten. In dit hoofdstuk wordt beschreven aan welke eisen de opbouw en inhoud de te schrijven zelfevaluatie moet voldoen. De uitgewerkte inhoudsopgave is gebaseerd op het door VHL gekozen beheermodel.
Het beheermodel van VHL De kwaliteitszorg van het onderzoek moet aansluiten bij de kwaliteitszorg die binnen de hogeschool gebruikelijk is en aansluiten op de kwaliteitszorg die in het onderwijs wordt gehanteerd. Resultaten van onderwijsenquetes worden betrokken het schrijven van een te houden onderzoeksevaluatie. Voor het onderwijs vormt het NVAO-accreditatiekader en de PDCA-cyclus de kern van de kwaliteitszorg. Voor het onderzoek is houvast voor de indeling van onderwerpen nuttig. Bij de ontwikkeling van het NVAO-accreditatiekader vormde het EFQM(European Foundation for Quality Management)-model een inspiratiebron voor de indeling in beheers-aspecten en voor een indeling op kwaliteitsniveau. Ook nu biedt het model van de EFQM een inspiratiebron en een indeling, die dienst kan doen als inhoudsopgave voor de zelfreflectie van een onderzoeksevaluatie.
17
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
Inhoudsopgave De hoofdstukindeling (hoofdstuk 2 t/m 5) volgt de onderwerpen (Nummer) van het beheermodel , voorafgegaan door een beschrijving van het lectoraat en inbedding in de organisatie, en gevolgd door een vooruitblik. In de detaillering wordt concreet gemaakt welke elementen aan bod komen. De insteek van de zelfevaluatie is een positief-kritische. Windowdressing is niet gewenst en ook niet productief. Zelfreflectie is een belangrijk element in de zelfevaluatie. Uitsluitend een feitenrelaas of opsomming van output en impact is niet toereikend. Gesprekken met stakeholders (werkveld, docenten, studenten en alumni) zijn een belangrijke vorm van input in hoofdstuk 4. Conceptvragenlijsten zijn te vinden in de bijlage III t/m V.
Inhoud Samenvatting 1.
Inleiding
Onderwerpen
Huidige situatie lectoraat + korte terugblik op de afgelopen jaren In de audit te beantwoorden vragen
Detaillering Gekozen beheermodel + de elementen uit Brancheprotocol (zie inleiding) en de koppeling met beoordelingskader
Leeswijzer/inhoud hoofdstukken 2.
Input
Missie en visie (1)
Inbedding binnen de organisatie
-
18
Relatie met de missie van VHL Missie: kwaliteit en bereik Uitwerking visie Afstemming van missie op de omgeving Onderzoeksprofielen Koppeling met opleidingen VHL (verbijzondering naar majoren) organisatorisch, strategisch en HRMgebied werkwijze lectoraat
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
Mensen en middelen (2)
Thema’s (3) Samenwerkingsverbanden, Netwerken en relaties (4)
Processen en methoden (5)
3.
Output
Onderwijs en scholing (6)
Kennisontwikkeling (8) Onderwijs en scholing (6)
Beroepspraktijk en samenleving (7)
Impact (9)
4.
Kwaliteitszorg (10)
Kwaliteitszorg intern
Koppeling met VHL kwaliteitszorg Wetenschappelijke borging Analyse samenvatting interviews +reflectie lector op de samenvatting
5 19
Toekomst
Ontwikkelstrategie komende vier
- verantwoordelijkheden - overzicht met inzet medewerkers binnen het lectoraat (incl. uren/fte) - kenniskringen incl betrokkenheid externen - overzicht instroom en inzet van e e middelen uit Rijksbijdrage, 2 en 3 geldstroom (tabel en/of grafiek ) - de leidende thema’s op basis van missie en onderzoeksprofiel - instellingen van hoger onderwijs en onderzoek in en buiten Nederland - bedrijven of instellingen in de regio of daarbuiten - beschrijving gangbare wetenschappelijk methoden en technieken - werkwijze en verantwoordelijkheden uitgevoerd onderzoek Kerntaken Onderzoeksbeleid - Resultaten onderwijsontwikkeling incl resultaten professionalisering docenten Kerntaken Onderzoeksbeleid Kennisontwikkeling Kerntaken Onderzoeksbeleid - Resultaten onderwijsontwikkeling incl resultaten professionalisering docenten Kerntaken Onderzoeksbeleid - Resultaten Kenniscirculatie incl professionalisering van het werkveld - Overzicht/inzicht in belangrijkste producten - In welke mate wordt gebruik gemaakt in het werkveld/door kennisinstellingen van de ontwikkelde producten? -
PDCA-cyclus Projectdocumentatie Programmering en voorgangsrapportages Voortgang projecten PDCA-cyclus
De wijze waarop dit is vormgegeven en hoe dit wordt gemonitord Interviews: Minimaal 5 uit het werkveld Minimaal 5 docenten VHL Minimaal 5 studenten en alumni Zo mogelijk gebruik van bestaande onderwijsevaluaties Kern: verbeteren en waar nodig
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
jaar
Bijlagen Bijlage 1. Bijlage 2. Bijlage 3. Bijlage 4. Bijlage 5 Bijlage 6. Bijlage 7 t/m 9 Bijlage 10 ev
vernieuwen - in relatie tot het vigerende VHLbeleid - beoogde resultaten: ^kennisontwikkeling ^onderwijsvernieuwing ^kenniscirculatie - uitbouw/vernieuwing samenwerkingsrelaties, met oa aandacht voor bedrijfsleven - inzet mensen en middelen - noodzakelijke randvoorwaarden
Kennisontwikkeling: interne projecten vanuit het lectoraat Kennisontwikkeling: externe projecten voor opdrachtgevers Kennisontwikkeling/- ontsluiting: Publikatielijst vakbladen Kennisontsluiting: met samenwerkende partners Kennisontsluiting: lezingen vanuit het lectoraat e e Specificatie 2 en 3 geldstroommiddelen Samenvattingen interviews Meerjarenplan Jaarplannen + werkplannen
Tabel 8. De inhoudsopgave van een zelfevaluatie lectoraat Hogeschool VHL.
Beoordelingskader VHL lectoraat De onderzoekscommissie ontvangt naast de zelfevaluatie van het lectoraat een beoordelingskader, een hulpmiddel bij het lezen van het rapport en het analyseren van alle ontvangen informatie (bijlage I). VHL legt in het beoordelingskader de prioriteiten vast m.b.t. de onderzoeksevaluatie. De onafhankelijke commissie baseert de indeling van het evaluatierapport mede op de opbouw van het beoordelingskader. Het Beoordelingskader is gebaseerd op de inhoudsopgave Zelfreflectie en de elementen uit het Brancheprotocol. In bijlage II is weergegeven de koppeling tussen inhoudsopgave, Beoordelingskader
en de elementen van Branche-protocol.
20
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
7. De vervolgstappen De verdere stappen na een onderzoeksevaluatie hangen af van de besluitvorming inzake voortgang lectoraat. N.B. Uitzondering hierop is het lectoraat Welzijn van Dieren; de lector is persoonlijk lector. Na het besluit van het CvB inzake beëindiging van een lectoraat vormt het Beoordelingsrapport van het lectoraat input voor de jaarlijkse meta-analyse éen vormt het input voor de zesjaarlijkse visitatie van de VKO. Het CvB kan besluiten een nieuw lectoraat te starten, als een opvolger van het beëindigde lectoraat. De opleidingsdirecteur schrijft een nieuwe lectoraatsopdracht i.sm. de stakeholders in- en extern, draagt zorg voor het verwerken van de aanbevelingen uit het Beoordelingsrapport en stelt in overleg met F&C een financieel overzicht op voor de aanstellingsperiode. Uitgangspunten: • • • •
• • •
De opdracht omschrijft een duidelijke opdracht voor het nieuwe lectoraat, bij voorkeur aangevuld met keuze voor onderzoeksthema’s In de opdracht wordt beschreven op welke wijze de vier kerntaken van een lectoraat worden ingevuld In de opdracht wordt beschreven op welke wijze de drie rollen van een lector worden ingevuld In de opdracht wordt beschreven op welke wijze het werkveld betrokken is geweest bij het tot stand komen van de opdracht, de begeleiding van het lectoraat tijdens de aanstellingsperiode en op welke wijze zij financieel een bijdrage leveren In de opdracht wordt beschreven op welke wijze de samenwerking binnen de hogeschool vorm krijgt: tussen onderzoek en onderwijs en tussen de lectoraten onderling In de opdracht wordt beschreven op welke wijze de kenniskring wordt ingericht en op welke wijze docenten en studenten worden gemotiveerd en ondersteund tot deelname In de opdracht wordt afspraken gemaakt over de bedragen die extern moeten worden binnengehaald (subsidies van overheid of bedrijfsleven, onderzoeksgelden, in kind bijdragen)/een expliciet vast te stellen deel van de jaarlijkse begroting.
Het CvB kan besluiten de opleidingsdirecteur i.s.m. de betrokken lector(en) te vragen een vernieuwde lectoraatsopdracht te formuleren met als inzet een verlenging van vier jaar. De bevindingen van het Beoordelingsrapport worden verwerkt in het de vernieuwde lectoraatsopdracht. De hiervoor benoemde uitgangspunten worden betrokken bij de ontwikkeling van de nieuwe opdracht. Het lectoraat kan nog een aantal jaren actief zijn na de onderzoeksevaluatie. Lector is.m. de OD stelt dan een verbeterplan op, op basis van het Beoordelingsrapport. De bevindingen uit het Beoordelingsrapport, de voorhanden meta-analyses en ontwikkelingen in het Onderzoeksbeleid 2013 – 2016 worden betrokken bij het uitwerken van één van beide opdrachten en zo geformuleerd dat knelpunten worden aangepakt/opgelost. Medewerker Stafbureau mailt het format Verbeterplan Lectoraat aan lector en opleidingsdirecteur en ondersteunt waar nodig. Lector en opleidingsdirecteur maken afspraken met het CvB over de termijn waarop of een nieuwe lectoraatsopdracht of een verbeterplan aan het CvB wordt gepresenteerd. Medewerker Stafbureau draagt zorg voor agendering in het overleg CvB middels een ingevuld aanbiedingsformulier. Vragen van het CvB worden nader uitgewerkt en feedback van het CvB worden door lector en opleidingsdirecteur doorgevoerd. Medewerker Stafbureau monitort de afgesproken verbeteracties.
21
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
Wanneer
Wat
Wie
8 - 12 weken na bezoek
Of: starten opstellen vernieuwde lectoraatsopdracht Of: lectoraatsopdracht vernieuwd lectoraat Of: het schrijven van een verbeterplan
OD i.s.m. lector
18 – 20 weken
Invullen aanbiedingsformulier CvB
Medewerker Stafbureau i.o.m. OD (en lector)
20 - 24 weken na bezoek
Of: presenteren verbeterplan aan CvB
OD (+ lector)
Of: vaststellen nieuwe lectoraatsopdracht
CvB
>24 weken
Implementeren verbeterplan Monitoren afgesproken acties
Lector + OD Medewerker Stafbureau Managementgesprek OD/CvB
>24 weken
Presentatie Lectorenoverleg (maandelijks): - verbeterplan - nieuwe lectoraatsopdracht
OD (+ lector)
>24 weken
Starten vacaturestelling
OD HRM e
22
OD Lector + OD
Def besluit aanstellen lector na 2 ronde gesprekken tussen CvB, OD en lector i.a.v. HRM
CvB
Na indiensttreding lector aanpassen overzichten/internet
HRM M&C Stafbureau
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
Bijlage I. Beoordelingskader onderzoeksevaluatie lectoraat Inleiding Dit beoordelingsprotocol geeft u als commissielid een compacte handleiding voor het beoordelen van de onderzoekskwaliteit van een lectoraat. De input voor de beoordeling wordt gevormd door de commissieopdracht, het door het zelfevaluatierapport, de bijlagen en producten van onderzoek. Uw commissie heeft in haar opdracht de volgende vragen voorgelegd gekregen: I.
II. III. IV. V.
Is er (v.w.b. het lectoraat) voldoende relevante productiviteit, impact, waardering en erkenning op het gebied van: a. kennisontwikkeling binnen het onderzoeksdomein; b. valorisatie naar beroepspraktijk en maatschappij; c. de betekenis voor onderwijs (aan studenten) en scholing (van docenten)? Vindt een en ander plaats vanuit een relevante en uitdagende missie en een helder onderzoeksprofiel? Worden de missie en het onderzoeksprofiel geborgd door het portfolio en de wijze waarop het lectoraat is georganiseerd? Is de inzet van mensen en middelen daarbij toereikend in kwalitatief en kwantitatief opzicht? Zijn de interne en externe samenwerkingsverbanden, netwerken en relaties daarbij voldoende relevant, intensief en duurzaam?
Op basis van deze vijf vragen is een Beoordelingskader ontwikkeld. Elke vraag is vertaald naar een of meer objecten en uitgewerkt naar criteria. NB. Een lectoraat kan besluiten een extra vraag op te nemen (zie hfd 5). De opname van een extra vraag heeft tot gevolg dat het Beoordelingskader wordt aangepast met onderdeel 6. Onderdeel 6 komt te vervallen bij een standaard opdracht aan de commissie.
23
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
1.
De missie en het onderzoeksprofiel
Objecten: • • •
Missie: kwaliteit en bereik Afstemming van de missie op de omgeving Onderzoeksprofiel
Criteria:
• Het lectoraat heeft een missie geformuleerd die leidend is voor haar programma en die aansluit op het strategisch beleid van de hogeschool • De missie beschrijft adequaat hoe het onderzoek van het lectoraat bijdraagt aan de ontwikkeling op de drie domeinen: - kennisontwikkeling binnen het onderzoeksdomein - beroepspraktijk en maatschappij - onderwijs en scholing • De missie wordt gedragen door de leden van de kenniskring en door relevante vertegenwoordigers vanuit de drie domeinen • De missie geeft inzicht geeft in de internationale, landelijke en regionale ambities Aantekeningen
Wat moet volgens het commissielid tijdens de audit nader worden onderzocht?
24
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
2. Input Objecten: • • • • •
De onderzoeks- en ontwikkelthema’s en de portfolio De interne samenwerkingsrelaties en verbanden Inzet, beschikbaarheid en kwaliteit van mensen en (financiële) middelen Betrokkenheid van stakeholders bij opstelling en uitvoering van het werkprogramma De externe samenwerkingsrelaties en verbanden
Criteria: • •
• • • • • •
Het portfolio van het lectoraat en de onderzoeksthema’s dekken de geformuleerde missie Het lectoraat heeft één of meerdere onderzoeksprogramma’s uitgewerkt die passen bij de doelstellingen t.a.v. de drie domeinen: - kennisontwikkeling binnen het onderzoeksdomein; - valorisatie naar beroepspraktijk en maatschappij; - de betekenis voor onderwijs en scholing. Het lectoraat heeft voldoende personele capaciteit om het portfolio aan projecten uit te voeren De lector en kenniskringleden hebben aantoonbare ervaring, affiniteit met en kwalificaties voor het uitvoeren van praktijkgericht onderzoek in de beroepspraktijk Het lectoraat is duidelijke zichtbaar voor bestuur, staf, docenten en studenten Het lectoraat werkt samen aan een of meer onderzoekslijnen binnen de hogeschool De onderzoeksprogrammering en product- en instrumentontwikkeling vindt plaats door belanghebbenden te betrekken De belanghebbenden in beroepenveld en maatschappij, studenten en docenten zijn betrokken bij de uitvoering van het portfolio
Aantekeningen
Wat moet volgens het commissielid tijdens de audit nader worden onderzocht?
25
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
3. Resultaten en impact Objecten: • • •
Publikaties, presentaties en andere produkten Het meten van output, impact en waardering Het interpreteren en bijsturen van aanpak
Criteria: • Het lectoraat laat door haar bijdragen aan onderwijs, door publicaties, presentaties en andere producten van onderzoek zien dat zij haar doelstellingen realiseert • Het lectoraat werkt met realistische kwantitatieve en kwalitatieve streefnormen ten aanzien van haar output • De gegevens over de output, impact en waardering van het lectoraat zijn in overeenstemming met de geformuleerde ambities op de domeinen: - kennisontwikkeling binnen het onderzoeksdomein; - beroepspraktijk en maatschappij; - onderwijs en scholing. Aantekeningen
Wat moet volgens het commissielid tijdens de audit nader worden onderzocht?
26
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
4. Kwaliteitszorg Objecten: -
Koppeling met beleid VHL Koppeling met kwaliteitszorg VHL PDCA-cyclus binnen het lectoraat Wetenschappelijke borging
Criteria: • • • • • • • •
De bedrijfsvoering van het lectoraat is onderdeel van de planning- en controlcyclus van de hogeschool Het lectoraat maakt adequaat gebruik van de organisatorische en personele randvoorwaarden die de hogeschool haar biedt Het lectoraat heeft toereikende structurele financiële middelen voor de ontwikkeling en uitvoering van haar ambities Het lectoraat werkt met lectoraatsopdracht, meerjarenplan en een werkplan per jaar Het lectoraat heeft een beleid ten aanzien van het verkrijgen van tweede en derde geldstroommiddelen Het lectoraat verzamelt systematisch evaluatiegegevens bij haar stakeholders over de output, impact en waardering van het onderzoek op elk van de drie domeinen Het lectoraat wordt periodiek geëvalueerd, mede aan de hand van toetsbare resultaten De lector is gepromoveerd en stimuleert docenten om te promoveren.
Aantekeningen
Wat moet volgens het commissielid tijdens de audit nader worden onderzocht?
27
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
5. Toekomstvisie Objecten: • • • •
Ambities voor de komende vier jaar Missie en onderzoeksportfolio passend bij de ambities Beoogde resultaten domeinen Passende interne en externe samenwerkingsrelaties en verbanden
Criteria: • • •
• •
•
De lector formuleert ambities die leidende zijn voor haar programma en die aansluiten op het strategische beleid van de hogeschool De lector geeft in de internationale, landelijke en regionale ambities De missie beschrijft adequaat hoe het aangepaste onderzoek van het lectoraat bijdraagt aan de ontwikkeling van de drie domeinen: - kennisontwikkeling binnen het onderzoeksdomein - beroepspraktijk en maatschappij - onderwijs en scholing De ambities worden vormgegeven met relevante vertegenwoordigers vanuit de drie domeinen, met bijzondere aandacht voor de rol van het bedrijfsleven De lector geeft inzicht in de bij de ambities passende inzet van mensen (ervaring en kwalificaties) en (financiële) middelen De lector beschrijft de noodzakelijke organisatorische randvoorwaarden
Aantekeningen
Wat moet volgens het commissielid tijdens de audit nader worden onderzocht?
28
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
Onderdeel 6 is facultatief en gebaseerd op een op te nemen extra vraag t.b.v. de audit. Een extra vraag kan zijn: Het lectoraat heeft de ambitie trekker te worden van het te ontwikkelen CoE. Wat zijn de adviezen van de commissie inzake de plannen voor de toekomst?
6. Centre of Expertise Objecten: • • •
Ambities voor het CoE de komende vier jaar Passende interne en externe samenwerkingsrelaties en verbanden Passende randvoorwaarden
Criteria: •
• •
• •
•
De lector formuleert meetbare ambities die leidend zijn voor het de invulling van het CoE die aansluiten op het strategische beleid van de hogeschool en de vraag uit het werkveld De lector beschrijft de internationale, landelijke en regionale aspecten van deze ambities De lector beschrijft op welke wijze het CoE een bijdrage levert aan de verdere ontwikkeling van de drie domeinen: - kennisontwikkeling binnen het onderzoeksdomein - beroepspraktijk en maatschappij - onderwijs en scholing De ambities worden vormgegeven met relevante vertegenwoordigers vanuit de drie domeinen, met bijzondere aandacht voor de rol van het werkveld De lector geeft inzicht in de bij de ambities passende inzet van mensen (ervaring en kwalificaties) en (financiële) middelen (zowel kosten als (co)financiering) De lector beschrijft de noodzakelijke organisatorische randvoorwaarden en bestuurlijke inbedding (businessmodel)
Aantekeningen
Wat moet volgens het commissielid tijdens de audit nader worden onderzocht?
29
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
Bijlage II. Koppeling van inhoudsopgave met Branche-protocol en Beoordelingskader In onderstaand overzicht is aangegeven op welke plekken in het zelfevaluatierapport de vragen uit het brancheprotocol en die uit het beoordelingskader worden beantwoord. Inhoud Samenvatting 1.
Inleiding
Onderwerpen
Beoordelingskader
Beoordelingskader-criteria
Brancheprotocol
Huidige situatie lectoraat + korte terugblik op de afgelopen jaren In de audit te beantwoorden vragen Leeswijzer/inhoud hoofdstukken
2.
30
Input
Missie en visie (1)
1a. Missie: kwaliteit en bereik 1b. afstemming van de missie op de omgeving
Inbedding binnen de organisatie
2b. De interne samenwerkingsrelaties en verbanden
Mensen en middelen (2)
2c. inzet, beschikbaarheid en kwaliteit van mensen en (financiële) middelen
Thema’s (3)
2a. De onderzoeks- en ontwikkelthema’s en de portfolio
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
1i missie geformuleerd 1ii missie beschrijft hoe onderzoek bijdraagt aan ontwikkeling op de drie domeinen… 1iii missie wordt gedragen 1iv missie geeft inzicht in …. ambities 2v Het lectoraat is duidelijk zichtbaar voor bestuur, staf, docenten en studenten 2vi het lectoraat werkt samen aan een of meer onderzoekslijnen binnen de hogeschool 2iii Het lectoraat heeft voldoende personele capaciteit.. 2iv De lector en kenniskringleden hebben aantoonbare ervaring….. 2i portfolio dekt de missie 2ii programma’s uitgewerkt, die passen bij…..
1
1
1
2,3,7
3.
4.
31
Output
Kwaliteitszorg (10)
Samenwerkingsverbanden, Netwerken en relaties (4)
2e. De externe samenwerkingsrelaties
Processen en methoden (5)
2d. betrokkenheid van stakeholders bij opstelling en uitvoering van het werkprogramma
Kennisontwikkeling (8)
3a publicaties, presentaties en andere producten 3b. meten van output, impact en waardering
Onderwijs en scholing (6)
3a publicaties, presentaties en andere producten 3b. meten van output, impact en waardering
Beroepspraktijk en samenleving (7)
3a publicaties, presentaties en andere producten 3b. meten van output, impact en waardering
Impact (9)
3b. meten van output, impact en waardering
4v het lectoraat verzamelt systematisch evaluatiegegevens……
Kwaliteitszorg intern
4b koppeling met kwaliteitszorg VHL 4c PDCAcyclus
4iv het lectoraat werkt met lectoraatsopdracht……. 4v het lectoraat heeft een beleid e m.b.t. het verkrijgen van 2 en…
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
2vii de programmering vindt plaats door belanghebbenden te betrekken. 2viii belanghebbenden zijn betrokken bij uitvoering
3i .. producten 3ii het lectoraat werkt met realistische kwantitatieve….. 3iii gegevens over … zijn in overeenstemming met ambities op domein kennisontwikkeling binnen het domein. 3i ... producten 3ii het lectoraat werkt met realistische kwantitatieve….. 3iii gegevens over … zijn in overeenstemming met ambities op domein onderwijs en scholing 3i .. producten 3ii het lectoraat werkt met realistische kwantitatieve….. 3iii gegevens over … zijn in overeenstemming met ambities op domein beroepspraktijk en maatschappij
2,3,4,5
2,3,6
7
3,7
4,7
6,7
Koppeling met VHL kwaliteitszorg
4a koppeling met beleid VHL
Wetenschappelijke borging
2d externe samenwerking 4d wetenschappelijke borging 3c (interpreteren en ) bijsturen van aanpak 4c PDCA cyclus
SWOT-analyse lectoraat
5
32
Toekomst
4i de bedrijfsvoering van het lectoraat is onderdeel…… 4ii het lectoraat maakt adequaat gebruik van organisatorische….. 4viii de lector is gepromoveerd ..
1,2,3
3ii realistische kwalitatieve en kwantitatieve normen.. 4iii het lectoraat heeft middelen
1,2,3,5, 6,7,8
6
Analyse samenvatting interviews +reflectie lector op de samenvatting
3c Interpreteren (en bijsturen) van aanpak 4c PDCA cyclus
4vi het lectoraat verzamelt systematisch evaluatiegegevens 4vii lectoraat wordt periodiek geëvalueerd
2,3,4,5
Ontwikkelstrategie komende vier jaar. Kern: verbeteren en waar nodig vernieuwen
5a ambities voor de komende vier jaar 5b missie en onderzoeksportfolio passend bij de ambities 5c beoogde resultaten domeinen 5d passende interne en externe samenwerkingsrelaties en verbanden
5i de lector formuleert ambities die leidende zijn voor haar programma… 5ii de lector geeft in de internationale, landelijke en regionale ambities 5iii de missie beschrijft adequaat hoe het aangepaste onderzoek van het lectoraat bijdraagt aan de ontwikkeling van de drie domeinen…… 5iv de ambities worden vormgegeven met relevante vertegenwoordigers …..met bijzondere aandacht voor het bedrijfsleven 5v de lector geeft inzicht ….. passende inzet van mensen (ervaring en kwalificaties) en (financiele) middelen 5vi de lector beschrijft de noodzakelijke organisatorische randvoorwaarden
1,2,3,4,5,6,7
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
Bijlage III. Vragenlijsten Interviews Interviewvragen voor vertegenwoordigers van bedrijfsleven en kennisinstellingen waarmee het lectoraat samenwerkt Uitvoeringstijdstip: rond het begin van de start van het schrijven van de zelfevaluatie. Afname interview door: lid van het kernteam rond het lectoraat Duur: max 1 uur
1. Betrokkenheid bij lectoraat Kennismaking, wijze waarop de gespreksdeelnemers betrokken zijn bij het lectoraat: titel, functie, omschrijving bijdrage aan lectoraat momenteel en in afgelopen jaren, betrokkenheid bij zowel inhoudelijke thema’s als onderzoekscompetentieontwikkeling van studenten 2. Missie en doelen Wat is uw mening over de opgestelde missie en inhoud van het lectoraat en het werkplan (zie bijlagen)? 3. Onderzoeksagenda a. Hoe vindt u dat de onderzoeksagenda wordt uitgevoerd? b. Wat is naar uw mening de betekenis van de onderzoeksactiviteiten van het lectoraat voor de ontwikkeling van het domein/vakgebied/beroepspraktijk (denk ook aan publieke opinie; maatschappelijk debat) c. Zijn er (onderzoeks)thema’s, waarvan uw instelling vindt dat hieraan meer aandacht besteed moet worden? 4. Kwaliteit uitvoering onderzoek a. Hoe ervaart u de kwaliteit van de onderzoeksprojecten die het lectoraat opzet? b. Wat vindt u van de professionaliteit van de lector en de leden van de kenniskring, het onderzoeksprogramma, de resultaten, etc.? c. Wat vindt u van de kennis binnen het lectoraat over de deelgebieden die zijn genoemd in de bijlage? 5. Doorwerking resultaten naar opleiding en extern a. Wat is uw mening over de doorwerking van de resultaten van de onderzoeksprojecten van het lectoraat naar uw organisatie? b. Wat vindt u van de regionale/nationale/internationale maatschappelijke bijdrage aan het thema van het lectoraat? 6. Samenwerking met het lectoraat a. Wat vind u van uw betrokkenheid bij het opzetten van het onderzoeksprogramma en de keuze van onderzoeksprojecten? b. Kunt u bij het lectoraat goed terecht met vragen/opmerkingen over onderzoek en/of innovatie? Zo nee, hoe zou dat beter kunnen? c. Wat vind u van de communicatie door, en samenwerking met het lectoraat? d. Raadt u uw relaties aan om op het terrein van melkveehouderij samenwerking te zoeken met het lectoraat? Zo ja, waarom? Zo nee, waarom niet? e. Welke mogelijkheden ziet u voor u zelf om de wettelijke opgave voor het HBOlectoraat om praktijkgericht onderzoek te doen, (nog) beter te laten slagen? 33
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
7. Beoordeling van het lectoraat a. Wat zijn de sterke punten van het lectoraat en waaruit blijkt dat? Wat zijn verbeterpunten? b. Wat is het belangrijkste advies dat u het lectoraat zou willen meegeven om in de toekomst haar rol nog beter te kunnen vullen?
34
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
Interviewvragen voor docenten/projectmedewerkers/onderzoekers van VHL die hebben samengewerkt met het lectoraat Uitvoeringstijdstip: rond het begin van de start van het schrijven van de zelfevaluatie. Afname interview door: lid van het kernteam rond het lectoraat Duur: max 1 uur.
1. Betrokkenheid bij lectoraat Kennismaking, wijze waarop de gespreksdeelnemers betrokken zijn bij het lectoraat: titel, functie, omvang aanstelling (en verdeling onderwijs/onderzoek/overig), opleiding(en), vakgebied(en), lidmaatschap themagroep, omschrijving bijdrage aan lectoraat momenteel en in afgelopen jaren, betrokkenheid bij zowel inhoudelijke thema’s als onderzoekscompetentieontwikkeling van studenten 2. Verwachting van lectoraat Was vooraf (voordat het lectoraat startte) voor u duidelijk wat u kon verwachten van de lector en zijn lectoraat? 3. Missie, doelen en onderzoekagenda a. Wat is uw mening over de opgestelde missie en inhoud van het lectoraat en het werkplan (zie bijlagen)? b. Zijn er (onderzoeks)thema’s, waarvan u vindt dat hieraan meer of minder aandacht besteed moet worden? Zo ja, welke? c. Wat vind u van uw betrokkenheid bij het opzetten van het onderzoeksprogramma en de keuze van onderzoeksprojecten? 4. Meerwaarde van lectoraat voor opleiding a. Wat vindt u van de betrokkenheid van het lectoraat bij de opleiding (denk aan gastcolleges, projecten, stages en afstudeerprojecten)? Wordt hierop gestuurd? Zo ja, door wie? Zo nee, waarom niet? b. Wat vindt u van de betrokkenheid bij curriculumontwikkeling en –vernieuwing anderzijds (denk aan: curriculumontwikkeling, majoren en minoren)? Wordt hierop gestuurd? Zo ja, door wie? Zo nee, waarom niet? c. Wat vindt u van de inbreng van de lector bij evaluaties van het onderwijs? Wordt hierop gestuurd? Zo ja, door wie? Zo nee, waarom niet? 5. Meerwaarde van het lectoraat voor de professionalisering van docenten a. Welke ervaringen hebt u met de ontwikkeling van competenties voor onderzoek en projectmatig werken die mede dankzij lectoraat op gang is gebracht? Bijvoorbeeld: meerwaarde van themagroepen, gerichte scholing en begeleiding, deelname aan congressen en bijdragen aan publicaties. b. Wat vindt u van de bijdrage van het lectoraat aan de versterking van de aandacht voor de HBO-onderzoekscompetenties en een sterkere onderzoeksgerichte cultuur binnen het onderwijs? Is er feedback van het werkveld (de organisaties waar de afgestudeerden aan het werk gaan) op de extra aandacht voor onderzoekscompetenties?
35
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
c. Dragen de lector en de leden van het kernteam er aan bij dat docenten makkelijk toegang krijgen tot een groter netwerk binnen het werkveld van de opleiding? Zo nee, hoe zou dit verbeterd kunnen worden? d. Wat is de bijdrage van het lectoraat geweest aan uw eigen professionalisering? 6. Meerwaarde van het lectoraat voor de profilering van de opleiding a. Heeft het lectoraat met haar (onderzoeks)activiteiten bijgedragen aan de profilering (intern en extern) van VHL op het werkterrein van het lectoraat? Zo ja op welke wijze? Zo nee, wat hebt u gemist? b. Welke mogelijkheden ziet u om de bijdrage van het lectoraat hieraan te vergroten? 7. Functioneren van onderzoek en projecten van het lectoraat a. Hoe vindt u van de kwaliteit van de onderzoeksprojecten die het lectoraat opzet? b. Wat vindt u van de professionaliteit van de lector en leden van de kenniskring, het onderzoeksprogramma, de resultaten, etc.? c. Wat vindt u van de kennis binnen het lectoraat over de deelgebieden die zijn genoemd in de bijlage? d. Wat vind u van de rol van de lector bij het ontwikkelen, uitvoeren, begeleiden of coördineren van projecten die vanuit het lectoraat zijn opgestart? 8. Samenvattting ervaringen samenwerking met het lectoraat Geef a.u.b. complimenten, kritiek en adviezen voor verbetering a. Wat vindt u sterk (met voorbeelden)? b. Wat kan verbeterd worden (met voorbeelden)? c. Hoe ziet u uw eigen rol bij het beter benutten van het lectoraat als onderdeel van VHL (o.a. ook uw ambities rond onderzoek en projecten en betrokkenheid bij lectoraat)?
36
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
Interviewvragen voor studenten en alumni die hebben samengewerkt met het lectoraat tijdens hun studie Uitvoeringstijdstip: rond het begin van de start van het schrijven van de zelfevaluatie. Afname interview door: lid van het kernteam rond het lectoraat Duur: max 1 uur
1. Betrokkenheid bij het lectoraat Kennismaking, wijze waarop de gespreksdeelnemers betrokken zijn geweest bij het lectoraat: afstudeerproject, projectminor, stage, gastcollege, Ingspé of eventuele andere werkvorm. 2. Verwerven van onderzoeksprojecten Heeft het lectoraat een bijdrage geleverd aan het verwerven van opdrachten? Zo ja wat zijn je ervaringen daarmee geweest? 3. Was de opdracht van voldoende niveau, zowel wat betreft inhoudelijk als onderzoekmatig? a. Beoordeel de opdracht op deze criteria: i. Het was helder wat het doel van het onderzoek was. ii. Het was helder welke vraag/welk probleem met het onderzoek opgelost moest worden. iii. Het onderzoek werd inhoudelijk gestuurd door een begeleider/supervisor. iv. De onderzoeker voelde zich ook verantwoordelijk voor resultaat en kwaliteit van het onderzoek. v. Het was helder wie de belangrijkste doelgroep was voor het onderzoek. vi. Het onderzoek hielp mij in mijn individuele professionele ontwikkeling. b. Wat vond u van het inhoudelijke niveau van de opdracht? c. Wat vond u van het onderzoekmatige/analytische niveau van de opdracht? Hebt u onderzoekcompetenties ontwikkeld? 4. Functioneren van onderzoeksprojecten van het lectoraat a. Wat vond u van de inhoudelijk deskundigheid van de begeleider (vanuit de kenniskring/lectoraat)? b. Wat vond u van de onderzoekkennis en –vaardigheden van de begeleider? c. Wat vond u van de didactische vaardigheden (stimuleren van jouw onderzoekende houding, theorie/modelgebruik) van de begeleider? 5. Ervaring met, en visie op het belang van onderzoekcompetenties binnen de opleiding a. Op welke wijze komt het verwerven van onderzoekcompetenties in het onderwijs aan bod? b. Komt het verwerven van onderzoekcompetenties in het onderwijs voldoende aan bod? Zo nee, hoe zou dit beter kunnen?
37
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
6. Samenvatting ervaringen met het lectoraat Geef a.u.b. complimenten, kritiek en adviezen voor verbetering a. Wat vond u sterk (met voorbeelden)? b. Wat kan verbeterd worden (met voorbeelden)? c. Geef a.u.b. in algemene zin uw ervaringen met het lectoraat tijdens de genoten opleiding: i. Op welke wijze hebt u tijdens de opleiding te maken gekregen met het lectoraat (denk aan gastcolleges; collegereeksen; minoren; opdrachten, stages, scriptie)? ii. Wat vond je sterk? iii. Wat kan verbeterd worden?
38
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
Bijlage IV. Concept Programma Voorstel / concept programma lectoraat VHL Versie 2012-11-06
Wanneer 8.30 – 8.45 8.45 – 9.30 9.30 – 10.00
Wat binnenlopen, ontvangst voorbespreking commissie gesprek management
10.00 – 11.15
gesprek met onderzoekers
11.30 – 12.15
gesprek met docenten
12.15 – 13.00 13.00 – 14.00
lunch presentatie van twee exemplarische projecten gesprek met studenten
14.00 – 14.30
Functies CvB VHL betrokken onderwijsdirecteur(en) lector en kernleden kenniskring docenten uit betrokken opleidingen, niet allemaal direct betrokken bij het lectoraat commissie intern lector, onderzoekers, studenten, evtl opdrachtgever studenten uit betrokken opleidingen, die meegewerkt hebben in lectoraatsprojecten of door lector/kernonderzoekers begeleid zijn
14.45 – 15.30
gesprek met representanten kennisdomein
samenwerkingspartners uit kennisinstellingen
15.45 – 16.30
gesprek met werkveld / beroepspraktijk
opdrachtgevers, samenwerkingspartners
16.30 – 17.15 17.15 17.30 uur
voorlopige beoordeling en advisering openbare terugkoppeling bevindingen Afsluiting
commissie to whom it may concern
39
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
namen
Programma en draaiboek Evaluatie Lectoraat Melkveehouderij 18 juni 2013(voorbeeld) A. Programma visitatie lectoraat Melkveehouderij Gespreksruimte: B3.09 Ruimtes zijn gereserveerd door Hester Tijd/Plaats Ontvangst-, gasten lunchruimte: 8.30 – 8.45
Programma Binnenlopen, ontvangst commissie • Commissieruimte B 3.31 (o.a. ontvangst en lunch) • Gastenontvangst F 1.16
Wie actief Geraldine, Jelle
8.45 – 9.30 B3.09 9.30 – 10.00 B3.09
Voorbespreking commissie
---
Gesprek met het management Klaas van Mierlo (voorzitter CvB) Jan van der Valk (opleidingsdirecteur Landbouw & Management) Interactieve presentatie van leden Kernteam Lectoraat • Jelle Zijlstra: presentatie lectoraat: 5 min • Cor Kwakernaak (docent), Gelein Biewenga (docent) en Geraldine Haverkamp (docent/lectoraatsassistent): presentatie van: o De eigen rol en activiteiten binnen lectoraat o De eigen ervaring van de meerwaarde van het lectoraat voor VHL/werkveld in 3 punten (2 minuten per persoon) Oefening van ieders presentatie op 13 oktober tijdens lectoraatsoverleg
---
Gesprek met docenten Yep Zeinstra, Ebe Elzinga, Jacob Duinstra, Klaas Bolding (van 11.30 tot 12.00) en Sjieuwke Schenkel en Klaas Bolding (de laatste twee van 12.00 tot 12.15 via video conferencing vanaf Dairy Campus) • Open gesprek • Cie. bepaalt programma Lunch Commissie
---
10.00 – 11.15 B3.09
15 min pauze 11.30-12.15 B3.09
12.15 – 13.00 B3.31 13.00-14.00
40
Presentatie van twee projecten 1. Mijn Markt en Maatschappij (KIGO-project) Betrokkenen: Jan Hania, Korrie Hoekstra en Jelle Zijlstra (VHL) en Alfred vd Akker, AOC Terra (Gebruiker) 2. Ontwikkeling hulpmiddel voor inzicht in financiële gevolgen van keuzes rond melken, voeren en veldwerk
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
Geraldine, Gelein, Cor en Jelle
Geraldine: alles naar wens Alle namen links Jelle geeft bij beide
14.00-14.30
15 min pauze 14.45-15.30
15 min pauze 15.45-16.30
16.30-17.15 17.15 – 17.30 B2.12
17.30 uur B2.12
41
Betrokkenen: uitvoerende studenten Chiel Sinnige en Meile Kuiper, docent begeleider Jan Hania • 10 min presentatie per project; vervolgens 20 min voor vragen en discussie • Afspraken maken over wie presenteert Ronde tafelgesprek met studenten over ervaringen met lectoraat en kernteam e Bestuursleden studievereniging Ingspé: Timo te Berge, Daan Köhne, Lennard Zoeten, [Jelle zoekt nog 4 student] Jelle benadert nog 1 extra student die project i.s.m. lectoraat heeft uitgevoerd Cie. bepaalt programma
opdrachten doel en aanleiding aan ---
Ervaringsgesprek met opdrachtgevers en samenwerkingspartners via Skype (één op één/commissie gesprekken, 15 min. per persoon Andries-Jan de Boer (AcconAvm) Pieter van der Valk (AB Fryslan) Paul Galama (Wageningen UR Livestock Research, via video-conferencing vanuit Livestock Research Lelystad) Personen die inhoudelijk betrokken zijn geweest bij de uitwerking van projecten vanuit een rol als opdrachtgever. Deze personen hebben alle ook brede kennis van het werkveld en kunnen daardoor ook reflecteren op impact van het lectoraat . Cie. bepaalt programma
Ondersteuning bij Skype en videoconferenc e: Geraldine + Iemand van Techn. Dienst
Reflectiedialoog door representanten beroepspraktijk Rick Hoksbergen (Alfa Accountants en Adviseurs) Herman Miedema (melkveehouder) Gea Zandvliet (Veehouderijdocent AOC Nordwin College) Met deze personen is niet intensief samengewerkt binnen de uitvoering van projecten. Zij kennen het lectoraat wel. Zij hebben brede kennis van het werkveld: sector melkveehouderij. Zij worden uitgenodigd om op enige afstand van het lectoraat een bijdrage te leveren aan de beoordeling ervan en het bespreken van de impact in de sector. Titia ontvangt deze personen in F 1.16 Cie. bepaalt programma Opstellen voorlopige beoordeling en advisering door commissie Openbare terugkoppeling Kernteam lectoraat Jan van der Valk Open voor o.a. geïnteresseerde docenten (uitgenodigd via intranet) en voor andere deelnemers aan dagprogramma die hiervan op de hoogte worden gebracht via de uitnodiging Afsluiting, borrel Jan bedankt de commissie en nodigt ze uit voor de borrel Cie-leden krijgen lunchpakket mee voor lange reis
Draaiboek Onderzoeksevaluatie Lectoraten VHL Versie 2, 12 augustus 2013, kenmerk 2013-913
Titia
Titia/Geraldine Jan Geraldine
42
Bijlage V. Werkzaamheden medewerker organisatie bezoek onderzoekscommissie lectoraat VHL Programma • • •
•
Lector i.s.m. opleidingsdirecteur en ondersteuner stelt programma vast voor het bezoek van de commissie en legt dit voor ter advies aan medewerker Stafbureau. Lectoraat/ondersteuner nodigt de voorgestelde gesprekspartners uit en legt dit vast aan de hand van de vastgestelde dagindeling. Lectoraat/ondersteuner stuurt gesprekspartners een bevestiging via mail of brief (incl. tijd en locatie), vergezeld van de samenvatting van de zelfevaluatie. Ondersteuner draagt zorg voor een nette versie van de samenvatting (in dezelfde opmaak als de zelfevaluatie). Ondersteuner is aanspreekpunt voor vragen of degene waar betrokkene zich kan afmelden bij onvoorziene gebeurtenissen.
Werkzaamheden • • • •
Vastleggen gesprekslocatie visitatiecommissie plus een tweede ruimte voor bijvoorbeeld voorbereidende agenderende vergadering of paralelsessies. vastleggen ontvangstruimte(s) gesprekspartners van de visitatiecommissie check of reserveringstijden afwijken van openingstijden gebouwen. Indien dat het geval is, speciale afspraken maken met receptie en gebouwbeheer. Reserveren van minimaal 2 laptops
Commissieleden o Wie zijn het? Onderzoekscommissievragen om beschrijvingen van de cie-leden o Van wanneer tot wanneer komen ze en waar vandaan? o Welke informatie moeten ze ontvangen, wie is de contactpersoon (secretaris)? Deelnemers programma o Deelnemers uitnodigen en daarna van informatie en instructies voorzien: o programma o informatie over cie-leden o samenvatting zelfevaluatie rapport o aanvullende praktische informatie (waar is ontvangst, op tijd aanwezig, routebeschrijving, declaratie, verwachtingen, afsluiting+openbare terugkoppeling, contactgegevens voor vragen of problemen) Twee weken voorafgaande het bezoek •
Tekst formuleren voor Intranet en laten plaatsen (via M&C). Aandachtspunt: terugkoppeling van de commissie is openbaar. Iedereen dus welkom. De tekst van de audit Wim Timmermans of anderen (te vinden in bibliotheek Intranet) kan als leidraad dienen voor de te formuleren tekst (bijlage).
Een week voorafgaande het bezoek • •
•
Skype-verbindingen testen Inrichting leestafel: keuze maken welke producten ten toon te stellen. Afspraken maken met de repro om e.e.a. in nette vorm aan te bieden. Aankleding visitatieruimte: een aantal posters. Programma versturen aan de gesprekspartners op datum X - in het programma = afsluitende borrel aangeboden door het CvB
VerbeterplanLectoraatVHLversie16april2013
43
•
•
•
- waar van toepassing: incl. routebeschrijving (auto en OV) - een lijst met de deelnemers aan die dag (: namen zijn voldoende). Bij catering regelen: - lunch commissieleden (rekening houdend met dieetwensen), koffie/thee en andere drankjes, (in Leeuwarden Oranjekoek); - borrel ter afsluiting. Regelen dat er op de dag zelf tenminste een persoon aanwezig is die: - de gasten ontvangt en begeleidt naar de commissie - hand en spandiensten kan verrichten in geval van calamiteiten of om zaken te regelen die niet voorzien waren dossier met verslagen van de interviews die zijn gehouden. (vertrouwelijk materiaal: mogen lector en OD niet inzien)
Een dag van tevoren • • • •
Check op alle voorzieningen (zalen, ruimtes, drankjes + afsluitende borrel, lunch + dieetwensen) Check ruimtes visueel: beschikbaarheid evt. sleutels, aanwezigheid beamer + laptop, whiteboard, flipover. Tafel met producten inrichten, aantrekkelijk en herkenbaar overzicht van maken conform de indeling in de zelfevaluatie. Receptie waarschuwen wie er komen.
Dag zelf • • • • •
Opvangen bij receptie en begeleiden leden van de commissie Opvangen bij receptie en begeleiden gesprekspartners (over de dag verspreid) Opvangen en luisteren naar reactie gesprekspartners na gesprek commissie/afscheid nemen + bedanken Standby voor evt calamiteiten/te maken kopieën ed Check op voldoende koffie/thee en andere drankjes/lunch/afsluitende drankjes.
Een week na bezoek •
Terugkoppeling door lector of opleidingsdirecteur op Intranet
Let op: kosten aanmaak materiaal en kosten lunch/koffie + thee + drankjes komen ten laste van het budget opleiding. • •
Skype-verbindingen testen Inrichting leestafel: keuze maken welke producten ten toon te stellen. Titia/Geraldine/Jelle Afspraken maken met de repro om e.e.a. in nette vorm aan te bieden. Aankleding visitatieruimte: een aantal posters.: o Één banner Lectoraat in Cie-ruimte 3.31 en één in 3.09 o Powerpoint over Lectoraat van Jelle o Oude Posters Ingspé-uitnodigingen o Tijdschriften waar artikelen over lectoraat in hebben gestaan o Heeft Hendrik nog presentatie over lectoraat gemaakt tbv Duurzaamheidsdag Dearsum? Jelle checkt.
1. •
Een dag van tevoren Check op alle voorzieningen (zalen, ruimtes, drankjes + afsluitende borrel, lunch + dieetwensen)
VerbeterplanLectoraatVHLversie16april2013
44 • • •
Check ruimtes visueel: beschikbaarheid evt. sleutels, aanwezigheid beamer + laptop, whiteboard, flipover. Tafel met producten inrichten, aantrekkelijk en herkenbaar overzicht van maken conform de indeling in de zelfevaluatie. Receptie waarschuwen wie er komen.
2. • • • • •
Dag zelf Opvangen bij receptie en begeleiden leden van de commissie Opvangen bij receptie en begeleiden gesprekspartners (over de dag verspreid) Opvangen en luisteren naar reactie gesprekspartners na gesprek commissie/afscheid nemen + bedanken Standby voor evt. calamiteiten/te maken kopieën e.d. Check op voldoende koffie/thee en andere drankjes/lunch/afsluitende drankjes.
3. •
Een week na bezoek Terugkoppeling door lector of opleidingsdirecteur op Intranet
VerbeterplanLectoraatVHLversie16april2013
45
Samenvatting/checklist Organisatie o programma o deelnemers uitnodigen en van info voorzien o catering voor commissie en deelnemers (ook tafelkleedjes) regelen a.d.h.v. een planning. Let op: ook borrel en een lunchpakketje voor de terugreis!! o bloemen bestellen o nadenken over de inrichting van het lokaal en materialen alvast verzamelen o naambordjes en badges klaarmaken o receptie van informatie voorzien (namen deelnemers, programma en contactpersoon) o reisdeclaratieformulieren voor deelnemers verzamelen o bedankje commissie regelen o bedankje deelnemers regelen o gastvrouw regelen o laptops reserveren o stand-by ict via ticket aanvragen o audio/Visio persoon contacteren en vragen alles klaar te zetten/testen o evt. extra: lokaal voor terugkoppeling reserveren en inrichten 1. o o o o o o o
lokaal gesprekken opstelling/inrichting (leestafel, banner) kapstok tafel/plek voor catering bloemstukken materiaal voor de commissie (schrijfblok, pen, knijpbeestje en bordjes+badges) sleutels bordjes/badges
2. o o o o o o
lokaal ontvangst tafels in vergaderopstelling catering bordjes/badges bedankje reisdeclaratieformulier kapstok
VerbeterplanLectoraatVHLversie16april2013
46
Bijlage VI. Format Verbeterplan Lectoraat Procedure Na ontvangst van het definitieve eindrapport worden afspraken gemaakt tussen CvB, lector en opleidingsdirecteur inzake het op te leveren verbeterplan. Lector en opleidingsindirecteur presenenten het concept-verbeterplan aan het CvB. Het CvB stelt het verbeterplan vast binnen max 20 weken na ontvangst van het definitieve eindrapport. Medewerker Stafbureau mailt het format aan lector en opleidingsdirecteur en ondersteunt waar nodig. Medewerker Stafbureau monitort de afgesproken verbeteracties. Richtlijnen op te stellen verbeterplan * max 10 pagina’s op basis van Arial font 10; * lector stelt het verbeterplan op aan de hand van de aanbevelingen uit de onderzoeksevaluatie i.s.m. de betrokken opleidingsdirecteur; * waar van toepassing worden ook andere opleidingsdirecteuren betrokken bij het opstellen en uitvoeren verbeterplan. 1. Inleiding De inleiding omvat de volgende elementen: • Korte aanleiding verbeterplan • Samenvatting oordeel onafhankelijke commissie • Verbeterplan: ontwikkelproces en draagvlak • Verbeterstrategie: hoofdlijnen van de inhoud van het verbeterplan. • Leeswijzer: een heldere opbouw van het verbeterplan. 2. Analyse Het lectoraat analyseert de aanbevelingen van de onafhankelijke commissie en legt de onderliggende factoren bloot. Deze factoren worden geanalyseerd; doel is het kunnen nemen van een besluit over noodzakelijke aanpassingen. De lector betrekt hierbij het Onderzoeksbeleid VHL 2012 – 2016, in het bijzonder de kerntaken Lectoraat en de functie/rollen van een lector. Dit hoofdstuk omvat minimaal de volgende onderwerpen: • De totstandkoming van de analyse • De gevonden oorzaken en de onderliggende knelpunten De volgorde sluit aan bij de volgorde van het Beoordelingsrapport. 3. Doelstellingen voor de komende jaren De te realiseren doelstellingen in een periode van vier jaar. Leidraad hierbij is het Onderzoeksbeleid VHL 2013 – 2016, met aandacht voor de vier kerntaken van een lectoraat, de drie rollen van een lector en de nagestreefde kwaliteitszorg m.b.t. onderzoek. In de kwaliteitszorg staat de PDCAcylus centraal. De te realiseren doestellingen worden uitgewerkt in een meerjarenplan, dat als basis dient voor de jaarlijks vast te stellen werkplannen. In het meerjarenplan wordt o.a. ingegaan op de lectoraatsopdracht, de keuzes die worden gemaakt m.b.t. missie en onderzoeksthema’s, de keuzes die worden gemaakt mb.t. de invulling van de vier kerntaken, de capaciteit van management en docenten om bij te dragen aan de voorgestelde verbetermaatregelen en de noodzakelijke randvoorwaarden om de gewenste situatie te bereiken.
VerbeterplanLectoraatVHLversie16april2013
47 4. De te nemen maatregelen De gekozen maatregelen worden beschreven in het vierde hoofdstuk van het verbeterplan, met aandacht voor de volgende elementen: • Relatie met de analyse: waar ligt de relatie met de analyse? • Maatregelen en effecten: wat wil het lectoraat met deze maatregelen bereiken? • Tijdsplanning en fasering • Wie is verantwoordelijk voor welke maatregel + te realiseren resultaat? • Evaluatie en monitoring • SMART uitwerking van de maatregelen 5. Communicatie Hoe worden de verbeterplannen en maatregelen gecommuniceerd binnen de organisatie? In dit hoofdstuk staat de communicatie met docenten, studenten en werkveld centraal. De communicatie is gericht op alle opleidingen waarbij het lectoraat betrokken is. Lector en opleidingsdirecteur stellen een Plan van Aanpak op, waarin oa wordt uitgewerkt de rol van M&C en de betrokkenheid van Interne Communicatie. 6. Samenvatting Het verbeterplan wordt samengevat in een overzicht, zoals opgenomen in de bijlage .
VerbeterplanLectoraatVHLversie16april2013
48
Samenvatting verbeterplan
Aanbeveling/constatering commissie
48
Oorzaken (analyse)
Concrete maatregelen (inclusief beoogde resultaten)
Draaiboek Onderzoeksevaluatie Lectoraten VHL
Tijdsplanning (inclusief monitoring en evaluatie)
Verantwoordelijkheden
49
Bijlage VII. Concept aanbiedingsformulier CvB inzake def evaluatierapport Aanbiedingsformulier DO / ODO d.d.: Decosnummer: Agendapunt: Bijlage(n): Op woensdag uiterlijk 12.00 uur voorafgaand aan het DO (standaard maandag om de week) moet het formulier worden aangeboden.
1. Titel/onderwerp:
Naam: onderzoeksevaluatie lectoraat
2. Status
x Ter besluitvorming
□ Ter bespreking
□ Ter informatie
3. Opdrachtgever:
X CvB □ Onderwijsdirecteur:
Naam:
□ Stafhoofd:
Naam:
□ Anders:
Naam:
4. Opdrachtnemer en redacteur:
Naam: Marianne Remmers
5. Korte toelichting vraagstelling / probleemstelling: Op 19 december 2012 heeft een onafhankelijke commissie een onderzoeksevaluatie uitgevoerd bij het lectoraat ……... De bevindingen van de commissie zijn verwoord in bijgaand Evaluatierapport. Dit is de 2e versie waarin op basis van hoor en wederhoor de aanvullingen, opmerkingen en adviezen zijn verwerkt van lector……., opleidingsdirecteur……., en de beleidsmedewerkers ……. De 1e versie is door VHL gescreend op 1. Een duidelijke lijn in bevindingen, oordeel daarover en wat zijn daarop de aanbevelingen?; 2. Feitelijke onjuistheden (incl. terminologie); 3. Tekstueel goed leesbaar?; 4. Is
49
Draaiboek Onderzoeksevaluatie Lectoraten VHL
50
het beeld over het lectoraat juist en herkenbaar?; 5. Wordt ons recht gedaan?; 6. Voldoende input voor/link met het komende bezoek VKO. Betrokkenen constateren dat Hobeon serieus naar het commentaar VHL heeft gekeken en met zorg heeft afgehandeld. Betrokkenen kunnen zich vinden in de tweede versie, met de opmerking dat in te vullen op basis van bevindingen lezers De voorliggende nota vormt de basis voor een op te stellen verbeterplan door lector en opleidingsdirecteur. Hierover worden afspraken gemaakt tussen lector, OD en CvBi. Daarnaast zal op instellingsniveau de consequenties voor het kwaliteitszorg in beeld worden gebracht en moeten leiden tot verbeteracties. Hobeon heeft een meta-analyse gemaakt op basis van de onderzoeksevaluaties lectoraten Groene Leefomgeving van Steden en Welzijn van Dieren. VHL heeft deze ontvangen. 6. Financiële consequenties: De financiële consequenties worden in kaart gebracht in de verbeterplannen op het niveau lectoraat/opleiding(en) en op instellingsniveau. 7. Voorgesteld besluit / advies: Gevraagd wordt in te stemmen met het voorliggende Evaluatierapport Lectoraat ……… en Hobeon te vragen ………… verbeterpunten door te voeren. De lector wordt gevraagd ism opleidingsdirecteur een conceptversie Verbeterplan + planning voor te leggen aan het CvB.
□ Portefeuillehouder □ Hoofd F&C
8. Advies:
□ Beleid/jurist
□ Anders
Portefeuillehouder Onderzoek betrekken bij het advies. 9. Vervolgprocedure:
□ Ter besluitvorming CvB: tekening □ Ter besluitvorming ODO: □ Ter besluitvorming MR: □ Ter besluitvorming GMR: Anders nl. □ Intranet Communicatie:
50
□ Ter bespreking
□ Ter informatie
□ Ter bespreking □ Ter bespreking □ Ter bespreking
□ Ter informatie □ Ter informatie □ Ter informatie
□ Studentnet
□ Resource
Draaiboek Onderzoeksevaluatie Lectoraten VHL
□ Ter
□ Anders