Kwaliteitszorg van onderzoek in het HBO: Het Sci-Quest/Lect project aan de Hogeschool Utrecht Marijk van der Wende, Frank Wamelink en Paul van Deursen (2007). In: Thema Vol 14, 2007 no 1. pp. 11-17.
Inleiding Sinds enkele jaren functioneren de lectoren in het HBO, waarmee invulling wordt gegeven aan het onderzoek als nieuwe functie van deze sector. In de eerste periode werden evaluaties van de lectoraten op sectorniveau geïnitieerd. Deze hadden een formatief en beschrijvend karakter en werden voornamelijk uitgevoerd in het kader van de beleidsverantwoording op landelijk niveau. Kwaliteitszorg van de onderzoeksfunctie van het HBO zal volgens het wetsontwerp WHOO echter ook tot de verantwoordelijkheid (als onderdeel van de zorgplicht) van de individuele instellingen gaan behoren. In dit kader heeft de Hogeschool Utrecht in 2005 het initiatief genomen een systeem voor de evaluatie en kwaliteitszorg van het onderzoek te (laten) ontwikkelen. De ontwikkeling vond plaats door externe adviseurs in samenwerking met de medewerkers beleid en kwaliteitszorg en de lectoren van de Hogeschool Utrecht. Inmiddels wordt het systeem in pilots uitgetest en is disseminatie naar andere hogescholen en breder overleg binnen het hoger onderwijs tot stand gekomen. Hierbij wordt aangesloten bij de KNAW-discussie over een bredere beoordeling van onderzoek, d.w.z. niet alleen op basis van de bijdrage aan ontwikkeling van de discipline, maar inclusief een waardering van toepassing en valorisatie als kwaliteit van onderzoek en door middel van het betrekken van een bredere groep van stakeholders bij beoordeling (extended peer review). Uitgangspunten en doelstellingen De HU ziet de kwaliteitszorg van lectoraten als het aangewezen instrument om de basis te leggen voor een hoogwaardige onderzoekstraditie die werkelijk bijdraagt aan vernieuwing van de professies. Bij de vormgeving staat de visie op sturing in een professionele organisatie centraal. Daarbij dienen de doelen van de organisatie en de doelen, normen en standaarden van de professionals nauw met elkaar verbonden te zijn. Daarnaast is, ook vanwege de vroegtijdigheid, gekozen voor een ontwikkelingsgerichte aanpak, waarbij de resultaten van de evaluaties richting kunnen geven aan de ontwikkeling van de kwaliteit van onderzoek. Tenslotte wordt aangesloten op de visie van de hogeschool op de functie van onderzoek in het HBO, de relatie onderzoek – onderwijs en de positie, rol en kerntaken lectoren. De visie van het HU op onderzoek sluit aan bij het advies van de AWT (2005) dat stelt dat onderzoek in het HBO gericht dient te zijn op de versterking van de kwaliteit van het onderwijs, de instandhouding en ontwikkeling van de beroepspraktijk, een bijdrage levert aan innovatie en aansluit op kennisvragen vanuit het bedrijfsleven en maatschappelijke organisaties. Ook wordt erkend dat alle opleidingen in het HBO verbonden behoren te zijn met onderzoeksactiviteiten (AWT, 2006). Kerntaken van lectoren zijn: onderwijs, professionalisering, kenniscirculatie en onderzoek (SKO, 2005). En volgens het nieuwe convenant: externe oriëntatie, curriculumvernieuwing, professionalisering docenten, en versterking kenniscirculatie en kennisontwikkeling binnen HBO instellingen. Voor de HU staat binnen de lectoraten de onderzoeksfunctie centraal met veel aandacht voor de bijdrage ervan aan de kwaliteitsverbetering van het onderwijs (inclusief professionalisering van docenten) en van de beroepspraktijk, d.m.v. toepassing en innovatie ten behoeve van de beroepsgroep, het bedrijfsleven of de maatschappelijke sector (in de regio). Op basis van deze uitgangspunten zijn de doelstellingen voor het ontwikkelen van het systeem voor kwaliteitzorg onderzoek als volgt samen te vatten: Richting geven aan strategische doelen van de organisatie inzake kenniscirculatie en onderzoek Bijdragen aan de ontwikkeling van de “professionele identiteit” (standards, practice & ethics) van de lector Het aanreiken van een kader en instrumentarium voor het middle-management
Parameters voor beoordeling van onderzoek in het HBO De huidige ontwikkelingsfase van het onderzoek in het HBO was een belangrijk gegeven bij de ontwikkeling van het project. In een recente SKO evaluatie werd gesteld dat lectoren weliswaar veel activiteiten hebben ontplooid, maar dat de onderzoeksfunctie nog nauwelijks uit de verf is gekomen (SKO, 2005). Het internationale rapport van de Commissie Abrahamsen (2005) merkte bovendien op dat: “The need for applied research in relation to professional education was not widely felt in the Netherlands [....] SMEs did not seem aware of the potential benefit that can be achieved by co-operation with universities of professional education in applied research”. In de internationale literatuur wordt meer in het algemeen erkend dat HBO-type instellingen voor aanzienlijke uitdagingen staan bij het ontwikkelen van een onderzoeksfunctie (zie o.a. Kettunen, 2004 en Kyvik & Skodvin, 2003). Hazelkorn (2004; 2005) omschrijft de belangrijkste barriers-to-entry for late-developers and newcomers in research als volgt: zwakke institutionele infrastructuur en ontoereikende financiering; personeel dat de vereiste vaardigheden en kwalificaties (PhD niveau) op het terrein van onderzoek ontbeert; en een sterke orientatie op beroepsopleidingen waarvan de meeste geen onderzoekstraditie kenden. Als belangrijkste elementen voor het ontwikkelen van een onderzoeksstrategie geeft zij aan: interne structurering d.m.v. het bepalen van prioriteiten en het vormen van thematische onderzoeksclusters of centra; het ontwikkelen van prestatie-indicatoren en HRM en het versterken van externe samenwerking en de financieringsbasis. Tegenover deze uitdagingen staat de toenemende maatschappelijke en economische behoefte aan toegepaste kennis en de toename van kennisvragen uit specifieke beroepsgroepen en specifieke (regionale) contexten. Dit hangt samen met de erkenning dat steeds meer onderzoek interdisciplinair is, dat de toepassingscontex belangrijk is, dat onderzoek steeds meer buiten universiteiten en in interactie met andere actoren plaatsvindt (ook wel aangeduid als Mode 2 research, Gibbons et al, 1994) en dat er verschillende gelijkwaardige vormen van scholarship bestaan: discovery, integration, application and teaching (Boyer, 1990). Dit rechtvaardigt een grotere varieteit in academische functies en activiteiten, waarin ook het HBO een rol te spelen heeft op het gebied van ontwerp en ontwikkeling. Inmiddels beginnen deze inzichten door te werken in de beoordeling van onderzoek (KNAW, 2005). Uit recent internationaal vergelijkend onderzoek naar onderzoeksbeoordeling (Jongbloed et al, 2005) blijkt dat er ook bij de beoordeling van het universitaire onderzoek in toenemende mate aandacht is voor andere dan de traditionele met fundamenteel onderzoek verbonden indicatoren. Maar ook blijkt dat er bij onderzoeksbeoordeling nog veel te verbeteren valt aan de keuze en samenhang van input – proces – en output indicatoren en aan de objectiviteit en vergelijkbaarheid van uitkomsten. Zo wordt er aan de outputkant veelal (te) veel nadruk gelegd op publicaties (en m.n. de tijdschriften waarin gepubliceerd wordt) en is er veel minder aandacht voor bijvoorbeeld de relatie met c.q. effect op onderwijs(kwaliteit). Ook wordt er in toenemende mate gepleit voor een beter evenwicht in de waardering van fundamenteel en van toegepast en praktijkgerelateerd onderzoek, voor meer aandacht voor interdisciplinariteit en voor, naast de wetenschappelijke, ook de economische en maatschappelijke impact van onderzoek. Tenslotte wordt er voor gepleit meer aandacht aan de missie van de instelling te besteden. Er zijn recent verschillende nieuwe methoden ontwikkeld die trachten hier meer aan tegemoet te komen. De Sci-Quest methode (zie hieronder) is hier een belangrijk voorbeeld van.
Op basis van bovenstaande uitgangspunten, doelstellingen, en uitdagingen zijn de volgende parameters geformuleerd voor het systeem van kwaliteitszorg onderzoek. Er zal bij de beoordeling van de kwaliteit aandacht moeten zijn voor: de totstandkoming van de onderzoeksvraag, de toegankelijkheid van de onderzoeksresultaten, het oordeel van de kennispartners van de betreffende hogeschool en de mate waarin nieuwe kennis wordt geïncorporeerd in het onderwijs. Dit houdt een evaluatiemethode in die zich goed verhoudt met de Mode 2 benadering van onderzoek en dus de kwaliteit van onderzoek beoordeelt op een breed scala van aspecten (netwerkvorming, professionele praktijk, onderwijs en scholing, wetenschap en bestuur en beleid) en op basis van self-assessment en external review (waarbij zowel peers als stakeholders zijn betrokken). De Sci-Quest methode bleek hiervoor de beste basis te bieden en is in het kader van het HU project vervolgens toegesneden op de toepassing in lectoraten (Sci-Quest/Lect). Dit wordt hieronder nader beschreven. Achtergrond van de Sci-Quest methode De Sci-Quest aanpak vindt zijn oorsprong in de wens om in de beoordelingen van onderzoek eveneens recht te doen aan de „maatschappelijke kwaliteit‟. In het wetenschapsbeleid van de jaren tachtig werden verschillende beleidsinstrumenten geïntroduceerd om de maatschappelijke relevantie van onderzoek te versterken, zoals verkenningen, sectorraden en stimulerings- en nationale onderzoeksprogramma's, die beogen de programmering van het onderzoek zo te beïnvloeden dat wordt bijgedragen aan maatschappelijke doelen. Tegelijk werden evaluatieprocessen van het onderzoek geïntroduceerd waarin in de eerste plaats de wetenschappelijke kwaliteit centraal wordt gesteld. Kenmerkend voor deze beoordelingen is de landelijke disciplinaire vergelijking en de internationale peer review door gezaghebbende wetenschappers. De beoordeling berust daardoor in de eerste plaats op academische disciplinaire standaarden waarbij de maatschappelijke relevantie van het onderzoek buiten beeld blijft. Het is onder andere de Commissie Overleg Sectorraden (COS) geweest die in het afgelopen decennium verschillende projecten heeft geïnitieerd de kans boden om een breder evaluatiemethodiek te ontwikkelen die het mogelijk maakte om de „maatschappelijke kwaliteit van onderzoek‟ te incorporeren in de beoordelingen van onderzoek. Een bespreking van de eerste ontwikkeling is te vinden in het proefschrift „The Evaluation of Research for Society‟ (Spaapen,1995). Daarin wordt een nieuwe methodiek voor evaluatie voorgesteld die gebaseerd is op nieuwe inzichten van de ontwikkeling van wetenschap in relatie tot de maatschappelijke context die voortkomen uit wetenschapssociologisch onderzoek. De meeste aandacht kreeg het hierboven al besproken concept van Mode 2 kennisproductie, naast het academisch disciplinair Mode 1 onderzoek. Kenmerken van deze Mode 2 vorm van kennisproductie zijn: 1) onderzoek vindt plaats in een context van toepassing; 2) verschillende actoren zijn betrokken bij de „problem solving‟ die in deze context plaatsvindt en 3) het is een transdisciplinaire activiteit waarbij de intellectuele activiteit in de sociale en economische contexten van toepassing plaatsvindt. Mode 2 onderzoek ontwikkelt zich in wederzijdse interactie met een relevante sociale omgeving. Een belangrijke consequentie van deze interacties is dat verwachtingen, normen en waarden in die omgeving de activiteiten van de onderzoekers en daarmee de onderzoeksproducten beïnvloeden. Deze inbedding van het onderzoek in de maatschappij is een voorwaarde voor het realiseren van maatschappelijke kwaliteit. Pilots bij de beoordeling van het universitaire onderzoek De Commissie van Overleg Sectorraden, de Nationale Raad voor Landbouwkundig Onderzoek (NRLO) en Wageningen Universiteit (toen nog LUW) vroegen in 1998 aan Sci-Quest om als voorbereiding op een VSNU beoordeling van de Landbouwwetenschappen een methode uit te werken waarmee de maatschappelijke kwaliteit van onderzoeksgroepen in beeld gebracht zou kunnen worden. In 2003 vond een tweede pilot plaats bij de VSNU visitatie Farmacie. Ook hier is door SciQuest een achtergrondstudie uitgevoerd om de kennisproductie door de betrokken programma‟s in de volle breedte in kaart te brengen. Niet alleen de wetenschappelijke artikelen, maar eveneens de bijdragen aan de beroepspraktijk, het beleid en de industrie.
De commissies maar ook de onderzoeksgroepen aanvaarden de bevindingen als overzichtelijk en overtuigend en een goed uitgangspunt voor de beoordeling. Aandachtspunt in het wetenschapsbeleid De pilots worden besproken en in een theoretisch kader geplaatst in „Evaluating Research in Context‟ dat in 2005 door de COS is gepubliceerd. Hiervoor is recent belangstelling ontstaan in de landelijke discussie over de valorisatie van kennis. De minister heeft bijvoorbeeld naar de Sci-Quest experimenten verwezen in haar reactie op het recente AWT rapport “De waarde van weten, de economische betekenis van universitair onderzoek”. Daarbij wordt gesteld dat de methodiek inzicht kan bieden in de maatschappelijke positie van onderzoeksgroepen en in die zin een instrument kan zijn voor het zichtbaar maken van valorisatie. Om een impuls te geven aan de ontwikkeling en het gebruik van een bredere evaluatiemethodiek is het actieprogramma van de „Contextgroep‟ opgesteld. Voor dat programma is inmiddels bestuurlijke steun gekregen van NWO, KNAW, VSNU en QANU. OCW neemt als waarnemer deel en heeft recent toegezegd om het programma substantieel mede te financieren. Na de start van het experiment met Sci-Quest/lect bij de Hogeschool Utrecht neemt een vertegenwoordiger uit het HBO deel aan de bijeenkomsten. De verbinding die zo wordt gelegd met de onderzoeksactiviteiten in het HBO wordt door OCW gewaardeerd. De contextgroep onderzoekt de mogelijkheden om tot verbetering van de evaluatiepraktijk in het publieke wetenschappelijk onderzoek te komen door: bewustwording van de noodzaak om de maatschappelijke waarde van onderzoek voor zichzelf en anderen te expliciteren, het aanbrengen van aanvullende evaluatievaardigheden op dit terrein, het aanleveren van een goed instrumentarium en de ontwikkeling van een steunpunt om instellingen te adviseren op dit gebied. De vier stappen van de Sci-Quest methodiek Om recht te doen aan de volle breedte van de kennisactiviteiten van een onderzoeksprogramma worden een aantal relevante wetenschappelijke en maatschappelijke domeinen onderscheiden waarin onderzoeksactiviteiten plaatsvinden. In de pilots zijn de domeinen beredeneerd afgebakend, bijvoorbeeld: Wetenschap; Onderwijs; Professionele praktijk en Beleid en maatschappelijke vraagstukken. De methode bestaat uit vier stappen: Stap 1: zelfbeeld en missie In de missies van onderzoeksgroepen kunnen verschillen voorkomen in de mate waarop zij zich richten op de onderscheiden domeinen. Het expliciteren van het zelfbeeld van de groep in dit opzicht geeft een achtergrond voor de evaluatie van de activiteiten van de onderzoeksgroep. Dat zelfbeeld wordt schematisch in beeld gebracht aan de hand van een schatting van 1) de onderzoekstijd in ieder van de domeinen, 2) de invloed van stakeholders uit ieder van de domeinen op het onderzoek en 3) een waardering van het belang van de stakeholders in ieder van de domeinen. Stap 2: het profiel van de onderzoeksgroep/ Research embedment and performance profile (REPP) Het profiel wordt gebaseerd op indicatoren voor enerzijds communicaties en inbedding in het domeinen anderzijds impact en gebruik. De concrete indicatoren en indicaties die werden gebruikt zijn afgeleid van meetbare data over onder anderen: - output (publicaties en andere kennisproducten) - impact (citatie, gebruik) - mobiliteit van afgestudeerden en medewerkers - financiering en fondsen - samenwerking, gebruikers van onderzoeksresultaten, adviseurschappen, etc. - kennisproducten, patenten, etc. - bijdrage aan onderwijs en training
Deze data zijn samengebracht in een schematische grafische weergave van de onderzoeksgroep in relatie tot zijn context. In de pilot Landbouwwetenschappen werden de resultaten geprojecteerd in een radargrafiek (zie figuur 1). Deze grafische representatie is een hulpmiddel in het zelfevaluatie proces waarin empirische evidenties worden verzameld met betrekking tot het profiel van de groep. Doel is om een stevige basis te verschaffen voor een interne discussie over de onderzoeksstrategie en de daaraan verbonden performance. Crop and Grassland Science % co-publ. Neth. (not KCW) KCW citing % Neth. citing (not KCW) KCW co-pub % co-pub. Internat. KCW coop/fin proj
KCW
% mobility to KCW
% Internat. citing
Collaboration & Visibility
involvement NGO's (scored in %)
2 cit. / journ. art.
% mobility to gov./policy arena
1,5 members gov. or spec. prog./WP
2 journ. art. / fte total 2,9 journ art / fte tot 2,1 memb / fte senior 1,5 member sci journal/ fte WP
Public Policy
Science & Certified Knowledge orientation on science ( in %)
% coop/fin proj gov/spec. prog.
1,5 member advisory board/WP 2 prof art/ fte total
% cited journ. art.
second fte (20 % of fte total)
Innovation & Professional
1 patent / 3 WP
% coop/fin proj ->res. grps (incl.KCW)
Education % mobility to research (incl. KCW) & Trainingextra 15,25 dissertations (cat 1)
coop/fin proj innovating inst Research Embeddement & orientation on professionals ( in %) Performance Profile third budget fte (45% of fte total)
diss. (cat 1)/ 4 fte AIO/OIO Junior, AIO,OIO students (1 Jun. / 2 Sen. 0,54 f te junior / 1 fte1997)) senior # diss (cat 1) / # junior staff % mobility to company
Stap 3: Stakeholder- en gebruikersanalyse Naast de reconstructie van het profiel van de groepen wordt een stakeholders- en gebruikersonderzoek uitgevoerd. In de eerste plaats wordt de gebruikersomgeving geïdentificeerd en in de tweede plaats wordt nagegaan of stakeholders en gebruikers worden betrokken bij de probleemdefinitie, het zoeken naar de probleemoplossing en het testen van de oplossingen. Concreet wordt een selectie van de gebruikers en stakeholders van een onderzoeksgroep ondervraagd over de: aard van de interactie (productontwikkeling, gezamenlijke publicatie, patent, gebruik van apparatuur, uitwisselen van personeel, etc.); reden van de interactie (stimuleren van innovatief onderzoek, profiteren van expertise, kennisoverdracht naar anderen bevorderen, deelname in experimenten, etc.); rol van de stakeholder (collega, klant, intermediair, etc.); soort invloed op het onderzoek (informeel contact, stuurgroep, conferentie, kennistransfer bureau, etc.) en de waardering van het onderzoek. De resultaten van dit gebruikersonderzoek geven een kwalitatieve beschrijving van de mate waarin de gebruikers betrokken worden bij het onderzoek. Het geeft inzicht in de vragen of het onderzoek aansluit bij probleemdefinities van stakeholders, wat dit onderzoek betekend heeft voor de stakeholders en gebruikers en, wanneer relevant, in welke mate de kennisproducten worden gewaardeerd door de gebruikers. Stap 4: De terugkoppeling Het REPP van de onderzoeksgroep en de stakeholderanalyse maken het mogelijk voor de onderzoeksgroep om te reflecteren op de mate waarin het zelfbeeld van de groep overeenkomt met het profiel en de kwalitatieve beschrijving van de gebruikersomgeving. De terugkoppeling geeft de ruimte voor de onderzoeksgroep om (zoals in een sterkte zwakte analyse) de belangrijkste issues te formuleren die aan de orde moeten komen in de beoordeling door de commissie door commentaar te geven op het profiel en de stakeholderanalyse
Beoordeling door de commissie Aan de commissie wordt gevraagd om in de beoordeling de volledige context van de onderzoeksgroep en niet alleen de wetenschappelijke achtergrond mee te wegen. Het is belangrijk om hiermee bij de samenstelling van de commissie rekening te houden. De commissies zagen de Sci-Quest rapporten als bruikbaar en informatief achtergrondmateriaal. De analyses en profielen hebben diepte gegeven aan het datamateriaal dat in het kader van de beoordeling moet worden aangeleverd. De twee pilots werden in het algemeen als veelbelovend beoordeeld door de betrokken onderzoekers, commissieleden en bestuurders. De operationalisering en de routinematige inpassing in de kwaliteitszorg voor het onderzoek vergt nog wel nadere uitwerking van diverse aspecten van de methodiek. De verdere ontwikkeling zou zich kunnen richten op de vereenvoudiging van het profiel en een meer consequente uitwerking van de relatie tussen de vier stappen. De HU heeft dit opgepakt in de toepassing bij de evaluatie van de lectoraten. Van Sci-Quest naar Sci-Quest/lec Bovenstaande, op de universiteit uitgeteste Sci-Questmethodiek hebben wij vertaald naar de specifieke situatie van de HU. Opvallendste verschillen tussen de universitaire en de HU situatie zijn: - De massa van een lectoraat. Een lectoraat bestaat uit een parttime lector en circa 5 parttime docenten, doorgaans zonder onderzoekservaring. - De historische traditie van het onderzoeksprogramma. Op de HU zijn de lectoraten 5 jaar geleden als pioniers begonnen en is nog niet helemaal uitgekristalliseerd wat onder “toegepast onderzoek” verstaan wordt en hoe dat onderzoek georganiseerd en gestuurd moet worden. Ook de vanzelfsprekendheid dat de strategische HU visie moet sporen met die van de lectoraten ontbreekt nog te vaak. - De historische band van de HU met het (regionale) bedrijfsleven waarbij het voor de HU als vanzelfsprekend is met stakeholders samenwerkingsverbanden aan te gaan en een praktische, toepasbare bijdrage aan de verschillende sectoren te willen leveren. - De breedte van de opdracht. Lectoren hebben een diversiteit aan opdrachten meegekregen. Zij moeten een kennisinfrastructuur/ kennisnetwerk opbouwen, de onderzoekscomponent in het HBO verstevigen, een bijdrage aan het onderwijs leveren, de beroepspraktijk innoveren, wetenschappelijk onderzoek doen en een bijdragen leveren aan relevante maatschappelijke debatten op hun terrein. Gegeven deze situatie en de HU antwoorden hierop (de HU-visie op onderzoek) hebben wij met alle lectoren van de hogeschool in enkele workshops de Sci-Quest domeinen en criteria vertaald (Tabel 1). Tabel 1. Voor de HU relevante Domeinen en criteria DOMEIN I. NETWERKVORMING 1. aantal samenwerkingsrelaties 2. kwaliteit van die relaties 3. betrokkenheid van gebruikers bij het formuleren van het onderzoeksprogramma DOMEIN II. PROFESSIONELE PRAKTIJK 4. Professionele publicaties 5. Kennisproducten voor professionele praktijk of bedrijven (bijdrage aan bedrijfsvoering en onderzoek van bedrijven en instellingen) 6. Formele bestuurs- of adviesfuncties professionele organisaties/ bedrijfsleven 7. Deskundigheidsbevordering beroepspraktijk & bedrijven DOMEIN III. ONDERWIJS EN SCHOLING 8. Bijdrage aan de kwaliteitsverhoging van opleidingen: door een bijdrage aan de visie op het beroepsprofiel de actualiteit van de opleiding; het inbrengen van internationale standaarden
-
bijdrage aan de ontwikkeling van geaccrediteerde masteropleidingen het verzorgen van de onderzoekscomponent in opleidingen bevorderen van (internationale) mobiliteit van docenten deskundigheidsbevordering docenten ontwikkelen van excellente leerroutes en het bijdrage aan door de NVAO erkende bijzondere kwaliteitskenmerken van opleidingen.
DOMEIN IV. WETENSCHAP 9. Publicaties in ‘refereed journals’ 10. Onderzoekscompetenties leden (promotiegraad) 11. Samenwerking in onderzoek met wetenschappelijke instellingen 12. Onderzoeksfinanciering na wetenschappelijke toetsing 13. Bijdragen aan wetenschappelijke opleidingen en congressen (ontwikkeling, gastdocentschap, invited lecture) DOMEIN V. BESTUUR EN BELEID 14. Een bijdrage aan overheidsbeleid, beleid van maatschappelijke organisaties en de maatschappelijke discussie 15. Formele bestuurs- en of adviesfuncties in beleidsorganen of maatschappelijke organisaties Meest opvallende aan deze domeinen is het apart en bovenaanzetten van de netwerkfunctie. Men kan zich afvragen of dit een apart domein is of een middel om in alle overige domeinen te opereren. Zonder twijfel is dat laatste het geval, maar gezien de pioniersfase zien wij het ontwikkelen, verstevigen en uitbreiden van een kennisinfrastructuur als een noodzakelijke voorwaarde voor het leveren van een bijdrage aan de andere domeinen. Ook valt op dat het domein wetenschap zwaar is aangezet. Hoewel binnen het HBO en dus ook binnen de HU het domein wetenschap (nog) niet overal vanzelfsprekend is, maar we ons als nieuwkomer wel op dat terrein willen manifesteren, hebben wij ervoor gekozen de kwaliteitseisen zoals die in de academische wereld gelden, over te nemen. Aan de hand van deze HU domeinen en criteria hebben wij vervolgens de verschillende SciQuest fasen vertaald naar de HU situatie en de methode omgedoopt van Sci Quest naar Sci Quest/lect. Fase 1: Formuleren van een missie. Om het probleem van de geringe massa van lectoraten te verminderen en de inhoudelijke thematische onderzoekslijnen meer op elkaar af te stemmen, hebben wij ervoor gekozen te gaan werken met kenniscentra. Een kenniscentrum is een inhoudelijke en organisatorische samenvoeging van meerdere lectoraten binnen een sector. Naast het creëren van meer massa, vermindert dit ook de inhoudelijke versnippering van onderzoeksprogramma‟s (focus). Omdat de kenniscentra zowel qua inhoud als aggregatieniveau anders zijn dan de oorspronkelijke lectoraten, moeten we in deze missiefase zowel terugblikken (wat was 4 jaar geleden de oorspronkelijke opdracht van dit lectoraat?) als vooruitkijken (wat is voor de komende 4 jaar de missie van dit kenniscentrum?). Hoewel ook de oorspronkelijke lectorenopdracht wordt meegenomen, ligt de nadruk duidelijk op de toekomstvisie van de kenniscentra. In deze zin is het doel van Sci-Quest/lec op dit moment meer ontwikkelingsgericht dan beoordelend.
In de missie komt de relatie tussen HU-missie, facultaire missie en missie van het kenniscentrum tot uiting. De missie wordt uitgesplitst naar de verschillende domeinen (tabel 1). Per domein wordt in een percentage aangegeven hoeveel tijd (en daarmee belang) er aan is/zal worden besteed. Fase 2. REPP. [=Research embedment en performance profile]
Dit is een fase waarin aan de hand van domeinen en criteria uit Tabel 1 wordt gescoord in hoeverre de kenniskringleden zelf van mening zijn dat de oorspronkelijke doelen (som van oorspronkelijke lectorenopdrachten) en de geformuleerde missie (waar staat het kenniscentrum over enkele jaren) zijn bereikt. De criteria uit Tabel 1 zijn hiertoe uitgewerkt tot meetbare indicatoren. In deze indicatoren is de HU visie op kennisontwikkeling (waaronder onderzoek) en kenniscirculatie verweven. De indicatoren richten zich op het aantal gerealiseerde resultaten (bijvoorbeeld aantal publicaties, aantal ontwikkelde minoren), het belang van deze resultaten (kunt u aangeven wat het belang van uw ontwikkelde product is voor de beroepspraktijk? Het onderwijs? Het maatschappelijke debat?) en de mate waarin stakeholders invloed hebben op deze resultaten (comakership? Opdrachtgever-opdrachtnemersrelatie? Enz). Het invullen van de indicatoren gebeurt zoveel mogelijk op basis van bestaand evaluatiemateriaal (met name SKO-rapportages). Die indicatoren waarvoor geen bestaand materiaal bestaat, worden door de lectoren ingevuld. Fase 3. Stakeholdersonderzoek In deze fase wordt bij stakeholders gemeten wat de aard, reden en intensiteit van de samenwerking van de stakeholder met het kenniscentrum is en hoe tevreden hij daarover is. Aan de, in de ogen van de lectoren, belangrijkste stakeholders per domein wordt hiertoe een vragenlijst toegestuurd. Fase 4. Reflectie Het kenniscentrum reflecteert op de verschillen tussen de eigen perceptie (REPP) en het oordeel van de omgeving / stakeholders. Dat alles gerelateerd aan de oorspronkelijke opdrachten en de missie. Het is in dit stadium van de ontwikkeling van Sci Quest/lect helaas nog niet mogelijk de resultaten af te zetten tegen relevante sectorale benchmarks. Hiertoe zullen in de loop der jaren landelijke databases moeten worden opgebouwd. Fase 5. Externe commissie Een team van peers en auditoren bezoekt het kenniscentrum, stelt op grond van het gesprek en de data van de vorige fasen vast waar het kenniscentrum zich op de verschillende domeinen bevindt en hoe het zich van daaruit de komende jaren zou kunnen gaan ontwikkelen om de missie te volbrengen. Bij de samenstelling van het team zijn de volgende criteria van belang: - Gerenommeerde peer, liefst internationaal aanzien. - Auditteam past qua samenstelling in het onderzoeksparadigma van het kenniscentrum/ de faculteit . - Auditteam onderschrijft het ontwikkelingsdoel van de evaluatie: niet afrekenen maar op een inspirerende manier helpen de lijnen voor de toekomst uit te zetten (voldoende inspirerend om het kenniscentrum te kunnen uitdagen en voldoende herkenbaar om zich mee te kunnen identificeren). De conclusies van deze externe commissie kunnen als hefboom dienen in de verdere ontwikkeling van individuele lectoraten naar professionele kenniscentra. Voorlopig wordt nog gesproken over een externe commissie i.p.v. een auditcommissie omdat dat het ontwikkelgerichte karakter van deze fase beter beschrijft. Wanneer zowel het systeem als de kenniscentra verder zijn uitgewerkt, zal deze externe commissie zich steeds meer kunnen opstellen als auditoren.
Pilot De Sci-Questmethodiek wordt dit jaar eerst uitgetest bij de kenniscentra van de Faculteit Gezondheidszorg en de Faculteit Educatie. De pilotvragen luiden: -
Is de methode werkbaar voor de HU (betrouwbaar, valide, efficiënt, effectief)?
-
Kan het op termijn de basis vormen voor een kwaliteitssysteem voor kennisontwikkeling en kenniscirculatie? Levert Sci-Quest/lec voldoende bijdrage aan: - de ontwikkeling van lectoraten naar kenniscentra? - de ontwikkeling van professional standards? - de discussie en concretisering van de HBO visie op kennisontwikkeling en kenniscirculatie?
De pilot eindigt met een evaluatie en een ronde bijstellingen van instrumenten en methoden. Wanneer de pilot slaagt, zal zij worden geïntegreerd in de P&C-cyclus van de HU. Met name de relatie met HRM en kwaliteitszorg van het onderwijs (accreditatie) is hierbij belangrijk. In de pilot wordt inhoudelijk samengewerkt met Fontys Hogescholen en Haagse Hogeschool, waarbij elke hogeschool een andere inhoudelijke insteek kiest. Het samenvoegen van de ervaringen met deze varianten kan op termijn mogelijk een landelijk systeem dichterbij brengen. Ook wordt er samengewerkt met de landelijke Sci-Quest-contextgroep (NWO, KNAW, QANU, OCW, VSNU en COS) waardoor uitwisseling van ervaring tussen HBO en universiteit ontstaat.
Literatuur AWT (2005). Ontwerp en ontwikkeling. De functie en plaats van onderzoeksactiviteiten in hogescholen (concept). Den Haag. AWT (2006). Ontwerp en ontwikkeling De functie en plaats van onderzoeksactiviteiten in hogescholen. Briefadvies no 65. Boyer 1990, E.L. (1990). Scholarship reconsidered. Priorities of the Professorate. New York: Carnegie Foundation for the Advancement of Teaching. Commissie Abrahamsen (2005). Bridging the gap between theory and practice. Possible degrees for a binary system. Report Committee Review Degrees. Gibbons, M., C. Limoges, H. Nowotny, S, Schwartzman, P. Scott & M. Trow (1994). The New Production of Knowledge. London: Sage. Hazelkorn, E. (2004). Growing research – Challenges for Late-developers and Newcomers. In: Higher Education Management and Policy. Vol. 16 no. 1. Hazelkorn, E. (2005). U n i v e r s i t y R e s e a r c h M a n a g e m e n t D e v e l o p i n g R e s e a r c h i n N e w I n s t i t u t i o n s . P a r i s : O E C D / I M H E . Jongbloed, B, C. Salerno, J. Huisman & H. Vossensteyn (2005). Research prestatiemeting: een internationale vergelijking. Beleidsgerichte studies hoger onderwijs en wetenschappelijk onderzoek, nr 113. Den Haag: Ministerie van OC&W. Kettunen, J. (2004). Bridge building for the future of the Finnish polytechnics. In: Journal of Higher Education Outreach and Engagement. Vol. 9, No. 2, pp. 43-57 KNAW, 2005. Judging research on its merits. An advisory report by the Council for the Humanities and the Social Sciences Council. Amsterdam. Kyvik, S. & O. Skodvin (2003). Research in the non-university higher education sector – tensions and dilemmas. In: Higher Education. No. 45, pp. 203-222. SKO (2005). Succesfactoren voor lectoraten in het HBO. Commissie tussentijdse evaluatie lectoren en kenniskringen Den Haag; SKO Spaapen, J.B (1995). The Evaluation of Research for Society, dissertation, University of Amsterdam. Klep,L. (2000). De maatschappelijke oriëntatie van onderzoeksgroepen. Hoe sta je in de werled?, Nationale Raad voor Landbouwkundig Onderzoek en Commissie van Overleg Sectorraden onderzoek en ontwikkeling (COS) Spaapen, J.B. en Dijstelbloem, H. (2005) Evaluating Research in Context, A method for comprehensive assessment, Consultative Committee of Sector Counsils for Research and Development (COS)
Over de auteurs Prof. dr. Marijk van der Wende is hoogleraar hoger onderwijs bij CHEPS (UT) en de VU en was als extern adviseur bij dit project betrokken. Drs Frank Wamelink is coördinator onderwijsvisitaties bij QANU en was als onderzoeker betrokken bij de ontwikkeling van de Sci-Quest methode Dr. Paul van Deursen is hoofd van de stafdienst kwaliteit van de HU.
