Management, finance en recht
Wanneer is onderzoek goed: de kwaliteitscriteria De verwarring voorbij Naar hernieuwd zelfvertrouwen Congres ‘Praktijkgericht onderzoek in het HBO’ Amersfoort, 11 december 2012 Daan Andriessen Hogeschool Inholland
Het Nederlandse accreditatiestelsel Standaard 1: •De beoogde eindkwalificaties van de opleiding zijn wat betreft inhoud, niveau en oriëntatie geconcretiseerd en voldoen aan internationale eisen.
Standaard 16: •De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd.
2
Wat is een adequaat systeem van toetsing voor scripties?
3
De verwarring is compleet
4
Mijn probleemstelling en deelvragen Wat is een adequaat systeem van toetsing voor scripties? 1. Wanneer zijn kwaliteitscriteria goed? 2. Welke kwaliteitscriteria voor scripties bieden de officiële kaders en wat is hun kwaliteit? 3. Hoe kan je als opleiding komen tot goede kwaliteitscriteria? 4. Wat is daarvan een goed voorbeeld?
5
1. Wanneer zijn kwaliteitscriteria goed?
6
Wat is de belangrijkste functie van kwaliteitscriteria voor scripties? 1. Student helpen er achter te komen hoe hoog de lat ligt voor beroepsproducten in zijn toekomstige beroep 2. Zodat de student kan bepalen wat hij moet doen om dit niveau te halen 3.
Waardoor de docent dit leerproces goed kan begeleiden
4.
En de scriptie kan worden beoordeeld 7
Kwaliteitscriteria voor kwaliteitscriteria 1. Afgeleid uit de (internationale) competentie-eisen, het beroepsprofiel en visie op onderzoek daarin 2. Richtinggevend bij het maken van keuzes tijdens het onderzoek 3. Didactisch functioneel
4. Valide, betrouwbaar en voor studenten inzichtelijk (standaard 16)
8
Standaard 16: Valide, betrouwbaar en voor studenten inzichtelijk Hiertoe moeten ze worden geoperationaliseerd. Ze hebben: 1. Een object in de scriptie (wat moet kwaliteit hebben? Bv. probleemstelling of literatuurstudie) 2. Een criterium (welke kwaliteit moet het hebben? Bv. Relevant, afgebakend of functioneel) 3. Indicatoren (waaraan kan ik zien of er sprake is van kwaliteit?)
9
2. Welke kwaliteitscriteria voor scripties bieden de officiële kaders en wat is hun kwaliteit?
10
Officiële kaders Algemene internationale en landelijke kaders: •Dublin descriptoren (DD) •HBO kenmerken Commissie Fransen (CF) •“Kwaliteit als opdracht” (HBO-raad)
Commissie Dunnewijk-Budé / “Vreemde ogen dwingen” Beroepsprofielen van opleidingen
11
Wat moeten BA studenten kunnen volgens internationale en landelijke kaders? Onderzoekend vermogen (HBO-raad): Vraagstelling ontwikkelen 1. Definiëren en analyseren complexe probleemsituaties (CF) Onderzoeksplan maken (CF) 2. Planmatig aanpakken van werkzaamheden 3. (wetenschappelijke) inzichten, theorieën, concepten en Theorie toepassen onderzoeksresultaten toepassen (CF) Data verzamelen en analyseren 4. Gegevens verzamelen en interpreteren (DD) 5. Afwegen van sociaal-maatschappelijke, wetenschappelijke of ethische aspecten (DD) Conclusies trekken 6. Oordeel vormen (DD) 7. Ontwikkelen en beoordelen van oplossingen (CF) anderepractice beroepsproducten Leiden totAdviezen evidenceofbased (HBO raad)maken Innovatie (HBO raad) Reflecteren resultaten 8. Reflecteren op het handelen (CFop / HBO raad) 12
Conclusie algemene internationale en landelijke kaders Deze bieden wel overzicht van benodigde onderzoeksvaardigheden van de student Maar geen kwaliteitscriteria voor scripties
13
Commissie Dunnewijk-Budé •“Hiertoe heeft de Commissie een toetsingskader ontworpen met deels hbo-generieke en deels opleidingsspecifieke criteria (standaarden) waarmee zou kunnen worden bepaald of sprake is van voldoende hbo-bachelor kwaliteit in het algemeen, en van het vereiste BE-, CE-, MEM-, en VTMopleidingsniveau in het bijzonder.”
Bron: Rapport van Bevindingen NVAO-Commissie Onderzoek Hogeschool Inholland, 26 april 2012 14
Beoordelingscriteria (standaarden) van de Commissie (1) 1. Vinden we onderstaande componenten terug in het afstudeerproject? - A. Vraagstelling & verantwoording - B. Onderzoek & analyse (vraag- en aanbodzijde, publiek, omgeving) – – – – –
a. Onderzoeksopzet b. Bronnenonderzoek c. Empirisch onderzoek d. Conclusies e. Output [Afhankelijk van type afstudeerproject] 15
Beoordelingscriteria (standaarden) van de Commissie (2) 2. Zo ja, zijn die componenten voldoende kwaliteitsvol uitgewerkt?
16
Beoordelingscriteria (standaarden) van de Commissie (3) 3. Kunnen we uit het afstudeerproject afleiden dat de afstuderende blijk geeft van minstens “voldoende”: 1. theoretische vorming / onderbouw 2. overzicht en inzicht, het kunnen plaatsen van problemen in de context 3. reflectie (incl. zelfreflectie), kritische en objectiverende ingesteldheid, zin voor nuance 4. creativiteit en/of vermogen tot conceptualisering 5. vermogen om helder te communiceren 6. vermogen om efficiënt en resultaatgericht te werken 17
Kunnen we de Dunnewijk-Budé eisen aan afstuderenden gebruiken als criteria voor scripties?
Onderzoekend vermogen
Een goede scriptie 18
4. Valide, betrouwbaar en voor studenten inzichtelijk (standaard 16)
19
Theoretische vorming / onderbouw Object
Criterium
Indicatoren
Literatuurverkenning Verantwoorde -selectie, - gebruik, verwerking en -vermelding
geen
Literatuurverkenning Evenwichtige mix van binnen- en buitenlandse bronnen
geen
Theoretische verkenning
Adequaat
geen
Veldonderzoek
Behoorlijk uitgevoerd
geen
Dataverzamelingsmethoden
Behoorlijk uitgevoerd
geen
Dataverwerking
Behoorlijk uitgevoerd
geen
20
Overzicht en inzicht, het kunnen plaatsen van problemen in de context Object
Criterium
Indicatoren
?
Contextueel bewustzijn
geen
Probleembeschrijving
kunnen uitzoomen, een opdracht/probleem in perspectief kunnen plaatsen
geen
?
oog voor afbakening, scherpte/helderheid en praktijkgerichtheid
geen
Vragen en deelvragen
Relevant
geen
Onderzoeksresultaten
Analyse in relatie tot elkaar
geen
?
getuigen van een integrale benadering
geen 21
Reflectie (incl. zelfreflectie), kritische en objectiverende ingesteldheid, zin voor nuance Object
Criterium
Indicatoren
Bronnen
bronnenkritiek
geen
?
Eigen oordeelsvorming
geen
?
reflectie over de eigen plaats in het onderzoek
geen
Conclusies (?) aanzet tot beantwoorden van onderzoeksvragen
geen
?
onafhankelijk ingesteldheid
geen
?
goede inschatting van de toegevoegde waarde van het onderzoeksresultaat t.b.v. het werkveld
geen
?
inzicht in eigen werkwijze en proces
geen 22
Creativiteit en/of vermogen tot conceptualisering Object
Criterium
Indicatoren
?
onderzoek kunnen vertalen naar een concreet concept voor een product en/of dienst
geen
?
originaliteit
geen
?
eigenheid
geen
?
out-of-the-box aanpak
geen
?
onafhankelijk denken
geen
?
meer perspectieven kunnen innemen
geen
?
ideeën kunnen genereren
geen
?
gevoel voor innovatie
geen
?
oog voor aspecten van usability
geen
?
kunnen vormgeven van steekhoudende look en feel
geen 23
Vermogen om helder te communiceren Object
Criterium
Indicatoren
Omvang
passend
Geen
kernachtig
Geen
efficiënt
Geen
Taalgebruik
correct met het oog op spelling, Geen grammatica, stijl en sequentiële opbouw van tekst
verzorging van het rapport
zakelijk en representatief, waaronder vormgeving, overzichtelijkheid, gebruik van beelden (figuren, tabellen en afbeeldingen)
Geen
rapport
gebruik van visuele middelen/vormgeving
Geen 24
Vermogen om efficiënt en resultaatgericht te werken Object
Criterium
Indicatoren
?
Planmatig werken
Geen
?
Zelfsturing
Geen
?
Kunnen samenwerken
Geen
?
Eigen rol in het team kunnen inschatten
Geen
?
Probleemoplossend vermogen
Geen
?
evenwichtige kosten/batenbenadering
geen
25
Conclusie Commissie Dunnewijk-Budé •Commissie Dunnewijk-Budé biedt geen lijst met kwaliteitscriteria voor scripties •En is hier ook niet eenvoudig naar te vertalen
26
Conclusie: officiële algemene criteria voor scripties zijn in Nederland niet voorhanden
Onderzoekend vermogen
Een goede scriptie 27
3. Hoe kan je als opleiding komen tot goede kwaliteitscriteria?
28
Hoe dan wel? 1 2 3 4 5
• Eisen bachelor als basis • Visie en eisen beroepsprofiel t.a.v. onderzoek • Vertaling naar goede criteria • Verantwoording criteria <-> Dunnewijk-Budé • Borging in de organisatie
29
4. Wat is daarvan een goed voorbeeld?
30
Voorbeeld Bedrijfskunde MER Inholland
31
Landelijk beroepsprofiel Bedrijfskunde MER •“De startende bedrijfskundige professional richt zich op het analyseren, ontwerpen en managen van doelgerichte processen van productie en dienstverlening in en tussen organisaties”.
Bron: Aanvulling BBA standaard op competentieprofiel Bedrijfskunde MER 32
Bachelor student als probleemoplosser die handelen onderbouwt met onderzoek
PROBLEEMKEUZE EN DIAGNOSE
6 5 4 3
1 2
Onderzoekscyclus
ONTWERP
6 5 4 3
1 2
Onderzoekscyclus
VERANDEREN
6 5 4 3
1 2
Onderzoekscyclus
VOORSTEL VOOR VERVOLGONDERZOEK Bron: Aanvulling BBA standaard op competentieprofiel Bedrijfskunde MER
EVALUATIE
6 5 4 3
1 2
Onderzoekscyclus
Vertaling naar goede criteria •Gebaseerd op het wetenschappelijke onderzoek van Heinze Oost (Oost & Markenhof, 2002) •Aangevuld met criteria voor praktijkgericht onderzoek (Andriessen & Van Weert 2008) •Getoetst aan eisen Dunnewijk – Budé
Kern van de methodiek: Werken met inhoudelijke criteria voor kwaliteit 34
Bijvoorbeeld: Criteria probleemstelling en deelvragen 1. 2. 3. 4. 5.
Verankerd Relevant Precies Functioneel Afgebakend
35
Didactisch functionele kwaliteitscriteria Kennisgebied
VERANKERD
Probleemstelling en deelvragen
Strategie
RELEVANT Reden
FUNCTIONEEL PRECIES
Antwoord Naar: Oost & Markenhof (2002) 36
Een probleemstelling is functioneel 1. Beschrijven 2. Vergelijken 3. Definiëren 4. Evalueren 5. Verklaren 6. Ontwerpen Bron: Oost & Markenhof, 2002
Criteria probleemstelling en deelvragen Object
Criterium
Indicatoren
Probleemstelling
Functioneel
1. Maakt duidelijk wat de onderzoeksfunctie is 2. Is uitgewerkt in deelvragen waarvan een deel theoretisch is en een deel empirisch 3. De deelvragen vormen samen een onderzoekstructuur die past bij de onderzoeksfunctie.
38
Onderzoeksfuncties in de scriptie
PROBLEEMKEUZE EN DIAGNOSE
OP BASIS VAN en/of
OP BASIS VAN
ONTWERP
VOORSTEL VOOR
En/of
OP BASIS VAN
VERANDEREN
VOORSTEL VOOR
En/of
EVALUATIE
VOORSTEL VOOR
6 Beschrijven 1 5 Evalueren 4 2 Verklaren 3
6 Ontwerpen 1 5 4 2 3
6 Ontwerpen 1 5 4 2 3
6 Evalueren 1 5 Verklaren 4 2 3
Onderzoekscyclus
Onderzoekscyclus
Onderzoekscyclus
Onderzoekscyclus
VOORSTEL VOOR VERVOLGONDERZOEK
Onderzoeksfunctie bepaalt deelvragen Voorbeeld: Ontwerpen PROBLEEMKEUZE EN DIAGNOSE
ONTWERP
Beschrijvende deelvragen:
Ontwerpende deelvragen:
- Wat zijn de kenmerken van situatie A? - Wat zijn de kenmerken van de norm?
- Welke oplossingen zijn er bekend? - Welke eisen stellen we aan de oplossing?
Evaluerende deelvragen:
Evaluerende deelvragen:
- Voldoet situatie A aan de norm?
- Welke oplossingen voldoen aan de eisen? - Welke oplossing wordt gekozen?
Verklarende deelvragen: - Wat maakt dat er verschillen zijn tussen A en de norm?
[Verklarende deelvragen: - Wat maakt dat de oplossing gaat bijdragen aan het wegnemen van 40 het probleem?]
Download de hele set van kwaliteitscriteria
41
Borging van kwaliteitscriteria in de opleiding 1. Kwaliteitscriteria leidend maken in onderzoekslijn 2. Kwaliteitscriteria didactisch benutten in de onderzoekslijn 3. Reviewen van studentproducten met afstudeerbegeleiders en beoordelaars helpt om: – – – – –
De ontwikkelde kwaliteitscriteria te leren toepassen De kwaliteitscriteria te verbeteren Intersubjectiviteit van beoordeling te verhogen Betere onderzoekbegeleider te worden Betere onderzoeker te worden 42
Conclusies: Wanneer is onderzoek goed? 1. Daar zijn landelijk geen algemeen geldende criteria voor 2. Het hangt af van het beroepsprofiel en de visie op onderzoek in het beroep 3. Het is alleen te bepalen met kwaliteitscriteria die voldoen aan de volgende kwaliteitscriteria: 1. Afgeleid uit de (internationale) competentieeisen, beroepsprofiel en visie op onderzoek 2. Richtinggevend bij het maken van keuzes tijdens het onderzoek 3. Didactisch functioneel 4. Geoperationaliseerd in object, criterium en 43 indicatoren
Meer informatie? Dr. Daan Andriessen
[email protected]
44
