Het juiste gereedschap is het halve werk Werkconferentie Innovatieondersteunend onderzoek: De praktijk aan zet 23 maart 2011 Dr. Daan Andriessen Hogeschool Inholland Haarlem
Agenda
1. Wat is onderzoek? 2. Gereedschap #1: Functies van onderzoek 3. Gereedschap #2: Ontwerpgericht onderzoek 4. Gereedschap #3: Redeneerketens 5. Zelf aan de slag met redeneerletens
2/31
1. Wat is onderzoek?
Gedachten bij het woord onderzoek?
3/31
Onderzoek gaat over nieuwe kennis (1)
‘Onderzoek is een doelbewust en methodisch zoeken naar nieuwe kennis in de vorm van antwoorden op tevoren gestelde vragen volgens een tevoren opgesteld plan’ (Verschuren, 1994).
4/31
Onderzoek gaat over nieuwe kennis (2)
•
Doelbewust: vanuit probleemveld, gericht op beantwoorden van probleemstelling en deelvragen
•
Methodisch: systematisch en volgens erkende methoden te werk gaan
•
Nieuwe kennis: nieuw voor de wereld
•
Vragen: ‘zonder vragen geen...’ overigens eindigt veel onderzoek met (nieuwe) vragen
•
Plan: onderzoeksontwerp en - plan (acties, instrumenten, tijd en geld)
5/31
Gereedschap #1: onderzoeksfuncties
Definiëren
Beschrijven
Vergelijken
Evalueren
Verklaren
Ontwerpen 6
Onderzoeksfuncties (2)
Onderzoeksfunctie
Exploratief
Hypothese toetsend
Definiëren
Tot welke klasse van fenomenen behoort dit?
Behoort dit fenomeen bij deze klasse?
Beschrijven
Wat zijn de eigenschappen van X?
Heeft X deze eigenschappen?
Vergelijken
Wat zijn de verschillen tussen X en Y?
Zijn X en Y verschillend?
Evalueren
Hoe succesvol is deze interventie?
Is deze interventie een succes?
Verklaren
Waarom Y?
Is het waar dat X Y verklaart?
Ontwerpen
Wat draagt bij aan de oplossing van Z?
Draagt X bij aan de oplossing van Z?
Bron: Oost & Markenhof, 2002 7
Van onderzoeksfunctie naar onderzoeksstructuur •
De probleemstelling is uitgewerkt in deelvragen waarvan een deel theoretisch zijn en een deel empirisch
•
De deelvragen zijn volledig, dwz door de deelvragen te beantwoorden krijg je alle informatie die nodig is voor het beantwoorden van de probleemstelling
•
De logische volgorde klopt • Vraag 1 gaat vooraf aan vraag 2 als vraag 1 een antwoord oplevert dat nodig is om vraag 2 te beantwoorden
•
Samen vormen de deelvragen de onderzoeksstructuur
•
Met behulp van de deelvragen bepaal je de onderzoekstrategieën die je gaat gebruiken 8/41
Iedere onderzoeksfunctie heeft een eigen onderzoekstructuur: VERGELIJKEN Beschrijvende deelvragen: • Wat zijn de kenmerken van A? • Wat zijn de kenmerken van B? Vergelijkende deelvragen: • Wat zijn de overeenkomsten van A en B? • Wat zijn de verschillen tussen A en B?
9
Iedere onderzoeksfunctie heeft een eigen onderzoekstructuur: EVALUEREN Beschrijvende deelvragen: • Wat zijn de kenmerken van A? • Wat zijn de kenmerken van de norm? Vergelijkende deelvragen: • Wat zijn de overeenkomsten van A en de norm? • Wat zijn de verschillen tussen A en de norm?
10
Iedere onderzoeksfunctie heeft een eigen onderzoekstructuur: VERKLAREN Beschrijvende deelvragen: • Wat zijn de kenmerken van A? • Wat zegt de theorie? Vergelijkende deelvragen: • Wat zijn de overeenkomsten van A en de theorie? • Wat zijn de verschillen tussen A en de theorie?
11
Iedere onderzoeksfunctie heeft een eigen onderzoekstructuur: ONTWERPEN DIAGNOSE
ONTWERP
• Beschrijvende deelvragen: • Wat zijn de kenmerken van situatie A? • Wat zijn de kenmerken van de norm?
• Ontwerpende deelvragen: • Welke oplossingen zijn er bekend? • Welke eisen stellen we aan de oplossing?
• Evaluerende deelvragen: • Wat zijn de overeenkomsten van A en de norm? • Wat zijn de verschillen tussen A en de norm?
• Evaluerende deelvragen: • Wat zijn de overeenkomsten van de oplossing en de eisen? • Wat zijn de verschillen tussen de oplossing en de eisen?
• Verklarende deelvragen: • Wat maakt dat er verschillen zijn tussen A en de norm?
• Verklarende deelvragen: • Wat maakt dat de oplossing gaat bijdragen aan het wegnemen van het probleem?
12
Complexiteit
Praktijkgerichtheid en onderzoeksfunctie
Ontwerpen Verklaren Vergelijken / Evalueren Definiëren / Beschrijven
Praktijkgerichtheid
Gereedschap #2: ontwerpgericht onderzoek
Nieuwe oplossingen • Fase 1: Ontwerpen conceptoplossing • Fase 2: Testen conceptoplossing
Bestaande oplossingen • Analyse van bestaande oplossingen uit de praktijk:
• Quasi experiment (Cook, 1983)
• Werken ze?
• Simulatie
• Waarom werken ze?
• Actie onderzoek
• Wanneer werken ze wel / niet?
14
KENNISSTROOM 1.THEORIE
2.ONDERZOEKS -AGENDA
Kennisprobleem
9.REFLECTIE
Concept oplossing
10.KENNIS ONTWIKKELING
Successen & verbeteringen
Ontwerpkennis
Effecten van acties
Bevindingen
Match ?
Theoretisch kader
3. (HER) ONTWERPEN
Casus 1
Praktijkprobleem
Specifieke oplossing
Vastgelegde ervaringen
4.DIAGNOSE
5.ACTIE PLANNING
6.IMPLEMENTATIE
Agenda van de klant
7.EVALUATIE
8.VASTSTELLEN VAN LEREN
15
PRAKTIJKSTROOM
KENNISSTROOM 1.THEORIE
2.ONDERZOEKS -AGENDA
Kennisprobleem
9.REFLECTIE
Concept oplossing
10.KENNIS ONTWIKKELING
Successen & verbeteringen
Ontwerpkennis
Effecten van acties
Bevindingen
Match ?
Theoretisch kader
3. (HER) ONTWERPEN
Casus n Casus 2 Casus 1
Praktijkprobleem
Specifieke oplossing
Vastgelegde ervaringen
4.DIAGNOSE
5.ACTIE PLANNING
6.IMPLEMENTATIE
Agenda van de klant
7.EVALUATIE
8.VASTSTELLEN VAN LEREN
16
PRAKTIJKSTROOM
Gereedschap #3: Redeneerketens
Onderwijsinterventie
Impact
Black box
Studiekeuzegesprekken
Studierendement
Een complex aan factoren bepaalt impact
Onderwijsinterventie
Impact
Andere factoren
Een complex aan factoren bepaalt impact • Motivatie • Competenties • Studentkenmerken
Studiekeuzegesprekken
Studierendement
• Binding • Begeleiding & beoordeling • Kwaliteit / studeerbaarheid van de studie
Causale keten is lang
Onderwijsinterventie
Impact
Andere factoren
Causale keten is lang
Studiekeuze gesprekken
Beter inzicht in studie
Betere match met competenties Betere studiekeuze
Betere match met interesses
Andere factoren
Hogere motivatie
Hoger studierendement
Oplossingsrichting: de redeneerketen (CIMO)
Interventie
Mechanismen
Context Denyer, D., Tranfield, D., & Van Aken, J. E. (2008). Developing Design Propositions through Research Synthesis. Organization Studies, 29, 393-413
Outcome
Waarom werken camera’s bij parkeerplaatsen? MECHANISMEN: 1.
“Caught-in-the-act” -> present offenders
2.
“You-have-been-framed” -> potential offenders
3.
“Nosy parker” -> natural surveilance
4.
“Effective deployment” -> security staff
5.
“Publicity (general)” -> potential offenders
6.
“Publicity (specific)” -> potential offenders
7.
“Time for crime” -> present offenders
8.
“memory jogging” -> parkers
9.
“Appeal to the cautious” -> parkers
Pawson, R. & Tilley, N. (1994). What works in evaluation research? British Journal of Management, 34, 291-306
Oplossingsrichting: korte redeneerketens
I
M
C
O/I
M
C
O/I
M
C
O/I
M
C
O
Oplossingsrichting: de redeneerketen opdelen
Een opdracht toevoegen bij de online inschrijving als nieuwe student
1. Inschrijven kost meer tijd en inspanning waardoor niet serieuze aanmelders afhaken 2. De opdracht geeft de kandidaat informatie over opleiding en beroep 3. De opdracht levert de opleiding vooraf informatie op over beroepsbeeld en motivatie van de kandidaat
Hogeschool X
1. Meer serieuze kandidaten tussen de inschrijvers 2. Hogere kwaliteit studiekeuze 3. Meer informatie over de kandidaat die straks kan worden gebruikt in het studiekeuzegesprek
Redeneerketen en effectmeting: een meetmodel
Interventie
Mechanisme
Outcome
Input indicatoren
Mechanisme indicatoren
Outcome indicatoren
Outputindicatoren
Oplossingsrichting: de redeneerketen opdelen
Een opdracht toevoegen bij de online inschrijving als nieuwe student
1. Inschrijven kost meer tijd en inspanning waardoor niet serieuze aanmelders afhaken 2. De opdracht geeft de kandidaat informatie over opleiding en beroep 3. De opdracht levert de opleiding vooraf informatie op over beroepsbeeld en motivatie van de kandidaat
Hogeschool X
1. Meer serieuze kandidaten tussen de inschrijvers 2. Hogere kwaliteit studiekeuze 3. Meer informatie over de kandidaat die straks kan worden gebruikt in het studiekeuzegesprek
Redeneerketen en effectmeting Interventie
Mechanisme
Outcome
Input indicatoren: • Kosten ontwikkelen opdracht • Kosten online brengen opdracht
Mechanisme indicatoren: • Gemiddelde duur inschrijven
Outcome indicatoren: • Aantal serieuze aanmeldingen als % van totaal
Outputindicatoren: • 1 opdracht online
• Aantal personen dat inschrijving niet af maakt
• Behaalde studiepunten (EC’s)
• Beoordeling bij student in • Afgegeven preadviezen gesprek hoeveel kennis hij/zij (BSA’s) heeft over opleiding en beroep • Oordeel student in gesprek hoeveel hij/zij heeft opgestoken van de opdracht • Oordeel docenten wat de waarde was in het gesprek van de extra informatie
• Aantal uitschrijvers en omzwaaiers
Zelf aan de slag met de redeneerketen
30/31
Meer informatie?
•
Kenniskring Intellectual Capital Hogeschool Inholland
•
Lector Dr. Daan Andriessen Bijdorplaan 15 Haarlem
•
[email protected]
•
http://www.inholland.nl/intellectualcapital
31/31
