Onderzoek Module 10.3 Het empirisch onderzoek ontwerpen. Master Innovation & Leadership in Education

Onderzoek Module 10.3 ‘Het empirisch onderzoek ontwerpen’

Master Innovation & Leadership in Education

Leerdoelen Aan het eind van deze lesdag heb je:  Kennis van de dataverzamelingsmethodes vragenlijstonderzoek, interviews en observaties.

Deze lesdag draagt eraan bij dat je:  Een geschikte dataverzamelingsmethode selecteert voor je onderzoek;  Onderzoeksconcepten operationaliseert;  Een onderzoeksinstrument ontwikkelt of een passend bestaand onderzoeksinstrument selecteert;  Een geschikte steekproef selecteert;  De methodologische opzet en onderbouwing beschrijft;  Op een valide en betrouwbare manier data verzamelt.

Planning 1. 2. 3. 4.

Terugblik Kwantitatief en kwalitatief Betrouwbaarheid, validiteit en bruikbaarheid Dataverzamelingsmethoden  

Observatie Vragenlijst & Interview

5. Steekproef selecteren 6. Methode schrijven Lunch 7. Zelfstandig of in groepsverband werken aan de thesis

Terugblik  Vragen die voor iedereen relevant zijn?  Persoonlijke vragen kunnen tijdens de middag worden gesteld.

Kwantitatief & Kwalitatief

Kwantitatief en kwalitatief

Kwantitatief en kwalitatief  Kwantitatief onderzoek:  cijfermatige informatie  statistische analyses  onderzoeker neemt afstand  meestal gericht op toetsing van hypothesen  Kwalitatief onderzoek  niet/nauwelijks cijfermatig  belang van de betekenis die de onderzochte aan de situatie geeft  onderzoek doen ‘in het veld’

Onderzoekskwaliteit

Betrouwbaarheid en validiteit

Kwalitatief onderzoek heeft over het algemeen een hogere validiteit, maar een lagere betrouwbaarheid dan kwantitatief onderzoek.

Betrouwbaarheid en validiteit Wat kan je doen om de betrouwbaarheid en validiteit te verhogen?  Betrouwbaarheid:  Herhaalbaarheid  goede methode schrijven  Zo systematisch mogelijk werken  Validiteit:  Goede operationalisatie van begrippen  Pilot  Generaliseerbaarheid  Representativiteit steekproef m.b.t. relevante kenmerken  Duidelijke beschrijving (context, respondenten)  Bruikbaarheid  Concreet  Passend bij context en beschikbare middelen

Methoden - Interview / focusgroep - Vragenlijst, open / gesloten vragen - Documentanalyse - Klankbordgroep - Observaties - ‘Registraties’

Methoden  Type vraag beïnvloedt methodologie  Verschillende deelvragen, mogelijk verschillende methodes  Indien mogelijk bestaande vragenlijst!  Check: onderzoek je met jouw methode wat je wilt onderzoeken? Kan je dus straks jouw deelvragen en probleemstelling beantwoorden?

Observatie  ‘Observeren is een bijzondere vorm van waarnemen. Waarnemen overkomt ons. Observeren is altijd gepland en altijd doelgericht’ (Janson, 2012, p. 20).  ‘Dat betekent dat je altijd start vanuit een kwestie: er is iets waar je meer over te weten wilt komen’ (Janson, 2012, p. 20).  ‘Bij observaties stel je de interpretatie uit. (…) [Het niet uitstellen van interpretatie] blijkt de voornaamste oorzaak van het mislukken van veel observaties’ (Janson, 2012, p. 20).  ‘Veel wat als ‘observatie-instrument’ wordt verkocht, blijkt slechts een registratiemiddel. Dat betekent dat alleen de interpretatie van de observatie kan worden ingevuld. Daarmee worden de valkuilen van observeren eerder versterkt dan tegengegaan’ (Janson, 2012, p. 21).  Janson, D. (2012). Ben je nieuwsgierig genoeg om te observeren? Speziaal 7(2), pp. 19-21.

Hoe kom je tot je instrument? 1. Probleemstelling 2. Deelvragen 3. Begrippen definiëren (stipulatieve betekenis: In dit onderzoek wordt onder … verstaan: …) 4. Dataverzamelingsmethode selecteren 5. Begrippen meetbaar maken (operationaliseren) 6. Instrument opstellen

Observatiemodellen  Beschrijvend  Alles opschrijven wat opvalt  Voordeel: alles wat je van belang vindt vastleggen  completer beeld  Nadeel: (uitwerking) kost veel tijd, niet zo betrouwbaar  Goed om als input te gebruiken voor gestructureerde observatie / of i.c.m.  Per tijdsinterval  Per tijdsinterval aankruisen welke kenmerken je uit het observatieschema hebt gezien  Voordeel: betrouwbaarder, snel verwerken tijdens en na de observatie  Nadeel: minder compleet beeld  Beoordelingsschaal  Per criterium de mate waarin het van toepassing is aangeven  Voordeel: snel verwerken tijdens en na observatie (betrouwbaarder dan beschrijvende observatie)  Nadeel: minder compleet beeld, mogelijk effect schaal op betrouwbaarheid

Observatie  Alleen waarneembare gedragingen  geen interpretaties  Alleen gegevens die met de vraagstelling te maken hebben, houd het aantal criteria zo beperkt mogelijk  Inzichtelijk, ook voor anderen  Zo nauwkeurig mogelijk  Ontleend aan: http://www.trajectwelzijn.nl/observeren_voorbereiden_observatieschema  Tips:  Lerenkunjeobserveren.nl, klik op modellen daar staan verschillende voorbeelden.  http://jansonadvies.nl/data/documents/Observeren-SpeZiaal.pdf artikel gericht op observeren van leerlingen, maar bevat waardevolle inzichten

Interview in 7 fasen (Kvale, 1996)  Thematiseren  Ontwerpen  Interviewen  Uitschrijven  Analyseren  Verifiëren  Rapporteren Je hoeft niet elke fase even uitgebreid uit te voeren, maar denk vooral na over de verschillende fases. Start niet blindelings met interviewen, maar denk vooruit.

Vragenlijst / Interview  Een duidelijke inleiding waarin onder meer het doel en de tijdsinvestering worden benoemd.  Verzorgd: zowel qua spelling als lay-out.  De vragen slechts op één manier te interpreteren zijn.  Enkelvoudige vragen, dus niet meerdere vragen in één vraag.  Er rekening wordt gehouden met de kennis en taalniveau van de respondenten.  Goede balans in de lengte van de vragenlijst: zo compact mogelijk, maar uiteindelijk wel de data die nodig is om antwoord te geven op jouw deelvragen en probleemstelling.  Neutrale vragen: dus niet suggestief.  Een goede opbouw heeft: logisch gestructureerd en moeilijke / persoonlijke vragen in het midden.

Triangulatie Methodetriangulatie: Combinatie van verschillende onderzoeksmethoden Datatriangulatie door middel van personen: Combinatie van verschillende respondentgroepen Verhoogt de validiteit (geldigheid) van je resultaten Verhoogt de betrouwbaarheid van je resultaten

Steekproef  Populatie  Steekproef  Denk bij het trekken van een steekproef aan:  Betrouwbaarheid (hoe groter de steekproef hoe beter)  Validiteit – generaliseerbaarheid (hoe representatiever hoe beter)  Haalbaarheid (met name qua tijd)

Methode

 Populatie en steekproef  Instrumenten  Procedure  Analyseplan

Succes!