Jumping To Conclusions
Een onderzoek naar eisen aan conclusies van ontwerpgerichte praktijkgerichte onderzoeksrapporten
Barbara C.M. Devilee MA studentnummer: 2512641 masterthese Teaching and Learning in Higher Education Vrije Universiteit Amsterdam Faculteit Psychologie en Pedagogiek eerste begeleider: dr. Hester A. Glasbeek tweede beoordelaar: dr. Judith Schoonenboom
Samenvatting Studenten van het afstudeerprofiel Redactie en Mediaproductie (RMP), onderdeel van de opleiding Media, Informatie en Communicatie (MIC) van de Hogeschool van Amsterdam (HvA) hebben grote moeite met het schrijven van goede conclusies in hun onderzoeksrapporten. Uit een inventarisatie van de documenten van de opleiding blijkt dat het de studenten ontbreekt aan duidelijke instructies voor het schrijven van een conclusie. Dit is niet alleen een probleem voor de studenten, ook voor docenten zijn een duidelijke definitie van en eisen aan de conclusie van belang. Zij moeten immers in staat zijn om studenten hierin adequaat te begeleiden. Dit gebrek aan eisen voor een conclusie blijkt een hiaat in het onderzoeksvaardighedenonderwijs van de opleiding en ook in de literatuur over onderzoeksmethodologie. Doel van dit onderzoek is om een complete, consistente en eenduidige instructie ten aanzien van de inhoud, de structuur en de kwaliteit van conclusies van ontwerpgericht praktijkgericht onderzoek op te stellen. Hiervoor is een duidelijke definitie van een conclusie onontbeerlijk. Aan de hand van de eerste uitkomsten van dit onderzoek is deze als volgt geformuleerd: De conclusie is het antwoord op de probleemstelling dat aan de hand van een synthese van onderzoeksresultaten wordt gegeven en waarin wordt uitgelegd op welke wijze het antwoord bijdraagt aan de doelstelling van het onderzoek. Uit de gefundeerde theorie-‐analyse van onderzoeksrapporten van studenten en uit interviews met docenten Onderzoek is gebleken dat de geïdentificeerde knelpunten in de conclusies van onderzoeksrapporten in sterke mate samenhangen met andere onderdelen van hun onderzoek. De kwaliteit van de conclusie hangt sterk af van de kwaliteit van het gehele onderzoeksproces. Ook konden alle knelpunten in de conclusies gekoppeld worden aan zes veelvoorkomende fouten in een onderzoeksproces zoals Oost (2002) deze beschrijft. Oost koppelt de zes veelvoorkomende fouten aan zes kwaliteitscriteria voor het gehele onderzoeksproces. De kwaliteitscriteria voor de conclusie zijn daarom afgeleid van de criteria van Oost: controleerbaar, vakkundig, betrouwbaar, logisch, valide en adequaat. Daarnaast is gesteld dat kwaliteitscriteria voor ontwerpgericht praktijkgericht onderzoek niet afwijken van die voor theoriegericht onderzoek, maar dat deze wel een specifieke uitwerking hebben. Dit heeft te maken met het verschil in doel-‐ en vraagstelling tussen theoriegericht onderzoek en ontwerpgericht praktijkgericht onderzoek. De vraag-‐ en doelstelling van theoriegericht onderzoek zijn gericht op het verwerven van (meer) kennis over een bepaald onderwerp, terwijl vraag-‐ en doelstelling van praktijkgericht onderzoek gericht is op de oplossing van een specifiek veldprobleem. Dat is van invloed op de functie van de conclusie. De conclusie van ontwerpgericht praktijkgericht onderzoek is gericht op het aantonen van de bruikbaarheid en toepasbaarheid van de oplossing voor een specifiek probleem. Op basis van de uitkomsten van dit onderzoek konden de eisen aan de conclusie met betrekking, inhoud, structuur en kwaliteit vastgesteld worden.
Voorwoord Deze these is geschreven ter afronding van de master Teaching and Learning in Higher Education aan de Vrije Universiteit van Amsterdam. Bij deze opleiding geldt dat de eigen onderwijspraktijk van de deelnemers een belangrijke inspiratiebron is voor de opdrachten en onderzoeken die de deelnemers uitvoeren. Voor het zoeken naar een onderwerp voor deze these was dit zeker het geval. Aan de basis van dit onderzoek liggen drie persoonlijke overtuigingen. Ten eerste vind ik dat een taak van docenten is om te achterhalen waarom een student moeite heeft met bepaalde lesstof of opdrachten. Docenten moeten begrijpen waarom een student iets niet begrijpt en om de instructie daarop aan te passen. Daarom heb ik in dit onderzoek de knelpunten die studenten ondervinden bij het schrijven van een conclusie diepgaand geanalyseerd. Ten tweede: over docenten wordt gezegd dat ze vaak alleen maar letten op wat studenten fout doen en dat ze geen aandacht hebben voor wat er wel goed gaat. Dat is misschien ten dele zo, maar ik vind dat docenten anders moeten omgaan met fouten die studenten maken: we moeten als uitgangspunt nemen dat studenten leren van hun fouten en dat fouten maken dus een belangrijk onderdeel is van het leerproces. De aanwijzingen die studenten krijgen om hun fouten te verbeteren, maken dat leerproces mogelijk. Ten derde ben ik ervan overtuigd dat studenten meer leren wanneer ze niet alleen weten wat ze moeten doen, maar ook waarom ze dat moeten doen. Zo wordt het maken van een schoolopdracht geen afvinklijstje, maar een uitdaging waar studenten zelf ook het nut van inzien. Daarom is een belangrijk onderdeel van de instructie over onderzoeksrapporten, uitleg over het nut van een het verrichten van onderzoek en het nut van de conclusie. De uitkomsten van dit onderzoek zijn in eerste instantie bedoeld om het onderzoeksvaardighedenonderwijs van de opleiding MIC te verbeteren. Ik hoop dan ook dat de opzet voor de instructie van een conclusie, die dit onderzoek heeft opgeleverd, voor veel van mijn collega’s bruikbaar is. Dankzij de docenten van de master Teaching en Learning in Higher Education heb ik me kunnen verdiepen in verschillende facetten van het doceren in het Hoger Onderwijs en heb ik mij als docent verder kunnen professionaliseren. In de afstudeerfase heb ik veel steun gehad aan eerste begeleider Hester Glasbeek en tweede beoordelaar Judith Schoonenboom. Hester heeft zich in korte tijd zorgvuldig verdiept in mijn onderwerp en mij adviezen gegeven waardoor ik de redeneerlijn van deze these kon aanscherpen. Judith heeft me ook al in eerdere fasen van mijn studie veel bijgebracht over onderzoeksmethodologie. Als ik zelf de draad even kwijt was, bleef zij vertrouwen op een goede afronding van het onderzoek. Ook dank ik Jos Beishuizen voor zijn hulp bij het aanscherpen van het onderzoeksvoorstel. Het onderzoek is uitgevoerd tussen februari en juli 2014 aan de opleiding Media Informatie en Communicatie van de Hogeschool van Amsterdam. Dit was niet mogelijk geweest zonder de medewerking van docenten en studenten. Ik dank mijn collega’s Eelco Brancart, Suzanne van der Wateren, Rick Goossens en Harold Pflug voor hun medewerking aan de interviews en alle studenten die hun onderzoeksrapporten ter beschikking stelden voor dit onderzoek. Het eindresultaat is mede te danken aan het kritische oog van mijn collega’s: Rose Leighton en Gerlof Donga valideerden mijn knelpuntenanalyse en lazen mee met de tekst; Yvonne Poot, Reintje Gianotten en Bas Homans lazen mee en gaven feedback en Wouter Janssen redigeerde het geheel. Ik prijs mezelf gelukkig met zulke fijne collega’s. Speciale dank gaat uit naar mijn partner Fifi Schwarz. Onze talloze gesprekken over het onderzoek en haar opbouwende commentaar op verschillende concepten hebben mij het vertrouwen gegeven dat ik nodig had om deze these af te ronden.
INLEIDING .......................................................................................................................... 1 "De smurfen zijn van kleur veranderd" .................................................................................................... 1 Probleemstelling ...................................................................................................................................... 2 Relevantie ................................................................................................................................................. 3 Onderzoeksvaardigheden in het curriculum van het afstudeerprofiel RMP ............................................ 4
METHODE .......................................................................................................................... 7 Materiaal en participanten ....................................................................................................................... 8 Context ..................................................................................................................................................... 9 Onderzoeksmethodologie ........................................................................................................................ 9 Validiteit ................................................................................................................................................. 12
RESULTATEN .................................................................................................................... 15 Instructie voor het schrijven van een conclusie vanuit de opleiding ..................................................... 15 Instructie voor het schrijven van een conclusie in de literatuur ............................................................ 16 Instructie voor het schrijven van een conclusie door andere opleidingen, online gepubliceerd ........... 17 Knelpunten in de conclusies van onderzoeksrapporten ........................................................................ 18 Vergelijking van de knelpunten met veelgemaakte fouten in onderzoek .............................................. 26 Knelpunten gekoppeld aan kwaliteitscriteria voor onderzoek .............................................................. 29 Verschillen in kwaliteitscriteria voor theoriegericht en ontwerpgericht praktijkgericht onderzoek? ... 31 De functie van de conclusie van ontwerpgericht praktijkgericht onderzoek ......................................... 32 Samengevat ............................................................................................................................................ 32
CONCLUSIE ...................................................................................................................... 34 De inhoud en de structuur van de conclusie .......................................................................................... 35 Kwaliteitscriteria voor de conclusie van ontwerpgericht praktijkgericht onderzoek ............................. 35 Beperkingen van dit onderzoek ............................................................................................................. 36
DISCUSSIE ........................................................................................................................ 37 Relevantie voor de praktijk .................................................................................................................... 37 Aanbevelingen voor de opleiding MIC ................................................................................................... 38 Aanbevelingen voor verder onderzoek .................................................................................................. 38
LITERATUUR ..................................................................................................................... 41 BIJLAGEN ......................................................................................................................... 43 Bijlage I Advies voor opleiding MIC ........................................................................................................ 43 Bijlage II interviewschema's ................................................................................................................... 45 Bijlage III Huidige richtlijnen voor de conclusie in onderzoeksrapporten vanuit de opleiding MIC ....... 46 Bijlage IV Overzicht geïnventariseerde literatuur onderzoeksmethodologie ........................................ 50 Bijlage V Instructie voor validering ......................................................................................................... 51
Inleiding Het curriculum van de opleiding Media, Informatie en Communicatie (MIC), onderdeel van de Hogeschool van Amsterdam, is de afgelopen jaren veranderd. Uiteraard worden jaarlijks de vakinhoudelijke modules geüpdatet. Dat is noodzakelijk om aansluiting te blijven houden met de snel veranderende beroepsprofielen binnen de mediasector. Daarnaast is binnen het curriculum steeds meer nadruk komen te liggen op onderwijs in onderzoeksvaardigheden. Dat geldt niet alleen voor de opleiding MIC. Onderwijs in onderzoeksvaardigheden neemt een steeds grotere en belangrijkere plaats in binnen het hoger beroepsonderwijs. Daar zijn meerdere aanleidingen voor. Professionals moeten in staat zijn om relevante informatie te verzamelen, te beoordelen en daarop te reflecteren. Hiervoor zijn onderzoeksvaardigheden onontbeerlijk (Griffioen, Boerma, Engelbert, en van der Linden, 2013). Een andere belangrijke drijfveer is de wettelijke taakstelling; meer specifiek de daarop gebaseerde eisen in de beoordelingskaders van het accreditatiestelsel voor hoger onderwijs. Volgens de wet op het hoger onderwijs uit 1992 moeten hogescholen zich richten op ontwerp-‐ en ontwikkelactiviteiten of onderzoek gericht op de beroepspraktijk (Griffioen, Visser-‐Wijnveen, en Willems, 2013). Dat was een reden voor de Nederlands Vlaamse accreditatieorganisatie (NVAO) om "verankering van onderzoek in het onderwijs" te introduceren als een belangrijk criterium om de kwaliteit van een opleiding te beoordelen (Beoordelingskaders accreditatiestelsel hoger onderwijs, 2011). De opleiding Media Informatie en Communicatie bereidt studenten voor op een functie binnen de mediasector en kent een gemeenschappelijk propedeutisch jaar. Na dit jaar kiezen de studenten voor een van de vijf afstudeerprofielen van de opleiding. Het afstudeerprofiel Redactie en Mediaproductie (RMP) leidt studenten bijvoorbeeld op tot productiemedewerker bij een televisieprogramma, social-‐mediastrateeg bij een tijdschrift of acquirerend redacteur bij een uitgeverij. Van deze mediaprofessionals wordt verwacht dat zij in staat zijn om op basis van onderzoek, adviezen te formuleren voor de ontwikkeling of innovatie van mediaproducten en – diensten.
"De smurfen zijn van kleur veranderd"
In de wandelgangen klagen docenten vaak over de kwaliteit van de onderzoeksopdrachten die studenten inleveren. Deze klachten betreffen voornamelijk de analytische vaardigheden van de studenten. Studenten kunnen volgens de docenten slecht redeneren en argumenteren. Dit uit zich vooral in de conclusies van de onderzoeksrapporten. Hierin moeten studenten laten immers zien dat ze de resultaten van hun onderzoek kunnen verklaren, interpreteren en relateren aan de onderzoeksvraag. Uit de conclusies van onderzoeksopdrachten die ik zelf beoordeel en uit de klachten van docenten blijkt dat studenten niet goed weten wat het verschil is tussen een resultaat en een conclusie: vaak geven ze alleen een opsomming of een samenvatting van hun resultaten. Een oefening die docent Rick Goossens aan de opleiding MIC in onderzoekslessen doet met de studenten, illustreert dit. Zoals jullie allemaal weten, kunnen smurfen heel oud worden, er gaan zelfs geruchten dat ze onsterfelijk zijn. 'Onderzoeker Gargamel' wil weten wat dit te maken heeft met hun huidskleur. Een van dingen die hij moet achterhalen, is welke huidskleur de smurfen hebben. Hij gaat op zoek in de bibliotheek en vindt in een oud naslagwerk dat alle smurfen blauw zijn (Grote Smurf, 1980). Maar het is inmiddels 2014 en hij wil controleren of deze gedateerde informatie nog klopt. Dus zet hij een enquête uit in smurfendorp waarin hij onder andere vraagt: welke kleur heeft je huid? De smurfen zijn een plichtsgetrouw volkje dus alle 100 smurfen vullen netjes de enquête in (een respons van 100%). Tachtig smurfen vullen in dat hun huid blauw is, twintig smurfen geven aan dat ze een rode huidskleur hebben. Dan maak ik drie kolommen op het bord: resultaten deskresearch, resultaten fieldresearch en één voor de conclusie. In de eerste kolom komt te staan Alle smurfen zijn blauw. Vervolgens vraag ik de studenten wat er bij de conclusie ingevuld kan worden. Dan zeggen bijna altijd alle studenten in de klas: "20% van de smurfen is rood". Op die manier kan ik vervolgens zeggen, "nee, dat is een resultaat van je enquête, dat hoort in de tweede
1
kolom, resultaten fieldresearch. De conclusie zou kunnen zijn, de smurfen zijn van kleur veranderd. Zo kan ik vervolgens uitleggen, dat een conclusie een verklaring is voor, of een interpretatie van de resultaten. Uit eigen ervaring als docent bij het afstudeerprofiel RMP weet ik dat studenten moeite hebben met onderzoeksopdrachten. Dit blijkt eveneens uit de resultaten van de module Onderzoek die RMP-‐ studenten in het derde jaar volgen. In het collegejaar 2013-‐2014 leverden, van een cohort van 262 studenten, slechts 170 studenten hun onderzoeksrapport bij de eerste mogelijkheid in. Van deze 170 rapporten werden er 80 met een voldoende beoordeeld (Sinnema, 2014). Na de eerste kans had slechts iets meer dan een kwart van de studenten een voldoende resultaat behaald. Het trekken van conclusies is een essentiële vaardigheid om goed onderzoek te kunnen verrichten en erover te kunnen rapporteren. Het is niet gemakkelijk om uit te leggen hoe dit in zijn werk gaat. Docenten wijten de slechte kwaliteit gemakkelijk aan het gebrek aan analytisch vermogen van de studenten. Maar bij mij bestaat het vermoeden dat de slechte conclusies het gevolg zou kunnen zijn van te weinig (goede) instructie daarover. Wat is een conclusie? En waarom hebben studenten er zoveel moeite mee? Hoe leg je studenten uit wat je moet doen als je een conclusie trekt?
Probleemstelling De drie bovenstaande vragen en het vermoeden van een gebrek aan (goede) instructie waren het uitgangspunt voor dit onderzoek. Uit een eerste grove inventarisatie van de documentatie over onderzoeksvaardigheden bleek snel dat de instructie summier en niet consistent was. Uit een eerste inventarisatie van studieboeken over het verrichten van onderzoek bleek ook hier een hiaat te bestaan ten aanzien van de conclusie van een onderzoeksrapport. Dat bracht een zinvolle doelstelling van dit onderzoek in zicht. Doelstelling Het doel van het onderzoek was om de instructie vanuit de opleiding te verbeteren zodat: • de studenten meer complete, eenduidige en consistente informatie krijgen over het schrijven van een conclusie van een onderzoeksrapport; • de docenten meer handvatten krijgen om studenten daar adequaat in te begeleiden. Bijlage I bevat een opzet voor deze instructie. Vraagstelling Kwalitatief onderzoek is een iteratief proces (Verschuren en Doorewaard, 2007). Toen ik begon met dit onderzoek heb ik een voorlopige centrale vraag geformuleerd: Aan welke eisen moeten de conclusies van de onderzoeksrapporten van de studenten RMP voldoen? In deze vraagstelling was de aanname dat de kwaliteit van de conclusies in onderzoeksrapporten van studenten slecht was. Onduidelijk was aan welke eisen deze zouden moeten voldoen. Vervolgens zijn de tussenliggende onderzoeksvragen ontwikkeld. De eerste had tot doel te toetsen of de slechte instructie inderdaad een oorzaak zou kunnen zijn voor de slechte kwaliteit van de conclusies. 1. Welke instructie ontvangen de studenten van het afstudeerprofiel RMP, onderdeel van de opleiding MIC ten aanzien van het schrijven van een conclusie van een onderzoeksrapport? Dit is onderzocht door een inventarisatie van documentatie van onderzoeksopdrachten en de voorgeschreven literatuur over onderzoek, binnen de propedeuse van de opleiding MIC en het afstudeerprofiel RMP. Het is in een later stadium van het onderzoek aangevuld met informatie uit interviews met docenten Onderzoek. De instructie ten aanzien van de conclusie bleek versnipperd te worden aangeboden en niet consistent en eenduidig beschreven. Hieruit werd niet voldoende duidelijk welke eisen aan een conclusie gesteld worden. Daarom moest in de theorie gezocht worden naar informatie over conclusies van onderzoeksrapporten. Dit leidde tot de tweede deelvraag van dit onderzoek: 2. Wat is uit de literatuur bekend over de eisen waaraan een conclusie van een onderzoeksrapport moet voldoen? Dit is onderzocht door in literatuur over onderzoek, onderzoeksmethodologie en onderzoeksvaardigheden te inventariseren welke uitspraken gedaan worden over de conclusie van
2
een onderzoeksrapport. Bij de eerste grove inventarisatie zijn alleen studieboeken gericht op studenten bestudeerd. In deze fase zijn ook handboeken voor (beginnende) onderzoekers geraadpleegd. Hieruit bleek dat de conclusie van een onderzoeksrapport een onderbelicht aspect is. Zowel in studieboeken voor studenten als methodologische boeken voor onderzoekers wordt hier nauwelijks aandacht aan besteed. Daarom moest gezocht worden naar een manier om deze zelf te formuleren. Er is gekozen voor een voor docenten voor de hand liggende insteek, namelijk een analyse van de fouten die studenten in een conclusie maken, ofwel een knelpuntenanalyse. Een duidelijk beeld van knelpunten kan leiden tot inzichten over de eisen waaraan de conclusie wel zou moeten voldoen. Dit leidde tot de volgende onderzoeksvraag: 3. Wat zijn de knelpunten in de conclusies van onderzoeksrapporten van studenten RMP? Dit is onderzocht middels een gefundeerde theorieanalyse van de onderzoeksrapporten, aangevuld met informatie uit de interviews met docenten Onderzoek. De analyse liet zien dat veel van de knelpunten in de conclusies samenhangen met fouten die in het onderzoeksproces gemaakt waren. Aangezien de informatie over de eisen ten aanzien van conclusies in onderzoeksrapporten erg schaars was en de knelpunten in conclusies in sterke mate samen bleken te hangen met knelpunten in het onderzoeksrapport, is de volgende onderzoeksvraag geformuleerd: 4. Op welke wijze zijn de knelpunten in conclusies van onderzoeksrapporten te koppelen aan in de theorie bekende knelpunten bij het verrichten van onderzoek? Een bruikbaar model om deze knelpunten te koppelen was dat van Oost (2002), waarin zes veelgemaakte fouten in onderzoeksprocessen worden beschreven en gekoppeld aan zes kwaliteitscriteria voor het verrichten van onderzoek. Dit model was in het bijzonder nuttig omdat Oost uitgaat van fouten om vervolgens uit te leggen hoe het wel moet. Op deze manier konden de gevonden knelpunten gekoppeld worden aan bestaande kwaliteitscriteria voor het verrichten van onderzoek. In een volgende stap konden deze worden vertaald naar kwaliteitscriteria voor het trekken van een conclusie. De daaropvolgende stap was het opstellen van een lijst van eisen ten aanzien van de inhoud, structuur en kwaliteit van de conclusie van een onderzoek. Daarbij was een ander aspect van belang, namelijk het type onderzoek dat studenten RMP verrichten. Uit de theorie bleek dat momenteel een discussie gaande is over de kwaliteitseisen aan onderzoek in het hoger beroepsonderwijs, waaraan vaak gerefereerd wordt als praktijkgericht onderzoek. Volgens sommige methodologen en onderzoekers zouden deze afwijken van kwaliteitseisen voor onderzoek zoals dat uitgevoerd wordt aan universitaire instellingen, waaraan vaak gerefereerd wordt als theoriegericht onderzoek. Daarom moest onderzocht worden hoe het onderzoek dat de studenten RMP verrichten getypeerd kon worden en of deze typering van invloed was op de kwaliteitseisen: 5. Welk type onderzoek verrichten studenten RMP en op welke wijze beïnvloedt dit de eisen die worden gesteld aan hun onderzoek en aan de conclusie van hun onderzoek? Dit is onderzocht door artikelen en literatuur over de verschillen tussen praktijkgericht en theoriegericht onderzoek te raadplegen. Aan de hand van deze uitkomsten konden tot slot eisen worden geformuleerd ten aanzien van de inhoud, de structuur en de kwaliteit van conclusies van ontwerpgericht praktijkgericht onderzoek. Deze eisen waren noodzakelijk om de instructie ten aanzien van de conclusie te verbeteren. De definitieve centrale onderzoeksvraag luidde dan ook: Aan welke eisen ten aanzien van inhoud, structuur en kwaliteit moet een conclusie van een ontwerpgericht praktijkgericht onderzoek voldoen?
Relevantie De aanleiding van dit onderzoek was een zeer praktische: het verbeteren van de instructie voor het schrijven van een conclusie van een onderzoeksrapport. Het onderzoek kent ook theoretische relevantie. Niet alleen in het onderzoeksvaardighedenonderwijs bleek een hiaat te bestaan ten aanzien van (de instructie voor) een conclusie van een onderzoekrapport. Dit hiaat bestond ook in de literatuur over onderzoek, onderzoeksvaardighedenonderwijs en onderzoeksmethodologie. Voorliggend onderzoek levert een heldere lijst van eisen voor een conclusie van een ontwerpgericht praktijkgericht onderzoeksrapport op. Daarnaast levert dit onderzoek een bijdrage aan de discussie over de vermeende verschillen tussen praktijkgericht en theoriegericht onderzoek en het daarmee samenhangende verschil in kwaliteitseisen aan praktijkgericht onderzoek.
3
Onderzoeksvaardigheden in het curriculum van het afstudeerprofiel RMP Alvorens in te kunnen gaan op de onderzoeksvragen is het goed om eerst het kader te schetsen waarbinnen dit onderzoek plaatsvindt. Wat is de rol van het onderzoeksvaardighedenonderwijs in het curriculum van het afstudeerprofiel RMP? Verburgh en Elen (2013) beschrijven drie modellen voor de integratie van onderzoeksvaardigheden binnen het hoger beroepsonderwijs: het model voor een professionele onderzoeker gericht op het verwerven van een onderzoeksdispositie (p. 77); het model voor de onderzoekende professional, waarin het curriculum zowel gericht is op de inzetbaarheid van de student op de arbeidsmarkt als op de voorbereiding op een vervolgstudie; en het model voor een professional met onderzoekscompetenties, waarin het curriculum zich zowel richt op het ontwikkelen van beroepsspecifieke competenties als op onderzoekscompetenties. Het onderzoeksvaardighedenonderwijs binnen het afstudeerprofiel RMP sluit aan bij het laatstgenoemde model, een professional met onderzoekscompetenties. Om de studenten de benodigde onderzoeksvaardigheden aan te leren is er een aparte leerlijn Onderzoek, die bestaat uit meerdere modules waarin de aandacht wordt besteed op de methodologische en praktische kant van het verrichten van onderzoek. Ook in het projectonderwijs spelen onderzoeksvaardigheden een grote rol. Binnen het projectonderwijs werken studenten in kleine groepen aan authentieke projectopdrachten voor een opdrachtgever uit de mediasector. De onderzoeksopdrachten vormen de basis voor adviesrapporten voor bijvoorbeeld de ontwikkeling of verbetering van een applicatie voor het digitale schoolbord bij een educatief televisieprogramma of een digitaal magazine voor de klanten van een zorgverzekeraar. Voor de onderzoeksopdrachten binnen het projectonderwijs zijn de probleemstelling en methoden van onderzoek veelal van tevoren vastgesteld door de coördinatoren van de modules. Dit heeft tot doel dat studenten zich bekwamen in de meest voorkomende methodes en technieken van onderzoek binnen het vakgebied. Studenten zoeken door middel van deskresearch uit wat al bekend is over de gedefinieerde onderzoeksvraag. Ze maken bijvoorbeeld een trendanalyse en analyseren best practices. Vervolgens voeren de studenten fieldresearch uit waarin zij voornamelijk kwalitatieve onderzoeksmethoden inzetten, zoals interviews, panelgesprekken en prototyping. Wanneer gebruik wordt gemaakt van kwantitatieve gegevens beperkt zich dat tot beschrijvende statistiek van de onderzoekspopulatie. De lessen in de projectlijn worden vaak ontwikkeld en gegeven door vakdocenten die veel ervaring hebben in het werkveld, maar niet per se over veel onderzoekservaring beschikken. In de overkoepelende onderwijsvisie van de opleiding MIC wordt het als volgt omschreven: "Bij de opleiding MIC [..] speelt onderzoek een belangrijke rol, daar waar het gericht is op praktische toepassing in het beroepenveld. Het gaat bij onderzoek in het hbo niet om theorievorming, maar om het kunnen onderbouwen van ideeën en ontwikkelen van producten op basis van literatuur, best practices en fieldresearch" (Managementteam, 2012). Het onderzoek dat de studenten RMP verrichten is daarom het beste te typeren als ontwerpgericht praktijkgericht onderzoek. Aken en Andriessen (2011, pp. 15-‐16) onderscheiden dit als volgt: Wetenschappelijk onderzoek met als doel kennis te ontwikkelen om daarmee een betere wereld te realiseren wordt wel toegepast of praktijkgericht onderzoek genoemd. Dit type onderzoek kan zich beperken tot het beschrijven van veldproblemen en het verklaren van hun oorzaken [..]. Maar er bestaat ook ontwerpgericht praktijkgericht onderzoek: onderzoek dat zich niet alleen richt op het beschrijven en verklaren van typen veldproblemen maar zich vervolgens ook richt op het ontwikkelen en testen van generieke oplossingen voor die veldproblemen [..]. Dit levert generieke kennis op voor het ontwerpen van specifieke oplossingen voor specifieke veldproblemen voor de professionals die met de problemen te maken hebben.
De typering van het onderzoek is van belang omdat het type doelstelling van ontwerpgericht praktijkgericht onderzoek afwijkt van doelstellingen van theoriegericht onderzoek. Ontwerpgericht praktijkgericht onderzoek heeft tot doel om ontwerpoplossingen aan te dragen voor specifieke veldproblemen. Volgens een aantal methodologen en onderzoekers is dit zodanig van invloed op het ontwerp van het onderzoek dat dit tot andere kwaliteitscriteria en richtlijnen zou moeten leiden (Andriessen, 2007; Klapwijk, 2013; Tavecchio en Gerrebrands, 2012; Verschuren, 2011). Ook is het van belang op te merken dat bij het ontwerpen van oplossingen creativiteit een rol speelt. Zeker als het gaat om het ontwikkelen en verbeteren van creatieve producten kan het ontwerp niet enkel uit de onderzoeksresultaten worden afgeleid. Aken en Andriessen (2011, p. 50) noemen dit 'de creatieve
4
sprong': "Een ontwerp kun je niet logisch afleiden uit de input voor het ontwerpproces. Het houdt altijd een creatieve sprong in naar iets dat nog niet bestaat”. Terminologie In de knelpuntenanalyse wordt vaak verwezen naar knelpunten met betrekking tot de probleem-‐ en doelstelling. De lezer van dit onderzoek zij erop gewezen dat binnen de opleiding MIC aan sommige onderzoekstermen een andere betekenis wordt toegekend dan in veel methodologieboeken en bij andere instituten voor hoger onderwijs gebruikelijk is. In het algemeen bestaat een probleemstelling uit de volgende elementen: het onderzoeksdoel, het te onderzoeken probleem, de probleemanalyse en de centrale vraagstelling met eventuele deelvragen. In het opleidingsformat voor het schrijven van een onderzoeksvoorstel staat: “probleemstelling (het WAT van het onderzoek). Dit is de centrale vraag waarop het onderzoek antwoord moet geven. Dit moet een open vraag zijn” (Afstudeercommissie, 2013). De probleemstelling bestaat dus uit één vraag, waaraan in veel gevallen aan wordt gerefereerd als de centrale vraag van een onderzoek. Hiermee lijkt het afstudeerprofiel RMP aan te sluiten bij de definitie van Morse et al: "De probleemstelling is de centrale vraag waarop de onderzoeker antwoord wil geven binnen de kennisstroom van ontwerpgericht onderzoek. Dit is de vraag die (een deel van) het kennisprobleem verwoordt, in één zin met een vraagteken erachter” (geciteerd in Aken en Andriessen, 2011). Overigens gaat het opleidingsformat wel uit van het formuleren van deelvragen waarin de probleemstelling wordt geoperationaliseerd. Ook de doelstelling zoals deze beschreven staat in hetzelfde format verdient een nadere verklaring. Het onderzoek dat studenten verrichten bij de opleiding MIC staat in dienst van het ontwikkelen of verbeteren van een beroepsproduct. Wanneer in het format wordt gevraagd naar de doelstelling van het onderzoek, wordt gedoeld op een concrete beschrijving van dit beroepsproduct. Onder de doelstelling moeten studenten beschrijven wat de reden van het onderzoek is en wat ze met hun uitkomsten beogen: “Doelstelling (het WAAROM van het onderzoek). Formuleer concreet wat het eindproduct van de afstudeeropdracht is” (Afstudeercommissie, 2013). In de conclusie geven de studenten, in tegenstelling tot wat gebruikelijk is, niet aan wat de beperkingen zijn van hun onderzoek. Dit wordt gedaan in een apart hoofdstuk Evaluatie.
5
Methode In de inleiding zijn de onderzoeksvragen met bijbehorende methoden uiteengezet. Deze zijn ten behoeve van het overzicht verwekt in figuur 1. Figuur 1 Overzicht van onderzoeksvragen en toegepaste methoden
7
Materiaal en participanten Binnen kwalitatief onderzoek gaat men bij de selectie van onderzoeksmateriaal en participanten uit van het principe van theoretische verzadiging. Dat houdt in dat men gedurende het onderzoeksproces doorgaat met het verzamelen van materiaal zolang de analyse van nieuw materiaal tot nieuwe bevindingen leidt. Maar om praktische redenen is het niet ongebruikelijk dat een onderzoeker het aantal te onderzoeken gevallen of verschijnselen van tevoren bepaalt (Eisenhardt, K.M., 2002). Gedurende het onderzoek wordt dan getoetst of het punt van theoretische verzadiging is bereikt. Dit is ook het geval binnen dit onderzoek. Daarnaast is bij de selectie van onderzoeksmateriaal ook gekeken of deze selectie een goede representatie is van al het onderzoeksmateriaal. Volgens Maxwell (2002) dient dit twee doelen. Ten eerste maakt deze selectiemethode mogelijk dat de variëteit aan gevallen binnen de selectie gerepresenteerd wordt. Ten tweede is het mogelijk om die gevallen te selecteren die van cruciaal belang zijn voor de ideeontwikkeling binnen het onderzoek. Onderzoeksrapporten van studenten Voor dit onderzoek zijn onderzoeksrapporten van derdejaars RMP-‐ studenten geselecteerd. Zij schreven deze rapporten in het kader van de module Onderzoek die in het eerste blok van studiejaar 2013-‐2014 werd aangeboden. Het gaat om 262 studenten, verdeeld over negen klassen van ongeveer 30 studenten. Van 242 studenten is bekend welke vooropleiding zij hebben gedaan: 174 studenten hebben een havodiploma, 40 studenten een mbo-‐diploma en 28 studenten een vwo-‐ diploma. Van deze 242 studenten deden vier studenten een 21+ toets. Van 20 studenten is de vooropleiding niet te achterhalen uit de beschikbare data. De leeftijd van de studenten varieert tussen de 19 en de 27 jaar. De gemiddelde leeftijd is 21,4 jaar (SD=1,5). Een ruime meerderheid van de studenten is vrouw, het cohort bestaat uit 233 vrouwelijke studenten en 29 mannelijke studenten. Van de 262 studenten hebben 170 studenten bij de eerste imogelijkheid een onderzoeksrapport ingeleverd. Van deze 170 rapporten zijn er 80 met een voldoende beoordeeld en 90 met een onvoldoende (Sinnema, 2014). Voor dit onderzoek zijn 35 onderzoeksrapporten geselecteerd. Hiervan waren 25 rapporten bij de eerste mogelijkheid ingeleverd, daarvan waren er 12 beoordeeld met een voldoende en 13 met een onvoldoende. De resterende 10 rapporten waren van herkansers. Daarvan waren er 5 met een voldoende en 5 met een onvoldoende beoordeeld. De 35 rapporten vormden een representatieve afspiegeling van het werk dat de studenten inleveren, doordat ze verzameld zijn in de verschillende klassen, omdat er zowel rapporten met een voldoende als met een onvoldoende beoordeling en omdat ook rapporten van herkansers in de selectie zijn opgenomen. De geselecteerde onderzoeksrapporten zijn geanonimiseerd en op verzoek te verkrijgen. Docenten De participanten voor de interviews zijn doelgericht geselecteerd (Babbie, 2012), vanwege hun specifieke ervaring met het geven en ontwikkelen van onderzoeksvaardighedenonderwijs. Het afstudeerprofiel RMP heeft drie docenten die zijn aangesteld als onderzoeksdocenten. Zij zijn verantwoordelijk voor de leerlijn Onderzoek binnen het afstudeerprofiel en voor de aansluiting van de onderzoeksopdrachten binnen het projectonderwijs bij deze leerlijn. Voor de voorafgaande proefinterviews konden geen onderzoeksdocenten geselecteerd worden, maar is gekozen voor docenten die wel onderwijs geven in onderzoeksvaardigheden binnen het afstudeerprofiel RMP. Daarnaast zijn twee docenten gevraagd om de gefundeerde theorie-‐analyse die in het kader van dit onderzoek is uitgevoerd, te valideren. Zij zijn eveneens docenten bij het afstudeerprofiel RMP. Ze zijn niet specifiek aangenomen als docent Onderzoek maar doceren wel in binnen het projectonderwijs en begeleiden afstudeerders bij hun onderzoeksopdracht. Aan alle docenten is persoonlijk gevraagd of zij mee wilden werken aan een onderzoek naar conclusies in onderzoeksrapporten. Zij stemden ermee in om dit op vrijwillige basis te doen. De selectie is gebaseerd op de ervaring van de docenten in het geven van onderzoeksvaardigheden binnen de opleiding MIC en het afstudeerprofiel RMP. Tabel 1 is een weergave van de respondenten met de voor dit onderzoek belangrijke kenmerken.
8
Tabel 1 Kenmerken respondenten Respondent
Geslacht
Leeftijd
Aantal jaar werkzaam als docent in het hbo
Opleiding
respondent 1
m
29
5
WO Bedrijfswetenschappen
respondent 2
m
52
11
WO Psychologie en Beleid
respondent 3
m
32
7
WO Communicatie en Beleid
respondent 4 (validering analyse)
v
34
10
HBO Media, Informatie en Communicatie & WO Teaching & Learning in Higher Education
respondent 5 (validering analyse)
m
56
13
Eindfase WO Informatiewetenschappen
Context Het afstudeerprofiel Redactie en Mediaproductie maakt deel uit van de opleiding Media, Informatie en Communicatie van de Hogeschool van Amsterdam (HvA). Aan de HvA stonden binnen zeven verschillende domeinen 46.290 studenten ingeschreven en waren 3.333 medewerkers werkzaam i (Hogeschool van Amsterdam, 2011) ). De opleiding MIC valt onder het domein Media, Informatie en Creatie, waar ruim 7.300 studenten ingeschreven stonden en 500 medewerkers werkzaam waren (Hogeschool van Amsterdam, z.j. Over media informatie en creatie). Exacte cijfers over het aantal ingeschreven studenten aan de opleiding MIC en het afstudeerprofiel RMP waren niet verkrijgbaar, maar bij benadering stonden in het studiejaar 2013-‐2014 4.000 studenten ingeschreven voor deze opleiding. Bij het afstudeerprofiel RMP stonden ten tijde van dit onderzoek bij benadering 800 studenten ingeschreven. Er waren drieëndertig docenten werkzaam, waarvan er drie specifiek aangesteld als docent Onderzoek. Voor dit onderzoek zijn onderzoeksrapporten van derdejaars studenten gebruikt. De studenten voeren een individuele onderzoeksopdracht uit, waarvoor zij zelf een onderwerp bepalen, geïnspireerd door actuele problematiek binnen het werkveld. Het is de eerste keer dat zij zelfstandig alle fasen van het onderzoek doorlopen: van het formuleren van een probleemstelling tot en met het schrijven van de conclusie en het advies. Voorbeelden van onderwerpen voor deze onderzoeksopdrachten zijn: Hoe waarderen de lezers van VIVA de modepagina’s? Hoe kan nu.nl meer bezoekers trekken? Hoe moet een digitale versie van het tijdschrift Linda eruitzien? Zelf ben ik zes jaar werkzaam als docent bij het afstudeerprofiel RMP. Voor dit onderzoek heeft dat als voordeel dat ik het curriculum goed ken en dat ik gemakkelijk toegang heb tot data en respondenten. Het kan daarentegen iets lastiger zijn om met afstand te kijken naar de objecten van onderzoek. Daarom heb ik voor de uitvoering van dit onderzoek een module geselecteerd waarin ik zelf geen onderwijs geef. De geselecteerde rapporten zijn dan ook niet eerder door mij beoordeeld.
Onderzoeksmethodologie Wanneer sprake is van weinig overzichtelijke problematiek en complexe thematiek wordt vaak gekozen voor een kwalitatieve onderzoeksbenadering (Baarda, de Goede & Teunissen, 2005). Kwalitatief onderzoek geeft inzicht in de complexiteit van de onderzochte verschijnselen en hun achtergronden (Hutjes & van Buuren, 1992). Het onderzoek kent een diagnostische doelstelling. Bij diagnostisch onderzoek gaat men ervan uit dat sprake is van een probleem en wordt gezocht naar de oorzaken en achtergronden en de onderlinge samenhang van dit probleem (Smaling, 2006). Het diagnostische deel van dit onderzoek betreft het beschrijven en verklaren van de knelpunten binnen de conclusies van onderzoeksrapporten. De analyse is uitgevoerd in de vorm van een meervoudige gevalsstudie. Een klein aantal gevallen (onderzoeksrapporten) is diepgaand geanalyseerd en vergeleken. Yin (2009) geeft aan dat
i
Dit zijn meest recente, beschikbare cijfers uit december 2011
9
een gevalsstudie een goede onderzoeksmethode kan zijn als de grenzen tussen het verschijnsel en de context niet helemaal duidelijk zijn. In dit geval is slechte kwaliteit van de conclusies waarschijnlijk contextafhankelijk, maar in hoeverre de kwaliteit afhankelijk is van de individuele mogelijkheden en inzet van de student en in hoeverre deze afhankelijk is van de instructie vanuit de opleiding, is niet helemaal duidelijk. Yin (2009) en Hutjes en van Buuren (1992) geven aan dat bij een gevalsstudie het verschijnsel wordt bestudeerd in de natuurlijke situatie. De onderzoeksrapporten van de studenten zijn niet bewerkt of uit de context gehaald, voor de analyse zijn de rapporten gebruikt zoals deze zijn ingeleverd door de studenten. Veldonderzoek binnen de gevalsstudie is vaak beschrijvend en vergelijkend. De analyse bestond uit een beschrijving van knelpunten en een vergelijking van deze knelpunten met knelpunten in andere onderzoeksrapporten. Dit is een combinatie van een 'within-‐case' analyse en een 'cross-‐ case' analyse. Middels een within-‐case analyse verkrijgt de onderzoeker bekendheid met de data, waardoor voorlopige verklaringen kunnen worden geformuleerd, de cross-‐case analyse dwingt een onderzoeker om de eerste impressies diepgaander, vanuit meerdere perspectieven te beschouwen (Eisenhardt, K.M., 2002). Door te zoeken naar overeenkomsten en verschillen in de knelpunten is gezocht naar patronen in de geobserveerde verschijnselen (Babbie, 2012). De gevonden patronen leidden tot een indeling van de knelpunten in categorieën. Door deze categorisering konden nieuwe ideeën ontstaan over de eisen voor een conclusie van een onderzoeksrapport. Door deze ideeën te toetsen aan bestaande theorie is via een inductieve redeneerwijze een nieuwe theorie afgeleid (Eisenhardt, K.M., 2002). Dit onderzoek kende daarnaast een ontwerpgerichte doelstelling, gericht op het ontwikkelen van generieke oplossingen voor het gediagnosticeerde veldprobleem (Aken en Andriessen, 2009). Het ontwerpgerichte deel is nader uitgewerkt in een opzet voor een instructie voor studenten ten aanzien van de conclusie van een onderzoeksrapport. Deze is te vinden in bijlage I. Instrumenten Gefundeerde theorie-‐analyse De onderzoeksrapporten van de studenten zijn gecodeerd op basis van de gefundeerde theoriebenadering (Birks, 2011; Boeije, 2005). Dit is in meerdere fasen gedaan: in de eerste fase, ‘de open codering’, zijn codes toegekend aan de ruwe data en zijn daarvan beschrijvingen gemaakt. Vervolgens zijn deze codes in de fase van ‘axiale codering’ beschreven en waar nodig samengevoegd of gesplitst. In de laatste fase van ‘selectieve codering’ is gezocht naar patronen in codes en zijn de codes gecategoriseerd. Een belangrijk uitgangspunt van de gefundeerde theorie-‐analyse is die van 'constante vergelijking' van data met codes, van codes met categorieën en van categorieën met elkaar. Ook zijn de categorieën vergeleken met bestaande theorieën over knelpunten in onderzoek en met de bevindingen uit de interviews met de docenten. Interviews Er is gekozen om naast de gefundeerde theorie-‐analyse een tweede methode van onderzoek te gebruiken, zodat de uitkomsten van de analyse konden worden getoetst. Gekozen is om semigestructureerde interviews af te nemen. Hierbij is een aantal vragen van tevoren is vastgelegd in een interviewschema. Die methode biedt ook ruimte om gedurende het interview de vragen in een andere volgorde te stellen of vragen toe te voegen, indien het gesprek daar aanleiding toe geeft (Baarda, de Goede en Teunissen, 2005). Deze manier van interviewen was voor dit onderzoek het meest geschikt omdat het onderwerp, de conclusie van een onderzoeksrapport, lastig te beschrijven bleek. Wanneer de vragen te moeilijk bleken om te beantwoorden kon een vraag worden toegevoegd en wanneer de antwoorden van de geïnterviewden niet helemaal duidelijk waren, kon worden gevraagd om het antwoord te herformuleren of te verduidelijken aan de hand van een voorbeeld. De interviews dienden twee doelen: 1. Toetsen of de knelpunten die naar voren kwamen uit de analyse van de onderzoeksrapporten herkend worden door de docenten en of deze nog aangevuld dienden te worden. 2. Achterhalen op welke wijze de instructie voor de interviews in de lessen wordt overgebracht en of dit overeenkomt met de instructie die wordt gegeven in de documentatie van de onderzoeksmodules. Daarom bestonden de interviews uit twee delen, in het eerste deel werden vragen gesteld om te achterhalen welke ideeën docenten hebben over de functie van een conclusie in een
10
onderzoeksrapport en meer inzicht te krijgen in hoe zij instructie geven over de conclusie in onderzoekslessen. In het tweede deel werden drie conclusies van onderzoeksrapporten voorgelegd met de vraag om van deze conclusies de sterke en de zwakke punten te benoemen. Werkwijze Inventarisatie van de documentatie Op de digitale leer-‐ en werkomgeving van de opleiding is gezocht naar documentatie van onderzoekslessen en -‐opdrachten. In alle gedocumenteerde informatie over de modules waar aandacht wordt besteed aan onderzoeksvaardigheden, zoals modulehandleidingen, PowerPointpresentaties van lessen, digitale lesomgevingen en docentinstructies, is gezocht naar omschrijvingen van en instructies voor (het schrijven van) de conclusie. Daarnaast is het boek Wat is onderzoek? van Nel Verhoeven geraadpleegd, omdat dit het voorgeschreven boek is bij voor de onderzoeksmodules van de opleiding MIC. Ook hieruit zijn de fragmenten geselecteerd over (het schrijven van) de conclusie van een onderzoek. Dit gaf een inzicht in de instructie die studenten krijgen vanuit de opleiding ten aanzien van de conclusie. Een compleet overzicht van de instructie die betreffende de conclusies aan de studenten gegeven wordt is te vinden in bijlage III Inventarisatie van de literatuur over onderzoeksmethodologie Om te achterhalen wat in de literatuur geschreven wordt over de conclusie van een onderzoeksrapport is in eerste instantie gekeken bij de methodologiesectie van de mediatheek van de HvA. Daarna is in de online catalogus van de Bibliotheek van de Hogeschool van Amsterdam gezocht naar literatuur, met als zoektermen: onderzoek, methoden, methoden en technieken, methodologie, conclusie, onderzoek conclusie en methode conclusie. In alle gevonden boeken is gezocht naar die fragmenten die instructie voor het schrijven van een conclusie van een onderzoek bevatten. Vervolgens is gezocht naar online gepubliceerde handleidingen. Er is gezocht met Google en Google Scholar op de volgende zoektermen onderzoek, methoden, methoden en technieken, methods, research methods, conclusion, research conclusion, discussion en research and discussion. In alle gevonden boeken en online handleidingen is gezocht naar fragmenten die gaan over de conclusie van een onderzoek. Een overzicht van alle geraadpleegde boeken is te vinden in bijlage IV. Knelpuntenanalyse onderzoeksrapporten Dataverzameling
Om een goed beeld te krijgen van de knelpunten in de conclusies van onderzoeksrapporten werd een gefundeerde theorie-‐analyse uitgevoerd. Voor het uitvoeren van deze analyse waren de digitale versies van de rapporten nodig. De studenten hadden hun rapporten echter uitsluitend in hardcopy ingeleverd. De digitale versies zijn op verschillende manieren verzameld: een deel van de rapporten is op mijn verzoek aangeleverd door de negen docenten die doceerden in de module onderzoek. Ik heb iedere docent gevraagd om vier onderzoeksrapporten aan te leveren, waarvan twee met een voldoende waren beoordeeld en twee met een onvoldoende. Niet iedere docent had de mogelijkheid of de tijd om onderzoeksrapporten aan te leveren. Zes docenten hebben onderzoeksrapporten per mail opgevraagd bij de studenten. Dit leverde 24 rapporten op, daarnaast zijn nog elf rapporten gedownload van de digitale leer-‐ werkomgeving van de opleiding. Hiervoor is toestemming gevraagd aan de coördinator van de module Onderzoek. De studenten zijn op de hoogte gesteld dat hun onderzoeksrapport gebruikt zou worden voor een onderzoek, zij hebben daarvoor geen beloning ontvangen. De in dit onderzoek geanalyseerde onderzoeksrapporten zijn geanonimiseerd en niet te herleiden tot de studenten die deze hebben geschreven. Data-‐analyse
In de eerste fase, het open coderen, zijn met behulp van het programma Nvivo (betaversie voor Mac) codes toegekend aan de knelpunten in de onderzoeksrapporten. In eerste instantie zijn in dit onderzoek de knelpunten aangeduid met zeer algemene termen, zoals 'slechte formulering', of 'geen antwoord op de probleemstelling'. Gedurende de knelpuntenanalyse zijn de beschrijvingen steeds nauwkeuriger geformuleerd. Het knelpunt 'slechte formulering' is bijvoorbeeld opgesplitst in onder andere: 'de zinnen zijn onbegrijpelijk door slechte formulering', 'er is sprake van een overbodige herhaling' en 'de student spreekt zichzelf tegen'. Vervolgens werden aan de knelpunten labels toegekend, als voorbereiding op de categorisering. In de fase van axiale codering werden de codes nauwkeuriger beschreven, daardoor werden de labels gesplitst of samengevoegd. Dit gaf dat aanleiding om de geanalyseerde conclusies nogmaals
11
te doorlopen en de codes daarin aan te passen. Deze fase kon worden afgerond op het moment dat ieder nieuw knelpunt onder bestaande codes kon worden ondergebracht. De knelpunten zijn vervolgens overgezet naar Excel (voor Mac 2011) zodat deze aan de hand van de labels konden worden gecategoriseerd. De categorieën en subcategorieën vormden de basis voor de selectieve codering van de rapporten. In deze fase is gezocht naar patronen en uitzonderingen. Een voorbeeld daarvan was het knelpunt dat in de conclusie duidelijk werd dat de belangrijkste oorzaken van een probleem niet geanalyseerd waren. Voor dit knelpunt is een subcategorie probleemstelling niet nauwkeurig genoeg geformuleerd opgesteld. De categorieën zijn enkele malen aangepast, omdat het van sommige knelpunten moeilijk te bepalen was onder welke categorie deze het best pasten. Dit was bijvoorbeeld het geval bij de categorie ‘onjuiste selectie van respondenten’. Deze was in eerste instantie ingedeeld bij het knelpunt, 'vertaling van resultaten naar conclusies', maar omdat deze categorie niet duidelijk was, zijn de knelpunten die hieronder ingedeeld waren, in andere categorieën geplaatst. In eerste instantie is 'onjuiste selectie van respondenten’ als een aparte categorie opgenomen, vervolgens is besloten om een categorie 'knelpunten in de opzet van het onderzoek' in te voeren en het knelpunt 'onjuiste selectie van respondenten’ daarin onder te brengen. Uiteindelijk is een tabel samengesteld van 37 knelpunten die in vijf categorieën zijn ingedeeld. Interviews Dataverzameling
De drie semigestructureerde interviews zijn afzonderlijk, ‘face-‐to-‐face’ afgenomen in het gebouw van de opleiding MIC en op audio vastgelegd. De vragen voor de interviews zijn van tevoren vastgelegd in een interviewschema. De interviews duurden tussen de 35 de 50 minuten. Data-‐analyse
De interviews zijn volledig getranscribeerd, waarna relevante tekstfragmenten zijn geselecteerd om te vergelijken met de bevindingen uit de knelpuntenanalyses van de conclusies en de bevindingen uit de literatuur. Dit gaf beter inzicht in het type onderzoek dat studenten verrichten bij het afstudeerprofiel RMP en de instructie die studenten van de opleiding krijgen ten aanzien van de conclusie van een onderzoeksrapport. Het gaf tevens een bevestiging van de gevonden knelpunten. De transcripties van de interviews zijn geanonimiseerd en op verzoek te verkrijgen bij de onderzoeker. Vergelijken van bevindingen met literatuur Omdat bleek dat de knelpunten in de conclusies sterk samenhingen met knelpunten in het gehele onderzoeksproces is vervolgens gekeken of deze gekoppeld konden worden aan in de literatuur genoemde knelpunten in een onderzoek. Daarbij is gebruik gemaakt van het model van Oost (2002), omdat hierin heel uitgebreid de mogelijke fouten in een onderzoeksproces worden beschreven en gekoppeld aan kwaliteitscriteria. Dit model is uitermate geschikt voor voorliggend onderzoek, gegeven de doelstelling om kwaliteitscriteria en instructies voor conclusies te schrijven aan de hand van een knelpuntenanalyse. Vervolgens is onderzocht of kwaliteitscriteria voor praktijkgericht onderzoek afwijken van kwaliteitscriteria voor theoriegericht onderzoek. Dit is gedaan door literatuur over de verschillen tussen praktijkgericht en theoriegericht onderzoek te raadplegen en de kwaliteitseisen met elkaar te vergelijken. Tot slot heeft deze vergelijking geleid tot een koppeling van de knelpunten uit de conclusie aan kwaliteitscriteria voor onderzoek en konden deze kwaliteitscriteria specifieker worden afgestemd op de conclusie van een onderzoeksrapport.
Validiteit Interne validiteit Voor de beantwoording van de onderzoeksvragen over de knelpunten in de conclusies die studenten schrijven, wordt gebruik gemaakt van meerdere bronnen: de literatuur, de onderzoeksrapporten van de studenten en de interviews met de docenten onderzoek. Wanneer meerdere bronnen bijdragen aan eenzelfde conclusie, is sprake van convergentie van de onderzoeksresultaten en draagt dit bij aan de constructvaliditeit van het onderzoek (Van Burg, 2011). Het gebruik van meerdere bronnen wordt ook wel triangulatie van bronnen genoemd, wat bijdraagt aan een sterkere ondersteuning van de uitkomsten (Yin, 2009). Doordat binnen case study research de analyse en de ideevorming zo direct worden afgeleid uit de data, het onderzoeksmateriaal binnen de natuurlijke context is het waarschijnlijk dat de idee-‐ en theorievorming consistent is met de empirische observatie (Eisenhardt
12
K.M. 2002). Ook het vergelijken van de ideeën en de zich ontwikkelende theorie met bestaande literatuur verhoogt de interne validiteit van die theorie (Eisenhardt, K.M., 2002; Yin, 2009). Bij een meervoudige gevalsstudie worden de uitkomsten (in dit geval de gedefinieerde knelpunten) gedurende het analyseproces geverifieerd. Er is sprake van herhaaldelijke verificatie omdat de knelpunten uit verschillende onderzoeksrapporten met elkaar vergeleken worden, (Eisenhardt, K.M., 2002). Dit draagt bij aan de interne validiteit van de gevonden knelpunten. Daarnaast zijn de bevindingen uit de analyse van de onderzoeksrapporten gevalideerd door twee docenten. Zij beoordeelden ieder tien analyses van conclusies die door mij waren geanalyseerd. Zij kregen de instructie om na te gaan of ik alle knelpunten had aangegeven in een conclusie, of deze een logische beschrijving hadden en of de indeling van categorieën logisch was. In de tien geselecteerde conclusies die voor deze validering werden geselecteerd, moesten alle categorieën ten minste twee keer voorkomen. Aan de hand van deze validering zijn de categorieën heringedeeld en de knelpunten nauwkeuriger beschreven. De docenten gaven aan geen nieuwe knelpunten in de conclusies te hebben aangetroffen. De validering leidde wel tot aanscherping van formuleringen en het verplaatsen van enkele knelpunten naar een andere categorie. De instructie voor de docenten is opgenomen in bijlage V. Daarnaast zijn de in de in dit onderzoek beschreven knelpunten in de interviews met de docenten gevalideerd. De geïnterviewde docenten kregen ieder drie conclusies voorgelegd met de vraag of zij hiervan de knelpunten konden aangeven. Dit diende niet alleen ter validering van het opgestelde coderingsschema; het gaf ook een meer open en holistische analyse van de conclusies. Dat was van nut om te achterhalen wat volgens de docenten de belangrijkste knelpunten in de conclusies zijn. De validiteit van de interviews is verhoogd door een proefinterview af te nemen. Zo is getoetst of de vragen die zijn opgesteld waren, werden geïnterpreteerd zoals bedoeld. Tevens is nagegaan of de uitkomsten van het interview bijdragen aan de beantwoording van probleemstelling. Uit het proefinterview bleek dat veel vragen te algemeen geformuleerd waren en niet bijdroegen aan de beantwoording van de onderzoeksvragen. Ook bleek dat het voorleggen van de gevonden knelpunten niet leidde tot meer inzicht in deze knelpunten of een aanvulling daarop. Daarom is het interviewschema grondig herzien: de vragen zijn aangepast en scherper geformuleerd. Bovendien is een element toegevoegd aan het interview. Na het stellen van de openvragen werden de docenten gevraagd drie conclusies van studenten te lezen en te beoordelen. De aanpassingen in het interviewschema waren zo groot, dat is besloten om nog een proefinterview af te nemen. Het tweede proefinterview gaf geen aanleiding tot nieuwe aanpassingen. Externe validiteit: bruikbaarheid en generaliseerbaarheid Dit onderzoek is een kleinschalig kwalitatief onderzoek, waarbij een relatief klein aantal onderzoeksobjecten diepgaand is geanalyseerd. Daarom is het goed om de externe validiteit te benaderen vanuit twee perspectieven: de bruikbaarheid van de uitkomsten binnen de context waarin het onderzoek is uitgevoerd, te weten de opleiding MIC, en de mogelijkheid om deze uitkomsten te generaliseren. Omdat binnen dit onderzoek de conclusies in onderzoeksrapporten van RMP-‐ studenten diepgaand zijn geanalyseerd is een duidelijk beeld ontstaan van de knelpunten die deze studenten ondervinden bij het schrijven van een conclusie. De inzichten die hieruit voortkomen, zijn heel goed bruikbaar om het onderwijs in onderzoeksvaardigheden binnen deze opleiding te verbeteren. Heel concreet levert dit onderzoek een opzet voor instructie voor het schrijven van een conclusie op. Daarnaast is het om meerdere redenen niet onaannemelijk dat de opgestelde eisen ook binnen andere contexten bruikbaar zijn. Omdat bij kwalitatief onderzoek sprake is van 'purposeful selection' van data gaat men ervan uit dat onderzoeksuitkomsten vooral bruikbaar zijn voor vergelijkbare context. Yin (2009) spreekt in dit verband over analytische generalisatie waarin "the investigator is striving to generalize a particular set of results to some broader theory" (p. 43). De uitkomsten van dit onderzoek kunnen gegeneraliseerd worden omdat zijn vergeleken met bestaande literatuur. De vergelijking van de door de analyse ontstane ideeën met bestaande literatuur draagt bij aan de externe validiteit van dit onderzoek (Eisenhardt, K.M., 2002). Dat houdt dat het aannemelijk is dat de uitkomsten van dit onderzoek ook gelden binnen vergelijkbare contexten: opleidingen op hogescholen met een vergelijkbaar curriculum en een vergelijkbaar type populatie. Om dit te toetsen, zou het onderzoek of een deel daarvan binnen een andere context herhaald moeten worden. Zo zouden de knelpunten die gevonden zijn binnen de onderzoeksrapporten als uitgangspunt kunnen dienen voor een toetsing van dit onderzoek binnen andere opleidingen met soortgelijke onderzoeksopdrachten.
13
14
Resultaten Instructie voor het schrijven van een conclusie vanuit de opleiding Om te achterhalen welke instructie studenten krijgen ten aanzien van het schrijven van een conclusie voor een onderzoeksrapport, is een inventarisatie gemaakt van de documentatie van de onderzoeksmodules en onderzoeksopdrachten binnen de propedeuse van de opleiding MIC en het afstudeerprofiel RMP. Om te achterhalen of deze instructie afdoende is, is gebruik gemaakt van de aanwijzingen van Oost (2002) over effectieve instructie voor het verrichten van onderzoek. Om te leren (onderzoeken) moeten studenten volgens Oost (2002, p. 8) vier dingen weten: "Wat er gedaan moet worden, waarom dat gedaan moet worden, wanneer dat goed gedaan is en hoe het gedaan kan worden." Om een conclusie te kunnen schrijven moeten studenten weten uit welke componenten de conclusie bestaat en in welke volgorde deze aan bod moeten komen -‐wat er gedaan moet worden. Ze moeten weten wat de functie van de conclusie is – waarom het gedaan moet worden – en aan welke kwaliteitscriteria deze moet voldoen – wanneer dat goed gedaan is. Tot slot moeten ze richtlijnen krijgen – hoe het gedaan kan worden. Op welke wijze de instructie verweven is in het onderzoeksvaardighedenonderwijs van het curriculum van RMP, wordt hieronder beschreven. Uit de interviews met de docenten Onderzoek komt naar voren dat in de verschillende onderzoeksmodules over het algemeen één les wordt besteed aan de conclusie. Vaak wordt in een van de laatste lessen de instructie over de conclusie aan de hand van voorbeelden gegeven. Wanneer dit mogelijk is, komen de voorbeelden uit de onderzoeksrapporten van de studenten, maar het gebeurt vaak dat zij nog geen resultaten hebben die de docent kan gebruiken als voorbeeld. In dat geval worden generieke voorbeelden gebruikt. Docenten geven aan dat zij het lastig vinden om uit te leggen wat het inhoudt om een conclusie te trekken, is. Eén docent (respondent 2) geeft aan "Ik vind het best lastig wat je vraagt, want ik weet zelf niet wat ik doe als ik een conclusie trek." Een ander (respondent 1) vertelt: "[..] want een samenvatting van de resultaten, geef je in het hoofdstuk resultaten en hier [in de conclusie] geef je dus een waardeoordeel, een interpretatie, waarin je [resultaten van] desk en field[research] met elkaar vergelijkt". Docenten merken daarnaast op dat de les waarin de conclusie aan de orde komt, vaak slecht bezocht wordt: studenten komen niet en geven als reden op dat ze niet ver genoeg gevorderd zijn met hun onderzoek of dat ze aan andere studieactiviteiten voorrang geven (respondent 2 en 3). In de praktijk is het merendeel van de studenten daardoor aangewezen op de instructie uit de documentatie van de modules en de voorgeschreven literatuur. Uit deze inventarisatie blijkt dat de opsommingen van de componenten van de conclusie bij iedere module anders geformuleerd worden. Hetzelfde geldt voor de instructie ten aanzien van de structuur van de conclusie . De informatie over – wat er gedaan moet worden – is inconsistent en de afzonderlijke instructies zijn incompleet. De studenten ontvangen geen instructie over de functie van de conclusie – waarom het gedaan moet worden. Tot slot wordt nauwelijks aandacht besteed aan de kwaliteitscriteria van een conclusie – wanneer is het goed gedaan. Daarover wordt alleen gezegd wat er niet moet worden gedaan: een samenvatting of herhaling geven van je resultaten. Een voorbeeld is de powerpointsheet uit een les in de eerstejaarsmodule onderzoeksvaardigheden: In de conclusie: • herhaal je de hoofdvraag van je onderzoek. • beantwoord je kort de deelvragen en daarna de hoofdvraag. • geef je aan of je genoeg informatie hebt kunnen vinden. • NB: Conclusies trekken is meer dan samenvatten: Dus géén herhaling van de resultaten!
(Wesseling, 2012) De meest uitgebreide instructie ten aanzien van de conclusie krijgen studenten aan het einde van de propedeuse, in de modulehandleiding van de module Kwalitatief Onderzoek: Wat is een conclusie: Verbinden van onderzoeksresultaten aan probleemstelling / onderzoeksvragen. Antwoord op de 'hoofdvragen' van je onderzoek; aangeven of de doelstelling is bereikt. Conclusies trekken is meer dan samenvatten.
15
De opzet van een conclusie: Korte schets aanleiding onderzoek: herhaal de centrale vraagstelling (is gegeven). Kort aanstippen van de opzet van je onderzoek, vervolgens beantwoorden van de deelvragen en daarna de centrale vraagstelling. Evt. aanbevelingen. (Wesseling 2013, pp. 17, 18).
Hier wordt ingegaan op de inhoud en de structuur van de conclusie. Wat nog wel ontbreekt, is een uitleg hoe een student dit moet aanpakken en de kwaliteitscriteria waaraan de conclusie moet voldoen. Na de propedeuse stromen de studenten door naar de hoofdfase van de opleiding. Binnen het afstudeerprofiel RMP worden gedurende het tweede studiejaar geen aparte modules onderzoeksvaardigheden aangeboden. De onderzoeksopdrachten zijn onderdeel van het projectonderwijs. Binnen deze projectmodules wordt alleen in de coachingsuren aandacht besteed aan de conclusie. De wijze waarop dit gebeurt, wordt ingevuld door de docenten die de groepen coachen. Het is binnen de opleiding niet gebruikelijk om docentinstructies te geven voor coachingsuren, omdat men ervan uitgaat dat studenten zelf de agenda bepalen voor deze lessen en zelf met vragen komen. In de meeste gevallen worden de coachingsbijeenkomsten gegeven door docenten met weinig onderzoekservaring (vakdocenten of instructeurs praktijkonderwijs). In het derde leerjaar staat voor de eerste keer in de hoofdfase van de opleiding een module op het programma die volledig draait om onderzoeksvaardigheden: de module Onderzoek. De instructie voor de conclusie bestaat uit het volgende: • • • • •
Een conclusie is de beantwoording van de probleemstelling. Een conclusie is geen samenvatting van de resultaten. Een conclusie is analytisch. Een conclusie is compact . Koppeling met literatuur hoofdstuk/deskresearch is erg belangrijk.
(Brancart en Goossens, 2013, p. 13) Hier wordt de inhoud van de conclusie anders beschreven dan in de instructie in het eerste jaar, er wordt niet ingegaan op de structuur. Wel worden voor de eerste maal kwaliteitscriteria genoemd namelijk een conclusie moet logisch en analytisch zijn. Deze criteria worden niet nader toegelicht en er worden geen richtlijnen bij gegeven. Een volledig overzicht van de instructie vanuit de opleiding MIC ten aanzien van een conclusie is te vinden in bijlage II van dit onderzoeksrapport. Naast de instructies in de lessen wordt één studieboek over onderzoeksmethodologie voorgeschreven: Wat is onderzoek? van Nel Verhoeven (2007). In dit boek is de uitleg over de conclusie eveneens uiterst beknopt: Bij het trekken van de conclusie verbind je de onderzoeksresultaten met de probleemstelling en geef je antwoord op de centrale vraag van je onderzoek. Je interpreteert dus de resultaten aan de hand van je probleemstelling. Ook ga je in op de vraag of je met deze antwoorden je onderzoeksdoel kunt bereiken. Conclusies trekken is dus niet simpelweg samenvatten van de resultaten: er komt meer bij kijken! (p. 276)
Een aantal zaken valt op: In de propedeuse wordt meerdere malen aandacht besteed aan de conclusie van een onderzoek, in leerjaar twee wordt dit overgelaten aan de individuele docent die de studenten begeleidt tijdens de coachingsuren. Meer dan een jaar later, in de module Onderzoek in het derde leerjaar, krijgen de studenten instructie over de conclusie. De instructie is versnipperd. De instructie die studenten krijgen voor de conclusie wordt bij iedere module anders geformuleerd: de componenten van de conclusie worden niet consistent allemaal genoemd en niet eenduidig benoemd. Daarnaast wordt een aantal keer verteld wat een conclusie níet moet zijn -‐ een samenvatting van resultaten -‐ maar niet concreet beschreven wat een conclusie wel moet zijn. De instructie is niet compleet, niet consistent en niet eenduidig.
Instructie voor het schrijven van een conclusie in de literatuur De instructie voor het schrijven van een conclusie die vanuit de opleiding gegeven wordt, is summier. Ook Verhoeven, wiens boek Wat is onderzoek? wordt voorgeschreven, is beknopt in haar uitleg. Om een beter beeld te krijgen van wat een conclusie is volgens onderzoekers en methodologen, is een inventarisatie gemaakt van studie-‐ en handboeken over het verrichten van onderzoek. Ook
16
daaruit blijkt dat de conclusie een onderbelicht onderwerp is. In studieboeken gericht op studenten, bijvoorbeeld het eerder genoemde Wat is onderzoek? van Verhoeven (2007) en Dit is onderzoek van Baarda, de Goede en Teunissen (2005) wordt meestal niet meer dan één of enkele regels besteed aan de conclusie: "De conclusie dient altijd te beginnen met het antwoord op de onderzoeksvraag" (2005, p. 149). Dan wordt verwezen naar een voorbeeld en aangegeven dat de conclusie nooit kan zijn: "Het blijkt dat wij gelijk hebben". In handboeken over het ontwerpen van een onderzoek die gericht zijn op (beginnende) onderzoekers, zoals Het ontwerpen van onderzoek van Verschuren en Doorewaard (2007) en Methoden en technieken van onderzoek van Schreuder-‐ Peters (2012), zijn geen aparte hoofdstukken of paragrafen over de conclusie opgenomen. Het Basisboek methoden en technieken van Baarda (2012, p. 318) vermeldt over de conclusie: Na de discussie over de betekenis van de onderzoeksresultaten sluit je dit hoofdstuk af met een of meer conclusies. Deze conclusies geven kort en krachtig antwoord op de onderzoeksvraag, gebaseerd op de onderzoeksresultaten. De conclusie mag geen nieuwe informatie bevatten. Vraag je bij het trekken van conclusies af of deze echt af te leiden zijn uit het onderzoeksmateriaal dat je hebt gepresenteerd en niet je eigen ideeën of meningen weergeven. Formuleer je conclusies bovendien op de juiste manier: geef aan dat je wel of geen steun vindt voor het idee dat… zeg nooit dat je hypothese 'klopt' of 'juist' is [sic] het tegendeel kan immers altijd nog gevonden worden. Het belangrijkste punt dat hier wordt benadrukt, is de samenhang tussen 'het antwoord' en de onderzoeksresultaten. Er wordt nagelaten aanwijzingen te geven over de structuur en de functie van de conclusie. Bovendien gaat Baarda uit van hypothesetoetsend onderzoek, dat is niet het type onderzoek dat de studenten RMP verrichten. In het boek Onderzoeksvaardigheden! van Fischer en Julsing (2014) gericht op de onderzoekende professionals wordt aangeraden om "meerdere collega's op basis van je informatie conclusies te laten trekken" (p. 204), maar worden geen handvatten gegeven hoe dit te doen of hoe de verschillende conclusies te wegen en tot een finale conclusie te komen. Ook in handboeken waarin uitleg gegeven wordt over specifieke onderzoeksmethodes, bijvoorbeeld over case studies of over het ontwikkelen van vragenlijsten, komt de conclusie nauwelijks aan de orde. In het boek Enquêteren: het opstellen en gebruiken van vragenlijsten van Bartelds, Jansen, en Joostens (1989), staat een zeer beknopte uitleg over de conclusie: "Met het onderdeel conclusies en aanbevelingen besluiten we het rapport. Hierin geven we een interpretatie van de gevonden vragenlijstuitkomsten en geven we een antwoord op de geformuleerde probleemstelling." In het boek Onderzoeken doe je zo (Verhoeven, 2010) wordt aan de hand van een voorbeeldonderzoek geïllustreerd hoe een conclusie eruit ziet. Het gebruik van voorbeelden is vaak wel verhelderend, maar als enkel een voorbeeld wordt gegeven zonder verdere uitleg aan welke eisen de conclusie moet voldoen, is de instructie niet compleet. Door enkel uitleg te geven aan de hand van een voorbeeld, ontbreekt het aan instructies ten aanzien van de functie, de structuur en de kwaliteit van de conclusie. In bijlage IV is een overzicht opgenomen van alle geraadpleegde hand-‐ en studieboeken.
Instructie voor het schrijven van een conclusie door andere opleidingen, online gepubliceerd Het gebrek aan instructies voor het schrijven van conclusies kan een reden zijn voor instituten voor hoger onderwijs om zelfgeschreven handleidingen en opdrachten online te publiceren. Een voorbeeld daarvan is de instructie van de Rijksuniversiteit Groningen (2002, para 4). Ook hierin is de informatie over de conclusie niet heel uitgebreid: er wordt enkel aangegeven dat de conclusie antwoord geeft op de in de inleiding geformuleerde onderzoeksvraag en dat de conclusie laat zien hoe de stand van het onderzoek is gewijzigd door de toevoeging van nieuwe kennis en inzichten. Er wordt dus alleen aangegeven wat de functie van de conclusie is. Professor Valcke (2010) van de Universiteit van Gent geeft zijn studenten de opdracht schrijf een conclusie bij een bestaand artikel. Hij geeft de studenten instructie over de inhoud en de structuur van een conclusie: Herhaal kernachtig de centrale probleemstelling van het onderzoek. • Benadruk waarom de aanpak van deze probleemstelling belangrijk, noodzakelijk, innovatief is.
17
• • • • •
Schets beknopt de aanpak van de probleemstelling: theorie, onderzoeksdesign, analyseaanpak. Vat de voornaamste resultaten samen. Bekijk op basis van de resultaten opnieuw de probleemstelling. Schets de belangrijkste implicaties van de resultaten en conclusies. Schets de belangrijkste stap naar de toekomst toe. (para. 4)
Valcke gaat eveneens in op de functie van de conclusie: Een goede kernachtige conclusie schrijven heeft als resultaat dat een lezer: • zich goed terug de probleemstelling voor ogen houdt; • het belang van het uitgevoerde onderzoek onderkent (waar zat de lacune in de literatuur); • de kern van de aanpak (theorie en onderzoeksdesign) herinnert; • de belangrijkste conclusies kan onthouden; • de implicaties van de bevindingen onderkent; • een richting naar de toekomst toe mee krijgt.
(2010, para 2) Het laatste punt licht hij nader toe: "Dit kan één van de volgende richtingen uit gaan: aanpak van een vervolgonderzoek, herbekijken van de theorie, aanpassen van de praktijk, herbekijken van de huidige praktijk, enz." (Richtlijnen voor de uitwerking, para. 4). In deze redelijk uitgebreide instructie wordt wel ingegaan op de inhoud en de structuur van de conclusie – wat er gedaan moet worden – en de functie van de conclusie – waarom het gedaan moet worden – maar ontbreken de kwaliteitscriteria voor de conclusie – wanneer het goed gedaan is. Al met al is de instructie voor de inhoud, de structuur en de kwaliteit van een conclusie niet compleet, eenduidig en niet consistent beschreven. Om nauwkeurig aan te geven wat binnen dit onderzoek wordt verstaan onder de conclusie van een onderzoeksrapport is op basis van bovenstaande informatie een werkdefinitie van de conclusie opgesteld. De conclusie is het antwoord op de probleemstelling dat aan de hand van een synthese van onderzoeksresultaten wordt gegeven en waarin wordt uitgelegd op welke wijze het antwoord bijdraagt aan de doelstelling van het onderzoek.
Knelpunten in de conclusies van onderzoeksrapporten Er is een knelpuntenanalyse uitgevoerd van onderzoeksrapporten op basis van de gefundeerde theoriebenadering. Daarnaast is tijdens de interviews aan de docenten onderzoek gevraagd wat volgens hen de grootste knelpunten zijn in de conclusies van onderzoeksrapporten. In tabel 2 zijn de resultaten uit de knelpuntenanalyse te zien. Alle categorieën worden toegelicht. De knelpunten waarvan enkel uit de beschrijving in de tabel niet duidelijk wordt hoe een dergelijke fout eruit zou kunnen zien, zijn aan de hand van een voorbeeld uitgelegd. De citaten uit de onderzoeksrapporten zijn letterlijk overgenomen en bevatten daarom formulerings-‐ en spelfouten. In de tweede paragraaf worden de bevindingen uit de interviews met docenten gepresenteerd en wordt aangegeven of deze hebben geleid tot aanpassingen van de opgestelde categorisering van knelpunten.
18
Tabel 2 Knelpunten in conclusies van onderzoeksrapporten Categorie 1.Knelpunten in de inhoud van de conclusie. Niet (volledig) af te leiden uit de conclusie zelf.
Knelpunten Relevante onderzoeksresultaten zijn niet gebruikt voor de conclusie. Een conclusie is gebaseerd op slechts één of enkele resultaten van het onderzoek. Resultaten worden foutief gegeneraliseerd. Alle resultaten worden genoemd, er is geen selectie gemaakt van die resultaten die relevant zijn voor de beantwoording van de probleemstelling. Er is sprake van een foutieve gevolgtrekking. In de conclusie staan citaten. In de conclusie staat nieuwe informatie. In de conclusie wordt een onderzoeksmethode beschreven. De conclusie bevat geen (sluitende) argumentatie, maar is alleen een samenvatting van resultaten. De conclusie geeft geen antwoord op de probleemstelling. 2. Knelpunten in de structuur In de conclusie wordt de probleemstelling niet herhaald. van de conclusie. De conclusie is niet gestructureerd (aan de hand van de probleemstelling). Niet (volledig) af te leiden uit de In de conclusie wordt niet gerefereerd aan de doelstelling. conclusie zelf. 3. Knelpunten bij de formulering Er is sprake van een cirkelredenering. van de conclusie. De schrijver spreekt zichzelf tegen. Eenzelfde (kern)begrip wordt niet consequent benoemd. De zinnen zijn onbegrijpelijk door slechte formulering. Er is sprake van een overbodige herhaling. 4. Knelpunten in de opzet van De probleemstelling is niet of niet precies genoeg geformuleerd. het onderzoek. Er is geen onderscheid gemaakt tussen probleemstelling en doelstelling: de Niet (volledig) af te leiden uit de probleemstelling is geen kennisvraag. Er is geen doelstelling geformuleerd: de relevantie van de probleemstelling is niet conclusie zelf. aangetoond. De probleemstelling sluit niet aan bij de doelstelling. In de probleemstelling wordt uitgegaan van een verkeerde aanname. In de conclusie wordt een andere doelstelling genoemd dan in de inleiding. De gebruikte methoden zijn niet geschikt om de (volledige) onderzoeksvraag te beantwoorden. De geformuleerde deelvragen leiden niet tot volledige beantwoording van de probleemstelling: • Er ontbreken relevante deelvragen om de probleemstelling te beantwoorden. • Geformuleerde deelvragen zijn niet relevant voor het beantwoorden van de probleemstelling. De selectie van respondenten is niet goed. Het is niet duidelijk op welke wijze de respondenten zijn geselecteerd. 5. Knelpunten in de gebruikte Een enquêtevraag of interviewvraag is niet relevant voor het onderzoek. instrumenten. De formulering van enquête-‐ of interviewvragen is slecht: Niet (volledig) af te leiden uit de • De vraag is sturend gesteld. conclusie zelf. • De vraag is multi-‐interpretabel. • De vraag is onbegrijpelijk. • In de vraag wordt gebruik gemaakt van begrippen die niet duidelijk zijn voor de respondent (vakjargon). • De vraag is niet precies genoeg geformuleerd om bij te dragen aan de beantwoording van de probleemstelling. Noot. De knelpunten zijn thematisch ingedeeld in vijf categorieën, de volgorde waarin ze in deze tabel gepresenteerd staan, houdt geen verband met de frequentie of de ernst van het knelpunt.
19
Knelpunten in de inhoud van de conclusie In deze categorie worden die knelpunten beschreven die te maken hebben met de vertaalslag van de resultaten van een onderzoek naar de conclusie. Het komt vaak voor dat studenten geen goede selectie maken van de resultaten uit hun onderzoek: ze benoemen relevante resultaten niet in de conclusie, of herhalen álle resultaten. De argumentatielijn ontbreekt of de conclusie bestaat uitsluitend uit een opsomming van resultaten. Een voorbeeld hiervan is de conclusie van een onderzoeksrapport, opgesteld voor theaterfestival de Parade (rapport 23). Hiervan luidde de probleemstelling als volgt: "Wat kan het theaterfestival De Parade [sic] op social media gebied [sic] doen om door het jaar heen bij de aandacht van de doelgroep te blijven [sic] en hierdoor enthousiasme opwekken [sic] voor het festival?" Conclusie doelgroep De doelgroep is breder dan de Facebookpagina van 'de Parade' weergeeft [sic]. De grootste groep is namelijk 25 jaar of jonger. Maar ook zijn de 26-‐30 jarige [sic] goed vertegenwoordigd met 27,8%. Het merendeel van de doelgroep is een vrouw. De interesses van de doelgroep zijn theater, muziek, kunst en cultuur. Hier zou de doelgroep ook graag content van willen zien [sic] op de Facebookpagina. Op de Facebookpagina van de Parade wordt nu al content geplaatst over deze onderwerpen. Conclusie social media In de desk-‐ en field research [sic] is uitgekomen [sic] dat het consistent [sic] updaten van content erg belangrijk is om niet vergeten te worden bij de doelgroep. Deze ontdekking is erg relevant voor dit onderzoek over de Parade. Content over theater, muziek, kunst en cultuur zou de doelgroep graag willen zien [sic]. Ook zou de doelgroep graag filmpjes en foto’s terug willen zien van de Parade. Voor de leden van de Facebookpagina van de Parade gaat het meer om het laten zien dat ze lid zijn en niet om de content zelf. Ook zijn ze niet heel tevreden met de platforms, want ze geven een 6 voor de social media platforms [sic].
In deze conclusie leidt de ontbrekende argumentatie ertoe dat de probleemstelling niet wordt beantwoord. Het komt ook voor dat de probleemstelling wel wordt beantwoord, maar dat niet duidelijk is of het antwoord wel af te leiden is uit het onderliggende onderzoek. Dit is het geval bij de conclusie bij het onderzoek naar een applicatie voor het televisieprogramma 'Goede Tijden, Slechte Tijden, (GTST)' met als probleemstelling: " Met wat voor applicatie kan RTL [sic] de interactie met de kijkers van GTST [sic] het hele jaar door vergroten?” (rapport 22) Uit de deskresearch is gebleken dat RTL al meerdere malen succesvol een applicatie heeft geproduceerd voor GTST. De laatste app ‘Springlevend’ werd ruim een half miljoen keer gedownload. Waarom was deze app zo populair? Volgens de respondenten van de enquête kwam dit vooral doordat RTL de app erg spannend had gemaakt. Dit deed RTL door iedere week wat meer informatie te verstrekken waarmee de gebruiker steeds een stapje dichter bij de oplossing kwam. De leuke spelletjes en filmpjes in de app droegen ook bij aan het succes. Uit de Doelgroepsanalyse [sic] blijkt dat de GTST-‐kijker wordt omschreven als iemand die van gezelligheid houdt en erg is gesteld op het samenzijn met anderen. Hij hecht veel waarde aan de menselijke karaktereigenschappen en kan zich ook in deze eigenschappen inleven. Ook bleek dat GTST vooral vrouwelijke kijkers trekt, met een gemiddelde leeftijd van 25 jaar. Dat is ook gebleken uit de enquêtes die voor dit onderzoek zijn afgenomen: maar liefst 80% van de respondenten was vrouw. Door het onderzoeken van applicaties die mogelijke concurrenten vormen voor de nieuwe app van GTST, zijn een aantal inzichten naar voren gekomen: • Een zeer goede zet zou zijn om de nieuwe applicatie voor GTST tweetalig te maken (want GTST heeft ook veel buitenlandse fans) • De vormgeving van de app moet goed aansluiten bij het programma GTST. Dit zorgt voor herkenning bij de gebruiker. • De app moet gegevens van de gebruiker onthouden, zodat deze niet steeds opnieuw hoeft in te loggen.
De eerste conclusie die hier wordt genoemd, namelijk dat GTST ook veel buitenlandse fans heeft, is niet herleidbaar tot uitkomsten in het onderliggende onderzoek. Bovendien geeft de student hier eerst een advies, 'maak de applicatie tweetalig', om daarna pas, tussen haakjes, de conclusie te geven die leidt tot dit advies.
20
Een ander knelpunt is dat studenten hun conclusie baseren op een foutieve gevolgtrekking (rapport 21): Het is dus alleen nog maar een kwestie van de fotografie van recepten op 'Pinterest' zetten.
Op deze manier kan 'Delicious' nieuwe lezers aantrekken die van koken en eten houden en houden van mooie foodfotografie. Dit kunnen dan nieuwe lezers van het tijdschrift worden.
Uit de resultaten van dit onderzoeksrapport blijkt dat het kookblad Delicious geen gebruik maakt van het sociale medium Pinterest, een 'bookmarkingsite' voor beeldmateriaal, waar de leden onder andere fotocollages plaatsen en delen. Fotografie is juist een van de sterke punten van het blad Delicious. De student concludeert vervolgens dat het blad door foto's te plaatsen op Pinterest nieuwe lezers kan werven. De denkfout die wordt gemaakt, is dat een persoon die het kookblad Delicious gaat volgen op Pinterest meteen een nieuwe lezer van het blad is. In dit geval is wel sprake van argumentatie, maar deze is zwak en niet logisch. Studenten geven in de conclusie soms informatie die in een ander hoofdstuk gegeven dient te worden. Een voorbeeld daarvan is dat ze in de conclusie beschrijven dat ze een enquête hebben afgenomen onder 60 respondenten, informatie die in de methodesectie hoort. Het luistert nauw: aan de ene kant wordt aangeraden om in de conclusie duidelijk te maken op welke wijze de informatie is verkregen; Valcke (2010) geeft aan dat de kern van het onderzoeksontwerp moet worden uiteengezet. Dat zou ervoor pleiten om wel aan te geven op basis van welke uitkomsten in het onderzoek de conclusie wordt getrokken. Aan de andere kant moet de informatie die gegeven wordt, in dienst staan van de conclusie, in die zin, dat de conclusie een sterk beargumenteerd, gestroomlijnd betoog is. Wanneer er te veel en te vaak aantallen respondenten en percentages genoemd worden, zorgt dit voor een onoverzichtelijke tekst, waardoor de argumentatielijn verloren gaat. Knelpunten in de structuur van de conclusie In deze categorie worden de knelpunten besproken die met de structuur van een conclusie te maken hebben. Studenten verzuimen bijvoorbeeld de probleemstelling te herhalen. Of de tekst van de conclusie springt van de hak op de tak, waardoor het onduidelijk is welke conclusie uit welke resultaten wordt getrokken. Een voorbeeld hiervan is de conclusie van een onderzoeksrapport met als probleemstelling: "Hoe kan de content en vorm van de beautypagina’s van LINDA. Magazine vernieuwd en aangepast worden zodat de lezer weer uitdaging ziet in het lezen van die pagina’s?" (rapport 13). De doelgroep van LINDA. Magazine zijn vrouwen tussen de 20 en 49 jaar. Zij zijn zelfstandig [sic] hebben een gezin [sic] houden van mode en zijn altijd druk bezig. Vele vrouwen uit de doelgroep geven veel om mode en houden zich daar dagelijks mee bezig. De gemiddelde vrouw geeft in haar hele leven gemiddeld 105.000 euro uit aan kleding, een man zou al gauw zeggen [sic] daar kan je een mooie auto van kopen. Ook vinden vrouwen het belangrijk om zich voor een feestje even om te kleden omdat ze het belangrijk vinden hoe ze eruitzien. Voor hogeropgeleiden vrouwen is mode minder aan de orde, door hakken en accessoires vinden zij vaak al snel dat ze er leuk uitzien. De concurrenten van LINDA. magazine [sic] hebben allemaal dezelfde doelgroep [sic] hoogopgeleide vrouwen met een royaal inkomen en gevoel voor mode en beauty tussen de 20 en 49 jaar oud [sic]. Alle concurrenten maken gebruik van de pijlers mode en beauty en de grote lijn van alle magazines gaat over 'human' en 'general interest'. Doordat alle concurrenten duidelijk gebruik maken van modepagina’s is het voor de LINDA. modepagina’s extra van belang om haar eigen stijl te behouden. Bij LINDA. magazine [sic] speelt humor en zelfspot een grote rol ten overstaande van de concurrenten die eigenlijk door het gehele magazine serieus overkomen. Dit is een belangrijk onderdeel dat LINDA. onderscheidt van de rest. 'Beau Monde' richt zich vooral op de bekende Nederlander en 'JAN', 'Red' en 'Marie-‐Claire' richten zich naast mode ook op maatschappelijke onderwerpen maar gaan niet zo ver erin als LINDA. Magazine [sic] ook dit onderscheidt LINDA.
In deze conclusie gaat de student niet gestructureerd in op de constructen uit de probleemstelling: content en vorm van de beautypagina's van LINDA. Magazine. De student gaat alleen in op de voorkeuren van de doelgroep en de sterke en minder sterke kanten van de concurrenten. Daarmee geeft de student geen antwoord op de probleemstelling.
21
Knelpunten bij de formulering van de conclusie In de rapporten zijn talloze voorbeelden te vinden van slechte formuleringen. Het is echter vaak moeilijk om te bepalen of een student alleen moeite heeft met de taal of dat de slechte formulering voortkomt uit onbekendheid met de terminologie. Soms lijkt het erop dat een student niet weet waarover hij het heeft. Bijvoorbeeld: "In de leeftijdscategorie 13-‐19 jaar is het percentage in de doelgroepanalyse bijna vier keer zo groot als het percentage van de respondenten [sic]" (rapport 18). De zin is onbegrijpelijk maar het lijkt er ook op dat de student niet begrijpt dat haar steekproeftrekking een vertekend beeld geeft van de doelgroep. Een voorstelbaar scenario zou zijn dat de student in de doelgroepanalyse is uitgegaan van de potentiële doelgroep zoals haar opdrachtgever die heeft gedefinieerd (13-‐19 jaar). Of dat de student een enquête heeft uitgezet in haar eigen netwerk, en daarom veel meer respondenten van haar eigen leeftijd (derdejaars studenten zijn vaak ouder dan 20) de enquête hebben ingevuld. Maar er kan dus ook sprake zijn van extreem slechte formulering. Voor de lezer van het onderzoeksrapport is het in ieder niet duidelijk wat de student bedoelt. Verderop spreekt deze student zichzelf tegen in de conclusie: "Girlscene [sic] beperkt zich tot mode, levensstijl en uiterlijk. De onderwerpen van haar concurrenten zijn breder [sic]. Aan de andere kant zoekt de doelgroep gericht naar de specifieke onderwerpen die Girlscene bieden [sic]. Onderwerpen kunnen uitgebreider gemaakt worden, maar dus niet teveel [sic]. De student wil hier waarschijnlijk zeggen dat het blad Girlscene aan meer verschillende onderwerpen aandacht zou moeten besteden, maar geeft ook aan dat het niet verstandig is het aantal onderwerpen uit te breiden, omdat de doelgroep het blad juist leest vanwege de specifieke selectie van onderwerpen. Studenten blijken het ook lastig te vinden om voor één construct consequent dezelfde term te gebruiken. Een voorbeeld hiervan is te vinden in een onderzoeksrapport over de content en functionaliteiten van een 'app' voor een festival (rapport 19). In de conclusie (en de rest van het rapport) wordt het begrip app afwisselend gebruikt met het begrip 'second screen'. Het is daardoor onduidelijk of het nu twee verschillende producten betreft of dat met beide begrippen hetzelfde wordt bedoeld. Knelpunten in de opzet van het onderzoek Uit de analyse – en in het bijzonder uit de categorisering van de knelpunten wordt duidelijk dat de kwaliteit van de conclusie van een onderzoeksrapport niet op zichzelf staat. Bij vier van de vijf categorieën, namelijk categorie 1,2 4 en 5 (zie tabel 2) komen de knelpunten deels voort uit knelpunten in de opzet van het onderzoek. Om in de conclusie een duidelijk antwoord te geven op de probleemstelling, moet deze zo geformuleerd zijn dat beantwoorden mogelijk is. Bij de volgende probleemstelling is dat niet het geval: "Hoe kan Cosmopolitan een applicatie ontwikkelen die voldoet aan de behoefte van de doelgroep van vrouwen van 18 tot 35 jaar?" (rapport 2). Er is niet gespecificeerd om welke behoefte van de doelgroep het hier gaat. In de conclusie wordt alleen ingegaan op het mediagebruik en de vrijetijdsbesteding van de doelgroep in het algemeen. In de conclusie ontbreekt informatie over wat de doelgroep graag wil terugzien in het blad Cosmopolitan. Een ander voorbeeld (rapport 34) is: "Welke trends moet Beaumonde integreren in de website?" Het is onduidelijk om wat voor soort trends het gaat. Het kan daarom zowel over technologische, vormgevingstechnische trends voor websites gaan of trends ten aanzien van de inhoud van Beaumonde. Hier is het niet goed te bepalen of de conclusie daadwerkelijk antwoord geeft op de probleemstelling. Een volgend knelpunt in de onderzoeksrapporten is dat de geformuleerde probleemstelling eigenlijk een doelstelling is, bijvoorbeeld: "Wat kan het nieuwe tijdschrift Women’s Health op het gebied van social media doen om meer lezers te genereren voor het blad?" (rapport 3). Doel is te zorgen dat meer mensen het tijdschrift Women's Health gaan lezen (en kopen). Een antwoord hierop komt in de vorm van een concreet advies. Om dat advies te kunnen opstellen is het noodzakelijk om de achterliggende kennisvragen te formuleren. Deze vormen de basis voor een probleemstelling. In dit geval zou dat bijvoorbeeld kunnen zijn: Welke social media-‐acties zet de potentiële doelgroep van Women's Health aan tot het aanschaffen van of een abonnement nemen op een tijdschrift over gezondheid? Het komt ook voor dat studenten de probleemstelling baseren op een foutieve aanname, bijvoorbeeld: "Hoe moet de applicatie van Girlscene aangepast worden voor meer tevredenheid onder de doelgroep en zorgen voor meer gebruikers van de applicatie?" Hier worden eigenlijk twee problemen benoemd en met elkaar in verband gebracht. De doelgroep is niet tevreden over de applicatie en Girlscene vindt dat er te weinig gebruikers zijn. Het is niet gezegd dat door de app
22
gebruiksvriendelijker te maken er vanzelf meer mensen uit de doelgroep gebruik gaan maken van de app. Sterker nog: dat vraagt waarschijnlijk om een andere oplossing, zoals meer aandacht voor de applicatie in het tijdschrift of op de website. Daarnaast blijkt uit de inleiding van het onderzoeksrapport dat het probleem voornamelijk zit in de content die Girlscene aanbiedt in de app en niet (alleen) in de gebruiksvriendelijkheid. Daarnaast hebben studenten moeite met het vaststellen van de onderzoekspopulatie. Ze maken geen goede selectie van respondenten. Dat komt meestal doordat de opdrachtgever van het onderzoek (vaak is dit een mediabedrijf) aan de student meegeeft wat de door hun gewenste doelgroep voor het mediaproduct is. Vaak is deze doelgroep heel breed gedefinieerd, bijvoorbeeld alle vrouwen tussen de 18 en 60 jaar. Studenten gebruiken de gehele potentiële doelgroep om een steekproef uit te trekken, terwijl het in bijna alle gevallen gaat om de daadwerkelijke lezers van een magazine en de steekproef uit die populatie moet worden getrokken. Een voorbeeld hiervan is: " De ii doelgroep van het programma [GTST] zijn tevens de 'boodschappers' van 20 tot en met 49 jaar oud (RTL, 2013). De enquêtes worden in de tweede helft van oktober van 2013 afgenomen onder de doelgroep van RTL Nederland"(rapport 7). In dit geval is het doel van het onderzoek om de applicatie van GTST te verbeteren en bestaat de onderzoekspopulatie in werkelijkheid uit gebruikers van de applicatie en niet uit de potentiële doelgroep van het televisieprogramma. Knelpunten in de gebruikte instrumenten De onderzochte onderzoeksrapporten zijn allemaal geschreven in het kader van de module Onderzoek die in het derde jaar van het afstudeerprofiel wordt gegeven. In deze module is het verplicht om een enquête te gebruiken als (een van de) onderzoeksmethode(s), omdat aan deze methodiek binnen het afstudeerprofiel RMP niet eerder aandacht is besteed. In sommige gevallen is de probleemstelling van het onderzoek niet te beantwoorden met behulp van (alleen) een enquête. In deze gevallen hebben studenten een probleemstelling geformuleerd waarbij een enquête niet bijdraagt aan de (volledige) beantwoording daarvan; terwijl geen andere methoden van onderzoek worden gebruikt in het onderzoek. Daarnaast zijn de studenten niet geoefend in het opstellen van enquête en interviewvragen. Dit leidt onder andere tot sturende vragen en stellingen in de vragenlijsten: Het aanmaken en het moeten aanmelden met een RTL-‐account vind ik irritant.
Helemaal mee oneens – Oneens – Neutraal – Eens – Helemaal mee eens.
(rapport 7) Docenten Onderzoek over de instructie De drie docenten geven aan in de interviews dat zij vinden dat ze te weinig tijd en mogelijkheden hebben om studenten goed te kunnen begeleiden bij het trekken van conclusies en het schrijven van het hoofdstuk conclusie. Ze geven aan dat er per module over het algemeen een les van vijftig minuten aan wordt besteed (respondenten 2 en 3). Dit gebeurt in een coachingsbijeenkomst waarvoor het niet gebruikelijk is om gebruik te maken van een Powerpointpresentatie. Ook is er voor deze coachingsbijeenkomsten over het algemeen geen instructie voor de docenten beschikbaar. Daarom pakt iedere docent een dergelijke les op een eigen manier aan. Wat opvalt, is dat ze allemaal met fictieve voorbeelden werken en niet met de resultaten uit de onderzoeken van de studenten. Vaak hebben de studenten hun resultaten nog niet beschreven, omdat ze nog niet ver genoeg zijn in het onderzoeksproces (respondenten 1,2 en 3). Studenten stellen tijdens de les over de conclusie nauwelijks vragen (respondenten 1, 2 en 3). Ze zijn nog niet zover in het onderzoeksproces en kunnen daarom nog niet overzien of zij zelf in staat zijn conclusies te trekken op basis van hun eigen resultaten (respondent 3). Wanneer, na afloop van de module blijkt dat een student een onvoldoende heeft behaald en zijn werk bespreekt met zijn docent, stellen zij wel vaak vragen over de conclusie. Ze vragen dan wat ze fout hebben gedaan en hoe het dan wel moet. In die gevallen kan de docent wel voorbeelden gebruiken uit het rapport van de student (respondenten 1 en 2).
ii
Boodschappers is een term die gebruikt wordt in de marketingcommunicatie om een specifieke doelgroep aan te duiden, namelijk personen tussen de 20 en 49 jaar die verantwoordelijk zijn voor dagelijkse boodschappen van een huishouden.
23
Docenten Onderzoek over de knelpunten In de interviews geven de drie docenten aan dat een groot knelpunt is dat de conclusie geen 'echte conclusies' bevat. Dit wordt door de docenten op verschillende manieren toegelicht:
Studenten kunnen alleen een goede conclusie trekken als ze in staat zijn abstract te denken. Ze zijn vaak niet in staat om boven de stof uit te stijgen en dieper naar de betekenis kijken. Ze moeten bij een resultaat bedenken wat dat betekent in het licht van hun eigen onderzoeksvraag. Wanneer ze bijvoorbeeld een customer magazine voor de NS willen maken en een van de resultaten van het doelgroeponderzoek is dat het gevoel van veiligheid heel belangrijk is, moeten ze zich gaan afvragen wat dat betekent voor het magazine. Dan zouden ze zich bijvoorbeeld op het aspect vormgeving van het blad kunnen richten. Ze moeten dan aanvullend uitzoeken welke kleuren een gevoel van veiligheid uitstralen. En dat is iets wat ze in de conclusie kunnen zetten: uit fieldresearch blijkt dat het gevoel van veiligheid heel belangrijk is voor de doelgroep, uit deskresearch blijkt dat de kleur blauw een gevoel van veiligheid kan oproepen. Het is verstandig om de kleur blauw te gebruiken. Vervolgens wordt in het advies op concreet niveau uitgewerkt hoe de kleur blauw wordt verwerkt in de vormgeving (respondent 2).
Een andere docent legt het als volgt uit: Wanneer ze niet de koppeling maken naar hun eigen probleemstelling, gebeurt het vaak dat niet-‐relevante resultaten worden verwerkt in de conclusie. Als een onderzoek als doelstelling heeft om een website te verbeteren, dan verwacht men dat in de conclusie iets gezegd wordt over de behoefte van de doelgroep ten aanzien van het design of een bepaalde call-‐to-‐action button. Maar het gebeurt regelmatig dat een conclusie wordt getrokken die niet relevant is, dan staat er bijvoorbeeld: 'de doelgroep houdt van vissen'. Dat is een conclusie die wel degelijk uit de resultaten af te leiden valt maar die in dit geval niet relevant is – tenzij [de student] natuurlijk een website verbetert die over hengelsport gaat (respondent 1).
Weer anders gezegd: Studenten moeten de 'dus’-‐vraag beantwoorden. Als docent wil ik niet alleen in de conclusie lezen dat het type content van belang is maar wil ik ook lezen dat er 'dus' iets geschreven moet worden over sport en journalistiek, omdat uit de fieldresearch blijkt dat de doelgroep daar interesse in heeft. Dat laatste blijkt een lastige stap om te maken: vanuit je resultaten een gevolgtrekking maken. Wanneer een student dat niet doet, blijft het een samenvatting van resultaten van wat je al gevonden hebt en dan heb je geen conclusie getrokken (respondent 3).
Docenten hebben het in dit verband ook wel over het belang van de koppeling tussen de uitkomsten van desk-‐ en fieldresearch. Dat blijkt een belangrijke aanwijzing te zijn voor het schrijven van een conclusie. Dit lijkt over twee zaken te gaan. Deskresearch en de fieldresearch moeten met elkaar worden vergeleken. En er moet sprake zijn van een navolgbare en logische argumentatielijn. In het volgende voorbeeld uit een van de conclusies die is voorgelegd aan de docenten, is wel sprake van een vergelijking van uitkomsten uit desk-‐ en fieldresearch, maar is de argumentatielijn niet logisch en navolgbaar (rapport 14). Conclusie In dit hoofdstuk wordt de conclusie beschreven die aan de hand van de desk-‐ en fieldresearch naar voren is gekomen. De conclusie geeft antwoord op de probleemstelling: Hoe kan Paris2day zijn Facebook-‐pagina inzetten om meer bezoekers op de webshop te verkrijgen? Uit het onderzoek is gebleken dat Paris2day meer aandacht moet besteden aan zijn Facebook [sic], om zo meer bezoekers op de webshop te krijgen. Maar liefst 44 procent van de respondenten zou vaker online gaan winkelen op Paris2day.nl als er meer gebruik gemaakt zou worden van online kortingsacties. Uit de deskresearch is gebleken dat de doelgroep van Paris2day was gesteld [sic] op vrouwen van 15 tot 50 jaar. Uit dit onderzoek is uiteindelijk naar voren gekomen dat het grootste gedeelte van de doelgroep tussen de 15 en 20 jaar ligt. Dit is een groot verschil waar Paris2day goed op in kan spelen [sic]. De respondenten geven aan dat Twitter het meest onbekend voor ze is, en dat ze naast Facebook voornamelijk op de hoogte worden gehouden via de Nieuwsbrief, 56 procent, of
24
Instagram, ook met 56 procent [sic]. De andere social media kanalen [sic] moeten meer aan het licht komen [sic], zodat het leidt tot meer volgers. Op de vraag wat de respondenten wat vaker zouden willen zien op de Facebook pagina [sic] wordt er door 38 procent aangegeven dat dit filmpjes zijn. Daarnaast geeft 25 procent aan meer foto’s te willen zien en 25 procent wil graag meer styling tips [sic] voorbij zien komen. Het wordt duidelijk dat Paris2day vaker content online moet zetten op alle social media kanalen [sic], in de vorm van filmpjes of foto’s in plaats van alleen tekst. Vergeleken met de vier concurrenten doet Paris2day het goed. ModeMusthaves is een site waar Paris2day nog wat van kan leren, voornamelijk op het gebied van vormgeving van de website. De website van ModeMusthaves straalt professionaliteit en rust uit, de website van Paris2day kan soms nog wat ongeordend ogen. Van de bezoekers die op de Paris2day.nl [sic] komen via de Facebook pagina [sic], doet maar liefst 56 procent geen aankoop. Dit percentage moet omlaag en dat zou kunnen door, zoals aangegeven, meer te werken met kortingsacties, [sic] maar in de toekomst zou er ook meer aandacht besteed kunnen worden aan de vormgeving van de website.
Respondent 1 zegt hierover dat de conclusie netjes begint met een herhaling van de probleemstelling, en dat de student vervolgens een poging doet om desk-‐ en fieldresearch met elkaar te vergelijken, maar dat dit niet goed gaat vanwege onlogische redeneringen. Als voorbeeld geeft hij de gevolgtrekking in de vijfde alinea, waarin de student uit het resultaat dat de doelgroep meer films en foto's wil zien, de conclusie trekt dat Paris2day.nl meer content moet plaatsen op alle social-‐media-‐ kanalen. Respondent 1 noemt dit een drogredenering. Respondent 3 zegt hierover dat sommige conclusies niet getrokken lijken te zijn op basis van de onderzoeksgegevens. Bijvoorbeeld de 56% bezoekers die geen aankoop doen die in de laatste alinea genoemd worden: dat was de aanleiding van het onderzoek, en daarom geen conclusie. Respondent 2 is niet tevreden over deze conclusie omdat deze 'typisch generieke adviesjes' bevat, die ook wel gegeven hadden kunnen worden zonder dit onderzoek uit te voeren. Respondent 3 heeft het over een 'open-‐deuren-‐actie', omdat veel van wat in de conclusie staat al aannames waren die gedaan zijn voorafgaand aan het onderzoek. "Er is wel een poging gedaan om tot conclusies te komen, maar niet met de juiste argumentatie.[…] [De laatste zin] maar in de toekomst zou er ook meer aandacht besteed kunnen worden aan de vormgeving van de website, komt bijvoorbeeld totaal uit de lucht vallen." Het laatste knelpunt dat docenten benoemen is de ongestructureerdheid van de conclusies. Docenten geven daarbij aan dat de structuur van een conclusie afhankelijk is van het onderwerp van het onderzoek. Bij een onderzoek naar de verbetering van een website op gebied van content, navigatie en lay-‐out, moeten deze elementen ook terugkomen in de conclusie. Bij voorkeur in dezelfde volgorde die wordt aangehouden in de probleemstelling en de resultaten. Dat maakt het rapport en de conclusie overzichtelijker. Vaak laten de studenten deze structuur los en halen ze ook allerlei minder relevante resultaten aan in hun conclusie. Conclusies zijn dan "ondergesneeuwd door bullshit en de aantallen respondenten" (respondent 2). Samengevat geven de docenten de volgende belangrijke knelpunten in de conclusies van onderzoeksrapporten aan: • Er wordt geen koppeling gemaakt tussen desk-‐ en fieldresearch doordat de resultaten van de verschillende analyses helemaal niet met elkaar verbonden worden, ofwel de argumentatielijn ontbreekt. • De formulering en de structuur van de conclusie laten te wensen over. Deze knelpunten leiden er vaak toe dat de probleemstelling niet of niet helemaal wordt beantwoord. De door de docenten geïdentificeerde knelpunten geven een bevestiging van een aantal knelpunten dat in de analyse is gesignaleerd. Omdat in de interviews geen knelpunten ter sprake kwamen die niet gesignaleerd waren in de analyse, was er geen aanleiding om de lijst met knelpunten aan te vullen. Verklaringen voor de gevonden knelpunten Het gebrek aan goede instructie is niet de enige verklaring voor de knelpunten in de conclusies van onderzoeksrapporten van studenten. Het is lastig te achterhalen wat precies de oorzaak is van de knelpunten. In veel gevallen lijken de knelpunten voort te komen uit een gebrek aan kennis over, en vaardigheid in, het verrichten van onderzoek. Maar het kan ook zijn dat de studenten te weinig
25
vaardigheid hebben verworven in het schrijven van onderzoeksrapportages. Veel studenten lijken hun teksten aantrekkelijker te willen maken door populaire termen te gebruiken en uitspraken te doen die niet passen binnen een onderzoeksrapportage. Bij de opleiding ligt de focus van het schrijfvaardigheidsonderwijs op schrijven voor populaire media: artikelen voor tijdschriften of scripts voor radio of televisie. Dat zijn andere genres, waarvoor andere conventies en regels gelden dan voor teksten van onderzoeksrapporten. Een andere mogelijke verklaring is dat veel van de andere modules in die periode groepsgewijs getoetst en beoordeeld. Studenten kiezen er vaak voor om de bijdrage die ze daar moeten leveren, voorrang te geven boven modules die individueel worden getoetst en beoordeeld. Een individuele toetsing is immers gemakkelijker te herkansen dan een groepsproduct. In de interviews geven docenten onderzoek aan dat veel studenten de module onderzoek moeilijk en saai vinden en dat ze het daardoor lastig vinden om er voldoende tijd aan te besteden. Ze leveren vaak hun eerste 'draft' in als eindproduct en die is in veel gevallen niet van voldoende kwaliteit. Een andere verklaring is dat studenten die het saai en moeilijk vinden ook vaak de lessen niet bezoeken. Ze leveren dan een onderzoeksrapport in waarop ze geen enkele feedback hebben gevraagd en ontvangen. Dit heeft vaak tot gevolg dat de deskresearch karig en slecht uitgevoerd is en de probleemstelling en de vragen slecht geformuleerd zijn. De basis van het onderzoeksrapport is dan zo slecht dat de conclusie ook onder de maat is.
Vergelijking van de knelpunten met veelgemaakte fouten in onderzoek De categorisering heeft inzichtelijk gemaakt dat de knelpunten conclusie in sterke met samenhangen met de knelpunten in het gehele onderzoeksrapport. Immers, om de knelpunten goed te kunnen duiden moesten deze in verband gebracht worden met andere onderdelen van het onderzoeksrapport. Dit is niet verrassend, want in de conclusie komen alle onderdelen van het onderzoek samen. Dit leidde tot de beslissing om de gevonden knelpunten te vergelijken met zes veelvoorkomende fouten in een onderzoeksproces zoals Oost (2002) deze bespreekt in het boek Een onderzoek uitvoeren. In dit boek wordt in tegenstelling tot veel andere methodologieboeken niet ingegaan op specifieke onderzoeksmethodes die vaak vakgebonden en specifiek zijn. Oost verbindt de zes veelvoorkomende fouten aan algemeen geldende kwaliteitscriteria voor onderzoek. Dat is te zien in figuur 2.
26
Figuur 2 Het antwoord en de fouten
Noot. Overgenomen uit Oost (2002, p. 21)
Uit figuur 1 blijkt dat in een onderzoek gemaakte fouten direct van invloed zijn op het antwoord van een onderzoek. In de werkdefinitie wordt de conclusie gezien als het antwoord op de probleemstelling. Daarom kan hieruit afgeleid worden dat de kwaliteitscriteria voor het gehele onderzoeksproces ook van toepassing zijn op de conclusie van een onderzoek. Morse et al (in Aken en Andriessen, 2011) geven ook aan dat kwaliteitscriteria zowel voor het onderzoeksproces zelf als voor de uitkomsten van dat onderzoeksproces gelden. Om dit te toetsen zijn de knelpunten uit de geanalyseerde conclusies van onderzoeksrapport gecategoriseerd naar de fouten en bijbehorende kwaliteitscriteria. Alvorens de nieuwe categorisering te presenteren, worden eerst de fouten en kwaliteitscriteria die Oost bespreekt toegelicht aan de hand van een schematisch overzicht, te zien in tabel 3.
27
Tabel 3 Toelichting fouten en kwaliteitscriteria Soort fout
Gevolgen
Kwaliteitscriteria
Richtlijnen
Functie
Gedragsfout: een onderzoeker onttrekt zich aan kritiek en controle.
Gedragsfouten kunnen leiden tot een ondoorzichtig onderzoeksproces zonder garantie op kwaliteit.
Het onderzoeksproces moet controleerbaar zijn.
Houd zorgvuldig alle stappen van het onderzoek bij in een onderzoeksjournaal. Beschrijf het onderzoek compleet en in detail.
Het vinden van antwoorden die waar en nuttig zijn.
Strategiefout: een onderzoeker maakt een foute beslissing in methoden van verzameling, bewerking, analyse of interpretatie van onderzoeksmateriaal.
Strategiefouten leiden tot vertraging in het onderzoeksproces of onderzoek dat niet af te ronden is.
Het onderzoeksproces moet vakkundig zijn De onderzoeksstrategie is effectief, efficiënt en toelaatbaar.
Overleg met andere (meer ervaren) onderzoekers over de keuzes ten aanzien van onderzoeksmethoden.
Het onderzoeksproces verloopt efficiënt, effectief en gebeurt ethisch verantwoord.
Redeneerfout: een onderzoeker maakt fouten in de argumentatie binnen het onderzoek.
Redeneerfouten leiden tot foutieve strategische beslissingen (strategiefouten). Het antwoord op de probleemstelling is niet gebaseerd op het onderzoek. Het onderzoek leidt tot onjuiste uitspraken.
Het onderzoeksproces moet logisch zijn, ofwel volgt de regels van de logica.
Zorg ervoor dat je al je keuzes kunt verantwoorden. Plan de redenering, werk de redenering uit en controleer de redenering. Formuleer zorgvuldig. Redeneer kritisch en precies.
Het voorkomen van foute strategische beslissingen. Het antwoord van het onderzoek bevat juiste uitspraken die gebaseerd zijn op het onderzoek.
Systematische fout: een onderzoeker denkt ten onrechte dat A de oorzaak van B is. Een onderzoeker onderzoekt niet wat hij denkt te onderzoeken. Een onderzoeker overschat de reikwijdte van de onderzoeksresultaten.
Systematische fouten kunnen leiden tot het leggen van verbanden die er niet zijn en te algemene uitspraken.
De uitkomsten van het onderzoek moeten valide zijn.
Bepaal de doelstelling. Controleer of het onderzochte dat is wat je wilde onderzoeken. Controleer of de verbanden die je legt juist zijn en controleer de reikwijdte van je uitkomsten door: -‐ deze te vergelijken met resultaten van anderen; -‐ relevante literatuur te gebruiken; ·∙-‐ een veelzijdig perspectief te kiezen.
De validiteit van de uitkomsten van het onderzoek zijn op waarde te schatten.
Toevalsfout: een onderzoeker maakt een fout in een meting waardoor een herhaling van het onderzoek tot andere resultaten leidt.
Toevalsfouten kunnen leiden tot foutieve uitspraken en uitkomsten.
De uitkomsten van het onderzoek moeten betrouwbaar zijn. Het onderzoek levert bij replicatie onder gelijkblijvende omstandigheden, dezelfde resultaten op.
Wees je bewust van je eigen rol als onderzoeker en de fouten die je in die rol kunt maken. Herhaal de verrichte metingen of analyses zelf, of laat iemand anders deze herhalen/ controleren.
De betrouwbaarheid van de uitkomsten van het onderzoek zijn op waarde te schatten. De 'claim op kennis' of op 'de oplossing van een probleem' is groter.
Aansluitingsfout: een onderzoeker geeft een antwoord dat niet aansluit bij de vraag die gesteld is.
Aansluitingsfouten kunnen leiden tot onderzoek dat niet bruikbaar is omdat -‐ het antwoord niet gegeven is; -‐ het onderzoek niet de optimale opbrengsten heeft.
Het onderzoek moet adequaat ontworpen zijn.
Controleer of het antwoord daadwerkelijk een antwoord op de probleemstelling is en of het een relevante bijdrage levert aan het vakgebied of de oplossing van het probleem.
De uitkomsten van het onderzoek leveren een relevante en zo groot mogelijke bijdrage aan een vakgebied of een oplossing van een probleem.
Noot. Deze tabel is samengesteld met informatie uit Een Onderzoek Uitvoeren (Oost, 2002)
28
Knelpunten gekoppeld aan kwaliteitscriteria voor onderzoek In tabel 4 zijn alle knelpunten uit de conclusies in de onderzoeksrapporten gekoppeld aan kwaliteitscriteria voor een onderzoek. Dit gebeurde met een tussenstap. Eerst zijn de knelpunten geordend aan de hand van de veelgemaakte fouten, zoals Oost (2002) deze categoriseert. Deze fouten koppelde Oost zelf aan kwaliteitscriteria. Tussen de verschillende soorten fouten bestaat overlap: een verkeerde interpretatie van onderzoeksmateriaal wordt gelabeld als strategiefout, maar zou net zo goed het label redeneerfout toegekend kunnen krijgen. Veel redeneerfouten kunnen ten grondslag liggen aan andere soorten fouten in het onderzoek: strategiefouten, systematische fouten of aansluitingsfouten. En ook gedragsfouten zijn soms moeilijk te onderscheiden van vakkundigheidfouten, want als je niet vakkundig genoeg bent om een bepaalde procedure goed te volgen, is het gedrag dat daaruit voortkomt ook 'fout'. Deze overlap is de reden dat in de koppeling tussen de knelpunten uit de onderzoeksrapporten van de studenten en de veelgemaakte fouten zoals Oost deze heeft gedefinieerd, eveneens sprake is van overlap. Sommige knelpunten kunnen onder meerdere soorten fouten gecategoriseerd worden.
29
Tabel 4 Knelpunten in de conclusie gekoppeld aan kwaliteitscriteriavoor onderzoek
Knelpunten
Kwaliteitscriteria
Gedragsfouten: Het is niet duidelijk op welke wijze de respondenten zijn geselecteerd. Een conclusie is gebaseerd op slechts één of enkele resultaten van het onderzoek. Resultaten worden foutief gegeneraliseerd. De zinnen zijn onbegrijpelijk door slechte formulering. Er is sprake van een overbodige herhaling. Er is sprake van een foutieve gevolgtrekking.
Strategiefouten: Relevante onderzoeksresultaten zijn niet gebruikt voor de conclusie. In de conclusie staan citaten. In de conclusie staat nieuwe informatie. In de conclusie wordt een onderzoeksmethode beschreven. De gebruikte methoden zijn niet geschikt om de (volledige) onderzoeksvraag te beantwoorden. De selectie van respondenten is niet goed. In de conclusie wordt de probleemstelling niet herhaald. De formulering van enquête-‐ of interviewvragen is slecht: • De vraag is multi-‐interpretabel. • De vraag is onbegrijpelijk. • In de vraag wordt gebruik gemaakt van begrippen die niet duidelijk zijn voor de respondent. • De vraag is niet precies genoeg geformuleerd om bij te dragen aan de beantwoording van de probleemstelling.
Het onderzoeksproces is vakkundig: de onderzoeksstrategie is effectief, efficiënt en toelaatbaar.
Redeneerfouten: Er is sprake van een cirkelredenering. De student spreekt zichzelf tegen. Eenzelfde (kern)begrip wordt niet consequent benoemd. De zinnen zijn onbegrijpelijk door slechte formulering. Er is sprake van een overbodige herhaling. Er is sprake van een foutieve gevolgtrekking. De conclusie bevat geen (sluitende) argumentatie, maar is alleen een samenvatting van resultaten.
Het onderzoeksproces en de rapportage is logisch.
Systematische fouten: De probleemstelling is niet of niet precies genoeg geformuleerd. Er is geen onderscheid gemaakt tussen probleemstelling en doelstelling: de probleemstelling is geen kennisvraag. Er is geen doelstelling geformuleerd: de relevantie van de probleemstelling is niet aangetoond. In de probleemstelling wordt uitgegaan van een verkeerde aanname.
De uitkomsten van het onderzoek zijn valide.
Toevalsfouten: Deze zijn moeilijk of niet te achterhalen uit de conclusie van een onderzoeksrapport.
Aansluitingsfouten: Alle resultaten worden genoemd, er is geen selectie gemaakt van die resultaten die relevant zijn voor de beantwoording van de probleemstelling. De conclusie geeft geen antwoord op de probleemstelling. De conclusie is niet gestructureerd (aan de hand van de probleemstelling). In de conclusie wordt niet gerefereerd aan de doelstelling. De probleemstelling sluit niet aan bij de doelstelling. In de conclusie wordt een andere doelstelling genoemd dan in de inleiding: • De geformuleerde deelvragen leiden niet tot volledige beantwoording van de probleemstelling. Er ontbreken relevante deelvragen om de probleemstelling te beantwoorden. • Geformuleerde deelvragen zijn niet relevant voor het beantwoorden van de probleemstelling. Een enquêtevraag of interviewvraag is niet relevant voor het onderzoek.
Het onderzoek is adequaat ontworpen.
Het onderzoeksproces is controleerbaar.
De uitkomsten van het onderzoek zijn betrouwbaar.
Noot. In deze tabel is gebruik gemaakt van de uitkomsten van de knelpunten analyse en informatie uit Een Onderzoek Uitvoeren (Oost, 2002)
30
De kwaliteitscriteria voor het gehele onderzoeksproces zijn nu gekoppeld aan knelpunten binnen de conclusie in het onderzoek. Dat geeft de mogelijkheid om deze kwaliteitscriteria om te zetten naar criteria die specifiek van toepassing zijn op de conclusie. De kwaliteitscriteria van Oost (2002) zijn echter niet specifiek opgesteld voor het type onderzoek dat studenten RMP verrichten: ontwerpgericht praktijkgericht onderzoek. Verschuren (2009) stelt dat de meeste van de methodologische handboeken impliciet of expliciet worden geschreven voor theoriegericht onderzoek en dat er wellicht andere kwaliteitscriteria voor praktijkgericht onderzoek zouden gelden. Daarom moet eerst onderzocht worden of de kwaliteitscriteria die geldig zijn voor theoriegericht onderzoek ook van toepassing zijn op ontwerpgericht praktijkgericht onderzoek.
Verschillen in kwaliteitscriteria voor theoriegericht en ontwerpgericht praktijkgericht onderzoek? Studenten RMP verrichten ontwerpgericht praktijkgericht onderzoek dat is gericht op het oplossen van een specifiek veldprobleem. Dit in tegenstelling tot theoriegericht onderzoek dat gericht is op het toevoegen van algemeen geldige kennis. Een aantal auteurs van boeken over onderzoeksmethodologie (Aken en Andriessen, 2011; Tavecchio en Gerrebrands, 2012; Van Burg, 2011) is het eens met Verschuren (2009) dat de opzet en het ontwerp van theoriegericht onderzoek anders zijn dan die voor praktijkgericht onderzoek. De verschillen in vraag-‐ en doelstelling leiden volgens hen tot verschillen in methodologie en kwaliteitscriteria voor het onderzoek. Of dat zo is en op welke wijze dit invloed heeft op de conclusie, wordt in deze paragraaf uiteengezet. Volgens Gibbons (1994) heeft de massificatie van het hoger onderwijs ertoe geleid dat meer burgers kennis hebben van methoden en technieken van onderzoek. Deze vaardigheden zetten zij – tijdens hun studie of in hun professionele loopbaan – in om problemen op te lossen die ver af staan van de fundamenteel wetenschappelijke vraagstukken die binnen de universiteit geformuleerd werden. Daarom introduceerde hij de termen modus 1-‐ en modus 2-‐onderzoek. Tavecchio en Gerrebrands (2012) leggen uit wat de verschillen zijn tussen deze twee verschillende modi van onderzoek. Onder modus 1-‐onderzoek verstaan zij die vormen van wetenschappelijk onderzoek die zich richten op het verwerven van fundamentele kennis. Binnen modus 1-‐onderzoek wordt middels voortschrijdende theorievorming getracht de werkelijkheid te verklaren en universele waarheidsaanspraken te formuleren en er is geen directe verplichting om de gevonden resultaten te vertalen naar de beroepspraktijk. Modus 2-‐onderzoek richt zich niet zozeer op theorievorming maar op de toepassing van verworven kennis voor het oplossen van problemen uit de praktijk. Klapwijk (2013, para. 1 ) stelt dat onderzoek, gebaseerd op traditionele empirische onderzoeksmethoden, wel gedegen kennis oplevert, maar dat het niet bijdraagt aan innovatieve oplossingen, waar de beroepssector wel behoefte aan heeft. Hij spreekt van een spanning tussen methodologisch verantwoord onderzoek en het ontwikkelen van relevante, creatieve oplossingen. Tavecchio en Gerrebrands geven aan dat het moeilijk is om een definitief adequate methodologische benadering aan te reiken voor praktijkgericht onderzoek, maar dat onderzoekers "gemotiveerd door een specifiek probleem en vraagstelling creatief gebruik moeten maken (van een combinatie) van methoden, teneinde de gewenste synergie te bewerkstelligen tussen onderzoek en beroepspraktijk" (2012, p. 18). Maxwell stelt ongeveer hetzelfde: "Decisions about research methods depend on the specific context and issues you are studying" (2012, p. 79). Het handboek over onderzoeksontwerp van Maxwell is gericht op alle soorten kwalitatief onderzoek. Hieruit valt af te leiden dat voor zowel theoriegericht als praktijkgericht onderzoek geldt dat de methodes die een onderzoeker kiest goed moeten aansluiten bij de vraag die hij stelt en het doel dat hij wil bereiken. Hierin wijkt het ontwerp en de opzet van praktijkgericht onderzoek niet af van theoriegericht onderzoek, maar blijkt dat ieder ontwerp van een onderzoek uniek is voor dát specifieke onderzoek. Aken en Andriessen (2011) zijn van mening dat de verschillen in ontwerp, opzet en kwaliteitscriteria van de twee typen onderzoek, voortkomen uit de verschillen in de vraag-‐ en de doelstelling. Deze verschillen zijn volgens hen van invloed op de kwaliteitscriteria die gelden voor onderzoek. De meest gehanteerde kwaliteitscriteria voor onderzoek zijn betrouwbaarheid en validiteit. Van Burg (2011) onderzocht of deze criteria ook van toepassing zijn op ontwerpgericht praktijkgericht onderzoek. Hij stelt dat dit het geval is, maar dat deze wel een specifieke invulling krijgen. Dit statement wordt ondersteund door Aken en Andriessen: Een onderzoek is betrouwbaar als dit bij (meerdere) herhaling(en) dezelfde uitkomsten oplevert. Omdat in ontwerpgericht onderzoek letterlijke replicatie veelal niet mogelijk is, gaat het hier meer om stabiliteit en navolgbaarheid: "Als de resultaten laten zien dat de uitkomsten bij dezelfde methode en in vergelijkbare gevallen stabiel zijn, geeft dat aan dat de resultaten betrouwbaar zijn" (2011, p. 4).
31
De validiteit van een onderzoek, ofwel de "mate waarin gehanteerde procedures het mogelijk maken om geldige uitspraken te doen over het onderzoeksobject" (Aken en Andriessen, 2011, p. 9) wordt vaak verder uitgewerkt in interne en externe validiteit. Voor de interne validiteit is het van belang dat de interne samenhang in de onderzoeksresultaten zodanig is, dat het leidt tot een geldige beantwoording van de centrale vraag van het onderzoek. Van Burg (2011) stelt dat het voor de externe validiteit van belang is dat het gevonden antwoord ook daadwerkelijk toepasbaar is binnen meerdere contexten. De uitwerking van interne validiteit is bij praktijkgericht en theoriegericht onderzoek hetzelfde: de samenhang van de vragen moet leiden tot een antwoord op het gestelde probleem. Echter, bij de externe validiteit, de toepasbaarheid van het onderzoek, gaat het bij theoriegericht onderzoek om toepasbaarheid van de nieuwe kennis of theorie en bij praktijkgericht onderzoek om de toepasbaarheid van de oplossing, een product of interventie. Aan de hand van bovenstaande uitkomsten is een overzicht opgesteld van kwaliteitscriteria en hun specifieke uitwerking voor ontwerpgericht praktijkgericht onderzoek en theoriegericht onderzoek. Deze zijn te zien in tabel 5. Tabel 5 Kwaliteitscriteria voor praktijkgericht en theoriegericht onderzoek
Vraagstelling
Doelstelling
Betrouwbaarheid
Interne validiteit
Externe validiteit
Theoriegericht onderzoek
Gericht op het verkrijgen van kennis.
Gericht op replicatie van de (resultaten van) het onderzoek.
Gericht op samenhang van de resultaten, leidend tot een beantwoording van de centrale vraag.
Gericht op geldigheid van universele waarheidsaanspraken.
Ontwerpgericht praktijkgericht onderzoek
Gericht op het oplossen van veldproblemen.
Gericht op het verklaren en beschrijven van problemen en voortschrijdende theorievorming. Gericht op het bedenken van oplossing voor een specifiek probleem.
Gericht op navolgbaarheid van het onderzoek en stabiliteit van de resultaten.
Gericht op samenhang van de resultaten, leidend tot een beantwoording van de centrale vraag.
Gericht op bruikbaarheid en toepasbaarheid van het onderzoek voor de praktijk.
Noot. Deze tabel is samengesteld met informatie uit Aken en Andriessen (2011) en Van Burg (2011)
De functie van de conclusie van ontwerpgericht praktijkgericht onderzoek Het voornaamste verschil in uitwerking van de kwaliteitscriteria voor ontwerpgericht praktijkgericht onderzoek wordt veroorzaakt door het verschil in vraag-‐ en doelstelling. Dit is van invloed op de functie van de conclusie binnen ontwerpgericht praktijkgericht onderzoek. De conclusie is gericht op het overtuigen van de opdrachtgever dat het advies dat op basis van het onderzoek wordt gegeven, bruikbaar en toepasbaar is om het specifieke probleem van de opdrachtgever op te lossen. Het is minder belangrijk of het onderzoek generaliseerbare kennis voortbrengt. Omdat de uitkomsten worden gebruikt voor een specifiek probleem, is het repliceren van het onderzoek, in een andere context, vrijwel onmogelijk. Het is belangrijker dat de uitkomsten van het onderzoek navolgbaar zijn. Dit komt ook naar voren in de interviews met de docenten. Zo stelt respondent 2: " Voor onze studenten die vaak een product ontwikkelen of een advies geven, moet de conclusie het laatste opstapje naar het advies zijn". Respondent 3: "De belangrijkste functie van de conclusie in het onderzoeksrapport is dat een student een koppeling maakt tussen zijn veldwerk en zijn deskresearch met [als] doel om tot een concreet product te komen".
Samengevat Uit de verschillende analyses en vergelijkingen in dit hoofdstuk is gebleken dat geïdentificeerde knelpunten in conclusies sterk samenhangen met andere delen van het onderzoek. Dat betekent dat de kwaliteit van de conclusie sterk samenhangt met de kwaliteit van het gehele onderzoeksproces. Vervolgens is gebleken dat alle knelpunten gekoppeld konden worden aan de zes fouten in een onderzoeksproces zoals Oost (2002) deze beschrijft en koppelt aan zes kwaliteitscriteria voor onderzoek. Daarom is ervoor gekozen om de kwaliteitscriteria voor de conclusie af te leiden van de kwaliteitscriteria voor het gehele onderzoeksproces. Vervolgens is gesteld dat kwaliteitscriteria voor
32
praktijkgericht onderzoek niet afwijken van die voor theoriegericht onderzoek, maar dat deze wel een specifieke uitwerking hebben. Dit heeft te maken met het verschil in doel-‐ en vraagstelling tussen theoriegericht onderzoek en ontwerpgericht praktijkgericht onderzoek. Dat bleek van invloed op de functie van de conclusie. De functie van de conclusie is van invloed op zowel de inhoud als de structuur van de conclusie. De probleemstelling is in grote mate sturend voor de structuur van de conclusie. En de kwaliteitseisen voor de conclusie kunnen worden afgeleid van de kwaliteitseisen voor een geheel onderzoeksproces. Daarom kan aan de hand van bovenstaande resultaten vastgesteld worden aan welke eisen, betreffende, inhoud, structuur en kwaliteit een conclusie van een praktijkgericht ontwerpgericht onderzoek moet voldoen. Met die uitkomsten kan vervolgens een advies worden opgesteld voor de opleiding MIC, waarvan een opzet voor de instructie over de conclusie deel uitmaakt.
33
Conclusie De aanleiding voor dit onderzoek waren de slechte conclusies in de ontwerpgerichte praktijkgerichte onderzoeksrapporten van studenten RMP. Wat is een conclusie? En waarom hebben studenten er zoveel moeite mee? Hoe leg je studenten uit wat je moet doen als je een conclusie trekt? Dat waren vragen die mij bezighielden en die het startpunt vormden voor dit onderzoek. Deze vragen hebben geleid tot de centrale vraag van dit onderzoek: Aan welke eisen ten aanzien van inhoud, structuur en kwaliteit moet een conclusie van een ontwerpgericht praktijkgericht onderzoek voldoen? Uit een eerste probleemanalyse bleek dat de instructie vanuit de opleiding en in de literatuur ten aanzien van de inhoud, de structuur en de functie van de conclusie niet compleet, niet consistent en niet eenduidig was. Studenten weten daardoor niet goed wat ze moeten schrijven in een conclusie en waarom ze dat moeten schrijven. Ook werd duidelijk dat in de instructie en in de literatuur nauwelijks aandacht is voor de kwaliteitscriteria ten aanzien van een conclusie. Studenten weten daardoor ook niet wanneer een conclusie goed is. De geringe instructie geeft studenten niet genoeg houvast bij het schrijven van een conclusie. Maar ook voor de docenten is het lastig om met zo weinig aanwijzingen studenten goed te begeleiden bij het schrijven van een conclusie. Het doel van dit onderzoek was om een complete, consistente en eenduidige instructie voor studenten op te stellen over de inhoud, de structuur en de kwaliteit van een conclusie voor ontwerpgerichte praktijkgerichte onderzoeksrapporten. Daarvoor is een werkdefinitie van de conclusie vastgesteld: De conclusie is het antwoord op de probleemstelling dat aan de hand van een synthese van onderzoeksresultaten wordt gegeven en waarin wordt uitgelegd op welke wijze het antwoord bijdraagt aan de doelstelling van het onderzoek. Dit onderzoek heeft geen uitkomsten opgeleverd die aanleiding hebben gegeven om deze definitie bij te stellen, daarom kan deze definitie worden gehandhaafd. Door middel van een gefundeerde theorie-‐analyse is een overzicht opgesteld van knelpunten die in de conclusies van de onderzoeksrapporten van RMP-‐studenten voorkomen. De knelpunten zijn onderverdeeld in vijf categorieën. Uit deze analyse en de categorisering kwam, zoals ook te verwachten viel, duidelijk naar voren dat de kwaliteit van een conclusie in grote mate afhankelijk is van de kwaliteit van de opzet en het en de gebruikte instrumenten van het onderzoek. Dit werd ook bevestigd in de interviews met de docenten, die aangaven dat een van grootse knelpunten is dat studenten geen (juiste) koppeling maken tussen desk-‐ en fieldresearch en daardoor geen antwoord geven op de probleemstelling. Met andere woorden: studenten kunnen de resultaten niet verbinden en niet aan de probleemstelling koppelen. Een ander groot knelpunt, de structurering van de conclusie, is ook afhankelijk van de andere onderdelen van het onderzoeksrapport. Een logische structuur voor de conclusie volgt de structuur van de probleemstelling. Wanneer de probleemstelling niet of niet goed gestructureerd is, is het onmogelijk om de conclusie goed te structuren. Fouten die zijn gemaakt in andere delen van het onderzoek beïnvloeden de kwaliteit van de conclusie direct. Daarom is gezocht naar een manier om de knelpunten die in de conclusies zijn gevonden, te koppelen aan knelpunten en kwaliteitseisen die voor het gehele onderzoeksproces gelden. Het model van Oost (2002) bleek daarvoor erg bruikbaar. Hij beschrijft zes veelvoorkomende fouten in het onderzoeksproces: de gedragsfout, de strategiefout, de systematische fout, de redeneerfout, de toevalsfout en de aansluitingsfout. Alle gevonden knelpunten konden worden gekoppeld aan een van deze zes veelvoorkomende fouten in het onderzoeksproces. Omdat alle knelpunten konden worden gekoppeld aan een van deze fouten en omdat Oost deze fouten koppelt aan zes kwaliteitscriteria, is besloten om de kwaliteitscriteria voor de conclusie af te leiden uit deze zes kwaliteitscriteria van Oost. Deze kwaliteitscriteria behoefden om twee redenen een nadere specificering. Ten eerste moesten de criteria worden afgestemd op de conclusie als specifiek onderdeel van het onderzoeksrapport. Ten tweede moesten deze criteria worden afgestemd op de typering van het onderzoek: ontwerpgericht praktijkgericht onderzoek. Van Burg (2011) stelt dat ten aanzien van de betrouwbaarheid van een ontwerpgericht praktijkgericht onderzoek, repliceerbaarheid van het onderzoek vaak niet mogelijk is. Belangrijker is dat het onderzoeksproces navolgbaar is. De interne validiteit is zowel bij theoriegericht onderzoek als bij ontwerpgericht praktijkgericht onderzoek gericht op de samenhang van de resultaten. De externe validiteit bij ontwerpgericht praktijkgericht onderzoek is gericht op de bruikbaarheid en de toepasbaarheid van het onderzoek voor de praktijk. En niet zoals bij theoriegericht onderzoek op het aantonen van de
34
geldigheid van universele waarheidsaanspraken. Daarmee wijkt de functie van de conclusie van ontwerpgericht praktijkgericht onderzoek af van theoriegericht onderzoek: bij ontwerpgericht praktijkgericht onderzoek vormt de conclusie de basis voor het advies. De conclusie is gericht op het presenteren van de gevonden oplossing voor het specifieke probleem met als doel de opdrachtgever te laten begrijpen op basis van welke resultaten welke keuzes voor de oplossing (het prototype of het format) zijn gemaakt. Op basis van de uitkomsten van dit onderzoek kunnen eisen ten aanzien van de inhoud en structuur van de conclusie in ontwerpgericht praktijkgericht onderzoek worden opgesteld.
De inhoud en de structuur van de conclusie De functie van de conclusie van een ontwerpgericht praktijkgericht onderzoek is het overtuigen van de opdrachtgever van de adequaatheid van het advies dat uit deze conclusie voortkomt. De conclusie is het laatste opstapje naar dit advies. Dit is van invloed op inhoud en de structuur van de conclusie. De benodigde overtuigingskracht kan bereikt worden als de conclusie logisch opgebouwd en navolgbaar is. Hieronder worden de componenten (de inhoud) van een conclusie van ontwerpgericht praktijkgericht genoemd in de volgorde waarin deze aan bod moeten komen (structuur). De aanleiding van het onderzoek is bij ontwerpgericht praktijkgericht onderzoek het doel van de opdrachtgever. De conclusie van een ontwerpgericht praktijkgericht onderzoek begint daarom met de doelstelling van het onderzoek. Vervolgens wordt beknopt aangegeven wat de belangrijkste onderzoeksvragen zijn die hebben bijgedragen aan de kennis die nodig is om dit doel te bereiken. Er wordt heel kort ingegaan op de methodes die zijn gebruikt om deze vragen te beantwoorden. Vervolgens worden die resultaten beschreven die het meest relevant bleken voor de beantwoording van deze vragen. Bij voorkeur wordt daarbij de structuur van de probleemstelling en het hoofdstuk resultaten gevolgd. De conclusie wordt afgesloten met ontwerpcriteria voor het te ontwikkelen mediaproduct. Deze worden in de conclusie redelijk globaal beschreven en worden pas in het advies heel concreet uitgewerkt in een prototype of format van een (media)product. De structuur van de conclusie volgt bij voorkeur de structuur van de probleemstelling. Bij een onderzoek naar de verbetering van een website op gebied content, navigatie en lay-‐out, moeten deze elementen in dezelfde volgorde terugkomen in de conclusie.
Kwaliteitscriteria voor de conclusie van ontwerpgericht praktijkgericht onderzoek De kwaliteitscriteria voor de conclusie van een ontwerpgericht praktijkgericht onderzoek kunnen worden afgeleid van de kwaliteitscriteria die gelden voor het gehele onderzoeksproces. Immers, de conclusie hangt in sterke mate samen met andere delen van het onderzoek. Om deze kwaliteitscriteria te bepalen is gebruik gemaakt van de zes door Oost geformuleerde kwaliteitscriteria, zoals weergegeven in tabel 4. Een conclusie moet controleerbaar zijn. Dit is het geval wanneer uit de conclusie duidelijk blijkt welke stappen zijn genomen in het onderzoek. Wanneer uit een conclusie duidelijk wordt met welke methoden de resultaten verkregen en op welke wijze deze resultaten hebben geleid tot welke conclusies, verhoogt dit de controleerbaarheid. Een conclusie moet vakkundig zijn opgesteld. Dit is het geval wanneer in een conclusie alle componenten in de juiste volgorde aan bod komen: aanleiding, probleemanalyse, doelstelling, onderzoeksvragen, methoden, resultaten, beantwoording van de probleemstelling en de ontwerpcriteria. Hieruit moet blijken dat de onderzoeksstrategie effectief, efficiënt en toelaatbaar is. Effectief wil zegen dat alle genoemde resultaten bijdragen aan de beantwoording van de probleemstelling. Efficiënt wil zegen dat de probleemstelling volledig beantwoord is. Toelaatbaar wil zeggen dat de conclusies getrokken worden uit resultaten die op ethische wijze zijn verkregen. En dat de conclusies niet gebaseerd zijn op onterechte generalisaties die personen of groepen schaden. Dit laatste is niet goed toetsbaar in de conclusie als alleen dit hoofdstuk wordt gelezen. Dit moet in samenhang met de methode en resultatensectie van het onderzoek worden beoordeeld. Een conclusie moet betrouwbaar zijn. Dit is het geval wanneer het onderzoeksproces navolgbaar is en de uitkomsten stabiel. Ook dit is niet volledig toetsbaar in de conclusie en moet eveneens in samenhang met de methode en resultatensectie worden beoordeeld. Een conclusie moet logisch zijn. Dit is het geval wanneer sprake is van een goede en navolgbare argumentatielijn, waarin alle relevante resultaten zijn meegenomen en elkaar tegensprekende resultaten zijn verklaard.
35
Een conclusie moet valide zijn. Dit is het geval als het antwoord op de probleemstelling bruikbaar is voor de doelstelling van het onderzoek. In sommige gevallen, als blijkt dat het doel van het onderzoek niet haalbaar is, moet dit ook worden beargumenteerd. Een conclusie moet adequaat zijn. Dit is het geval als alleen die resultaten worden genoemd die relevant zijn voor de argumentatielijn en de oplossing van de probleemstelling. Deze argumentatielijn moet een heldere structuur hebben die bij voorkeur de structuur van de probleemstelling en het hoofdstuk resultaten volgt. Ook moet blijken dat de probleemstelling en de doelstelling goed op elkaar aansluiten.
Beperkingen van dit onderzoek De onderzoeksrapporten die geanalyseerd zijn voor dit onderzoek, waren geschreven in het kader van één module. Het kan zijn dat in rapporten geschreven voor andere modules andere knelpunten te vinden zijn. In deze module was het een verplichting om gebruik te maken van een vragenlijst als methode van onderzoek. Daarom zijn vooral strategiefouten gevonden die te maken hebben met het opstellen van vragen en ontbreken knelpunten die zouden voorkomen uit andere onderzoeksmethodes zoals prototyping of panelgesprekken. Om de instructie ten aanzien van de conclusie in kaart te gebruiken is alleen gebruik gemaakt van een documentanalyse. Daaruit valt niet op te maken wat in de lessen onderzoek overgebracht wordt. Dit is gedeeltelijk ondervangen door in de interviews met de docenten te vragen wat zij in de les doen. Maar iedere docent geeft de instructie op zijn eigen manier; de inventarisatie van de documenten gaf een goede indruk, de instructie die studenten krijgen is niet volledig in kaart gebracht.
36
Discussie Niet alleen de instructies vanuit de opleiding MIC voor het schrijven van een conclusie bleken summier; ook in studie-‐ en handboeken over onderzoeksmethodologie bleek de conclusie een onderbelicht onderwerp. Deze boeken beschrijven veelal uitgebreid hoe een onderzoek moet worden opgezet, welke verschillende methoden er zijn om onderzoeksvragen te beantwoorden, hoe deze uit te voeren en hoe de resultaten te analyseren. Aan het schrijven van een conclusie wordt nauwelijks aandacht besteed. In sommige boeken worden daar enkele regels aan gewijd, waarin vooral beschreven wordt dat de conclusie "meer is dan een samenvatting van resultaten is". Dit biedt studenten onvoldoende aanknopingspunten voor het schrijven van een goede conclusie. Daarnaast wordt in de literatuur over onderzoeksmethodologie veel gesproken over 'het verschil' tussen praktijkgericht onderzoek en theoriegericht onderzoek. Het gaat dan over andere methodes en technieken en andere kwaliteitscriteria, maar het blijft bij deze algemene termen en er wordt niet uitgelegd wélke consequenties dit verschil heeft voor het onderzoeksrapport en voor de kwaliteitscriteria die daaraan worden gesteld. Dit onderzoek heeft een aantal zaken opgeleverd: een definitie van de conclusie van een onderzoeksrapport van een ontwerpgericht praktijkgericht onderzoek en duidelijke eisen ten aanzien van de functie, de inhoud de structuur en de kwaliteitscriteria van een conclusie. Het is duidelijk geworden dat de conclusie een betogende vorm moet hebben en dat de structuur van de conclusie de structuur van de probleemstelling moet volgen. Dit werd impliciet duidelijk uit de literatuur, maar is niet eerder concreet benoemd. Ook is uiteengezet welke invloed het type onderzoek (praktijkgericht versus theoriegericht) heeft op de kwaliteitscriteria van een conclusie en daarmee ook op de kwaliteitscriteria van het hele onderzoeksproces. Immers, de kwaliteitscriteria voor de conclusie zijn afgeleid van de kwaliteitscriteria voor het hele onderzoek. Ook dit werd nog niet eerder uitgewerkt: voor beide typen onderzoek gelden dezelfde kwaliteitscriteria, echter, omdat de doelstelling van beide typen onderzoek ander is, is de uitwerking van die criteria anders. Dit verschil uit zich in de uitwerking van de kwaliteitseisen betrouwbaarheid en externe validiteit. Bij praktijkgericht onderzoek handelt betrouwbaarheid meer om de navolgbaarheid van het onderzoeksproces en niet zozeer om de repliceerbaarheid; externe validiteit bij praktijkgericht onderzoek heeft vooral betrekking op de toepasbaarheid van de oplossing in de praktijk en niet op de bijdrage die het onderzoek heeft geleverd aan theorievorming.
Relevantie voor de praktijk De uitkomsten van dit onderzoek zijn in eerste instantie gebruikt om instructies op te stellen voor de conclusies van onderzoeksrapporten voor de opleiding MIC, afstudeerprofiel RMP. Een opzet voor deze instructie is te vinden in bijlage I. Het is aannemelijk dat deze instructie binnen de gehele opleiding bruikbaar is, aangezien binnen de hele opleiding soortgelijke onderzoeksopdrachten worden verstrekt. De instructie wordt daarom voorgelegd aan meerdere docenten Onderzoek binnen de opleiding met als doel deze op te nemen in alle modules van de opleiding waarin onderzoeksopdrachten worden verstrekt. Daarnaast is het niet onaannemelijk dat de instructie bruikbaar is voor andere opleidingen waar ontwerpgericht praktijkgericht onderzoek deel uitmaakt van het curriculum. De kwaliteit van conclusies van ontwerpgerichte praktijkgerichte onderzoeksrapporten is niet alleen belangrijk voor de opleiding MIC en andere opleidingen binnen het hbo; het is ook belangrijk voor het werkveld. Wanneer de conclusies beter van kwaliteit zijn, zijn de adviezen die daarop gebaseerd zijn ook van betere kwaliteit. Veel studenten zien nu het nut van het onderzoek niet in omdat ze merken dat het werkveld weinig doet met de adviezen die zij geven. Een groot deel van de RMP-‐ studenten ervaart onderzoeksopdrachten als moeilijk en saai. Ze leren vaak liever de vaardigheden om een mooi beroepsproduct te produceren. Studenten zien zelf vaak (nog) niet in dat wanneer zij beter onderzoek doen en betere conclusies trekken, het werkveld ook meer heeft aan de adviezen die daarop gebaseerd zijn. En andersom, wanneer de studenten zien dat hun adviezen ter harte worden genomen in het werkveld, zien studenten het nut van onderzoek in.
37
Aanbevelingen voor de opleiding MIC Uit dit onderzoek is naar voren gekomen dat er verbeteringen mogelijk zijn binnen het onderzoeksvaardighedenonderwijs aan de opleiding MIC. De instructie voor het schrijven van een conclusie kan verbeterd worden, daarvoor doe ik zes concrete aanbevelingen: • Pas de instructie voor studenten ten aanzien van de conclusie aan en gebruik dezelfde instructie consistent gedurende de gehele studieperiode. • Zorg ervoor dat alle docenten die onderzoeksvaardigheden doceren op de hoogte zijn van deze instructie en deze volledig begrijpen en toepassen. • Biedt die docenten die geen of weinig onderzoekservaringen hebben meer gelegenheid om zich op dit vlak bij te scholen. • Zorg dat er goede voorbeelden van conclusies beschikbaar zijn. • Bespreek veelgemaakte fouten in een conclusie in de les. • Een onderzoek opzetten en uitvoeren kost veel tijd, daarom lopen studenten vaak achter met hun opdracht en krijgen ze niet op tijd de juiste instructie. Deel de onderzoeksopdrachten op in kleinere eenheden, zodat er voor het gehele proces meer tijd is. Voor de aangepaste instructie wordt in bijlage I een opzet gegeven. Goede voorbeelden zijn te vinden in de afstudeeropdrachten van de studenten MIC. Hierbij wordt opgemerkt dat de voorbeelden die op dit moment op de digitale leer-‐ werkomgeving staan, volledige onderzoeksrapporten zijn. Deze zijn niet allemaal op alle onderdelen even voorbeeldig. Er staan rapporten bij, waarvan het hoofdstuk methoden en technieken uitstekend is, terwijl het hoofdstuk conclusie verre van voldoende is. Het zou beter zijn om per onderdelen of hoofdstuk de goede voorbeelden te publiceren; deze zouden dus uit verschillende onderzoeksrapporten kunnen komen. Wanneer in de les aandacht besteed wordt aan veelgemaakte fouten, kunnen studenten deze beter herkennen in hun eigen tekst.
Aanbevelingen voor verder onderzoek Het zou interessant zijn om te toetsen of de kwaliteitscriteria voor conclusies van ontwerpgericht praktijkgericht onderzoek, die op basis van dit onderzoek zijn ontwikkeld, ook bruikbaar zijn bij andere opleidingen waar dit type onderzoeksoprachten word gegeven. Veel van de rapporten die gebruikt zijn voor dit onderzoek waren in hun geheel slecht van kwaliteit. Uit de interviews met docenten kwam naar voren dat studenten vaak aan andere studieactiviteiten voorrang geven. De groepsprojecten vragen om hun aandacht omdat deze moeilijker te herkansen zijn en bovendien vinden veel studenten andere modules waarin ze leren om mediaproducten te produceren 'leuker' om te volgen. Griffioen en de Jong (2013) deden al onderzoek naar de opvattingen van docenten en niet-‐docenten over onderzoek in het hbo. Het zou ook interessant zijn om te onderzoeken welke opvattingen over onderzoek er leven onder studenten en in het werkveld. Een ander gevolg van te weinig tijd besteden aan de onderzoeksopdrachten is dat de studenten hun eigen teksten niet reviseren. De slechte structurering en formulering van de rapporten kan ook daarmee te maken hebben. Het zou interessant zijn om te weten hoeveel tijd studenten daadwerkelijk besteden aan de onderzoeksopdrachten en of en hoe vaak zij hun eigen teksten herschrijven. De slechte kwaliteit van de conclusies en de rapporten had in veel gevallen ook te maken met een slecht geformuleerde probleemstelling. Of met een probleemstelling die niet te beantwoorden was aan de hand van een onderzoek met een vragenlijst. In sommige gevallen is de oorzaak hiervan dat studenten hun onderzoeksrapport inleveren zonder dat ze de lessen hebben gevolgd. Zij hebben als gevolg daarvan nooit feedback gekregen op hun onderzoeksopzet. Deze is dan vaak van zo’n slechte kwaliteit dat de conclusie van het rapport ook slecht is. Deze fout is mijns inziens niet geheel te wijten aan de student. De docent heeft in dat geval niet genoeg gestuurd op het formuleren van een goed gestructureerde probleemstelling die door middel van een vragenlijst kan worden beantwoord. Dit kan komen omdat het bij de docenten ontbreekt aan tijd, of ontbreekt aan kennis van onderzoek om de student goed te begeleiden. Veel docenten die zelf weinig tot geen onderzoekservaring hebben, doceren wel modules waarin onderzoekvaardigheden belangrijk zijn. De laatste paar jaar is er gelukkig wel meer aandacht voor het trainen van docenten in het begeleiden van onderzoeksopdrachten. Het zou eveneens interessant zijn om te onderzoeken of de kwaliteitsverschillen van conclusies en onderzoeksrapporten samenhangen met de verschillen in onderzoekservaring tussen de docenten.
38
39
Literatuur Afstudeercommissie opleiding Media Informatie en Communicatie, Hogeschool van Amsterdam. (2013). Plan van Aanpak Afstudeeropdracht. Aken, J. E. en Andriessen, D. (2011). Handboek ontwerpgericht wetenschappelijk onderzoek: wetenschap met effect. Amsterdam, Nederland: Boom Lemma Uitgevers. Andriessen, D. (2007). OnderzoeksmethodoIogie in het HBO: een persoonIijke visie. Onderzoek van Onderwijs, 36(4). Baarda. B. en Bakker, E. (2012). Basisboek methoden en technieken Kwantitatief praktikjgericht onderzoek op wetenschappelijke basis. Groningen, Nederland: Noordhoff Uitgevers. Baarda, B. (2009). Dit is onderzoek: richtlijnen voor het opzetten, uitvoeren en van kwantitatief en kwalitatief onderzoek. Groningen, Nederland: Noordhoff Uitgevers. Baarda, B., De Goede, M. en Teunissen, J. (2005). Basisboek kwalitatief onderzoek. Handleiding voor het opzetten en uitvoeren van kwalitatief onderzoek. Groningen, Nederland: Wolters Noordhoff. Babbie, E. (2012). The practice of social research. Independence, KY: Wadsworth Cengage Learning. Bartelds, J. F., Jansen, E. P. W. A. en Joostens, T. H. (1989). Enquêteren: het opstellen en gebruiken van vragenlijsten. Groningen, Nederland: Wolters-‐Noordhoff. Birks, M. en Mills, J. (2011). Grounded Theory A Practical Guide. London, Engeland: Sage. Boeije, H. (2005). Analyseren in kwalitatief onderzoek. Amsterdam, Nederland: Boom onderwijs. Brancart, E. en Goossens, R. (2013). Modulehandleiding R116 Onderzoek. [cursustekst] Hogeschool van Amsterdam. Burg van, E. (2011). Kwaliteitscriteria voor ontwerpgericht wetenschappelijk onderzoek in Aken, J. E., en Andriessen, D. Handboek ontwerpgericht wetenschappelijk onderzoek: wetenschap met effect. (pp.145-‐ 163) Amsterdam, Nederland: Boom Lemma Uitgevers. Eisenhardt, K.M. Building Theories from Case Study Research in Huberman, A.M. en Miles, M.B. (2002). The Qualitative Researcher's Companion. Thousand Oaks, CA: Sage Publications Fischer, T. en Julsing M. (2009). Onderzoeksvaardigheden, Groningen, Nederland: Noordhoff Uitgevers. Gibbons, M., Limoges, C., Nowotny, H., Schwartzman, S., Scott, P. en Trow, M. (1994). The new production of knowledge: The dynamics of science and research in contemporary societies: London, Engeland: Sage Publications. Griffioen, D., Boerma, K., Engelbert, R. en van der Linden, W. (2013). Doelen en vormen van het onderzoek in het onderwijs: de onderwijspraktijk in een conceptueel raamwerk. Tijdschrift voor Hoger Onderwijs (31), 12. Griffioen, D. en de Jong, U. (2013). Opvattingen van docenten en niet-‐docenten over onderzoek in het hbo. Tijdschrift voor Hoger Onderwijs, 2. Griffioen, D., Visser-‐Wijnveen, G., en Willems, J. (2013). Integratie van onderzoek in onderwijs. Groningen, Nederland: Noordhoff Uitgevers. Hutjes, J. M. en Van Buuren, J. A. (1992). De gevalsstudie: Strategie van kwalitatief onderzoek. Amsterdam, Nederland: Boom. Hogeschool van Amsterdam. (2011). Feiten en Getallen. Geraadpleegd op 28 juli 2014 via: http://www.hva.nl/over-‐de-‐hva/profiel/feiten-‐en-‐getallen.
41
Hogeschool van Amsterdam. Over Media, Informatie en Creatie. Geraadpleegd op 28 juli 2014, via: http://www.hva.nl/media-‐creatie-‐informatie/over-‐media-‐creatie-‐informatie Klapwijk, R. (2013). Ontwerpgericht onderzoek past bij hogescholen. Geraadpleegd op 28 juli 2014, via: http://www.hobeon.nl/actueel/weblogs/weblogs_item/t/ontwerpgericht_onderzoek_past_bij_hogescho len Managementteam opleiding Media Informatie en Communicatie, Hogeschool van Amsterdam. (2012). Onderwijsvisie opleiding MIC. Maxwell J.A. Understading and Validity in Qualitative Researsch in Huberman, A.M. en Miles, M.B. (2002). The Qualitative Researcher's Companion. Thousand Oaks, CA: Sage Publications Maxwell, J. A. (2012). Qualitative Research Design: An Interactive Approach: An Interactive Approach. Thousand Oaks, CA: Sage. Oost, H. (2002). Een onderzoek uitvoeren. Baarn, Nederland: HB Uitgevers. Rijksuniversiteit Groningen (2002, 02-‐11-‐2012). Onderzoeksverslag. Geraadpleegd op 10 juni 2014, via: http://www.rug.nl/education/other-‐study-‐opportunities/hcv/schriftelijke-‐vaardigheden/voor-‐ studenten/tekstsoorten-‐conventies/onderzoek-‐verslag Schreuder Peters, R. (2012). Methoden en Technieken van onderzoek. Den Haag, Nederland: Academic Service. Sinnema, D. (2014). P1-‐rendement RMP H12-‐H13.xls [data-‐file]. Smaling, A. (2006). De probleemstelling bij kennisgericht en praktijkgericht onderzoek. KWALON (1), 2. Tavecchio, L. en Gerrebrands, M. (2012). Bewijsvoering binnen praktijkgericht onderzoek: methodologische en wetenschapstheoretische reflecties op de onderbouwing van professionele interventies. Amsterdam: Boom Lemma Uitgevers. Valcke, M. (2010). Een conclusie schrijven bij een kant-‐en-‐klaar onderzoeksartikel. Geraadpleegd op 1 juni 2014 via: http://users.ugent.be/~mvalcke/owk/conclusie_1011.htm Verburg, A. en Elen, J. Vormgeving van onderzoeksintegratie in het curriculum in Griffioen, D., Visser-‐Wijnveen, G., en Willems, J. (2013). Integratie van onderzoek in onderwijs. Groningen, Nederland: Noordhoff Uitgevers. Verhoeven, P. S. (2007). Wat is onderzoek? Praktijkboek methoden en technieken voor het hoger onderwijs. Amsterdam, Nederland: Boom Onderwijs. Verhoeven, P. S. (2010). Onderzoeken doe je zo! Amsterdam, Nederland: Boom Lemma. Verschuren, P. J. M. (2009). Praktijkgericht onderzoek: ontwerp van organisatie-‐en beleidsonderzoek. Amsterdam, Nederland: Boom. Verschuren, P. J. M. (2011). De waarde van kwalitatieve strategieën voor het praktijkgericht onderzoek. KWALON, 2 Themanummer, 43-‐54. Verschuren, P. J. M. en Doorewaard, H. (2007). Het ontwerpen van een onderzoek. Den Haag, Nederland: Lemma. Wesseling , N. (2012). Onderzoek instructiecollege 5. [PowerPoint-‐presentatie] Geraadpleegd op 14 april 2014 via: https://intra.mim.hva.nl/studiegids/prop/p13_12/IC5.pdf Hogeschool van Amsterdam. Wesseling , N. (2013). Kwalitatief onderzoek Project Parool. [PowerPoint-‐presentatie]. Geraadpleegd op 14 april 2014, via: https://intra.mim.hva.nl/studiegids/prop/p34_12/ Hogeschool van Amsterdam. Yin, R., K. (2009). Case Study Research Design and Methods (Vol. 5). Thousands Oaks, CA: Sage.
42
BIJLAGEN Bijlage I Advies voor opleiding MIC Vier aanbevelingen Het advies voor de opleiding MIC bestaat uit vier aanbevelingen: • Pas de richtlijnen voor studenten ten aanzien van de conclusie aan en gebruik dezelfde richtlijnen consistent gedurende de gehele studieperiode. • Zorg ervoor dat alle docenten die onderzoeksvaardigheden doceren op de hoogte zijn van deze richtlijnen en deze volledig begrijpen en toepassen. • Zorg dat er goede voorbeelden van conclusies beschikbaar zijn. • Bespreek de veelgemaakte fouten bij een conclusie in de les. Voor de aangepaste richtlijnen wordt een opzet gegeven. Goede voorbeelden zijn te vinden in de afstudeeropdrachten van de studenten MIC. Op dit moment staat een aantal voorbeelden van gehele onderzoeksrapporten op de digitale leer-‐ werkomgeving maar die zijn niet op alle onderdelen even voorbeeldig. Het zou beter zijn om per hoofdstuk een goed voorbeeld te geven (deze zouden dus uit verschillende onderzoeksrapporten kunnen komen. Nu is van een van de voorbeeldrapporten de conclusie totaal onbegrijpelijk. Wanneer in de les aandacht besteed wordt aan veelgemaakte fouten, kunnen studenten deze beter herkennen in hun eigen tekst. Richtlijnen voor het schrijven van de conclusie van een ontwerpgericht praktijkgericht onderzoeksrapport Waarom moet je een conclusie schrijven? De conclusie is om meerdere redenen een belangrijk hoofdstuk van je onderzoeksrapport: in de conclusie komt het gehele onderzoek samen en beantwoord je de probleemstelling van het onderzoek. De functie van de conclusie is de opdrachtgever ervan te overtuigen dat jouw ontwerpideeën meer zijn dan zomaar een goede ingeving. Jouw ideeën zijn gebaseerd op het onderzoek dat je hebt gedaan. De conclusie is de opmaat voor je advies. Vaak zijn de conclusie en het advies de enige hoofdstukken die de opdrachtgever leest. Daarom moet je ervoor zorgen dat deze goed leesbaar en overtuigend zijn. Ook moet je ervoor zorgen dat de teksten op zichzelf kunnen staan. Dat wil zeggen dat ze begrijpelijk moeten zijn voor iemand die alleen deze hoofdstukken leest en niet het onderliggende onderzoeksrapport. Misschien vraag je je dan af waarom je wel het hele rapport moet schrijven. Dit doe je omdat je wel moet kunnen bewijzen dat de uitkomsten van jouw onderzoek hebben bijgedragen aan de oplossing. Wat moet je in een conclusie schrijven? Geef compact weer wat de aanleiding van je onderzoek was. Dit kan middels een beknopte versie van je probleemanalyse en de doelstelling van je onderzoek. Leg daarin uit wat je ging ontwikkelen of verbeteren. Geef vervolgens aan welke kennis je nodig had om dit doel te bereiken. Dit doe je door de belangrijkste onderzoeksvragen en methoden kort aan te stippen. Beantwoord dan deze vragen aan de hand van de gevonden resultaten. Je herhaalt niet al je resultaten maar gaat alleen in op de meest relevante resultaten en je doet dit in een betogende vorm. Je moet de opdrachtgever er immers van overtuigen dat jouw oplossing een goede oplossing is. Je onderzoeksresultaten zijn je bewijsvoering. Je sluit het hoofdstuk conclusie af met globale criteria voor het ontwerp of de verbetering van het mediaproduct. Dit mag in de lopende tekst, maar je kunt ook opsommingtekens gebruiken. Pas op dat je conclusie geen hele concrete adviezen bevat; de ontwerpcriteria die je geeft, zijn globaal. Je kunt bijvoorbeeld wel zeggen dat de usabillity van een app verbeterd moet worden, omdat daarover veel klachten zijn, maar je geeft nog niet aan hoe je dat precies gaat doen. Dat doe je in het advies; daarin kun je bijvoorbeeld uiteenzetten hoe de nieuwe navigatiestructuur er uit komt te zien en op welke wijze je de zoekfunctionaliteit gaat verbeteren. Het is niet gebruikelijk om in een conclusie percentages te noemen, letterlijke citaten te geven, uitgebreide verantwoording af te leggen over de steekproeftrekking of een methode die je hebt gebruikt.
43
Hoe moet je dat doen? Het lijkt nu of de conclusie alleen maar uit herhalingen en samenvattingen bestaat, maar dat is niet het geval. Je kunt wel delen van teksten uit je onderzoeksrapport gebruiken. Je zult deze alleen wel moeten herschrijven. Ten eerste moet het allemaal wat beknopter. Een conclusie is vaak niet langer dan anderhalve pagina. Maar belangrijker nog, het moet een logisch en samenhangend betoog zijn, waarin je verbindingen legt tussen desk-‐ en fieldresearch. Dat betekent niet alleen dat je de uitkomsten met elkaar vergelijkt, maar ook dat deze vergelijkingen de functie hebben van argumenten in je betoog. Je neemt de opdrachtgever stap voor stap mee in jouw zoektocht met als doel dat hij begrijpt hoe jij tot je advies bent gekomen. Jij moet hem overtuigen van de kwaliteit van jouw advies. Als structuur voor dit betoog kun je het beste de structuur van je probleemstelling (en het hoofdstuk resultaten) aanhouden. Dit betekent waarschijnlijk dat je de tekst een aantal keer moet herschrijven. Tot slot is het ontzettend belangrijk en handig als je de conclusie laat lezen door iemand anders. Niet alleen om de dt-‐fouten eruit te halen maar voornamelijk omdat je wilt toetsen of een ander begrijpt wat jij hebt opgeschreven. Het is heel moeilijk om je eigen teksten te beoordelen. Werk daarom samen met een medestudent en lees elkaars werk kritisch, geef elkaar feedback. Een goede manier om te toetsen of jouw tekst wordt begrepen, is door te vragen of degene die jouw tekst heeft gelezen jou kan navertellen wat jij hebt onderzocht, hoe je dat gedaan hebt en wat het doel was. Wanneer is het goed? Net zoals een onderzoek moet een conclusie voldoen aan een aantal kwaliteitscriteria. De conclusie moet controleerbaar zijn. Het moet duidelijk worden welke methoden je hebt gebruikt om je vragen te beantwoorden en hoe dit leidt tot de conclusies die je trekt. Als het nodig is, verwijs je naar andere onderdelen van je rapport (bijvoorbeeld naar het hoofdstuk methoden).De controleerbaarheid wordt groter naarmate de tekst beter geformuleerd is. Niet alleen jij, maar vooral anderen moeten begrijpen wat je schrijft. Alle componenten van een conclusie moeten verwerkt zijn: aanleiding-‐doelstelling-‐probleemstelling-‐ vragen-‐methoden-‐resultaten-‐beantwoording van de probleemstelling-‐ ontwerpcriteria. Je moet daarmee aantonen dat je het onderzoek vakkundig hebt uitgevoerd. Een conclusie moet betrouwbaar zijn. Dit is het geval wanneer iemand anders precies kan volgen welke stappen jij hebt gezet in het onderzoeksproces. Dit hoeft niet volledig duidelijk te worden uit de conclusie, het hangt samen met hoofdstuk methoden en resultaten. Indien nodig, gebruik je verwijzingen naar deze hoofdstukken. De conclusie moet logisch opgebouwd zijn zodat een ander jouw argumentatie kan volgen en toetsen. Het antwoord op de probleemstelling moet ook logisch volgen uit deze argumentatie en dit antwoord moet bruikbaar zijn voor de doelstelling van je onderzoek (het mediaproduct). Als uit je onderzoek is gebleken dat het doel van het onderzoek niet haalbaar is, dan moet je dat beargumenteren. In de conclusie noem je alleen die resultaten die relevant zijn voor de oplossing. Zorg ervoor dat de doelstelling die je noemt in de conclusie dezelfde is als in de inleiding van je onderzoek en dat de probleemstelling er goed op aansluit.
44
Bijlage II interviewschema's
1. 2. 3. 4. 5.
Eerste interviewschema Wat vind je van de kwaliteit van de onderzoeksrapporten die studenten schrijven? Wat vind je van de kwaliteit van de conclusies die studenten schrijven in de onderzoeksrapporten? Wat zijn de voornaamste knelpunten die je tegenkomt in de conclusie? Welke oorzaken daarvoor zou je kunnen benoemen? Kom je volgende knelpunten tegen in het werk van de studenten?
• • • •
6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18.
studenten formuleren slecht. studenten beschrijven geen samenhang tussen de resultaten. geen antwoord op de probleemstelling. de conclusie geeft geen antwoord de probleemstelling.
Welke knelpunten kom jij nog meer tegen? Wat is volgens jou een goede conclusie? Wat is de functie van een conclusie in de onderzoeksrapporten die voor deze opleiding gemaakt worden? Uit welke elementen zou een conclusie moeten bestaan? Aan welke criteria zou een conclusie moeten voldoen? Kun jij van de volgende probleemstellingen aangeven of jij ze goed vindt of niet? Kun je dat beargumenteren? Zijn er volgens jou verschillen in onderzoeksopzet tussen praktijkgericht onderzoek en theoriegericht onderzoek? Zo ja, waar bestaan deze verschillen uit? Wat is volgens jou het verschil tussen de probleemstelling van een onderzoek en de doelstelling? Wordt de doelstelling van praktijkgericht onderzoek afgeleid van de probleemstelling of andersom? Op welke manier besteed jij in je onderwijs over onderzoeksvaardigheden aandacht aan de conclusie? Welke vragen hebben studenten over het onderdeel de conclusie? Zijn er nog andere zaken de jou opvallen in het onderwijs naar onderzoeksvaardigheden hier op school? En specifiek ten aanzien van de conclusie?
Definitief interviewschema 1. Wat is volgens jou de functie van de conclusie in de onderzoeksrapporten van de studenten RMP? 2. Uit welke elementen zou deze volgens jou moeten bestaan? > Doorvragen op de elementen die de geïnterviewde noemt 3. Je hebt intussen al heel wat conclusies van onderzoeksrapporten moeten beoordelen, waar let jij dan op? 4. Wat vind je in zijn algemeenheid van de kwaliteit van de conclusies die studenten RMP trekken? 5. Hoe zou jij het type onderzoek dat studenten bij RMP verrichten, typeren? 6. Is het type onderzoek van invloed op de functie van de conclusie? Zo ja, op welke wijze? 7. Op welke manier besteed jij binnen het onderwijs in onderzoeksvaardigheden aandacht aan de conclusie? 8. Stellen studenten vragen over de conclusie? Zo ja, welke vragen? 9. Met welk doel geeft opleiding MIC volgens jou onderwijs in onderzoeksvaardigheden, waarom moeten de studenten leren onderzoeken? 10. Ik leg je een aantal conclusies voor, kun je de goede elementen aanwijzen en de knelpunten? Kun je deze toelichten?
45
Bijlage III Huidige richtlijnen voor de conclusie in onderzoeksrapporten vanuit de opleiding MIC We volgen het studietraject van de studenten die aan de opleiding MIC voor het afstudeerprofiel Redactie en Media Productie (RMP) kiezen vanaf de propedeuse. Op welke manier krijgen studenten MIC (afstudeerprofiel RMP) gedurende hun studie instructie over het schrijven van de conclusie van een onderzoek? Het studiejaar is verdeeld in vier periodes van tien weken. In die tien weken volgen de studenten de eerste weken lessen, de laatste drie weken staan in het teken van intensieve projecten, het afmaken van de opdrachten die ze moet inleveren en voorbereiding op de tentamens. Propedeuse In de eerste drie periodes van de propedeuse wordt onderzoek in een aparte leerlijn aangeboden. In de eerste periode ligt de focus op informatievaardigheden: het zoeken en vinden van kwalitatief hoogwaardige bronnen. De studenten leren in deze module "een probleemstelling en een doelstelling te maken en deze uit te splitsen in deelvragen en subvragen." Daarnaast leren ze "om effectief betrouwbare informatie te vinden met behulp van literatuur, maar natuurlijk ook via het internet (Wesseling & Diender, 2013, p. 13)." De studenten werken aan een individuele opdracht: ze maken een analyse van de doelgroep jongeren tussen de 18 en 24 jaar, met als focus het mediagebruik van deze jongeren. In de modulehandleiding en in de instructie voor de individuele opdracht (op de digitale leer-‐ werk omgeving) wordt niet gerefereerd aan de conclusie. In het instructiecollege in week vijf wordt aandacht aan de conclusie besteed: In de conclusie: • herhaal je de hoofdvraag van je onderzoek • beantwoord je kort de deelvragen en daarna de hoofdvraag • geef je aan of je genoeg informatie hebt kunnen vinden NB: Conclusies trekken is meer dan samenvatten: Dus géén herhaling van de resultaten!
(Wesseling 2012) In de beoordeling worden geen punten toegekend aan de conclusie. De module is gericht op het zoeken en vinden van kwalitatief hoogwaardige bronnen en de beoordeling wordt in het bijzonder gebaseerd op de kwaliteit van die bronnen. In de tweede en derde periode volgen de studenten de module onderzoek 1 en 2, een lintmodule. In periode 2 worden de studenten onderwezen in kwantitatief onderzoek en leren ze gesloten vragenlijsten opstellen. In periode 3 is het onderwijs gewijd aan kwalitatief onderzoek en leren de studenten op welke wijze ze een groepsdiscussie kunnen voorbereiden en uitvoeren. Deze lintmodule is ondersteunend aan het Project Parool. De opdracht die de studenten krijgen is: verbeter op basis van gebruikersonderzoek en doelgroeponderzoek de website van het Parool. In periode 2 voeren ze het onderzoek uit en in periode 3 verwerken ze de uitkomsten van het onderzoek in de verbeterende website die zij ontwikkelen voor het Parool. In het vijfde werkcollege van periode 2 krijgen de studenten de volgende uitleg over de conclusie in een Powerpointpresentatie (Wesseling 2013a) : CONCLUSIES FIELDRESEARCH
• •
Geen herhaling van de resultaten!! Geen cijfers!! Wel een interpretatie van de resultaten
Online product Resultaat: Het fieldresearch laat zien dat 68% van de doelgroep vrouwen 20-‐35 jaar aangeeft te betalen voor online nieuwscontent Conclusie: Een nieuwe website voor Het Parool kan betaalde nieuwscontent aanbieden
De conclusie van het rapport dat de studenten schrijven, wordt beoordeeld aan de hand van deze beoordelingscriteria: "Korte samenvatting van de conclusies uit desk-‐ en fieldresearch en de keuze van het product en de promotie" (Wesseling 2013b, p. 6).
46
In periode 3 gaan de studenten aan de slag met de website, daarnaast krijgen ze lessen kwalitatief onderzoek. Ze leggen de door hun verbeterde versie van de website voor aan de doelgroep in een groepsdiscussie en moeten hierover rapporteren en de uitkomsten gebruiken om hun website verder te verbeteren. In les 3 van periode 3 wordt uitgelegd wat een conclusie is en waar deze uit bestaat: Wat is een conclusie: Verbinden van onderzoeksresultaten aan probleemstelling / onderzoeksvragen. Antwoord op de 'hoofdvragen' van je onderzoek aangeven of de doelstelling is bereikt. Conclusies trekken is meer dan samenvatten. De opzet van een conclusie: Korte schets aanleiding onderzoek, herhaal de centrale vraagstelling (is gegeven). Kort aanstippen van de opzet van je onderzoek, vervolgens beantwoorden van de deelvragen en daarna de centrale vraagstelling. Evt. aanbevelingen (Wesseling 2013a, pp. 17, 18).
De conclusies worden beoordeeld aan de hand van het volgende criteria: "Conclusies en aanbevelingen volgen logisch uit het onderzoek" (Wesseling en Pavlovic, 2013). En: "Deelvragen en hoofdvraag worden beantwoord. Er is een duidelijke link met de resultaten" (P3-‐project-‐Het-‐ Parool_beoordelingscriteria, 2013). In periode 4 schrijven de studenten in kleine groepen aan een onderzoekspaper, in het kader van het project mediaonderzoek. Ze moeten hierbij gebruik maken van de opgedane onderzoeksvaardigheden uit de eerste drie periodes. In dit paper is de te gebruiken onderzoeksmethode afhankelijk van de vraagstelling en doelstelling van het onderzoek. Er worden twee opfriscolleges onderzoek gegeven: in het tweede college wordt aandacht besteed aan de conclusie. "De conclusies van je deskresearch bestaan uit een herhaling van de belangrijkste bevindingen en een inschatting van de behoeftes van je doelgroep op mediagebied. Dit neem je op in het hoofdstuk ‘conclusies’ van je onderzoekspaper" (Wesseling en Pavlovic, 2013). De conclusie van het onderzoekspaper wordt beoordeeld op de volgende criteria: • "Relevant; •
•
gerelateerd aan de opgestelde deelvragen; duidelijke link met de onderzoeksresultaten " (Luppers & Schaap, 2013).
Redactie en Media Productie leerjaar 2 In de eerste drie periodes krijgen de studenten geen aparte module of leerlijn onderzoek aangeboden. Ze werken in projectgroepen aan authentieke opdrachten uit het werkveld en voor ieder van deze projecten moeten de studenten in projectgroepen onderzoek verrichten en hierover rapporteren in een projectrapport. Alle projecten zijn gericht op het ontwikkelen of verbeteren of uitbreiden van een mediaconcept. In periode 1 bedenken de studenten de vorm en de content voor een applicatie voor het digitale schoolbord, voor een educatief televisieprogramma voor kinderen. Ze moeten hiervoor een aantal interviews houden met de doelgroep. In de modulehandleiding van het project (Devilee, 2013b, p. 17) wordt uitleg gegeven over het hoofdstuk conclusie "Schrijf een conclusie die logisch voortkomt uit het uitgevoerde onderzoek en de voorafgaande hoofdstukken koppel je de uitkomsten van deskresearch en fieldresearch. Maak geen gebruik van ‘nieuwe’ bronnen of informatie". De conclusie wordt beoordeeld op de volgende criteria: "Je bent in staat de verschillende analyses in het projectrapport met elkaar te verbinden en de conclusie en aanbevelingen hierop te baseren (p. 8). In de docentinstructie van coachingsbijeenkomst 6, die gaat over de conclusie en het advies staat het volgende: Van conclusie naar advies: Benoem, met het oog op de hoofdstukken conclusies en advies, dat het van belang is te beschrijven hoe de groep tot dit advies is gekomen. Vaak beseffen studenten niet dat alles wat ze aan onderzoek (desk en field) gedaan hebben van invloed is op hun gedachten en ideevorming. Wanneer je ze kunt helpen om ze bewust te maken van dat proces en dat duidelijk uit te leggen dan kunnen ze dat heel goed gebruiken in de laatste hoofdstukken (Devilee, 2013a, p. 1).
47
In periode 2 ontwikkelen de studenten een online community voor lezers van een zelf te kiezen genre boeken. Voor hun onderzoek naar de vorm, de inhoud en de functionaliteiten van deze community gebruiken de studenten een methode die card sorting heet en die wordt afgenomen in individuele gesprekken of groepsgesprekken met de doelgroep. Daarbij ontwikkelen ze personas. In coachingsbijeenkomst 6 kunnen de studenten een conceptversie van hun conclusie meebrengen om daar feedback op te krijgen. Het wordt aan de individuele docent overgelaten hoe dit gebeurt. De beoordelingscriteria worden beschreven in de modulehandleiding: "De conclusie komt logisch voort uit het uitgevoerde onderzoek en voorafgaande hoofdstukken en is goed onderbouwd. In de conclusie is geen gebruik gemaakt van ‘nieuwe’ bronnen of informatie" (Gianotten en Leighton, 2013, p. 22). In periode 3 maken de studenten een app of een e-‐magazine die een verzekeringsmaatschappij aan zijn klanten kan aanbieden. Om de vorm, de inhoud en de functionaliteiten van het e-‐magazine te toetsen aan de doelgroep maken de studenten een of meerdere paper prototypes en doen ze 'usabillity'-‐onderzoek. In de modulehandleiding en in de lesopzetten van de module wordt geen uitleg gegeven over de conclusie. In het beoordelingsformulier staat het volgende: "De probleemstelling is helder en compleet beantwoord. De conclusie komt logisch voort uit het uitgevoerde onderzoek en de voorafgaande hoofdstukken (kruisverwijzingen). De conclusie is goed onderbouwd. In de conclusie is geen gebruik gemaakt van ‘nieuwe’ bronnen of informatie" (Arps en Goossens, 2013). In periode 4 gaan de RMP-‐studenten op stage en volgen ze geen onderwijs op school. Redactie en Media Productie leerjaar 3 In het derde jaar van de opleiding gaan de studenten RMP aan de slag met een crossmediaproject dat over twee periodes loopt. De studenten mogen hier zelf een crossmediaal concept bedenken en uitvoeren. Ze voeren voor het project wel onderzoek uit, maar zetten dit in voor beroepsproducten. Aan de rapportage over het onderzoek wordt minder aandacht besteed. Er wordt in de documentatie nergens aandacht besteed aan de conclusie en er zijn ook geen beoordelingscriteria voor de conclusie opgesteld. In de eerste periode volgen de studenten de module Onderzoek: studenten schrijven een individueel onderzoeksrapport over een actueel vraagstuk binnen de mediasector. In de modulehandleiding staat geen uitleg vermeld over de conclusie. Opzetten voor de lessen of docentinstructies voor deze module zijn niet opgesteld. Tijdens de coachingsbijeenkomsten wordt vraaggestuurd aandacht besteed aan de conclusie, uitleg daarover wordt overgelaten aan de individuele docent (Goossens, 2014). In het beoordelingsformulier dat te vinden is in de modulehandleiding staat het volgende: • • • •
•
"een conclusie is de beantwoording van de probleemstelling; een conclusie is geen samenvatting van de resultaten; een conclusie is analytisch; een conclusie is compact; koppeling met literatuur hoofdstuk/deskresearch is erg belangrijk." (Brancart en Goossens, 2013, p. 13)
Gedurende de gehele studie (vanaf de propedeuse tot en met jaar vier) is het boek Wat is onderzoek? van Verhoeven (2007) voorgeschreven. Hierin wordt beknopt uitleg gegeven over de conclusie: Bij het trekken van de conclusie verbind je de onderzoeksresultaten met de probleemstelling en geef je antwoord op de centrale vraag van je onderzoek. Je interpreteert dus de resultaten aan de hand van je probleemstelling. Ook ga je in op de vraag of je met deze antwoorden je onderzoeksdoel kunt bereiken. Conclusies trekken is dus niet simpelweg samenvatten van de resultaten: er komt meer bij kijken! (p. 276).
48
Referenties bijlage III Arps, E., en Goossens, R. (2013). Modulehandleiding R08 Crossmediale concepten Customer magazine & app of e-‐magazine. [cursustekst] Hogeschool van Amsterdam. Brancart, E., en Goossens, R. (2013). Modulehandleiding R116 Onderzoek. [cursustekst]. Hogeschool van Amsterdam. Devilee, B. (2013a). coachingsuur 6 docentinstructie. [cursustekst]. Hogeschool van Amsterdam. Devilee, B. (2013b). Modulehandleiding R01 Crossmediale Concepten 1. [cursustekst] Hogeschool van Amsterdam. Gianotten, R. en Leighton, R. (2013). Modulehandleiding R04 Crossmediale concepten 2. [cursustekst] Hogeschool van Amsterdam. Luppers, S. en Schaap, J. (2013). Project Mediaonderzoek (P4-‐12 Handleiding. Hogeschool van Amsterdam. Geraadpleegd op 14 april 2014 via: https://intra.mim.hva.nl/studiegids/prop/p4__12/projecthandleiding.pdf P3-‐project-‐Het-‐Parool_beoordelingscriteria. (2013). [cursustekst]. Hogeschool van Amsterdam. Geraadpleegd op via: https://intra.mim.hva.nl/studiegids/prop/p3__12/P3-‐project-‐Het-‐Parool_beoordelingscriteria.pdf. Verhoeven, P. S. (2007). Wat is onderzoek? Praktijkboek methoden en technieken voor het hoger onderwijs. Amsterdam: Boom Onderwijs. Wesseling, N. (2012). Onderzoek instructiecollege 5. [PowerPoint-‐presentatie] Hogeschool van Amsterdam. Geraadpleegd op 14 april 2014 via: https://intra.mim.hva.nl/studiegids/prop/p13_12/IC5.pdf. Wesseling, N. (2013a). Kwalitatief onderzoek Project Parool. [PowerPoint-‐presentatie]. Hogeschool van Amsterdam. Geraadpleegd op 14 april 2014 via: https://intra.mim.hva.nl/studiegids/prop/p34_12. Wesseling, N. (2013b). Modulehandleiding Project Beeld en Geluid, Kwantitatief Onderzoek. [cursustekst] Hogeschool van Amsterdam. Wesseling, N. en Diender, S. (2013). Modulehandleiding Onderzoek 1. [cursustekst] Hogeschool van Amsterdam. Wesseling, N. en Pavlovic, S. (2013). Modulehandleiding Kwalitatief Onderzoek. [cursustekst] Hogeschool van Amsterdam. Wesseling , N. en Pavlovic, S. (2013). P4A – ONDERZOEKSPRACTICUM. [PowerPoint-‐presentatie] Hogeschool van Amsterdam. Geraadpleegd op 14 april 2014 via: https://intra.mim.hva.nl/studiegids/prop/p4__12/a/HC-‐ 2.pdf.
49
Bijlage IV Overzicht geïnventariseerde literatuur onderzoeksmethodologie
Baarda, D. B., De Goede, M. P. M. en Teunissen, J. (2005). Basisboek kwalitatief onderzoek. Handleiding voor het opzetten en uitvoeren van kwalitatief onderzoek. Groningen, Nederland: Wolters Noordhoff. Baarda, B. (2009). Dit is onderzoek: richtlijnen voor het opzetten, uitvoeren en van kwantitatief en kwalitatief onderzoek. Groningen, Nederland: Noordhoff Uitgevers. Bartelds, J. F., Jansen, E. P. W. A. en Joostens, T. H. (1989). Enquêteren: het opstellen en gebruiken van vragenlijsten. Groningen, Nederland: Wolters-‐Noordhoff. Boeije, H. R. (2005). Analyseren in kwalitatief onderzoek: denken en doen. Den Haag, Nederland: Boom Onderwijs. Brinkman, J. (2000). De Vragenlijst. Groningen, Nederland: Wolters Noordhoff. Brinkman, J. (2007). Beroep op onderzoek. Van doelgerichte onderzoeksopzet tot toepasbare conclusie. Groningen, Nederland: Noordhoff Uitgevers. Brohm, R. en Jansen, W. (2010). Kwalitatief onderzoeken praktische kennis voor de onderzoekende professional. Delft, Nederland: Uitgeverij Eburon. Delnooz, P.V.A. (2010). Creatieve Actie Methodologie. De kunst van het zoeken naar pragmatische en innovatieve oplossingen in praktijkonderzoek. Den Haag, Nederland: Boom Onderwijs. Delnooz. P.V.A. en Platenkamp, V. (1998). Zoeken naar oplossingen. Praktische en pragmatische methodologie. Utrecht, Nederland: Lemma. Fischer, T. en Julsing M. (2009). Onderzoeksvaardigheden. Groningen, Nederland: Noordhoff Uitgevers. Hart, H. en Hox, J. (2005). Onderzoeksmethoden. Den Haag, Nederland: Boom Onderwijs. Hutjes, J. M. en Van Buuren, J. A. (1992). De gevalsstudie: Strategie van kwalitatief onderzoek. Amsterdam, Nederland: Boom. Migchelbrink, F. G. H. M. (2013). Praktijkgericht onderzoek. Zorg, welzijn wonen en werken. Amsterdam, Nederland: Uitgeverij SWP. Nooij, A. T. J. (1990). Sociale methodiek. Normatieve en beschrijvende methodiek in grondvormen. Leiden, Nederland: Stenfert Kroese. Plooij, F. (2011). Onderzoek doen. Amsterdam, Nederland: Pearson Education. Schreuder Peters, R. P. I. J. (2012). Methoden en technieken van onderzoek. Den Haag, Nederland: SdU Uitgevers Verhoeven, P. S. (2010). Onderzoeken doe je zo! Amsterdam, Nederland: Boom Lemma Uitgevers.
50
Bijlage V Instructie voor validering Beste … Zoals je weet ben ik de afgelopen tijd in de conclusies van de onderzoeksrapporten van onze derdejaars studenten. Veel docenten klagen erover dat studenten zulke slechte kwaliteit conclusies afleveren. Ik wilde achterhalen wat er zo slecht was aan die conclusies en wat daar de mogelijke oorzaken van zouden kunnen zijn. Om de knelpunten te kunnen aanwijzen en beschrijven, heb ik eerst op een rij gezet wat de richtlijnen van de opleiding zijn ten aanzien van de conclusie, daarnaast heb ik literatuur over onderzoeksmethodologie geraadpleegd. Mijn analyse heeft geleid tot zeven knelpunten in de conclusies. Deze heb ik beter kunnen verklaren door de literatuur te raadplegen. Die zeven knelpunten vormen een diagnostisch instrument voor de conclusies. Ik zou het fijn vinden als jij dit instrument wilt toetsen. Ik leg je tien conclusies voor met daarnaast mijn diagnose. Zou jij willen kijken of jij het met deze diagnose eens bent? Of er zaken zijn die jij anders zou benoemen? Of er dubbelingen zitten in het instrument? En of ik de categorieën en subcategorieën logisch heb ingedeeld? Op A3 krijg je mijn oordeel voor je conclusie. Je krijgt de conclusie zelf op A4 vergezeld van één formulier per rapport voor je op-‐ en aanmerkingen. Mocht het onduidelijk zijn, licht ik het graag toe. Ook als de knelpunten zelf niet duidelijk zijn, geef ik daar graag verdere uitleg over. Het is ook goed om te horen als ze onduidelijk zijn, dat betekent waarschijnlijk dat ik ze beter moet formuleren. Voor sommige knelpunten heb ik andere onderdelen dan de conclusie moeten bekijken. In dat geval heb ik de geraadpleegde tekst letterlijk overgenomen in de Excelsheet. Mocht je toch zelf ook de tekst in de context van het rapport willen lezen. Je hebt toegang tot de map met alle rapporten daarin. Je kritische blik wordt erg gewaardeerd. Bij voorbaat veel dank,
Barbara
51
