Checklist & Toelichting voor het maken van een
Plan van Aanpak voor je afstudeeropdracht
Versie 3.1 juli 2014 Auteurs: Anne-Marie Haanstra, Rob Koolmees, Renee van Os, Yvonne Peterman, Els van der Pool, Bernard Smith, Beryl Wijnberg, Laurens Zijlstra
Inhoudsopgave Inleiding. ......................................................................................................................... 1
DEEL 1 Checklist voor het maken van een Plan van Aanpak De checklist………….…… .......................................................... ………………………… 3
DEEL 2 Toelichting op de onderdelen van de checklist 1.Titelblad ....................................................................................................................... 6 2. Inleiding ...................................................................................................................... 6 3. Oriënteren op het probleem ........................................................................................ 6 4. Definiëren van het probleem ....................................................................................... 7 5. Formuleren van de doelstelling van de afstudeeropdracht. ......................................... 8 6. Formuleren van de hoofdvraag en subvragen………………………… ... ……………….9 7. Verantwoording van de onderzoeksmethode .............................................................10 8. Beperkingen en randvoorwaarden .............................................................................13 9. Planning ................................................................................................................... 14 10. Begroting .................................................................................................................15 11. Communicatie..........................................................................................................15 12. Bronvermelding .......................................................................................................16 13. Overig ......................................................................................................................16 14. Bijlagen....................................................................................................................16
Bijlage I. Schema Onderzoek. .....................................................................................17 Bijlage II. Akkoordverklaring .........................................................................................19 Bijlage III. Toestemmingsformulier Afstudeeropdracht ...................................................20 Bijlage IV. How to Evaluate Resources ..........................................................................21 Bijlage V. Termenboom als hulpmiddel bij operationaliseren .........................................23 Bijlage VI. Aanbevolen literatuur. ...................................................................................25
Inleiding Een goede voorbereiding is het halve werk, dat geldt ook voor je Afstudeeropdracht (AOD). Je AOD bestaat uit een praktijkopdracht waarvoor je onderzoek doet. Je doorloopt daarbij verschillende stappen: oriënteren op het probleem, definiëren van het probleem, formuleren van de doelstelling, de onderzoeksstappen uitvoeren, formuleren van aanbevelingen en rapporteren en presenteren van je bevindingen. Deze stappen staan in het zwarte kader (afstudeeropdracht) in figuur 1. De onderzoeksstappen staan in het groene kader (onderzoek).
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 1
Waarom een Plan van Aanpak? Om dit geheel in goede banen te leiden, is het belangrijk je goed voor te bereiden. Dat doe je door een aantal zaken helder op papier te zetten in je Plan van Aanpak. Je schept daarmee duidelijkheid voor jezelf, de organisatie, en je begeleider op verschillende momenten in het proces: aan het begin (wat moet ik allemaal gaan doen en hoe pak ik dat aan?) tijdens (zit ik nog op koers?) aan het einde van je afstudeeropdracht (heb ik nu gedaan wat ik heb beloofd?). In figuur 1 staat in het oranje kader aangegeven wat je in je Plan van Aanpak beschrijft (PLAN VAN AANPAK). Daar komen nog bij: beperkingen en randvoorwaarden, planning, begroting, communicatie, een aantal verklaringen (o.a. de akkoordverklaring) en een bronnenlijst. Hoe schrijf je een Plan van Aanpak? Een Plan van Aanpak schrijf je niet in één keer. Voor een samenhangend Plan van Aanpak ga je regelmatig terug naar een eerder geschreven deel en pas je dat aan, soms zelfs meerdere keren (een iteratief proces). Het Plan van Aanpak is af als alle betrokkenen (opdrachtgever, eerste en tweede lezer) akkoord zijn. Hoe gebruik je deze checklist? In deze syllabus staat een checklist. Dit is een controlemiddel om te beoordelen of je Plan van Aanpak de juiste informatie bevat in de juiste volgorde. De criteria waaraan je Plan van Aanpak moet voldoen staan in vraagvorm (deel I). Als je elke vraag met ja kunt beantwoorden of aankruisen heb je alle punten weloverwogen gecontroleerd. Dit zijn criteria die voor alle opleidingen van de FEM gelden en waaraan dus elk Plan van Aanpak moet voldoen. Na de checklist volgt een puntsgewijze toelichting op de criteria (deel II). In die toelichting wordt soms verwezen naar literatuur die je al eens in je opleiding hebt gehad. De syllabus is bedoeld als naslagwerk. Je kunt erin opzoeken waaraan je Plan van Aanpak moet voldoen en wat er met die criteria wordt bedoeld. Ook zijn in de bijlagen voorbeelden opgenomen van een geheimhoudingsverklaring en een akkoordverklaring. Deze syllabus bevat - als het goed is - dus geen nieuwe informatie, maar zet de zaken nog eens op een rij en legt een verbinding tussen de criteria en in gebruik zijnde literatuur. Naast deze handleiding gebruik je ook andere boeken of syllabi. In de “Aanbevolen literatuur” staat literatuur over rapporteren, projectmanagement en onderzoek. Deze boeken kunnen je helpen bij het schrijven van je Plan van Aanpak. Daarnaast moet je natuurlijk op zoek naar literatuur die over het onderwerp van je afstuderen gaat.
Veel succes met het maken van je Plan van Aanpak!
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 2
Deel 1. Checklist voor het Plan van Aanpak Ja
Nee
1. Titelblad a. Bevat het titelblad alle benodigde informatie? 2. Inleiding a. Beschrijft de student waarom juist dit onderwerp gekozen is voor de AOD? b. Beschrijft de student hoe de afstudeeropdracht tot stand gekomen is? 3. Oriënteren op het probleem a. Is er een duidelijke en volledige omschrijving van de opdracht/opdrachtgever? b. Is er omschreven waarom deze opdracht uitgevoerd moet worden? c. Is er al eens eerder onderzoek gedaan naar dit onderwerp, in de organisatie? 4. Definiëren van het probleem a. Is er een duidelijke en zo volledig mogelijke omschrijving van het probleem? b. Is duidelijk aangegeven welke relevante theorieën er zijn om het probleem te beschrijven? c. Zijn er duidelijke definities gegeven voor begrippen uit het Plan van Aanpak die de gemiddelde lezer niet kent, of die afwijken van het normale taalgebruik? d. Is er een bronvermelding aanwezig van de gegeven definities? e. Zijn de definities duidelijk? 5. Formuleren van de doelstelling van de afstudeeropdracht a. Volgt de doelstelling uit de oriëntatie en definiëring van het probleem? b. Is de doelstelling geformuleerd vanuit het perspectief van de opdrachtgever? c. Maakt de doelstelling inzichtelijk wat de opdrachtgever met de onderzoeksresultaten kan realiseren? 6. Formuleren van de hoofdvraag en subvragen van het onderzoekdeel van de afstudeeropdracht a. Is/zijn de hoofdvra(a)gen een logisch gevolg van de doelstelling? b. Levert de hoofdvraag relevante informatie op? c. Is de hoofdvraag duidelijk, eenduidig en als vraag geformuleerd ? d. Zijn er uit de hoofdvraag meerdere logische subvragen geformuleerd? e. Dekken alle subvragen de hoofdvraag? 7. Verantwoording van de onderzoekmethode a. Is er sprake van een verantwoorde en logische keuze van de onderzoeksmethode(n)? b. Past de onderzoeksmethode bij de geformuleerde hoofdvraag en subvragen? c. Zijn de bronnen die de student gaat gebruiken concreet aangegeven, bruikbaar en betrouwbaar? d. Is aangegeven hoe in het onderzoek voldaan wordt aan; controleerbaarheid, betrouwbaarheid, validiteit, bruikbaarheid en haalbaarheid van de te verzamelen gegevens en de te gebruiken methode(s)? 8. Beperkingen en randvoorwaarden a. Zijn er relevante randvoorwaarden opgenomen waar tijdens het onderzoek rekening mee gehouden moet worden? b. Zijn de beperkingen relevant en expliciet geformuleerd? c. Heeft de student de keuze voor de beperkingen beargumenteerd?
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 3
Ja
Nee
9. Planning a. Is duidelijk welke activiteiten uitgevoerd moeten worden? b. Is er tijd voor reacties op producten ingepland? c. Zijn er mogelijke tegenslagen voorzien, zo ja beschrijf welke, en is hier tijd voor ingeruimd? d. Zijn er deadlines/mijlpalen opgenomen in de planning? e. Is er een realistische planning? 10. Begroting a. Is er een schatting van de kosten gemaakt? 11. Communicatie a. Is er aangegeven wanneer er gedurende het proces gecommuniceerd wordt met de opdrachtgever, begeleider, tweede lezer en andere direct betrokkene? 12. Bronvermelding a. Voldoet de bronnenlijst aan de APA normen? 13. Overig a. Is er een akkoordverklaring opdrachtgever, student(en)/opdrachtnemer(s), docent/begeleider? b. Is er een geheimhoudingsverklaring?
14. Bijlagen
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 4
Deel 2. Toelichting op de onderdelen van de checklist In de checklist staan de criteria waaraan een Plan van Aanpak moet voldoen. De docent zal deze criteria gebruiken om tot een ‘go - no go’ te komen. Per criterium worden er aandachtspunten gegeven waar je zeker op moet letten. In onderstaande paragrafen vind je per criterium een korte toelichting. Voor uitgebreide informatie raadpleeg je de boeken die je in het verleden bij de verschillende modules hebt gehad of kijk je achterin deze syllabus onder Aanbevolen literatuur. Daarnaast staan relevante boeken in de literatuurlijst behorend bij deze syllabus. VOORBEELD Bij een aantal toelichtingen wordt aan de hand van een voorbeeld uitgelegd hoe je aan de criteria kunt voldoen. Je kunt die plekken herkennen aan een kadertekst met de kop: VOORBEELD
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 5
1.
Titelblad
a. Bevat het titelblad alle benodigde informatie? Bedenk dat de omslag en de titelpagina de eerste indruk geven die een lezer van jouw rapport krijgt. Het moet direct duidelijk zijn waarover de AOD gaat. Dus behalve dat het om een Plan van Aanpak gaat, moeten het onderwerp en de opdrachtgever duidelijk zijn. Het kan zijn dat je opleiding specifieke eisen stelt aan kaft en de titelpagina. Ga na welke criteria er gelden. Zijn de criteria niet specifiek aangegeven kijk dan bijvoorbeeld in het boek Zakelijke Communicatie voor professionals (Janssen,D., Van der Loo,M. , Van den Hurk, J. & Janssen, F. ( 2012) of Een goed rapport (Hogeweg, 2004, pagina 6 e.v.). Zo zou het titelblad de volgende elementen kunnen bevatten:
Werktitel (evt. ondertitel) Auteursnaam, studentnummer. Naam van het bedrijf Naam van de opleiding Namen opdrachtgevers en begeleiders Versienummer Datum
LET OP Een titelpagina heeft geen paginanummering. Zet een datum op de voorkant. Zo weet je steeds zeker dat je de laatste versie hebt.
2.
Inleiding
Het doel van de inleiding is de lezer kennis te laten maken met het onderwerp van je afstudeeropdracht, de structuur van je Plan van Aanpak aan te geven en te enthousiasmeren. Daarom dient hierin beschreven te worden: a. Waarom heb je juist dit onderwerp gekozen voor je AOD? b. Hoe is de afstudeeropdracht tot stand gekomen? Voor een meer specifieke beschrijving van de inleiding, zie Een goed Rapport (Hogeweg, 2004) of het boek Zakelijke Communicatie voor professionals (Janssen,D., Van der Loo,M. , Van den Hurk, J. & Janssen, F. ( 2012).
3.
Oriënteren op het probleem
a. b. c.
Is er een duidelijke en volledige omschrijving van de opdrachtgever? Is er omschreven waarom deze opdracht uitgevoerd moet worden ? Is er al eens eerder onderzoek gedaan naar dit onderwerp, in de organisatie?
Meestal zijn er vele onduidelijkheden bij aanvang van het project. Je zult een heel kritische onderzoekende houding moeten hebben om achter de ware aard van het probleem, de vraag achter de vraag, te komen.
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 6
Vragen die je kunnen helpen bij het oriënteren op het probleem zijn: Wat is de aanleiding voor het verstrekken van de opdracht? Wat is de achtergrond van de opdracht? Hoe relevant en urgent is het probleem voor de opdrachtgever? Welke partijen zijn betrokken ? Het is nuttig in deze oriënteringsfase van je afstudeeropdracht te zoeken naar informatie die al voorhanden is (c). Het kan zijn dat de opdrachtgever al eerder stappen heeft ondernomen om het probleem op te lossen of er is informatie voorhanden over vergelijkbare situaties die je inzicht geven hoe het probleem is aangepakt en misschien zelfs waardevolle informatie verschaffen zodat je zelf niet meer deze informatie hoeft te verzamelen.
4.
Definiëren van het probleem
a. Is er een duidelijke en zo volledig mogelijke omschrijving van het probleem? Op basis van de oriëntering op het probleem, geef je zo duidelijk en volledig mogelijk aan wat het probleem inhoudt en waarom het een probleem is en wiens probleem het is. Als je een probleem definieert, geef je een beschrijving van een situatie die als problematisch of ongewenst gezien kan worden. Letterlijk dus als probleem (dit is een probleem in enge zin). Zonder een goede definitie van het probleem kun je geen goede onderzoeksopzet maken. Geef dus aan: wat is het precieze probleem van de opdrachtgever? Is er een vraag achter de vraag, wat wil de opdrachtgever opgelost zien? Echter wat ook mogelijk is, is dat een opdrachtgever advies zoekt en streeft naar een verbetering (dit is een probleem in brede zin), bijvoorbeeld een advies als gevolg van een veranderende wetgeving of een hernieuwd marketing/communicatieplan, of een advies omtrent expansie waarbij het de bedoeling is dat er diverse scenario’s opgeleverd worden. b.
Is duidelijk aangegeven welke relevante theorieën nodig zijn om het probleem te beschrijven? Geef aan welke relevante theorieën er zijn om het probleem te specificeren. Beschrijf: of anderen al onderzoek hebben uitgevoerd over dit onderwerp/probleem. hoe andere onderzoekers theorieën hebben gebruikt ter verklaring van vergelijkbare fenomenen. hoe andere onderzoekers vergelijkbare kenmerken hebben gedefinieerd en gemeten. hoe andere onderzoekers vergelijkbaar onderzoek hebben opgezet. TIP Een literatuur lijst is niet genoeg! Het gaat over relevante theorieën die helpen in het onderzoek. c.
Zijn er duidelijke definities gegeven voor begrippen uit het Plan van Aanpak die de gemiddelde lezer niet kent, of die afwijken van het normale taalgebruik? In het Plan van Aanpak gebruik je misschien begrippen die binnen de context van je afstudeeropdracht een specifieke betekenis hebben, of die speciaal met de branche te maken hebben. Geef in je Plan van Aanpak duidelijk aan wat er in dit geval onder wordt verstaan op basis van de literatuur. Zet al deze begrippen in een begrippenlijst en gebruik voor referenties in de tekst APA. Raadpleeg ook De APA-richtlijnen. Of raadpleeg het boek Over literatuurverwijzing en onderzoeksrapportage Poelmans,P. & Severijnen, O. (2013).
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 7
d. Is er een bronvermelding aanwezig van de gegeven definities? Geef bij de definitie van een begrip de bron aan waarop je je baseert. Een definitie uit een (online)woordenboek, encyclopedie, (wikipedia) is niet toereikend. Ga dus op zoek naar andere bronnen in de literatuur en vermeld ze duidelijk en volgens de regels (zie ook punt 12).
VOORBEELD Een definitie uit het woordenboek over klantgerichtheid luidt bijvoorbeeld: ‘rekening houdend met, inspelend op de wensen van de klant’ (Van Dale, 2009). Maar deze definitie is niet meetbaar en dus niet te operationaliseren Vaak vind je definities in artikelen of boeken over het onderwerp. Zo zou je uit het boek: “Als jij de klant was …” (Wuring, 2009) de definitie kunnen halen dat klantgericht werken is, dat je weet welke verwachtingen de klant heeft, welke service hij vanzelfsprekend vindt en hoe de klant behandeld wil worden en dat je als bedrijf alles probeert te doen om hieraan te voldoen. Als je de definities uit een rapport haalt, bijvoorbeeld “eerder onderzoek klantgerichtheid”, dan vermeld je dit ook als bron. De bronnen vermeld je volgens de APA normen. Hoe je moet verwijzen kun je vinden onder aandachtspunt 12. e.
Zijn de definities duidelijk? Een definitie moet aan een aantal eisen voldoen. De definitie moet: kort zijn. de lading dekken. niet een woord zijn dat zelf afgeleid is van je te definiëren woord. beschrijven wat het wel is en dus niet wat het niet is.
VOORBEELD Fout: een servicedeskmedewerker is iemand die achter een balie staat en een klant helpt. Deze beschrijving is te ruim Goed: De Servicedesk medewerker is het primaire aanspreekpunt voor de klant. Deze kan daar met al zijn vragen (telefonische, e-mails en brieven) terecht. Hij voert opdrachten van klanten uit en registreert klachten. (NB. Een definitie kan natuurlijk per bedrijfstak en organisatie verschillend zijn).
5.
Formuleren van de doelstelling van de afstudeeropdracht.
In de doelstelling geef je aan waarom je de afstudeeropdracht uitvoert. Geef hierbij aan wat het belang is van de opdrachtgever. a. Volgt de doelstelling uit de oriëntatie en definiëring van het probleem? Uit de fase oriënteren en definiëren heb je een helder beeld gekregen over waar het probleem uit voort komt (aanleiding). Belangrijk is dat de achtergrond van het probleem duidelijk is (zie 3) en dat duidelijk is waarom deze afstudeeropdracht uitgevoerd moet worden.
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 8
b. Is de doelstelling geformuleerd vanuit het perspectief van de opdrachtgever? Geef aan welk doel de opdrachtgever uiteindelijk wil bereiken met de afstudeeropdracht. Geef daarbij aan wat jij in je AOD oplevert om dat doel te bereiken. c.
Maakt de doelstelling inzichtelijk wat de opdrachtgever met de onderzoeksresultaten kan realiseren?
TIP Bedenk dat een doelstelling zelden direct goed geformuleerd is en dat je stap voor stap tot een juiste formulering moet komen. Probeer in het proces van het formuleren van de doelstelling steeds te communiceren met je opdrachtgever en met je begeleidende docent. Des te duidelijker je doelstelling, des te meer richting die geeft, en dat heb je weer nodig bij het verdere ontwerp en uitvoering. Algemene formulering doelstelling: WAT…[= onderzoeksresultaat] … VOOR WIE … [= doelgroep/opdrachtgever] … ZODAT HIJ/ZIJ IN STAAT IS/ZIJN TOT … [= praktijkdoel voor de opdrachtgever] VOORBEELD Een leeftijdbewust personeelsbeleid voor gemeente X zodat de gemeente een duurzame en optimale inzetbaarheid van het personeel kan realiseren. Een up-to-date kwaliteitsmanagement systeem voor bedrijf X zodat certificaten A, B en C behaald kunnen worden voor februari 2012.
6.
Formuleren van de hoofdvraag en subvragen van het onderzoeksdeel van de afstudeeropdracht.
Hier geef je aan wat je gaat onderzoeken. Dit doe je in de vorm van een hoofdvraag, die je onderverdeelt in subvragen. Het onderzoek moet antwoord geven op die hoofd- en subvragen. De vragen vormen dan ook de rode draad in het onderzoeksdeel van je afstudeeropdracht. a. Is/zijn de hoofdvra(a)gen een logisch gevolg van de doelstelling? Het moet duidelijk zijn dat wat je gaat onderzoeken voortkomt uit waarom je de afstudeeropdracht uitvoert. Bedenk daarbij wat voor soort onderzoek je uitvoert (beschrijvend, verkennend, verklarend onderzoek). b.
Levert de hoofdvraag relevante informatie op?
c. Is de hoofdvraag duidelijk, eenduidig en als vraag geformuleerd? Bij het formuleren van de hoofdvraag moet je op een aantal dingen letten. De hoofdvraag is altijd geformuleerd als een vraag. Formuleer de hoofdvraag nooit te vaag. De opdrachtgever en de begeleider moeten precies weten wat je gaat onderzoeken. Formuleer de hoofdvraag als 1 vraag. Let er op dat het niet eigenlijk 2 vragen zijn. Als een opdrachtgever toch meer vragen beantwoord wil hebben, zoek dan eerst naar een overkoepelende hoofdvraag. Is dat niet mogelijk, scheidt dan beide vragen goed. Dat betekent dat je twee hoofdvragen moet formuleren en twee ‘sets’ subvragen.
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 9
d. Zijn er uit de hoofdvraag meerdere logische subvragen geformuleerd? Een hoofdvraag kun je nooit direct beantwoorden. Daarom splits je de hoofdvraag in meerdere subvragen. Je moet net zoveel subvragen stellen als nodig zijn om de hoofdvraag te beantwoorden. Het hangt dus van de hoofdvraag af hoeveel subvragen je moet stellen. Daarbij is een handig hulpmiddel de termenboom zoals weergegeven in bijlage V. e. Dekken alle subvragen de hoofdvraag? Let er op dat de informatie die je krijgt door het stellen van de subvragen de hoofdvraag precies beantwoordt. Dat betekent dat je bij de formulering van de subvragen moet letten op het volgende: de subvragen leveren genoeg kennis op om de hoofdvraag te beantwoorden. een subvraag mag niet overbodig zijn. Vragen beantwoorden die je niet nodig hebt, zou heel inefficiënt zijn. een subvraag mag geen parafrase van de hoofdvraag zijn (dezelfde vraag, maar in andere bewoordingen). Het spreekt voor zich dat je hier niets mee opschiet. subvragen mogen geen gesloten vragen zijn: met alleen ja of nee kom je niet tot een antwoord op je hoofdvraag
7.
Verantwoording van de onderzoeksmethode
Hier geef je zo concreet mogelijk aan hoe je de informatie, per subvraag, gaat verkrijgen. a.
Is er sprake van een verantwoorde en logische keuze van de onderzoeksmethode(n) ? Er zijn verschillende methoden om antwoord te krijgen op je hoofdvraag en subvragen. Grof gezegd kun je kiezen uit deskresearch en fieldresearch. Een overzicht van deze verschillende methoden staat in Bijlage I. Ook is er onderscheid tussen kwalitatief en kwantitatief onderzoek. Belangrijke punten voor de afweging die je in je Plan van Aanpak moet opnemen vind je in het grijze deel van het schema. VOORBEELD Stel je wilt onderzoek doen naar “de veranderingsbereidheid”. Als je zelf nog geen idee hebt wat die veranderingsbereidheid is, zou je kunnen starten met deskresearch. Binnen deskresearch kun je gebruik maken van interne bronnen/gegevens (die binnen het bedrijf van je opdrachtgever aanwezig zijn) of externe bronnen/gegevens zoals internet en literatuur. In principe mag je ervan uitgaan dat de gegevens die je opdrachtgever je over diens bedrijf verstrekt correct zijn. Maar blijf wel kritisch. Indien de verstrekte gegevens een antwoord geven op een subvraag, kun je deze zo gebruiken, anders zul je ze moeten bewerken zodat de gegevens wel te gebruiken zijn. b.
Past de onderzoeksmethode bij de geformuleerde hoofdvraag en subvragen? Het is belangrijk dat je een onderzoekmethode kiest per subvraag, die je de informatie oplevert die nodig is om de subvragen, en daarmee de hoofdvraag, te kunnen beantwoorden.
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 10
VOORBEELD Kwantitatief: Als het doel van je afstudeeropdracht is te achterhalen hoeveel medewerkers veranderingsbereid zijn, dan kan dat bijvoorbeeld met behulp van een enquête. Kwalitatief: Als het doel van je afstudeeropdracht zicht te krijgen op de motieven van medewerkers om wel of niet te veranderen, dan kun je beter interviews houden. Soms zijn er praktische beperkingen en kun je niet de beste methode kiezen. Kies dan de meest geschikte methode en verantwoord dat. Welke keuze je ook maakt, elke methode heeft zijn beperkingen. Geef dan ook sowieso de beperkingen aan van de methode die je gekozen hebt en wat dat voor consequenties heeft in je resultaten. c.
Zijn bronnen die de student gaat gebruiken concreet aangegeven, bruikbaar en betrouwbaar? Bij het gebruik van externe bronnen is het verstandig om in je Plan van Aanpak aan te geven hoe je de bronnen selecteert. Dus geef aan op grond van welke criteria je een bron accepteert als “goede”/”betrouwbare” bron. Door dit aan te geven is het voor een buitenstaander ook te controleren hoe jij te werk bent gegaan en op grond waarvan jij tot een bepaalde keuze gekomen bent. Op internet en in de literatuur vind je veel verschillende checklists om secundaire bronnen te analyseren. Binnen de HAN wordt gebruik gemaakt van de zogenaamde AAOCC-criteria, van origine bedoeld om traditionele bronnen mee te controleren, maar sinds een paar jaar ook aangepast om websites mee te checken. Beide lijsten vind je in bijlage IV. VOORBEELD In het voorbeeld “meten van de veranderingsbereidheid” kun je je voorstellen dat als je aan dit onderzoek begint, je zelf niets van dit onderwerp weet. Je zou dan een vooronderzoek kunnen doen, door literatuur te zoeken over veranderingstheorieën of veranderingsbereidheid. Ook zou je kunnen overwegen om met een aantal experts over dit onderwerp te gaan praten. In dat geval zou je in je vooronderzoek ook een stuk fieldresearch doen in de vorm van kwalitatief onderzoek, (diepte)interviews. Hierdoor krijg je een beter beeld wat er met betrekking tot jouw onderwerp gaande is. Als je bij het schrijven van je Plan van Aanpak nog niet weet met wie je de interviews gaat houden, is dat geen ramp, als je maar wel een omschrijving kunt geven van de kenmerken waaraan een persoon moet voldoen om in aanmerking te komen voor een interview. Dus bijvoorbeeld: een manager die al meerdere veranderingstrajecten als manager heeft meegemaakt op het gebied van ICT in Nederland of een expert op het gebied van veranderingsmanagement in West-Europa. d.
Is aangegeven hoe in het onderzoek voldaan wordt aan: controleerbaarheid, betrouwbaarheid, validiteit, bruikbaarheid en haalbaarheid van de te verzamelen gegevens en de te gebruiken methode(s)? Bij de verantwoording van het onderzoeksontwerp moet je ook stilstaan bij de kwaliteit van de onderzoeksmethode(n). Vaak lees je in een eindrapport of publicatie van een onderzoek dat het betrouwbaar, representatief, valide is om aan te geven dat het een goed onderzoek is. Wat betekenen deze begrippen? Ten eerste moet het onderzoek controleerbaar zijn. De gevolgde methode moet zo helder en inzichtelijk zijn, dat anderen in principe in staat zijn stappen uit het onderzoek opnieuw uit te voeren. Hierdoor wordt het onderzoek ook geloofwaardiger. Eventueel kan een klein vooronderzoek handig zijn om te kijken of de manier van data verzamelen geschikt is, bijvoorbeeld een schriftelijke enquête. Betrouwbaarheid is de mate waarin bij herhaling van het onderzoek onder dezelfde of vergelijkbare omstandigheden ook dezelfde resultaten worden bereikt.
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 11
We vinden het antwoord van een persoon op een vraag betrouwbaar als deze persoon de tweede keer dat de vraag wordt gesteld een vrijwel identiek antwoord geeft. Hierbij speelt natuurlijk ook toeval een rol. Hoe minder een meting afhankelijk is van toeval, des te betrouwbaarder is de meting. VOORBEELD Wil je bijvoorbeeld een uitspraak kunnen doen over alle servicedesk medewerkers van een grote bank in Nederland, dan zul je uit praktisch oogpunt een steekproef moeten trekken. Het is dus toeval, wie deel gaat uitmaken van de steekproef. Je kunt dus geen exacte conclusies trekken. Bij kwantitatief onderzoek nemen we vaak een betrouwbaarheid van 95%. Je stelt dan eisen aan de nauwkeurigheid, dus de marges die je wilt hanteren bij een uitspraak. Je kunt dan de steekproefgrootte berekenen die hiervoor nodig is. VOORBEELD Om met een betrouwbaarheid van 95% te zeggen dat het percentage van de servicedeskmedewerkers dat weerstand heeft tegen het gebruik van allerlei ICT hulpmiddelen bijvoorbeeld 60 % met een marge van 5% is, moet je minstens een steekproefgrootte hebben van ca. 400. Bij kwalitatief onderzoek, bijvoorbeeld een interview of een groepsdiscussie, kunnen bij herhaling de uitkomsten flink verschillen. De betrouwbaarheid zou dan klein zijn. Maar bij kwalitatief onderzoek gaat het meer om het verkrijgen van inzicht in motieven en argumenten van de respondent. Wel moet je letten op de omgeving waarin bijvoorbeeld een interview of groepsdiscussie plaatsvindt. VOORBEELD Als je bijvoorbeeld een servicedeskmedewerker een interview wilt afnemen in een ruimte waar anderen kunnen meeluisteren, dan kun je niet altijd eerlijke antwoorden verwachten; ook krijg je geen eerlijk antwoord als bij een groepsdiscussie een servicedeskmedewerker aanwezig is die ook nog een soort van coördinerende taak heeft en veel contact heeft met het management. Bij kwalitatief onderzoek kun je de betrouwbaarheid vergroten door gebruik te maken van opnameapparatuur, observanten, notebook, et cetera. Deze mogen natuurlijk niet het onderzoek verstoren. Validiteit heeft betrekking op de geldigheid van een onderzoek of een vraag. Het gaat daarbij om de mate waarin je meet wat je wilt meten. VOORBEELD Stel het is duidelijk dat er grote veranderingen in de taak van de servicedeskmedewerker zullen komen. De opdrachtgever wil weten of hij die veranderingen kan doorvoeren. Dan zul je moeten meten wat veranderingsbereidheid is van de servicemedewerker (o.a. weerstand, stijl van leidinggeven, arbeidsomstandigheden.) Ook enquête- of interviewvragen moeten valide zijn. Als je vraagt: “bent u bereid een cursus te volgen”, dan is dit te vaag en roept vragen op als: Hoelang is de cursus? Is het in de tijd van de baas?
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 12
De validiteit bij kwantitatief onderzoek wordt beïnvloed door non-respons, waardoor de steekproef niet meer representatief is. Dit betekent dat het geen afspiegeling is van de populatie. Zo kan het zijn dat men in een regio moeite heeft met het invullen van enquêtes, vanwege het taalgebruik. Ook kan de leeftijdsverdeling niet kloppen; als je bijvoorbeeld gebruik maakt van een webenquête, terwijl oudere medewerkers vrijwel nooit op de bewuste site kijken. In alle gevallen ontstaat er een verschil tussen datgene wat je meet en datgene wat je wilt meten. Direct hiermee samenhangt de reproduceerbaarheid. Anderen moeten met dezelfde werkwijze tot vrijwel dezelfde resultaten komen. Dit heeft natuurlijk ook te maken met de van te voren vastgestelde betrouwbaarheid. Het resultaat moet niet te veel afhangen van toevalligheden. Met dezelfde methode, maar verschillende omstandigheden, bijvoorbeeld medewerkers, moet het resultaat binnen afgesproken grenzen blijven. Het is dus van belang om je werkwijze zeer nauwkeurig te beschrijven. Bruikbaarheid heeft te maken met de vraag of de opdrachtgever de resultaten van het onderzoek kan gebruiken; hiervoor is het van belang de opdrachtgever nauw bij je onderzoek te betrekken. Bruikbaarheid is niet hetzelfde als validiteit. Bij validiteit gaat het om meten wat je wilt weten. Als de hoofdvraag op de juiste manier is beantwoordt, dan is hieraan voldaan; toch kan het zijn dat de resultaten van het onderzoek niet bruikbaar zijn, omdat de opdrachtgever deze overal wil toepassen. Dit had je natuurlijk kunnen voorkomen door vooraf duidelijk te krijgen wat er met de resultaten wordt gedaan. Het omgekeerde is ook mogelijk. Als het onderzoek niet valide is en zelfs niet betrouwbaar, dan kunnen de resultaten toch bruikbaar zijn, bijvoorbeeld als aanzet tot veranderingen in een organisatie. VOORBEELD Als een organisatie met diverse kantoren, verspreid over het land en nogal verschillend van grootte, dan is een algemene uitspraak over organisatorische weerstand misschien helemaal niet bruikbaar. Ook kan het zijn dat de opdrachtgever toch niet van plan is rekening te houden met de organisatorische weerstand. De haalbaarheid heeft te maken met hoe reëel het is dat je de meting kunt uitvoeren. Dit heeft bijvoorbeeld te maken met de tijd, de kosten, de mogelijkheid om mensen te kunnen interviewen, de technische mogelijkheden voor het verwerken van gegevens uit bijvoorbeeld een webenquête enzovoort. De begrippen contoleerbaarheid, betrouwbaarheid, validiteit, bruikbaarheid en haalbaarheid kunnen dus de keuze van je onderzoeksmethode beïnvloeden en spelen een rol bij je verantwoording. Voor meer informatie over onderzoeksmethoden, de voor- en nadelen en de verantwoording zie bijlagen I en IV.
8.
Beperkingen en randvoorwaarden
a.
Zijn er relevante randvoorwaarden opgenomen waarmee tijdens het onderzoek rekening gehouden moet worden? Randvoorwaarden zijn zaken waar je geen invloed op hebt. Het is als het ware het kader waarbinnen je moet werken. Denk daarbij aan: budget, tijd die je krijgt van de opdrachtgever, telefoonnummers die je niet krijgt in verband met privacy, personen die je niet mag spreken onder werktijd. Het is belangrijk de relevante randvoorwaarden te benoemen, ze kunnen je onderzoek beïnvloeden.
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 13
b. Zijn de beperkingen relevant en expliciet geformuleerd? Beperkingen bepaal je zelf. Je beperkt het gebied dat je onderzoekt, je brengt een duidelijke focus aan. Die zaken schrijf je zo precies mogelijk op. VOORBEELD Je neemt bijvoorbeeld alleen de servicedesk medewerkers van de grote kantoren. Je vermeldt dit omdat dit relevant is, omdat deze deelpopulatie niet representatief is voor alle servicedesk medewerkers. c. Heeft de student de keuze voor de beperkingen beargumenteerd? Bij het inkaderen van je onderzoek geef je aan wat je wel, maar ook wat je niet gaat doen. Je kunt je onderzoek op verschillende manieren beperken: op representativiteit van je populatie of bijvoorbeeld op inhoud. Je geeft daarbij steeds een argumentatie. VOORBEELD Je kunt de populatie beperken. Bijvoorbeeld omdat de overige medewerkers samen slechts 10 % van het totaal zijn en alleen de grote kantoren de servicemedewerkers een cursus kunnen aanbieden. Bedenk wel of dit gevolgen heeft voor de representativiteit van je populatie. Je kunt ook beperken op de inhoud. Nadat je je vooronderzoek hebt gedaan, kan blijken dat bepaalde onderwerpen minder relevant zijn of juist zoveel tijd kosten dat een extra onderzoek noodzakelijk is. Je kunt dan besluiten je tot een deel van de onderwerpen te beperken. En dat verantwoord je hier, onder het kopje beperkingen
9.
Planning
a. b. c.
Is duidelijk welke activiteiten uitgevoerd moeten worden? Is er tijd voor reacties op producten ingepland? Zijn er mogelijke tegenslagen voorzien, zo ja beschrijf welke, en is hier tijd voor ingeruimd? Zijn er deadlines/mijlpalen opgenomen in de planning? Is er een realistische planning?
d. e.
Bij het maken van je planning werk je van globaal naar gedetailleerd. Je uitgangspunt voor je planning is de verantwoording van je onderzoeksmethode. Vaak ben je niet in staat alle activiteiten van een onderzoek aan te geven, omdat deze activiteiten afhangen van onderzoek dat je nog moet uitvoeren. Plan dan toch de tijd voor dat hele onderzoek in en werk het pas later uit. Plannen blijft schatten, maar je blijft wel het totale overzicht over je hele project houden. In een planning breng je alle taken in kaart, zet je ze in een logische volgorde en maak je een inschatting van de tijd en inzet van middelen en mensen. Het gaat niet alleen om een tijdsbalk voor de lange termijn, ook een weekschema hoort erbij. Het is hierbij belangrijk dat je de werkzaamheden zo plant dat je ze ook daadwerkelijk uitvoert.
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 14
LET OP ● Leg een planning overzichtelijk vast. Zo belast je je geheugen het minst. Schrijf alles op, ook in de planning van één dag. Hierdoor kun je zonder verder na te denken zien wat je moet doen en waartoe het moet leiden. ● Zorg voor een realistische planning. ‘Realistisch’ betekent in dit geval dat je gewoon wat meer tijd moet inplannen dan je gewend bent. Want het zal je vast wel zijn opgevallen: sommige taken kosten veel meer tijd dan je dacht en andere taken lijken een enorme aanslag te plegen op je tijd, maar doen dat feitelijk niet. Gebruik deze kennis bij het maken van een planning. Plan reservetijd in. Met reservetijd bouw je een marge in. Dat kan vlak voor de deadline of na het moment dat je een subdoel hebt bereikt. Hoeveel reservetijd je moet inplannen hangt af van het doel dat je moet halen, de mensen met wie je samenwerkt en de kans op tegenslag en oponthoud. Hou rekening met je ritme. Wanneer je weet op welk moment je het beste presteert, kan je hierop ook je planning aanpassen. De meeste mensen zijn beter in staat om ‘s ochtends creatief werk te doen dan ‘s middags. En na een lange vergadering is het niet handig om een lange, saaie tekst te lezen. Afwisseling is noodzakelijk, zeker als je niet langdurig achter je computer kunt of wilt zitten. Doe leuke dingen na minder leuke dingen. Om te voorkomen dat je na een tijdje tegen een berg van vervelende klussen aankijkt, kun je het beste eerst de dingen doen die je minder leuk vindt en daarna wat je wel leuk vindt.
10. Begroting a. Is er een schatting van de kosten gemaakt? Voor het budget zal een begroting gemaakt moeten worden van de kosten van het project. De meeste kosten van een project zijn vaak de personeelskosten, ook kun je hierbij denken aan reiskosten, kosten voor het inkopen van bronnen of de aanschaf van een incentive. Daarnaast moet er een begroting gemaakt worden van materiaal- en materieelkosten.
11. Communicatie a.
Is er aangegeven wanneer er gedurende het proces gecommuniceerd wordt met de opdrachtgever, begeleider, tweede lezer en andere direct betrokkenen? De opdrachtgever is natuurlijk niet de enige met wie je communiceert. Ook eventuele medeonderzoekers en docent begeleiders moeten op de hoogte gehouden worden. In de planning neem je dus op wanneer je vergadert, wanneer er gerapporteerd wordt over werkzaamheden die eventuele projectleden hebben uitgevoerd, enzovoort. Hier beschrijf je vooral wat je bespreekt, met wie en op welke wijze je communiceert (skype/mail/persoonlijk). Rapportage aan je begeleider betrek je natuurlijk ook in deze planning. LET OP Communiceer voldoende met de opdrachtgever.
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 15
12. Bronvermelding Je mag teksten en ideeën van anderen niet zomaar overnemen of samenvatten. Als je toch delen overneemt, dan vermeld je de bronnen in een lijst. We gebruiken hierbij de APA normen. Meer hierover lees je op de site van het studiecentrum www.han.nl /studiecentra onder het kopje “zoeken en vinden” en daarna de keuze “APA-normen” . LET OP Houd tijdens het hele AOD-proces bij welke bronnen je geraadpleegd hebt. Noteer deze direct volgens de “APA –norm”.
13. Overig In je Plan van Aanpak neem je ook verklaringen op. a.
Akkoordverklaring opdrachtgever, student(en)/opdrachtnemer(s), docent/begeleider. Indien je Plan van Aanpak uiteindelijk aan alle criteria voldoet, kun je starten met de uitwerking van het project. Wees voorzichtig met voortzetten van je onderzoek voordat je PvA is goedgekeurd, om teleurstellingen later te voorkomen. Om de periode van planning definitief af te sluiten wordt een Akkoordverklaring getekend. Zie het voorbeeld in bijlage II. b. Geheimhoudingsverklaring. Zie het voorbeeld in bijlage III.
14. Bijlagen In de bijlagen kun je informatie plaatsen die wel van belang is, maar die het verhaal in het eigenlijke Plan van Aanpak verstoren of vertroebelen. Je kunt hier bijvoorbeeld informatie geven over de ontwikkeling van de servicedesk in de afgelopen jaren met betrekking tot moderne hulpmiddelen. Je hebt deze informatie uit deskresearch en het hoort thuis in de aanleiding om aan te geven welke factoren een rol spelen bij veranderingsbereidheid van de medewerkers. Als je deze informatie wel bij de aanleiding vermeldt, dan wordt de lezer afgeleid en raakt de draad van het verhaal kwijt; dus kun je er beter naar verwijzen. Verder kun je in de bijlagen bijvoorbeeld tekeningen, lijsten, protocollen, enz. opnemen die het verhaal moeten ondersteunen. Het zijn dus details die je onderzoeksontwerp moeten versterken; het mag nooit overbodige informatie zijn of informatie die eigenlijk in het eindrapport thuis hoort en niets met een Plan van Aanpak te maken heeft. Vergeet niet dat op basis van een Plan van Aanpak of een onderzoeksontwerp de beslissing wordt genomen of en hoe het onderzoek wordt uitgevoerd.
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 16
Bijlage I
Schema Onderzoek
In het schema zie je witte en grijze delen . De witte delen zijn keuzes die je kunt maken, de grijze delen geven je aanwijzingen waar je aan kunt denken bij de onderbouwing van je keuze. Bij het maken van het schema is geprobeerd zo volledig mogelijk te zijn, maar het schema is niet kompleet. Wil je voor je onderzoek een onderzoeksmethode gebruiken die er niet in staat is, dan is dat natuurlijk ook goed, mits je de keuze maar onderbouwt.
Onderzoek Deskresearch
Fieldresearch en/of
Gebruik van secundaire gegevens
Gebruik van primaire gegevens
Als voor- en/of hoofdonderzoek
Intern
Extern
en/of
Kwalitatief
Kwantitatief
en/of
Als voor- of hoofdonderzoek
Als voor- of hoofdonderzoek
Desk Research (gebruik van secundaire gegevens) tbv voor- en/of hoofdonderzoek
interne
externe
en/of Algemene bedrijfs bronnen
Geen bewerking nodig
Overheidsbronnen
Wetenschappelijkeof vakliteratuur
Heeft bewerking nodig
Waar tenzij
Syndicated data
Huishoudens / Industrie consumenten
Wat zijn goede en slechte bronnen Hoe betrouwbaar is de bron Hoe consistent zijn de gegevens met andere bronnen
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 17
Fieldresearch Kwalitatief
(gebruik van primaire gegevens) en/of
Kwantitatief
tbv voor- of hoofdonderzoek
Direct Groeps discussie
Interview
tbv voor- of hoofdonderzoek
Indirect
Delphimethode
Observatie
Beschrijvend Observatie gegevens
Causaal
Projectie technieken
Enquête
Overige
Open interview
Associatie techniek
Schriftelijk
Trace analyse
Semi gestuctureerd interview
Woord/zin/ verhaal afmaken
Mondeling Telefonisch Face to face
Audit
Bouwen
Electronisch
Inhouds analyse
Expressieve techniek Welke methoden
Welke methoden
Voor- en nadelen
Voor- en nadelen
Keuze
Keuze
Populatie beschrijving
Populatie beschrijving
Keuze criteria elementen
Steekproef kader
Validiteit
Steekproef (trekking)
Hoeveel
Steekproef omvang
Waar
Betrouwbaarheid
Wanneer
Validiteit
Hoe/organisatie
Representativiteit Waar Wanneer Hoe/organisatie
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 18
Experiment
BIJLAGE II AKKOORDVERKLARING Akkoordverklaring Hierbij verklaren ondergetekenden dat ze het Plan van Aanpak voor de afstudeeropdracht (AOD) hebben gelezen en akkoord bevonden hebben. Het Plan van Aanpak is de basis voor de AOD en de student en opdrachtgever conformeren zich aan de afspraken die daarin zijn vastgelegd. De student zal alles in het werk stellen de opdracht zoals deze is omschreven in dit Plan van Aanpak, uit te voeren, met in acht neming van regels die gelden op de HAN. De opdrachtgever zal voldoende informatie verstrekken aan de student om de doelstellingen van het onderzoek te kunnen behalen en de opdracht uit te voeren. Getekend,
Naam: ………………………..
Handtekening: …………………………
Datum: ……………………….
Plaats: ………………………………….
Naam: ………………………..
Handtekening: …………………………
Datum: ……………………….
Plaats: ………………………………….
Docent-begeleider Naam: ………………………..
Handtekening: …………………………
Datum: ……………………….
Plaats: ………………………………….
Opdrachtgever
Student
Meeleesdocent (indien van toepassing)
Naam: ………………………..
Handtekening: ………………………………
Datum: ……………………….
Plaats: ……………………………………….
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 19
BIJLAGE III Toestemmingsformulier Afstudeeropdracht Betreft opname van de digitale versie t.b.v. de HBO-Kennisbank
Naam student Studentnummer Titel Afstudeeropdracht Opleiding Naam Assessor Instelling/Bedrijf: Adres: Vertegenwoordigd door: Bovenstaanden geven hierbij WEL / GEEN toestemming aan de Hogeschool van Arnhem en Nijmegen om de bovengenoemde afstudeeropdracht digitaal op te nemen in de repository (databank) van de HAN, waardoor de afstudeeropdracht gratis, volledig full text en online geraadpleegd kan worden via www.hbo-kennisbank.nl Het auteursrecht op de afstudeeropdracht blijft rusten bij de student De student levert dit formulier in bij zijn/haar opleiding tegelijk met een digitale versie van zijn/haar afstudeeropdracht die aan de volgende eisen voldoet: - De afstudeeropdracht is 1 .pdf bestand. Enige uitzondering zijn bijlagen. - De volgende zaken staan duidelijk vermeld:
De naam en het studentnummer van de studenten De opleiding waar de student is afgestudeerd en de datum van afstuderen De titel van de afstudeeropdracht 3 trefwoorden die de afstudeeropdracht karakteriseren
Aldus verklaard op/te: Handtekening Instelling/Bedrijf: Datum:
Plaats:
Handtekening Student: Datum:
Plaats:
In te vullen door de assessor: Datum
Naam
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Paraaf
Cijfer
Pagina 20
Criteria for Evaluating Web Documents
Bijlage IV
Ask Yourself…
How to Evaluate Resources & Criteria for
Evaluating Web Documents Quality Varies! During your research, you will encounter lots of information. The quality of this information will vary considerably. You can find very high-quality resources in the library, like many articles in scholarly journals. But you can also find very poor resources, like some personal and commercial websites. Because of this variety, evaluation is essential. You need to find out if your resources are highquality or low-rent. Although all information needs to be evaluated, pay special attention to the information you find on websites. Remember that anyone can publish on the Web! Most people understand that information must be relevant to the topic and assignment. However, you should dig deeper when evaluating resources. We recommend that you use the AAOCC criteria. Authority Who are the authors? Are they qualified? Are they credible? With whom are they affiliated? Does their affiliation affect their credibility? Who is the publisher? What is their reputation? Accuracy Is the information accurate? Is it reliable and error-free? Are the interpretations and implications reasonable? Is there evidence to support conclusions? Is it verifiable? Do the authors list their sources, references, or citations? Objectivity What is the purpose? What do the authors want to accomplish? Does this purpose affect the presentation? Is there an implicit or explicit bias? Is the information fact or opinion? Currency Is the information current? Is it still valid? Has it been superseded by subsequent research? Coverage Is the information relevant to your topic and assignment? Who is the intended audience? Is the material presented at an appropriate level? Is the information complete? Is it unique? Bron: http://www.lib.berkeley.edu/ENGI/guides/eval_criteria.html (25-5-2010)
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 21
1. Accuracy and Authority of Web Documents
You check for accuracy when you find an author or publisher to take responsibility for the information. If the author provides contact information such as email, address and/or phone number, he/she takes responsibility. If research is being used, the author should provide a bibliography that supports what he/she is saying; this also helps the reader determine accuracy. If there is no author given, determine if the page is associated with or published by a group or organization that is taking responsibility. The domain name may give clues to this. Once you know who is responsible, check to see his/her credentials give the person authority to publish the information. What are the qualifications that this person or organization possess and are they prominent enough to be trusted? The purpose of the document should be clear. Why was it produced? The information needs to make sense and should be something that can be verified. Text should be free of errors and feel reliable.
Who is the author? Is there an address, phone number or email given? (Some way to contact author) Who publishes the website? A publisher? An organization? A group with a biased viewpoint? What is the URL and what does this tell you about the publisher of the site? .gov? .org? .net? .edu? What qualifications does the author have? Or what qualifies the group to publish such information? Is the information verifiable? Is the text free of errors, well written and cited properly?
2. Objectivity of Web Documents
The goals and objectives of the document should be made clear. The page should be objective or unbiased about the subject covered. Bias should be stated as such. If the author’s opinions are stated, they should be well substantiated and should not be presented as fact. The motives of the piece should be transparent. View each webpage as if it were an Infommercial on television - be skeptical.
Is the page a mask for advertising; if so, how might the information be biased? Why was the page written (motives)? Who is the intended audience? Are opinions backed by accurate facts and information?
3. Currency of Web Documents
The information should be up to date and there should be an indication that someone is taking care of the site. For example, if a number of the links no longer work, this is one way to tell.
When was it produced? Last updated? How many dead links are there? Is the information outdated?
4. Coverage of Web Documents
There is breadth and/or depth to the topics covered. You should have not problem viewing the information properly—not limited to fees, browser technology, or software requirement.
Is there breadth and/or depth to the topics covered? Is the information free or is there a fee to obtain information? Are you able to view the page or is software missing? Is that software free?
Bron: http://www.library.cornell.edu/olinuris/ref/webcrit.html (25-5-2010)
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 22
Bijlage V
Termenboom
Hieronder zie je een voorbeeld van een uitgewerkte termenboom. We nemen de hoofdvraag van het deelonderzoek naar de weerstanden van de medewerkers als voorbeeld: Welke weerstanden zijn op dit moment van toepassing op de medewerkers van de servicedesk met betrekking tot klantgerichter werken? In dit voorbeeld werken we het begrip weerstanden verder uit. Het spreekt natuurlijk voor zich dat je het begrip klantgerichter ook zo moet uitwerken. Aanname bij onderstaand voorbeeld is dat het gebrek aan klantgerichtheid niet komt door externe omstandigheden maar door weerstanden bij de medewerkers. In de hoofdvraag vinden we twee kernwoorden. Weerstanden en klantgericht werken. Wat we precies onder weerstand en/of klantgericht werken verstaan wordt verduidelijkt in een meetbare definitie (zie punt 7 in de toelichting op de checklist). In een meetbare definitie wordt aangegeven wat we specifiek in de context van dit onderzoek willen meten. In het voorbeeld van de weerstand zijn dit persoonlijke en organisatorische weerstanden. Deze kun je weer verder uitwerken en zo ontstaat een termenboom. Het is heel goed mogelijk dat je bij het maken van je termenboom in beide woorden dezelfde begrippen tegen komt. In dat geval weet je zeker dat je dat moet gaan meten in je onderzoek, het zou immers om een belangrijk sleutelwoord kunnen gaan. Wat je nu eigenlijk aan het doen bent is operationaliseren, het uiteen rafelen van een abstract begrip in concrete, meetbare begrippen. Je gaat dit niet allemaal zelf bedenken, hiervoor gebruik je natuurlijk ook de literatuur om een eerste aanzet te krijgen. Houd wel in de gaten dat het in de termenboom gaat om TERMEN, er wordt hier dus nog niet gezegd hoe je het gaat meten. Maar goed, als je niet weet wat je wilt gaan meten, kun je ook niet bepalen hoe je het wilt gaan meten.
HV
Welke weerstanden zijn op dit moment van toepassing op de medewerkers van de servicedesk met betrekking tot klantgerichter werken? SV SV
Welke persoonlijke weerstanden zijn op dit moment van toepassing op de medewerkers van de servicedesk met betrekking tot klantgerichter werken? Welke organisatorische weerstanden zijn op dit moment van toepassing op de medewerkers van de servicedesk met betrekking tot klantgerichter werken?
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 23
Als je de termenboom, zover als mogelijk, hebt gemaakt is voor jou duidelijk wat jij verstaat onder de begrippen weerstand en klantgericht(er) werken. Nu kun je hiermee ook naar de opdrachtgever terug gaan en vragen of hij hetzelfde verstaat onder deze kernwoorden. Als dit niet het geval is, kun je nog aanpassingen maken. Uiteindelijk is het wel zo dat jij en de opdrachtgever het eens moeten zijn/worden over de opgezette termenboom. Als de boom af is, dan zijn eigenlijk de SSSSV je vragen. Of om preciezer te zijn: onderwerpen die in je enquêtevraag moeten zitten. Als je nu alle SSSSV en eventuele SSSSSV zou verwerken in een vragenlijst krijg je een enquête van ongeveer 300 kantjes. Je hebt dan wel een inhoudsvalide onderzoek. Je meet alle aspecten van de begrippen die je zou moeten meten. Dit zou mooi zijn, maar de eerste respondent moet nog gevonden worden die deze enquête volledig gaat invullen. Ook nu ga je weer met de opdrachtgever om de tafel zitten om te bespreken wat uit je boom je wel en niet meeneemt in het onderzoek en hoe diep je gaat. Het kan dus goed zijn dat je bij organisatorische groepsnormen tot het SSSSV niveau gaat terwijl je bij systeemaanhang slechts tot de SSV gaat. Hierdoor lever je wel aan validiteit in, maar heb je wel een grotere kans op een betere respons. Daarbij hoeven voor een opdrachtgever niet alle door jou gevonden aspecten van even groot belang te zijn, misschien spelen ze zelfs geen rol. Zorg er wel voor dat de opdrachtgever zijn akkoord geeft, dan kan hij aan het einde jou nooit het verwijt maken dat je een onderdeel gemist hebt, of bij de verdediging vragen: “waarom heb je …… niet meegenomen?”
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 24
BIJLAGE VI Aanbevolen literatuur Onderzoek Baarda, B. (2009). Dit is onderzoek. Groningen: Noordhoff Uitgevers. Baarda, B., Goede, M. de, & Teunissen, J. (2005). Basisboek kwalitatief onderzoek. (2e druk). Groningen: Stenfert Kroese. Burns, A., & Bush, R. (2011). Principes van marktonderzoek. Amsterdam: Pearson. Elshof, M., & Pieters, I. (2006). Een goed onderzoek. Zutphen: Thieme Meulenhoff. Fischer, T., & Julsing, M. (2007). Onderzoek doen! Groningen: Noordhoff Uitgevers. Grit, R. (2008). Projectmanagement. (5e druk). Groningen: Noordhoff Uitgevers. Hogeweg, R. (2004). Een goed rapport. (3e druk). Utrecht: Thieme Meulenhoff. Janssen, D., Loo, M. van der, Hurk, J. van den, & Janssen, F. (2012). Zakelijke Communicatie voor professionals. Groningen: Noordhoff Uitgevers. Kempen, P., & Keizer, J. (2011). Competent afstuderen en stagelopen. (4e druk). Groningen: Noordhoff Uitgevers. Os, R. van, & Pieters, I. (2012). Basisboek Praktijkonderzoek. Harlow: Pearson Custom Publishing. Poelmans, P., & Severijnen, O. (2013). De APA-richtlijnen. Over literatuurverwijzing en onderzoeksrapportage. Bussum: Coutinho. Wuring, N. (2009). Als jij de klant was ….., Zaltbommel: Thema.
Checklist & toelichting voor het maken van een Plan van Aanpak – FEM versie 3.0
Pagina 25