voor respondent en antwoord voor antwoord: 135 x 58 = 7830 antwoorden. Het risico om fouten te maken door antwoorden over te slaan, of foutieve

1. Inleiding De laatste jaren wordt over de westerse landen steeds minder gesproken als productiemaatschappijen, en steeds meer als kenniseconomieën. De taken en problemen van onze maatschappij liggen niet langer hoofdzakelijk bij de productie van goederen en diensten. Onze maatschappij vereist een snelle en accurate toevoer en doorstroom van informatie over onder andere de voorkeuren, behoeften, meningen en gedragingen van verschillende bevolkingsgroepen. In antwoord op deze behoefte aan informatie van de overheid, het bedrijfsleven en verscheidene sociale instanties wordt veelvuldig gebruik gemaakt van de onderzoeksmethode van de enquête. Enquêtes kunnen voor veel onderzoeksdoelen gebruikt worden en kunnen op meerdere manieren uitgevoerd worden. Vaak wordt een enquête uitgevoerd als aanvulling op, of als basis van een groter onderzoek. Een online enquête kan dan een goede uitkomst bieden. Belangrijke voordelen van een online enquête boven andere enquêtestrategieën zijn de snelheid waarmee de enquête opgezet, uitgevoerd en verwerkt kan worden, en het feit dat redelijk

eenvoudig

een

grote

populatie

bereikt

kan

worden.

Een

dergelijke

onderzoeksstrategie wordt dan ook vaak toegepast voor het uitvoeren van marktonderzoeken of politieke peilingen. Voor een onderzoek met als thema ‘computervirussen’ wilde ik meer weten over de manier waarop verschillende groepen computergebruikers omgaan met computervirussen. Om dit te onderzoeken heb ik een enquête opgesteld en uitgevoerd op papier en het World Wide Web, waarbij de respondenten gevraagd worden naar hun mening over en hun gedragingen ten opzichte van computervirussen. Ondanks de vele adviezen en waarschuwingen die in de literatuur over het opzetten en uitvoeren van een enquête te vinden zijn, zijn de problemen die het uitvoeren van een enquête met zich mee kan brengen moeilijk te voorzien. Om zoveel mogelijk moeilijkheden te voorkomen, zijn de adviezen van verschillende onderzoekers voor het bewoorden van de vragen en het opstellen van vragenlijsten nauwkeurig opgevolgd, en zijn de meeste vragen gesloten geformuleerd. Zowel het opzetten van de enquête voor het ‘Computer Virus Onderzoek’ (in het vervolg aangeduid met ‘CVO’), als het uitvoeren van de enquête onder 135 deelnemers leverden geen problemen op. Het verwerken van de verzamelde gegevens is dan de volgende stap. Hier liep ik tegen een tweetal moeilijkheden op: 1. De antwoorden die op de papieren versie ingevuld waren, zijn handmatig in MS Access ingevoerd. De antwoorden die verzameld zijn door de online versie van de enquête zijn verstuurd via e-mail. Deze e-mailberichten waren niet gestructureerd opgezet, waardoor het nodig was ook deze antwoorden handmatig in te voeren in de database: respondent

1

voor respondent en antwoord voor antwoord: 135 x 58 = 7830 antwoorden. Het risico om fouten te maken door antwoorden over te slaan, of foutieve waarden in te voeren, is bij een dergelijke invoermethode te groot. 2. De antwoorden op de gesloten vragen konden rechtstreeks overgenomen worden in de database. De verwerking van deze antwoorden leverde geen moeilijkheden op. Om de antwoorden op de open vragen te kunnen verwerken zijn categorieën aangemaakt, waarbij ieder antwoord in maximaal één categorie ingedeeld is. De categorieën kregen een karakter toegekend (bijvoorbeeld ‘A’, ‘B’ of ‘C’), welke gebruikt is om als antwoord op de betreffende vraag in de database op te slaan. Op deze manier zijn de antwoorden dus ‘gekwantificeerd’ en behandeld als zijnde antwoorden op gesloten vragen. Een vraag als “Wat is volgens u een passende straf voor virusmakers en anderen die bewust virussen verspreiden?” leverde antwoorden op als “geldboete en gevangenisstraf”, “actief inzetten bij gedupeerde bedrijven en een geldboete betalen”, “geldboete die betaald moet worden aan degenen die schade hebben geleden”, en kortweg “geldboete”. Al deze antwoorden zijn ingedeeld in de categorie “geldboete”. Echter, op deze manier gaat te veel van de oorspronkelijke informatie verloren. Het eerste probleemgebied, dat van de gegevensinvoer en de gegevensopslag, is te verwachten bij een enquête die op papier uitgedeeld wordt. De antwoorden die via een online enquête verzameld worden staan reeds in elektronische vorm opgeslagen en zouden dus voor minder problemen op dit gebied moeten zorgen. Doordat de antwoorden op een ongestructureerde manier via e-mail verzonden werden, kon nauwelijks van dit voordeel gebruik gemaakt worden. De verwerking van de antwoorden op de open vragen, het tweede probleemgebied, geeft bij beide enquêtestrategieën problemen. Er is dus behoefte aan één, eenvoudig en snel te gebruiken ‘tool’ voor het opzetten, het uitvoeren en het verwerken van een enquête, en bij voorkeur een enquête die op het World Wide Web uitgevoerd wordt. Daarbij dient het verwerkingssysteem dermate uitgebreid te zijn dat het mogelijkheden biedt voor de invoer en opslag van de verzamelde antwoorden, een analyse van de antwoorden op zowel de open als de gesloten vragen, en tenslotte een presentatie van de uiteindelijke resultaten. Aan de hand van deze systeemeisen kunnen de volgende vragen gesteld worden: 1. Hoe ziet een dergelijke ‘tool’ er idealiter uit? 2. Bestaat een dergelijke tool? En, zo ja: welke functies worden geboden? 3. Zo nee: is het mogelijk een dergelijke ‘tool’ te ontwikkelen en op welke manier kan dit gebeuren?

2

Deze vragen hebben geleid tot de volgende onderzoeksvraag “In hoeverre is het mogelijk antwoorden op zowel open als gesloten vragen in online enquêtes zoveel mogelijk geautomatiseerd en in één systeem op te slaan, te analyseren en te presenteren?” Om een antwoord op deze onderzoeksvraag te kunnen geven, wordt in de volgende hoofdstukken aandacht besteed aan de volgende tien deelvragen: 1. Wat zijn de voor- en nadelen van het uitvoeren van een online enquête, naast andere enquêtestrategieën? 2. Wat zijn open vragen en gesloten vragen? 3. Welk vraagtype is het meest geschikt om te gebruiken in een enquête? 4. Op welke manieren kunnen de antwoorden op open vragen verwerkt worden? 5. Wat zijn de gewenste systeemfunctionaliteiten van een online enquêtesysteem? 6. Op welke manieren kunnen de antwoorden op zowel open als gesloten vragen tezamen in één bestaand systeem opgeslagen, geanalyseerd en gepresenteerd worden? 7. Voldoen deze ‘totaal’-systemen aan de gewenste systeemfunctionaliteiten? 8. Op welke manier gaan bestaande online enquêtesystemen om met beide typen vragen en antwoorden? 9. Voldoen deze online enquêtesystemen aan de gewenste systeemfunctionaliteiten? 10. Hoe kan een alternatief systeem, dat zoveel mogelijk tegemoet komt aan de gewenste systeemfunctionaliteiten, eruit zien? In hoofdstuk twee wordt een theoretisch kader geschetst waarbij een antwoord gegeven wordt op de eerste drie deelvragen. Door te kijken naar verschillende methodologieën en onderzoeksmethoden wordt uitgelegd wat de voor- en nadelen zijn van een enquête, in het bijzonder van de online enquête. Verder behandelt dit theoretische hoofdstuk de begrippen ‘open vragen’ en ‘gesloten vragen’. Veel enquêtes zijn dusdanig opgesteld dat er zo min mogelijk open vragen gesteld worden. Hoofdstuk twee sluit daarom af met het beantwoorden van de derde deelvraag, welke vraagvorm het beste gekozen kan worden om te gebruiken in een enquête. Deelvraag vier wordt in hoofdstuk drie behandeld, waarbij wordt ingegaan op een methode die een uitgebreide en verantwoorde analyse van open antwoorden mogelijk maakt: de op de ‘Grounded Theory’ methode gebaseerde ‘Computer Assisted Qualitative Data Analysis Software’ of kortweg CAQDAS. Hoewel er wel computerprogramma’s als voorbeelden

3

genoemd worden, gaat het in dit hoofdstuk enkel om de theoretische mogelijkheden, niet om specifieke software. Deelvragen vijf, zes en zeven worden in het vierde hoofdstuk beantwoord. De verschillende analysefuncties die in het derde hoofdstuk aan bod zijn gekomen, worden in dit hoofdstuk afgezet tegen zowel de antwoorden op open vragen, als de antwoorden op gesloten vragen. Aan de hand van deze koppeling en de bestudering van de mogelijkheden van twee bestaande systemen, Kwalitan en MS Access, is gekeken wat de beste oplossing is en op welke manier deze oplossing gekoppeld kan worden aan een online enquêtesysteem. Om het onderzoek naar de verschillende mogelijkheden van bestaande ‘tools’ af te sluiten, wordt een vergelijkend onderzoek gedaan naar bestaande online enquêtesystemen die de onderzoeker begeleiden bij het aanmaken, uitvoeren en verwerken van een enquête. Op basis van deze vergelijking en op basis van de in hoofdstuk drie opgedane kennis omtrent verschillende CAQDAS functionaliteiten en de bruikbaarheid van deze functionaliteiten bij de verwerking van antwoorden op zowel open als gesloten vragen, is het mogelijk een tool te ontwerpen

en

te

ontwikkelen

die

zoveel

mogelijk

voldoet

aan

de

gewenste

systeemfunctionaliteiten. Deze realisatie en implementatie van een nieuwe online enquêtesysteem wordt in hoofdstuk vijf uitgebreid besproken. In hoofdstuk zes wordt bekeken op welke punten een vervolgonderzoek interessant kan zijn en worden tussentijdse conclusies samengevoegd om een antwoord te geven op de onderzoeksvraag. Ter illustratie zijn regelmatig voorbeelden uit mijn eigen enquête gebruikt.

4

2. Theoretisch kader

2.1. Inleiding De onderzoeksvraag suggereert een tweetal belangrijke thema’s, namelijk ‘online enquêtes’ en ‘antwoorden op open en gesloten vragen’. Dit hoofdstuk is bedoeld om deze twee thema’s in de context van de onderzoeksvraag toe te lichten, zodat deze in de volgende hoofdstukken, zonder verdere toelichting, gehanteerd kunnen worden. Het thema ‘online enquêtes’ wordt behandeld aan de hand van de termen ‘onderzoeksmethodologie’, ‘onderzoeksmethode’ en ‘onderzoeksstrategie’. Deze begrippen worden kort uitgelegd en er worden van ieder begrip een aantal voorbeelden uitgewerkt. Ook het tweede thema, ‘antwoorden op open en gesloten vragen’, komt in dit hoofdstuk aan bod. Beide typen vragen, open en gesloten, worden gedefinieerd. Er wordt tevens bekeken welke type het beste gebruikt kan worden aan de hand van een overzicht van voor- en nadelen per vraagtype.

2.2. Enkele onderzoeksmethodologieën Een methodologie kan beschouwd worden als het standpunt van waaruit een onderzoek wordt uitgevoerd. Een methodologie kiezen heeft alles te maken met het type gegevens dat gezocht wordt en het type onderzoek dat uitgevoerd moet worden. Er bestaan veel verschillende methodologieën, zoals primair onderzoek, secundair onderzoek, inductief onderzoek en deductief onderzoek (zie Skinner). Een andere opzet is die van het kwalitatieve en kwantitatieve onderzoek. Voor deze scriptie zijn vooral de verschillen tussen deze twee laatste onderzoeksmethodologieën interessant. Het verschil tussen kwalitatief en kwantitatief onderzoek is niet zwart-wit. Kwantitatief onderzoek zoekt naar aantallen, getallen en percentages. Kwantitatief onderzoek is inventariserend. Dit type onderzoek wordt in de literatuur ook wel aangeduid met ‘hard research’ (Silverman 2000). Voorbeelden van kwantitatief onderzoek zijn politieke peilingen en marktonderzoek (voor bepaalde producten of diensten). Kwalitatief onderzoek is explorerend. Dit type onderzoek zoekt naar (actieve) kennis, opvattingen, meningen en gedragingen. Generaliserend kan gezegd worden dat kwalitatief onderzoek getallen vermijdt. Dit type onderzoek wordt door Silverman (2000) ook wel ‘soft research’ genoemd.

5

De termen kwalitatief en kwantitatief worden in het vervolg met name gebruikt om twee verschillende soorten gegevens aan te duiden, en niet zo zeer om twee verschillende onderzoeksmethodologieën te omschrijven. Moore en McCabe (1997) beschouwen kwantitatieve gegevens als numerieke waarden waarop rekenkundige bewerkingen en statistische methoden toepasbaar zijn. Zij geven als voorbeelden van kwantitatieve gegevens een lengte in centimeters of het inkomen in ecu per gezin. Kwalitatieve gegevens zijn volgens hen de categorieën waartoe een persoon of ding behoort, zoals het geslacht van een persoon. Deze waarden kunnen soms ook in getallen uitgedrukt worden zoals vrouwelijk = 1 en mannelijk = 0. Het is volgens hen niet zinvol om statistische methoden toe te passen op een verzameling van nullen en enen en dat is de reden dat deze waarden kwalitatief zijn en niet kwantitatief. In deze scriptie worden de termen kwalitatief en kwantitatief op een iets andere manier gehanteerd dan dat ze door Moore en McCabe gedefinieerd worden. Kwantitatieve gegevens zijn in de context van deze scriptie alle gegevens die geteld of geturfd kunnen worden en die snel en eenvoudig omgezet kunnen worden naar percentages. Kwalitatieve gegevens daarentegen kunnen niet simpelweg geteld worden en dienen eerst geïnterpreteerd te worden voordat analyse mogelijk is. Vanuit deze optiek is het voorbeeld dat Moore en McCabe gaven, het geslacht van een persoon, een kwantitatief gegeven, immers er kan geteld worden hoeveel respondenten mannelijk en hoeveel vrouwelijk zijn.

2.3. Enkele onderzoeksmethoden Nadat een geschikte methodologie als invalshoek voor het onderzoek gekozen is, kan een methode voor het uitvoeren van het onderzoek bepaald worden. Hierbij dient rekening gehouden te worden met het type gegevens dat gezocht wordt en de methodologie die gevolgd dient te worden. Hier volgt allereerst een korte omschrijving van de meest gebruikte onderzoeksmethoden. 2.3.1. Experiment Een experiment is een onderzoek dat geschiedt door middel van voor- en nametingen, rond een uitgevoerde test. Het doel van een experiment is het bewijzen van een causale relatie tussen te manipuleren onafhankelijke variabelen en te meten afhankelijke variabelen. Hiervoor wordt gebruik gemaakt van proefpersonen of proefomgevingen in experimenteleen controlegroepen, vaak in een laboratorium. Doordat in deze beperkte omgeving alle variabelen onder controle gehouden kunnen worden, is er voor de verkregen resultaten geen

6

andere verklaring dan de ‘manipulatie door de onderzoeker’ als oorzaak mogelijk. Dit wordt ook wel interpretatie-exclusiviteit genoemd. Bij een goed uitgevoerd experiment is er dus sprake van een zeer nauwkeurige waarneming. 2.3.2. Enquête Het doel van een enquête is het beschrijven en plausibel verklaren van verbanden tussen een groot aantal kenmerken bij een groot aantal eenheden (individuen of groepen mensen). Het gaat hierbij met name om gedragingen, opvattingen en meningen waarnaar gevraagd wordt. Dit onderzoek kan door verschillende vraagtypen te gebruiken zowel kwalitatief als kwantitatief zijn.1 Onderzoek geschiedt door ‘proefpersonen’ (respondenten) een vragenlijst voor te leggen. Hoewel een enquête op een redelijk eenvoudige en snelle manier veel informatie van veel respondenten kan opleveren, kent het stellen van vragen aan respondenten ook vele risicopunten die de resultaten ongemerkt sterk kunnen beïnvloeden. Babbie (2001) noemt als voorbeelden hiervan: foutieve vraagstelling, foutieve vraagvolgorde en interpretatiefouten door de respondent en / of de onderzoeker. 2.3.3. Veldonderzoek Doel van het veldonderzoek is het observeren, beschrijven en interpreteren van gedragingen van onderzoekseenheden (zoals mensen, planten of dieren) in een beperkte, natuurlijke situatie. Middelen hierbij zijn ‘veldsubjecten’ in natuurlijke groepen. Doordat de onderzoeker de natuurlijke situatie van een populatie bestudeert is hij / zij daarbij niet afhankelijk van derden. Om betrouwbare resultaten te verkrijgen is het van belang dat de natuurlijke situatie niet verstoord wordt door het onderzoek. 2.3.4. Bronnenonderzoek Bronnenonderzoek, oftewel secundair onderzoek, is het raadplegen van bestaande bronnen. Het kan hierbij bijvoorbeeld gaan om beschrijvingen van eerder gedaan onderzoek en de resultaten daarvan, maar het kan ook gaan om beschreven feiten. Deze bronnen zijn onder andere te vinden in archieven, databanken en bibliotheken. De middelen die gebruikt worden zijn eenheden van beeld, geluid en tekst. Doordat het om bestaande bronnen gaat, die opnieuw te raadplegen zijn, is het mogelijk goed vast te stellen welke invloed de interpretatie van de onderzoeker heeft gehad op de resultaten van het onderzoek.

1

Voor de verschillende typen vragen, zie §2.5.

7

2.3.5. Vergelijking Iedere onderzoeksmethode heeft zijn eigen voor- en nadelen. De meest kenmerkende van deze voor- en nadelen zijn in tabel 1 kort nogmaals weergegeven.

Experiment

Enquête

Veldonderzoek

Bronnenonderzoek

Voordelen - interpretatieexclusiviteit → zeer nauwkeurige waarneming - grote onderzoekspopulatie - eenvoudig om meerdere kenmerken in één keer te bestuderen - niet afhankelijk van derden - flexibiliteit: het onderzoek kan op ieder moment worden aangepast -

lage kosten exacte vaststelling van de interpretatie van de onderzoeker mogelijk

Nadelen - alle condities dienen zoveel mogelijk hetzelfde te blijven - kleinschalig onderzoek - aantal resultaten afhankelijk van de medewerking van derden - veel risicopunten - derden mogen zich niet bewust zijn van het onderzoek - alle factoren die invloed kunnen hebben op de resultaten zijn variabel - kleinschalig onderzoek - geen gebruikmaking van nieuwe of vernieuwende gegevens - eerder gedane onderzoek moet aansluiten bij eigen onderzoek

Tabel 1. Voor- en nadelen van verschillende onderzoeksmethoden.

2.4. Enkele enquêtestrategieën Deze scriptie houdt zich bezig met de methode van de “enquête”. Nadat er gekozen is voor deze onderzoeksmethode, volgt het kiezen van een onderzoeksstrategie om de enquête uit te voeren. De drie meest gebruikte strategieën worden in deze paragraaf behandeld. 2.4.1. Mondeling Mondelinge enquêtes zijn er in twee vormen, namelijk ‘face to face’ of via de telefoon. Uit onderzoeken is gebleken dat interactie tussen de respondent en de enquêteur leidt tot een betrouwbaarder resultaat van het onderzoek. Reden hiervoor is wellicht de mogelijkheid om tussentijds toelichting te geven. Op deze manier kan meer duidelijkheid verschaft worden

8

omtrent de bedoeling van de vraag door de onderzoeker en de betekenis van het antwoord door de respondent. Echter, juist door de aanwezigheid van de enquêteur is het ook mogelijk dat de respondent niet een geheel eerlijk antwoord durft of wil geven. En een enquêteur die niet neutraal is of die teveel in discussie treedt met de respondent kan het onderzoek sterk beïnvloeden. Mondelinge enquêtes kunnen ondersteund worden door het gebruik van een computer, er wordt dan gesproken van de ‘Computer Assisted Personal Interviewing’ (CAPI) of ‘Computer Assisted Telephone Interviewing’ (CATI) methode. Door gebruikt te maken van een computer is het mogelijk de bijzondere functionaliteiten van de computer aan te spreken. Zo kan een door de computer ondersteunde enquête aan een database gekoppeld worden, waardoor de gegevens direct elektronisch opgeslagen kunnen worden op een gestructureerde manier, waarop meteen een analyse uitgevoerd kan worden. Ook de tijd die een respondent nodig heeft gehad om een vraag te beantwoorden kan opgeslagen worden. Uit onderzoek is gebleken dat de tijd die een respondent nodig heeft voor het beantwoorden van een vraag samenhangt met het al dan niet ‘faken’ van een antwoord. Bij deze computerondersteunde methode is het bovendien aantrekkelijk gebruik te maken van allerlei vormen van multimedia, zoals bewegend beeld en geluiden. Door middel van hyperlinks kan de respondent automatisch naar de volgende vraag geleid worden, afhankelijk van een eerder gegeven antwoord. Het aanwezig zijn van de enquêteur kost veel tijd (en geld) en daarom wordt een mondelinge enquête vaak slechts op kleine schaal uitgevoerd. Door de aanwezigheid van de enquêteur kunnen de respondenten niet anoniem antwoorden. Dit ligt vooral bij persoonlijke vragen gevoelig. 2.4.2. Schriftelijk Het werken met een (telefonische) enquêteur is niet altijd de meest ideale optie. Onder andere bij gevoelige, persoonlijke en tijdrovende onderwerpen is de drempel tot openhartig antwoorden hoger als er een interviewer in het spel is. Schriftelijk onderzoek kan dan een uitkomst zijn. Bij een schriftelijke enquête krijgt de respondent een formulier waarop de antwoorden aangegeven of ingevuld kunnen worden. In de literatuur wordt deze methode ook wel ‘PAPI’ genoemd: ‘Paper And Pencil Interviewing’ (zie ook Vasu & Vasu 1999). Voordelen van deze methode zijn het behoud van de privacy van de respondent en de mogelijkheid voor de respondent de enquête op de voor hem / haar meest geschikte tijd en op de meest geschikte plaats in te vullen. Ten opzichte van een mondelinge enquête, kent de

9

schriftelijke enquête als belangrijkste nadeel dat tussentijds ingrijpen door de enquêteur niet mogelijk is. Bovendien is van tevoren nooit precies bekend hoeveel respondenten uiteindelijk aan de enquête zullen meewerken, en de ingevulde enquête zullen retourneren. 2.4.3. Via het World Wide Web Een methode die vergelijkbaar is met ‘PAPI’, is het afnemen van een enquête op Internet. De respondent kan bij de onlinemethode in een formulier (‘online form’) de antwoorden aanklikken of intypen. Deze methode wordt ook wel ‘Computer Assisted Survey Research’ (CASR), ‘Computerized Self-Administered Questionnaire’ (CSAQ) of ‘Computer Assisted Web Interviewing’ (CAWI) genoemd (zie bijvoorbeeld Vasu & Vasu 1999, Nipo). Kiesler en Sproull (1986) hebben een onderzoek gedaan naar de betrouwbaarheid van antwoorden die gegeven zijn op enquêtes die op Internet uitgevoerd zijn, in vergelijking met enquêtes die op papier uitgevoerd zijn. Zij kwamen tot de ontdekking dat elektronische enquêtes waarschijnlijk betrouwbaarder waren dan de ‘PAPI’ methode. De respondenten gaven eerlijkere antwoorden en namen een extremere positie in. Het artikel waarin dit onderzoek kort wordt aangehaald vermeldt niet waarop deze conclusie is gebaseerd. Waarschijnlijk is de online enquête betrouwbaarder dan de schriftelijke enquête doordat de respondent er zelf voor kiest de website met de online enquête te bezoeken en aan de enquête mee te werken. De motivatie om de enquête naar waarheid in te vullen zal daardoor wellicht groter zijn dan bij een schriftelijke enquête. De voordelen van de schriftelijke enquête en van de door een computer ondersteunde mondelinge enquête gelden ook voor de online enquête. De enquête kan op een plaats en tijd ingevuld worden die voor de respondent het meest geschikt is. Bovendien biedt de online enquête de respondent meer privacy, doordat er geen enquêteur bij aanwezig is. De technische mogelijkheden van het World Wide Web kunnen door een online enquête goed benut worden: gebruik van multimedia, hyperlinks en een direct aan de enquête gekoppelde database voor een gestructureerde opslag van de gegevens en een directe verwerking (‘realtime’) van de verzamelde antwoorden. Maar een enquête op het Internet kent nog meer voordelen. Allereerst heeft de online enquête als voordeel boven de schriftelijke enquête dat er nauwelijks kosten voor de verspreiding aan verbonden zijn: er hoeft niets geprint of gekopieerd te worden. Het grootste voordeel is waarschijnlijk wel de eenvoud en de snelheid waarmee een ongekend grote populatie bereikt kan worden. Coomber (1997) schrijft over zijn ervaringen met een online uitgevoerde enquête: “A potentially vast population of all kinds of

10

individuals and groups may be more easily reached than ever before, across geographical borders, and even continents.” Coomber geeft toe dat het Internet ook nadelen kent. Via het Internet worden alleen respondenten bereikt die van de computertechnologie gebruik (kunnen) maken. Dit heeft zijn weerslag op de representativiteit wat betreft achtergrond, opleiding en geslacht van de bereikte individuen.2 Ook Babbie (2001) geeft aan dat de representatie een probleem is voor de meeste onderzoekers: zijn de mensen die deelnemen aan een online enquête wel representatief voor de te onderzoeken populatie? Echter, in 1996 berichtte Nielsen al: “While Internet users still tend to be upscale, their overall characteristics are coming more in line with general population averages.” En: “Internet access and use are becoming increasingly mainstream.” (zie hiervoor de website van CommerceNet). Tegenwoordig zijn er steeds meer mensen uit allerlei bevolkingsgroepen die gebruik maken van het Internet, en die daardoor bereikbaar zijn voor een enquête die via dit medium uitgevoerd wordt. Toch dient er rekening gehouden te worden met het feit dat bepaalde groepen op deze manier niet bereikt zullen worden en dat het ook mogelijk is dat een respondent de enquête meerdere malen invult. 2.4.4. Vergelijking In tabel 2 zijn de voor- en nadelen van de besproken enquêtestrategieën puntsgewijs nogmaals naast elkaar gezet.

Mondeling

Schriftelijk

Voordelen - interactie leidt tot betere uitkomsten - tussentijds toelichten of ingrijpen mogelijk - aantal respondenten van tevoren bekend - indien ondersteund door computer: koppeling aan gestructureerde database, gebruik van hyperlinks en gebruik van multimedia - veel anonimiteit - kan op eigen plaats en tijd ingevuld worden

Nadelen - aanwezigheid van enquêteur kost geld en tijd → kleinschalig onderzoek - weinig anonimiteit - aanwezigheid van enquêteur kan resultaten sterk beïnvloeden

-

aantal respondenten van tevoren niet bekend drukken en verspreiden van enquêtes kostbaar tussentijds toelichten of

2

In 1997 waren het voornamelijk nog de welgestelde, goedopgeleide jonge mannen die gebruik maakten van het World Wide Web en die dus via dit medium bereikbaar waren voor deelname aan een enquête.

11

Online

-

veel anonimiteit kan op eigen plaats en tijd ingevuld worden koppeling aan gestructureerde database gebruikmaking van multimedia gebruikmaking van hyperlinks lage kosten grote onderzoekspopulatie

-

ingrijpen niet mogelijk aantal respondenten van tevoren niet bekend tussentijds toelichten of ingrijpen niet mogelijk sommige respondenten niet bereikbaar door techniek enquête kan meerdere malen door dezelfde respondent ingevuld worden

Schema 2. Voor- en nadelen van verschillende enquêtestrategieën.

2.5. Twee vraagvormen Een enquête kan zoals eerder gezegd uit twee soorten vragen bestaan: gesloten en open vragen. In deze paragraaf worden de verschillen tussen deze twee vraagvormen aangegeven. 2.5.1. Gesloten vragen Gesloten vragen zijn vragen waarbij de respondent een antwoord kan kiezen uit een set vooraf gegeven alternatieven. Indien het gaat om toetsvragen (proefwerk, examen e.d.), heten de foutieve alternatieven ‘afleiders’. (Zie ook Moelands e.a.) Om een set met alternatieven te bedenken heeft de onderzoeker veel kennis nodig van het bevraagde onderwerp en van de respondenten. De set dient ‘exclusive’ (exclusief) en ‘exhaustive’ (uitputtend) te zijn: de antwoorden mogen elkaar niet overlappen, en alle te bedenken antwoorden moeten opgenomen zijn. Het antwoord dat de respondent zal kiezen is bij een gesloten vraag sterk afhankelijk van de gepresenteerde set antwoordmogelijkheden. Bij een kleiner aantal alternatieven is de kans dat het ‘goede’ antwoord geraden of gegokt wordt groter. De combinatie van een vraag met gegeven antwoorden waaruit de respondent dient te kiezen zorgt ervoor dat de kans op een verkeerde interpretatie door zowel de respondent als de onderzoeker aanzienlijk verkleind wordt. Een gesloten vraag kan in vele vormen voorkomen: -

meerkeuzevraag met alternatieven waarbij één antwoord aangekruist mag worden, in een online formulier weergegeven met een zogenaamde radiobutton:

-

meerkeuzevraag met alternatieven waarbij meerdere antwoorden aangekruist mogen worden, in een online formulier aangegeven met een zogenaamde checkbox:

12

-

likertschaal waarbij de ondervraagde op een schaalverdeling een mening aan kan geven (schaal loopt bijvoorbeeld van “mee oneens – neutraal – mee eens”)

-

meerkeuzevragen met, afhankelijk van het gekozen antwoord, een vervolgvraag.

De antwoorden op gesloten vragen zijn eenvoudig te tellen en te verwerken omdat er een restrictie is gegeven aan het maximale aantal verschillende antwoorden, en omdat de verschillende antwoordmogelijkheden van tevoren bekend zijn. De analyse van de antwoorden op gesloten vragen is vergelijkbaar met de verwerking van kwantitatieve gegevens, en daarom worden de antwoorden op de gesloten vragen in het vervolg ook wel aangeduid met kwantitatieve gegevens. 2.5.2. Open vragen Bij open vragen dient de respondent zelf een antwoord te bedenken en in te vullen. Een open vraag kan de respondent vragen om een geheel eigen, open antwoord te geven, in volzinnen. Dit levert vaak veel woorden op, die voor de analyse van de antwoorden overbodig zijn, zoals lidwoorden, hulpwerkwoorden en voorzetsels. Daarom kan er ook gevraagd worden om woordassociaties. Hierbij worden alleen de functiewerkwoorden en naamwoorden door de respondent genoteerd, waardoor antwoord door de respondent zelf al teruggebracht wordt tot de essentie. In de meeste enquêtes wordt echter nauwelijks gebruik gemaakt van open vragen. Dit heeft voornamelijk te maken met de tijdrovende en kostbare verwerking van open antwoorden. De antwoorden zijn moeilijker te categoriseren en kunnen niet simpelweg geteld worden. De onderzoeker moet meer tijd nemen voor het doornemen en interpreteren van de antwoorden. Deze interpretatie levert het gevaar op van ‘misunderstanding’ en ‘researcher bias’: de resultaten zijn afhankelijk van de interpretatie van de vraag door de respondent, en de interpretatie van het antwoord door de onderzoeker (Babbie 2001). De uiteindelijke resultaten kunnen door een verkeerde interpretatie de plank volledig misslaan. Soms is het noodzakelijk een open vraag te stellen, bijvoorbeeld wanneer het niet mogelijk is van tevoren alle mogelijke alternatieven voor een gesloten versie te bedenken, of wanneer de onderzoeker wil voorkomen dat de respondent in een bepaalde richting geduwd wordt of een bepaald antwoord moet kiezen. In sommige gevallen is het belangrijk de actieve kennis van de respondent te testen (bijvoorbeeld in het geval van toetsen en examens). Een open antwoord is vaak genuanceerder dan een gesloten antwoord en geeft een grote hoeveelheid details. Een open vraag kent ook meerdere gradaties. Een volledig open vraag is bijvoorbeeld: “Heeft u verder nog vragen of opmerkingen?”. Het antwoord op deze vraag is van tevoren

13

volstrekt onbekend voor de onderzoeker. Een respondent kan een vraag stellen of een opmerking maken over het doel van het onderzoek, de opzet van het onderzoek, de resultaten van het onderzoek of over een specifieke vraag uit de enquête. Een andere gradatie is een open vraag die wel vraagt om een geheel eigen antwoord in te voeren, maar waarbij de respondent door de vraagstelling al wel in een bepaalde richting geduwd wordt. Bijvoorbeeld: “Hoe bent u erachter gekomen dat uw computer geïnfecteerd was met een computervirus?”. Hoewel het antwoord niet van tevoren bekend is, is bij een dergelijke vraag wel bekend waar de respondent over zal schrijven, namelijk de manier waarop hij / zij erachter is gekomen dat de computer geïnfecteerd was met een computervirus. Een derde mogelijkheid is een open vraag die net zo goed ook in gesloten vorm gesteld kan worden en waarbij de vorm van het antwoord van tevoren bekend is: “Wat is uw leeftijd?”. Een gesloten versie van deze vraag kan zijn: “Tot welke leeftijdscategorie behoort u?”. De onderzoeker weet dat de respondent in het geval van de open vraag een getal zal invullen, en in het geval van de gesloten vraag een categorie. Beide antwoorden zijn te behandelen als een gesloten antwoord: eenvoudig te tellen (of te turven) en daardoor geschikt voor een snelle statistische verwerking. 2.5.3. Gesloten vraag met open optie Een bijzondere vorm van gesloten vraag is de gesloten vraag met een open optie. Voorbeelden uit mijn eigen enquête zijn: “Anders, namelijk:…” en “Ja, omdat: …”. Door een dergelijke optie op te nemen in de vraag wordt het voor de respondent mogelijk een antwoord te geven, dat niet opgenomen is in de set vooraf gegeven alternatieven. Indien de respondent er voor kiest hier een eigen antwoord in te vullen wordt de gesloten vraag opeens een open vraag en dient het antwoord ook als dusdanig behandeld te worden. 2.5.4. Vergelijking De manier waarop de vraag gesteld wordt, heeft grote invloed op het antwoord van de respondent. Gendall en Hoek (1990) hebben een meervoudig onderzoek gedaan in hoeverre het gegeven antwoord afhangt van de bewoording van de vraag (positief of negatief bijvoorbeeld), de volgorde waarin de vragen gesteld worden en het type vraag dat gekozen wordt, open of gesloten. Om te onderzoeken wat het verschil in resultaten kan zijn bij een open of een gesloten vraag, hebben de onderzoekers een testenquête gehouden. Zij hebben de ondervraagden telkens één van de volgende vragen voorgelegd:

14

Versie 1 – Open vraag: “What do you think is the single most important problem facing New Zealand right now?” Versie 2 – Gesloten vraag: “Which of these is the single most important problem facing New Zealand right now?”

Aids

Interest rates

Inflation

Unemployment

High exchange rates

Economy in general

Law and order

Racial problems

Antwoorden op de open vraag zijn uiteindelijk (daar waar mogelijk) gecategoriseerd in gesloten alternatieven zodat vergelijking met de gesloten vraag mogelijk werd. De categorieën en de resultaten van beide vraagstellingen zijn in tabel 3 naast elkaar gezet. Most important problem

Gesloten vraag %

Open vraag %

Unemployment

56

50

Economy in general

22

11

Law and order

9

5

Racial problems

7

10

Aids

6

-

Don’t know

1

-

Unstable government

-

5

Declining moral standards

-

3

Other *

-

16

Total

100%

100%

* “Including: schooling, drugs, lack of Christian faith, laziness, David Lange, breakdown of family”

Tabel 3. Resultaten van de testenquête van Gendall en Hoek (1990). Zoals de onderzoekers verwachtten, en zoals in bovenstaande tabel duidelijk af te lezen is, was het patroon van de gegeven antwoorden op de open en de gesloten vraag verschillend, terwijl het algemene beeld dat van beiden ontstond hetzelfde was (bijvoorbeeld,

15

‘unemployment’ was in beide gevallen het belangrijkste issue volgens de respondenten). Hieruit kan geconcludeerd worden dat de resultaten voor een deel wel degelijk afhangen van de vraagvorm. Beide vraagvormen hebben eigen voor- en nadelen. Deze zijn in tabel 4 kort opgesomd.3

Open vragen

Gesloten vragen

Voordelen - genuanceerde en informatieve antwoorden door gebruikmaking van jargon en creativiteit bij verwoorden van het antwoord - respondent wordt niet in een richting geduwd of gedwongen een keuze te maken - antwoord kan niet geraden of gegokt worden - onderzoeker hoeft geen rekening te houden met set alternatieven - antwoorden makkelijk (statistisch) te verwerken - resultaten betrouwbaar - kans op misinterpretatie minimaal

Nadelen - verwerking van de verzamelde antwoorden is tijdrovend - verkeerde interpretatie mogelijk door zowel respondent als onderzoeker

-

kennis nodig van onderwerp en respondenten voor maken van een alternatievenset resultaten afhankelijk van het alternatievenset minder informatief dan open antwoorden

-

Tabel 4. Voor- en nadelen van de verschillende vraagvormen.

2.6. Conclusie In

dit

hoofdstuk

zijn

in

het

kort

een

aantal

onderzoeksmethodologieën

en

onderzoeksmethoden besproken. De onderzoeksmethode van de enquête is verder uitgewerkt in een bespreking van de verschillende enquêtestrategieën, waarbij de nadruk lag op de bespreking van de online enquête. Tenslotte zijn twee verschillende typen vragen die in een enquête kunnen voorkomen kort vergeleken. Bij dergelijke vergelijkingen tussen open en gesloten vragen in de literatuur wordt vaak aangeraden in enquêtes alleen gebruik te maken

3

Hierbij moet wederom vermeld worden dat de lijst niet uitputtend is, maar alleen ingaat op verschillen die voor het onderwerp van deze scriptie van belang zijn.

16

van gesloten vragen, vanwege de korte verwerkingstijd en de betrouwbaarheid van de verzamelde antwoorden. Een in de literatuur vaak genoemd advies is het uitvoeren van een ‘pilot test’, waarbij in een testenquête een open versie van de vraag geformuleerd worden. Aan de hand van de verkregen antwoorden op deze testvraag kan vervolgens een set alternatieven voor een gesloten vraag geformuleerd worden, die gebruikt kan worden in de definitieve versie van de enquête. Welke vraagvorm het meest geschikt is, is sterk afhankelijk van de situatie en van het doel van het onderzoek. Veel onderzoekers wegen het belang van een bepaald type vraag, open of gesloten, af tegen het werk dat er voor nodig is om de antwoorden te verwerken. Op de website van het online enquêtesysteem eXamine staat letterlijk: “Wilt u open vragen stellen? Bedenk wel dat de antwoorden hierop lastig te analyseren zijn. Mogelijk bent u meer gebaat bij voorgedefinieerde antwoorden…”. Hoofdstuk 3 en 4 gaan verder in op de verschillen die er zijn bij de analyse van de antwoorden op open vragen en de analyse van de antwoorden op gesloten vragen. In het vervolg zullen deze twee antwoordtypen aangeduid worden met ‘open antwoorden’ en ‘gesloten antwoorden’.

17

3. Wat zijn de mogelijkheden voor analyse van kwalitatieve data? 3.1. Inleiding In het vorige hoofdstuk zijn de globale verschillen tussen open en gesloten vragen behandeld. Dit hoofdstuk en de volgende hoofdstukken richten zich voornamelijk op de verschillen tussen de verwerking van ‘open antwoorden’ en de verwerking van ‘gesloten antwoorden’. De verwerking van de verkregen antwoorden kan in een drietal stappen opgesplitst worden: 1. Antwoorden op een gestructureerde wijze opslaan

> invoer

2. Analyse uitvoeren op de antwoorden

> analyse

3. Resultaten van de analyse presenteren

> uitvoer

Gesloten vragen bestaan uit een set vooraf gegeven antwoorden. Hoewel van tevoren niet bekend is welk antwoord de respondent zal kiezen, is de set van mogelijk te kiezen antwoorden dus wel bekend. Veelal zijn de gesloten antwoorden geprecodeerd of bestaan ze uit numerieke waarden. Dit maakt het eenvoudig de antwoorden in een database zoals MS Access op te slaan. De gegevens zijn in een dergelijk programma dermate gestructureerd opgeslagen dat ze geëxporteerd kunnen worden naar een ander computerprogramma voor een toepassing van statistische methoden. Voorbeelden van dit soort statistische programma’s zijn MS Excel en SPSS (Statistical Package for Social Science). Hoofdstukken 4 en 5 gaan nader in op het gebruik van enkele statistische functies en op het gebruik van MS Access om de verzamelde gegevens op te slaan en te verwerken. Open antwoorden kunnen zowel lang (bijvoorbeeld een antwoord op een essayvraag) als kort zijn. Het is mogelijk deze antwoorden in een kwantitatieve database op te slaan, maar dan ligt er vaak een restrictie op het maximaal aantal karakters dat in één veld opgeslagen kan worden.4 Voor korte open antwoorden vormt deze restrictie vaak geen probleem. Langere teksten hebben echter een andere aanpak nodig voor opslag en structurering. De verwerking van gesloten antwoorden is voor de meeste onderzoekers een bekend proces dat redelijk voor zich spreekt. De verwerking van de open antwoorden daarentegen kent meer moeilijkheden. De antwoorden kunnen vaak niet simpelweg geteld en geturfd worden,

18

maar moeten eerst geïnterpreteerd worden. Een kwantitatieve database is niet ontworpen voor een dergelijke interpretatie van de gegevens en kent geen speciale mogelijkheden om de onderzoeker bij deze taak te ondersteunen. In dit hoofdstuk worden enkele bestaande mogelijkheden om kwalitatieve data te analyseren besproken. Dit gebeurt aan de hand van beschrijvingen en discussies in de literatuur en mijn eigen bevindingen bij het werken met enkele computerprogramma’s die gebruikt kunnen worden voor het analyseren van open antwoorden, zoals MS Word, MS Access, Wordsmith, Kwalitan, MaxQDA en Form2Data.

3.2. Ontwikkeling van kwalitatieve data analyse ‘Qualitative data analysis’ is een term die gebruikt wordt voor een grote verzameling methoden voor de analyse van kwalitatieve data. De analyse van kwalitatieve data, of meer specifiek van open antwoorden kan op twee manieren gebeuren: handmatig en met behulp van de computer Tot een aantal jaren geleden maakten de meeste kwalitatieve onderzoekers voornamelijk gebruik van pen en papier bij hun onderzoek. Bevindingen en observaties werden opgeschreven, waarna ze overgenomen werden op indexkaartjes waarmee geschoven kon worden om zo alle bij elkaar horende onderdelen (bijvoorbeeld segmenten van de tekst of antwoorden op een specifieke vraag) te verzamelen. De computer werd hooguit gebruikt voor het intypen van hun analyses (Weitzman 2000). Tegenwoordig worden de meeste (grotere) kwalitatieve onderzoeken niet meer handmatig uitgevoerd. Kwalitatieve onderzoekers maken nu veelal dankbaar gebruik van ‘ComputerAssisted Qualitative Data Analysis Software’, oftewel CAQDAS. De term ‘computerassisted’ geeft reeds aan dat bij dergelijke software niet gedacht moet worden aan een computerprogramma dat in staat is de kwalitatieve analyse voor de onderzoeker uit te voeren (zoals de computer wel in staat is kwantitatieve analyses uit te voeren met programma’s als SPSS en MS Excel). De software is in staat de data voor te bereiden op een interpretatie door de onderzoeker, bijvoorbeeld door middel van ‘content analysis’5. Miles en Huberman (1994: p44) omschrijven de rol van de computer bij het uitvoeren van een kwalitatief onderzoek als volgt:

4

In MS Access kunnen in een veld van het datatype ‘char’ maximaal 255 karakters opgeslagen worden; in een veld van het datatype ‘memo’ maximaal 64.000 karakters.

19

1. Making notes in the field; 2. Writing up or transcribing field notes; 3. Editing: correcting, extending, or revising field notes; 4. Coding: attaching keywords or tags to segments of text to permit later retrieval; 5. Storage: keeping text in an organized database; 6. Search and retrieval: locating relevant segments of text and making them available for inspection; 7. Data “linking”: connecting relevant data segments to each other to form categories, clusters, or networks of information; 8. Memoing: writing reflective commentaries on some aspect of the data as a basis for deeper analysis; 9. Content analysis: counting frequencies, sequences, or locations of words and phrases; 10. Data display: placing selected or reduced data in a condensed, organized format, such as a matrix or network, for inspection; 11. Conclusion-drawing and verification: aiding the analyst to interpret displayed data and to test or confirm hypotheses; 12. Theory-building: developing systematic, conceptually coherent explanations of findings and testing hypotheses; 13. Graphic mapping: creating diagrams that depict findings or theories; and 14. Report-writing Bovenstaande opsomming geeft in korte bewoordingen de mogelijke CAQDAS functionaliteiten weer. Een aantal CAQDAS programma’s zijn op de aanwezigheid en werking van deze functionaliteiten getest. Punten tien tot en met dertien in bovenstaande lijst zijn functies die gebruikt kunnen worden voor de ontwikkeling van een nieuwe theorie. Een enquête wordt veelal uitgevoerd om een bepaalde bestaande theorie te testen. Een onderzoeker die snel een online enquête wil uitvoeren heeft wellicht weinig baat bij deze uitgebreide functies. De beschouwing van de functionaliteiten van de geteste programma’s beperkt zich daarom tot punten één tot en met negen in bovenstaande lijst van Miles en Huberman. Ryan en Bernard (2000) onderscheiden twee basismethoden voor CAQDAS om tekst te analyseren: op woordniveau (‘content analysis’) en op segmentniveau (op basis van de

5

Voor meer informatie over ‘content analysis’ zie §3.3.

20

Grounded Theory methode). Aan de hand van deze twee niveaus worden in de volgende paragrafen de belangrijkste en meest gebruikte CAQDAS technieken besproken.

3.3. CAQDAS functies op woordniveau: ‘content analysis’ De meest voor de hand liggende manier om een analyse op kwalitatieve data uit te voeren is ‘content analysis’. ‘Content analysis’ is een analysemethode die de inhoud van de tekst analyseert op woordniveau. Dit kan op meerdere manieren gebeuren. ‘Words-in-context’ (WIC) en ‘words-out-of-context’ (WOC) reduceren de tekst tot de fundamentele betekenis van specifieke woorden. Zo wordt het voor onderzoekers gemakkelijker patronen te herkennen en teksten onderling te vergelijken. Het programma Wordsmith is gebruikt om te kijken welke ‘content analysis’ functies bestaan en hoe ze gebruikt kunnen worden. Dit programma

kent

onder

andere

de

volgende

mogelijkheden:

maken

van

woordfrequentielijsten, woord x woord matrices, lijsten met sleutelwoorden en concordantielijsten. 3.3.1. Words-in-context Bij WIC wordt een lijst gemaakt van alle voorkomens van een door de onderzoeker opgegeven woord, waarbij het woord elke keer in de context van een vast aantal woorden (bijvoorbeeld 30) wordt weergegeven. De lijst die hieruit ontstaat is een concordantielijst. Een andere WIC functie is het maken van een collocatie-overzicht. De onderzoeker geeft bij deze functie een woord op waarnaar door het programma gezocht moet worden. Vervolgens worden alle woordcombinaties waarin het opgegeven woord voorkomt opgenomen in een tabel. Daarbij wordt aangegeven hoe vaak het woord dat samen met het opgegeven woord een woordcombinatie vormt, voor óf na het opgegeven woord in de tekst voorkomt. Tenslotte is het in Wordsmith mogelijk een lijst te genereren met de meest voorkomende woordparen en hun frequenties. De resultaten van deze laatste twee opdrachten kunnen in een tabel gepresenteerd worden of in een woord x woord matrix, een tweedimensionale tabel waarin aangeven wordt hoe vaak ieder woord samen met een ander woord voorkomt. 3.3.2. Words-out-of-context Bij WOC analyse wordt een lijst gemaakt van alle voorkomende woorden en het aantal keren dat de woorden in de tekst voorkomen, hun frequenties. Wanneer een woordfrequentielijst gemaakt wordt, zullen in veel gevallen woorden als ‘de’, ‘het’ en ‘een’ hoog boven in de lijst voorkomen. Vaak zijn dit echter niet de woorden die interessant zijn voor het onderzoek.

21

Wordsmith biedt daarom ook de mogelijkheid een woordenlijst te genereren die enkel de woorden weergeeft die significant vaak voorkomen, de sleutelwoorden. Nadeel van de WOC methode is dat de woorden uit de context gehaald worden. Wanneer een woord meerdere betekenissen kan hebben (ambigue woorden), kan het na het uitvoeren van een WOC analyse onduidelijk geworden zijn om welke betekenis van het woord het gaat. Ook informatie over de manier waarop het woord in de tekst gebruikt is, positief of negatief, gaat verloren. Door de woorden uit de context te halen, kunnen subtiele, doch belangrijke, nuances verloren gaan.

3.4. CAQDAS functies op segmentniveau: Grounded Theory CAQDAS kan diverse ‘content analysis’ functies uitvoeren. Daarnaast bieden de computerprogramma’s ook andere mogelijkheden die speciaal voor de analyse van kwalitatieve data ontwikkeld zijn en die nauwelijks handmatig uitvoerbaar zijn, zoals het coderen van de tekst, het aanbrengen van connecties tussen de codes en het aanbrengen van hyperlinks. In deze paragraaf worden de achterliggende gedachten en de belangrijkste CAQDAS functies besproken aan de hand van gelezen literatuur en geteste software.6 3.4.1. Grounded Theory De meeste CAQDAS programma’s werken op basis van een theorie-ontwikkelingsmethode die ontwikkeld is door Glaser & Strauss: Grounded Theory.7 In hun centrale werk Discovery of Grounded Theory (1967) opperen zij een nieuwe strategie om theorieën te ontwikkelen. Zij stellen voor dat gefundeerde theorieën stap voor stap ontwikkeld worden op basis van systematisch verkregen en geanalyseerde onderzoeksgegevens. De onderzoeker begint met het lezen van een klein gedeelte van de verzamelde data, bijvoorbeeld een tekstsegment of een antwoord op een open vraag. Daarna worden één of meerdere labels aan dit segment toegekend, die in het kort informatie verschaffen over de inhoud van het segment.

6

Deze bespreking beperkt zich tot de punten één tot en met negen van de lijst van Miles en Huberman, zie §3.2. 7 Over het feit of CAQDAS programma’s wel of niet gebaseerd zijn op de Grounded Theory methode wordt al enige tijd fel gedebatteerd (zie bijvoorbeeld Lonkila 1995; Kelle 1997; Lee & Fielding 1996; Coffey, Holbrook & Atkinson 1996). Lonkila (1995: p46) schrijft hierover: “It seems clear that the development of CAQDAS programs has strongly been influenced by grounded theory. But it does not follow from this that they can only be used in an analysis in line with grounded methodology.” Kelle voegt daaraan toe dat de meeste ontwikkelaars van CAQDAS programma’s kwalitatieve onderzoekers zijn die een andere methodologie volgen dan de Grounded Theory methode. Hoewel de programma’s dus gebaseerd lijken te zijn op de Grounded Theory methode, zijn ze wel degelijk ook voor andere theorie-ontwikkelingsmethoden bruikbaar.

22

De tweede stap van de Grounded Theory methode is het vergelijken. Hierbij kunnen meerdere soorten vergelijkingen onderscheiden worden (Charmaz 2000): -

vergelijken van verschillende personen (situaties, acties);

-

vergelijken van gegevens van dezelfde persoon op verschillende tijden;

-

vergelijken van verschillende incidenten;

-

vergelijken van gegevens met categorieën;

-

en tenslotte het vergelijken van een categorie met andere categorieën.

Tijdens de analyse schrijft de onderzoeker memo’s om zijn / haar ideeën over de labels, de relaties tussen de labels en tussen de categorieën, en overige gedachten over de segmenten te archiveren. Bij zeer grote corpora bestaat het risico dat een segment over het hoofd gezien wordt en niet gecodeerd wordt. Vanwege dit risico zijn enkele onderzoekers geneigd te zeggen dat een grondige codering alleen mogelijk is door gebruikmaking van computerprogrammatuur (onder andere Lonkila 1995: p45). De principes van coderen (ook wel indexeren of labelen genoemd), vergelijken (ook wel aangegeven met ‘search and retrieve’) en het bijhouden van memo’s worden veelvuldig toegepast in software voor de analyse van kwalitatieve gegevens. In de volgende paragraaf wordt de connectie tussen Grounded Theory en CAQDAS verder duidelijk door de bespreking van analytische functies die bij beide een centrale rol spelen: -

coderen

-

structureren van de codes

-

memo’s toevoegen en annoteren

-

links en hypertekst toevoegen

-

zoeken en verzamelen

-

weergeven van de gegevens en de resultaten

3.4.2. Coderen van de data De eerste functie waarin CAQDAS de onderzoeker kan ondersteunen is het aanmaken en toekennen van codes. Codes zijn een belangrijk instrument voor de onderzoeker die materiaal aan een kwalitatieve analyse onderwerpt. Codes worden in de meeste computerprogramma’s toegekend op het niveau van de segmenten, kleine delen van de tekst. Door middel van codes kan de onderzoeker vastleggen waar het segment over gaat of wat zijn / haar interpretatie is van hetgeen in het segment wordt aangetroffen.

23

In sommige gevallen moeten de codes handmatig toegekend worden, terwijl de onderzoeker de tekst leest. Andere programma’s zijn in staat om de codes automatisch toe te voegen aan de segmenten, door opgave van een te zoeken woord (of een combinatie van woorden), het bereik waarbinnen gezocht moet worden en de code die toegekend moet worden. Het is hierbij verstandig de automatisch toegekende codes te controleren, in verband met de ambiguïteit van een groot aantal woorden. Seidel en Kelle (1995: p57) omschrijven de functie van codes als ‘signposting’: het is een noodzakelijke voorbereiding voor het verzamelen van alle relevante segmenten, en voor het vergelijken van relevante segmenten. Na het coderen kan de tekst in stukken opgebroken worden en is het mogelijk alle relevante delen te verzamelen, waarbij gezocht wordt naar specifiek opgegeven codes. Door een code aan een tekst te verbinden, heeft de onderzoeker besloten dat het betreffende segment overeenkomt met alle andere segmenten met dezelfde code, en dat het segment niet overeenkomt met segmenten die deze code niet hebben gekregen. De codes bevatten daarom ook informatie over de overeenkomsten en verschillen tussen de segmenten. Lonkila (1995) gaat uit van drie stappen in het coderingsproces, die elkaar niet perse hoeven op te volgen, maar dat vaak wel doen. Allereerst noemt de auteur de methode van ‘open coding’. Open coderen is bedoeld om het onderzoek op gang te krijgen. Strauss en Corbin (1990) omschrijven open coderen als volgt: “… the analytic process by which concepts are identified and developed in terms of their properties and dimensions. The basic analytic procedures by which this is accomplished are: the asking of questions about the data; and the making of comparisons for similarities and differences between each incident, event or other instances of phenomena. Similar events and incidents are labeled and grouped to form categories.” Open coderen breekt een tekst in stukken, segmenten, en staat de onderzoeker toe nieuwe codes toe te kennen en in categorieën onder te brengen. Een volgende stap is volgens Lonkila het ‘axial coding’. Hierbij probeert de onderzoeker de relaties tussen de verschillende codes en categorieën vast te leggen.8 Op deze manier worden de datasegmenten weer bij elkaar terug gebracht door een meer hiërarchische structuur aan te brengen in de vorm van categorieën. Een laatste stap betreft het ‘selective coding’. Aan de hand van een basiscode of basiscategorie die het meest relevant is voor het onderzoek kan selectief gecodeerd worden,

8

Voor meer informatie over het structureren van codes, zie de CAQDAS functie “structureren van de codes”, §3.4.3.

24

waarna er door middel van een search-and-retrieve opdracht gezocht kan worden naar segmenten die aan deze basiscode voldoen.9 De werkbeschrijving van één van de populairste CAQDAS programma’s, Atlas.ti (zie voor de ‘full manual’ de website van Atlas.ti), gaat ook uit van een coderingsproces waarbij begonnen wordt met ‘open coding’. De beschrijving noemt echter ook nog andere methoden om te coderen. Zo is het in Atlas.ti mogelijk een deel van de letterlijke tekst aan te wijzen als code. Dit heet ‘in vivo coding’. Ook is het mogelijk om een lijst met vooraf gedefinieerde codes te gebruiken, waaruit een code gekozen kan worden tijdens het coderen van een segment. Op deze manier wordt een zo consistent mogelijk coderingssysteem bereikt waarbij het maken van typefouten zo goed als onmogelijk is. Tenslotte is het programma in staat automatisch te coderen, zonder tussenkomst van de onderzoeker. Seidel en Kelle (1995), Silverman (2000) en Richards en Richards (1995) geven allen de voorkeur aan een indeling in ‘feitelijk’ en ‘referentieel’ coderen. Bij feitelijke codering is er sprake van het toekennen van codes die feiten over segmenten bevatten. Dit kunnen feiten zijn over de respondent, maar in elk geval zijn het altijd feiten uit de tekst zelf. Hierbij is geen sprake van interpretatie door de onderzoeker. Door gebruik te maken van feitelijke codering kan alle informatie over een respondent in één hiërarchische boom opgenomen worden.

10

Deze methode van coderen wordt ook wel ‘samenvattend’

genoemd. Een andere manier van coderen is volgens de genoemde auteurs het toekennen van referenties. Referentiele codering betreft niet zo zeer een feit over de respondent, maar geeft aan waar de respondent over spreekt, of waar een bepaald tekst segment over gaat. Deze manier is dus onderhevig aan de interpretatie van de onderzoeker. Deze methode van coderen wordt ook wel ‘indexeren’ of ‘heuristisch coderen’ genoemd (zie ook Silverman 2000). Referentiele codes worden met name gebruikt bij geheel open teksten, zoals open vragen in een enquête. Een voorbeeld van een dergelijke vraag is de afsluitende vraag “Heeft u nog vragen of opmerkingen?”. Een antwoord op deze vraag geeft veelal geen informatie over de respondent zelf en kan om deze reden vaak alleen referentieel gecodeerd worden.

9

Voor meer informatie over de werking van het zoeken naar bepaalde codes, zie de CAQDAS functie “zoeken en verzamelen (‘search and retrieve’), §3.4.6.

25

3.4.3. Structureren van de codes Het structureren van de codes in categorieën is ook een vorm van coderen. Dit is het door Lonkila (1995) genoemde ‘axial coding’; Prein, Kelle en Bird (1995: p63) noemen dit ‘second-order coding’. De codes worden in categorieën ingedeeld om generaliserend (‘generalization’) over de data na te kunnen denken en om dimensies (‘dimensionalization’) aan de data te geven. In Kwalitan, een kwalitatief analyseprogramma dat onder andere ontwikkeld is door Vincent Peters, hoogleraar aan de Universiteit van Tilburg, kunnen codes op twee manieren geordend worden in een overzichtelijke structuur: in categorieën van samenhangende codes en in hiërarchische boomstructuren. Deze beide structuren worden hieronder nader toegelicht.

Categorieën Categorieën zijn overkoepelende begrippen of thema’s waar meerdere codes onder vallen op basis van hun betekenis (afhankelijk van de interpretatie van de onderzoeker) of hun inhoud (letterlijke tekst). In Kwalitan kan iedere code onder slechts één categorie genoemd worden. Zo kunnen de begrippen ‘man’ en ‘vrouw’ ingedeeld worden in de categorie ‘geslacht’, en kan de leeftijd van een respondent in een leeftijdscategorie ingedeeld worden. Een indeling in categorieën betekent een structuur van maximaal 1 niveau diep, een code in een categorie. Een complexere indeling in meerdere niveaus kan bereikt worden door een boomstructuur aan te maken.

Boomstructuur Om nog meer zicht te krijgen op de codes die gaandeweg in een onderzoek ontwikkeld worden kunnen de categorieën verder gestructureerd worden tot een hiërarchische boomstructuur. In deze boomstructuur kunnen de codes worden geordend op een zodanige wijze dat er verschillende niveaus van codes worden onderscheiden. Een centraal begrip kan op die manier worden uiteengelegd in meerdere begrippen, die op hun beurt weer een groep sub-begrippen overkoepelen etc. Door het aanmaken van een boomstructuur is het mogelijk om een complex pad van codes te volgen, dat gebruikt kan worden voor het verzamelen van alle segmenten die van die min of meer specifieke code(s) zijn voorzien. Richards en Richards (1995) zijn er van overtuigd dat codes alleen zin hebben indien ze georganiseerd worden in hiërarchische categorieën (een boomstructuur). Figuur 1 is een voorbeeld van een dergelijke boomstructuur die is gemaakt aan de hand van mijn eigen enquête. In de boomstructuur zijn een klein aantal feitelijke coderingen, die gebruikt zouden 10

Voor een voorbeeld van een feitelijke boomstructuur, zie figuur 1.

26

kunnen worden om de antwoorden die de respondenten hebben gegeven te coderen, samengevoegd tot een schematisch overzicht.

Figuur 1. Feitelijke categorieën weergegeven in een hiërarchische boomstructuur. Onder de onderste categorieën vallen alle links naar de betreffende tekstsegmenten of naar de betreffende respondenten. In een dergelijke boomstructuur definieert de ‘root node’ wat het onderwerp van de boom is, in bovenstaande afbeelding is dat ‘respondenten’. Het gaat in deze boom dus om feitelijke informatie over de respondenten. De laatste knoop (‘node’) krijgt betekenis door het volgen van alle takken (ook wel links of connecties genoemd) naar die knoop toe. Hiërarchische structurering van de codes en de segmenten is daarmee niet alleen een vorm van organisatie, maar ook een analysetechniek. Daarbij moet wel in de gaten gehouden worden dat het altijd om een taxonomische structuur gaat, waarbij de meest generieke categorie het begin van de boom is, en waarbij de meest specifieke categorieën de onderste knopen vormen. Wanneer een boom op deze manier opgezet wordt, wordt de relatie tussen de knopen alleen door de lijnen beschreven, en hoeft dit niet woordelijk gedaan te worden met termen als “is onderdeel van…” en “is gevolg van…”. Bovendien is het noodzakelijk dat alle ‘children’ van een ‘parent node’ dezelfde relaties hebben ten opzichte van deze ‘parent node’. 3.4.4. Memo’s toevoegen en annoteren Het coderen en structureren van de tekstsegmenten is vaak voor een groot deel gebaseerd op de interpretatie van de onderzoeker en het onderwerp waarop het onderzoek zich richt. Het vastleggen van deze interpretaties gebeurt onder andere door het toekennen van codes. Deze labels op zich zijn vaak gebonden aan een maximale lengte (in Kwalitan 50 tekens) en het zal moeilijk zijn om alle gedachten achter een bepaald geconstateerd fenomeen of achter een interpretatie vast te leggen in één of meerdere korte labels per segment. Veel kwalitatieve

27

analyseprogramma’s zijn daarom voorzien van een hulpmiddel om de gedachten die achter een code liggen op één of andere manier vast te leggen. Om tijdens het proces de juiste keuzes te maken en om deze keuze achteraf te kunnen verantwoorden is het van belang regelmatig en uitvoerig vast te leggen welke overwegingen een rol hebben gespeeld en hoe de keuzes in diverse situaties zijn uitgevallen. Dit vastleggen van ideeën, theorieën en betekenissen van codes gebeurt door het schrijven van zogenaamde memo’s. Glaser (1978: p83-84) geeft een klassieke definitie van memo’s: “[A memo is] the theorizing write-up of ideas about codes and their relationshop as they strike the analyst while coding … it can be a sentence, a paragraph, or a few pages … it exhausts the analyst’s momentary ideation based on data with perhaps a little conceptual elaboration.” Babbie (2001) geeft de voorkeur aan een driedeling van het memosysteem. Allereerst noemt hij ‘code memo’s’. Dit zijn memo’s die meer informatie geven over de betekenis van de labels. Indien de labels bestaan uit afkortingen, kunnen in de code memo’s de volledige labels opgenomen worden. Daarnaast noemt hij de theoretische memo’s. Deze bestaan uit ideeën over concepten, relaties en theorieën die de onderzoeker tijdens het coderen ontwikkeld. Tenslotte bestaan er ‘operationele memo’s’, waarin notities opgenomen worden over de voor de analyse gebruikte methodologieën en strategieën. In sommige programma’s is het mogelijk naast memo’s ook annotaties aan de onderzoeksdata toe te voegen. Deze worden net als memo’s aan segmenten gekoppeld en bevatten additionele informatie over het segment, zoals non-verbale observaties, samenvatting van de inhoud etc. 3.4.5. Links en hypertekst toevoegen Bij het coderen worden de tekstsegmenten als afzonderlijke tekstdelen behandeld. Om te voorkomen dat de segmenten uit hun context gehaald worden en de tekst gefragmenteerd raakt, kunnen links aangebracht worden. De segmenten blijven zo onderdeel van de gehele context (Prein, Kelle, Richards & Richards 1995; Silverman 2000). Veel CAQDAS programma’s zijn sterk in het aanbrengen van links tussen verschillende onderdelen, zoals de tekst, codes, annotaties, memo’s en externe bestanden (zoals audio- en / of videobestanden, afbeeldingen, etc.). Dit type links wordt ook wel ‘conceptuele links’ genoemd. Er bestaat dan een denkbeeldige link tussen twee of meer onderdelen. Deze links worden voor de onderzoeker niet zichtbaar gemaakt door middel van een woord, knop of

28

icoon in de lopende tekst waarop geklikt kan worden; de links zijn enkel opgeslagen in het achterliggende databasesysteem. De links kunnen bijvoorbeeld gebruikt worden wanneer een lijst met alle gebruikte codes opgevraagd wordt, waarbij op de codes geklikt kan worden om de bijbehorende memo te lezen. De nieuwste programma’s zijn tevens in staat ‘operationele links’ in de tekstuele data aan te maken, welke vaak worden aangegeven met een icoontje waarop geklikt kan worden. Door op de link te klikken gaat de gebruiker direct naar het gekoppelde item, zoals een code, een memo of een tekst segment. Hierdoor is er dus niet alleen in gedachten een link aangebracht (conceptueel), maar is de link ook daadwerkelijk te volgen. Een operationele link is vaak een ‘harde link’. Dit betekent dat de onderzoeker zelf een begin- en eindpunt moet aangeven. De link wordt dan geplaatst bij het beginpunt en indien de onderzoeker op de link klikt, gaat hij / zij direct naar het eindpunt van de link, de bestemming. Dit zijn permanente links tussen gerelateerde delen van de kwalitatieve database. Een andere manier is het aanmaken van een dynamische, intelligente link. De onderzoeker kan tijdens het lezen van de tekst een deel van de tekst (bijvoorbeeld een woord of een woordcombinatie) markeren (ook wel ‘highlighten’), waarna het programma zelf op zoek gaat naar andere segmenten, waar dezelfde tekst voorkomt. Op deze manier kan de onderzoeker heen en weer navigeren tussen tekstsegmenten die inhoudelijk letterlijk aan elkaar gerelateerd zijn. Indien het mogelijk is om heen en weer (dus in twee richtingen) te bewegen (of te navigeren), dan spreekt men van hypertext-links, of kortweg hyperlinks. 3.4.6. Zoeken en verzamelen

Figuur 2. Een voorbeeld van een zoekopdracht naar gecodeerde tekstsegmenten. De onderzoeker geeft de opdracht te zoeken naar alle segmenten in alle teksten die gecodeerd zijn met het label ‘A’. Het segment met code A uit tekst 1 en het segment met code A uit tekst 2 worden samen gevoegd in een nieuw overzicht met zoekresultaten.

29

Het coderen van de tekst heeft voornamelijk tot doel dat alle segmenten die voorzien zijn van dezelfde code eenvoudig en snel teruggevonden kunnen worden. Het zoekproces op de kwalitatieve data kan vergeleken worden met het uitvoeren van zogenaamde ‘queries’ (zoekopdrachten) op kwantitatieve data. De gegevens dienen zowel bij het zoeken en verzamelen van kwalitatieve data, als bij de ‘queries’ op kwantitatieve data te voldoen aan de in de opdracht gestelde voorwaarden (zie figuur 2). Weitzman en Miles (1995) zijn van mening dat niet alleen de snelheid waarmee dit zoeken gebeurt van belang is, maar ook de manieren waarop gezocht kan worden. Zij noemen een aantal van de meest gebruikte methoden: -

‘Boolean’ Bij een Boolse zoekopdracht kan gezocht worden naar een combinatie van termen, door gebruik te maken van “AND”, “OR” en / of “NOT”. Op deze manier kunnen hele precieze zoekopdrachten geformuleerd worden. Een uitgebreide Boolse zoekopdracht zoekt tevens naar geneste segmenten, overlappende segmenten, of “tenminste drie van de volgende vijf termen”. Voorbeeld van een Boolse zoekopdracht is: “Toon alle respondenten die (1) gebruik maken van MS Office EN die (2) wel eens een computervirus op hun computer gehad hebben”.

-

‘Relational’ Segmenten die door codes met elkaar verbonden zijn kunnen eenvoudig gevonden worden wanneer er gezocht wordt naar de betreffende code of naar een (hiërarchisch) pad van codes. Hierbij wordt de hiërarchische boomstructuur betrokken bij de zoekopdracht.

-

‘Sequence’ Dit is het zoeken naar het voorkomen van combinaties van bepaalde woorden of codes, in een bepaalde volgorde voor of na elkaar.

-

‘Proximity’ Het voorkomen van bepaalde woorden of codes, die binnen een opgegeven bereik samen voorkomen kan ook gezocht worden.11 Een ‘proximity’ opdracht zou bijvoorbeeld kunnen zijn: “toon alle respondenten bij wie de woorden (1) emailbericht EN (2) geïnfecteerd voorkomen binnen een afstand van vijf woorden”.

-

11

‘Fuzzy logic’

Dit wordt ook wel ‘co-occurrence’ genoemd.

30

De ‘fuzzy logic’ zoekmethode maakt het mogelijk te zoeken naar termen of codes die qua spelling gelijk zijn aan of lijken op de gegeven zoekopdracht. -

‘Wildcard’ Veel programma’s bieden een ‘wildcard’ zoekmethode aan. Hierbij wordt een zoekopdracht gegeven waarbij gebruik gemaakt kan worden van karakters als het sterretje of een vraagteken, die ieder ander karakter kunnen vervangen, een zogenaamde ‘joker’. Zo kan door middel van de opdracht “program*” gezocht worden naar “programma”, “programmeren”, “programmeertaal”, etc.

-

‘Synonyms’ Om te kunnen zoeken naar een opgegeven woord en naar alle synoniemen en verbogen vormen van dat woord, moet het computerprogramma voorzien zijn van een woordenboek en een thesaurus. Voorbeelden zijn “virussen – virii” en “software – computerprogramma”

Extra functionaliteit wordt bereikt wanneer het mogelijk is om één van bovenstaande zoekopties te gebruiken in combinatie met een opgave van het bereik waarbinnen gezocht dient te worden (bijvoorbeeld alleen de vrouwelijke computergebruikers of alleen de vrouwelijke computergebruikers die dagelijks gebruik maken van het Internet). Dit wordt in de meeste programma’s gerealiseerd door één of meerdere zoekmethodes te combineren met een Boolse opdracht. 3.4.7. Weergeven van de data De resultaten van een ‘search and retrieve’ opdracht kunnen op meerdere manieren worden weergegeven: -

Het gevonden segment wordt ‘highlighted’ weergegeven in de oorspronkelijke tekst.

-

Het gevonden segment wordt (samen met andere gevonden segmenten) weergegeven in een nieuw bestand, omgeven door de directe context.

-

Het gevonden segment wordt (samen met andere gevonden segmenten) weergegeven in een nieuw bestand, zonder context.

Bij de laatste twee opties moet het programma de mogelijkheid bieden door middel van een hyperlink direct terug te springen naar hetzelfde segment in de oorspronkelijke tekst. De meeste kwalitatieve analyseprogramma’s geven ook informatie over de plek waar het segment gevonden is, bijvoorbeeld bij welke respondent het segment (of het antwoord) hoort, waar de informatie gevonden is, de inhoud van het segment, etc. Hierbij is het van belang dat de links tussen de verschillende onderdelen (tussen tekst en tekst, tussen codes en

31

tekst, etc.) “intelligent” zijn. Wanneer een code (laatste knoop in de boom) verplaatst wordt, dient de link mee te verplaatsen; wanneer een code hernoemd wordt, dient dit op alle plaatsen waar deze code voorkomt te gebeuren. De nieuwste generatie CAQDAS programma’s slaat de gevonden resultaten op in een databasesysteem (wanneer dit gebeurt binnen hetzelfde programma wordt dit ook wel ‘systeem closure’ genoemd), zodat de resultaten later nog eens opnieuw geanalyseerd kunnen worden, of verwerkt kunnen worden door een statistisch programma. Frequentieresultaten kunnen direct naar een statistisch programma doorgestuurd worden voor verdere analyse. Overige gegevens kunnen gepresenteerd worden in de vorm van een tabel, een grafiek, een grafisch netwerk (boomstructuur), een vector (zie figuur 3) of een matrix (zie figuur 4).

Figuur 3. Een vector: alle codes van één bepaalde categorie worden gekoppeld aan een enkele andere code om te onderzoeken hoe vaak de verschillende combinaties voorkomen. De resultaten worden weergegeven in tabelvorm, waarbij de velden gevuld zijn met het aantal computergebruikers van iedere groep (vraag 2 in de ‘CVO’ enquête, zie bijlage II) dat wel eens een virus gemaakt heeft (vraag 48, zie bijlage II).

32

Figuur 4.Een matrix: alle codes van één bepaalde categorie, in dit geval ‘straf virusmakers’ worden gekoppeld aan alle codes van een andere categorie, in dit geval ‘virusinfectie’. Hierbij wordt een matrix (tweedimensionale tabel) verkregen met daarin het aantal respondenten dat al dan niet een infectie met een computervirus heeft meegemaakt (vraag 10 in de ‘CVO’ enquête, zie bijlage II) en de straf die zij passend vinden voor virusmakers (vraag 51, zie bijlage II).

3.5. CAQDAS gradaties Niet ieder kwalitatief analyseprogramma kent dezelfde functionaliteiten. Voor het uitvoeren van een analyse op kwalitatieve gegevens kan de onderzoeker gebruik maken van zeer eenvoudige programma’s met weinig CAQDAS functionaliteiten, zoals tekstverwerkers, tot zeer complexe programma’s zoals zogenaamde ‘theory builders’. De programma’s kunnen ingedeeld worden naar de mate waarin ze beschikken over de functionaliteiten die besproken zijn in de vorige paragraaf. Een simpele vorm van kwalitatieve analyse kan uitgevoerd worden met een tekstverwerker, zoals het programma MS Word. Tekstverwerkers zijn geprogrammeerd voor de creatie en revisie van teksten. De meeste programma’s van dit type zijn ook in staat enkele eenvoudige ‘content analysis’ taken uit te voeren zoals het zoeken van woorden en het tellen van het aantal woorden, het aantal regels en het aantal pagina’s. De nieuwste versies van MS Word bieden ook de mogelijkheid commentaar en revisiesuggesties aan de tekst te koppelen. Daarnaast is het mogelijk om gebruik te maken van macro’s. Dit zijn kleine programma’s, geschreven in de taal Visual Basic, die in staat zijn allerlei taken automatisch uit te voeren op één of meerdere documenten. Door de tekst in de documenten te voorzien van codes, kan een macro in alle gecodeerde documenten zoeken naar een bepaalde code. Alle gevonden

33

resultaten kunnen vervolgens in een nieuw bestand opgeslagen worden. Eventueel is het mogelijk ook op dit nieuwe bestand een macro los te laten met bepaalde taken. Echter, tegen deze methode zijn een aantal bezwaren aan te dragen. Wordprocessors nemen voor specifieke CAQDAS-taken meer tijd in beslag dan de daarvoor speciaal ontworpen software. Bovendien zijn in CAQDAS deze taken reeds voorgeprogrammeerd in de software, zodat de onderzoeker niet zelf aan de slag hoeft met het schrijven van ingewikkelde macro’s. Tenslotte is het met speciale CAQDAS software mogelijk de analyse uitgebreider uit te voeren (zoals het automatisch aanmaken van matrices, etc.). ‘Text receivers’ zijn programma’s die gespecialiseerd zijn in het zoeken en sorteren van alle voorkomens van een bepaald woord, een bepaalde zin of combinaties hiervan. Dit type programma’s gaat hierbij een stapje verder dan de tekstverwerkers. Sommige ‘text receivers’ zijn in staat enkele ‘content analysis’ functies uit te voeren zoals het geven van een woordfrequentielijst, het tonen van woorden in hun context en het maken van woordenlijsten en concordantielijsten.12 In deze categorie hoort ook het eerder behandelde programma Wordsmith thuis. Een

volgende

categorie

wordt

gevormd

door

de

‘textbase

managers’.

Deze

managementsoftware is bedoeld om de gegevens op een gestructureerde wijze op te slaan. De programma’s zijn in staat de data te organiseren en te sorteren en daarbij subsets van de gegevens te creëren. De tekst wordt daarbij opgedeeld in velden of ‘records’ die in een databasestructuur worden opgeslagen. Sommige programma’s zijn in staat memo’s of externe bestanden aan de gegevens te koppelen. Dit type kan beschouwd worden als een kwalitatief databasesysteem, waarbij het enkel om de gestructureerde opslag van de kwalitatieve gegevens gaat, en waarbij geen analysetaken door het programma uitgevoerd kunnen worden. De laatste softwarecategorie die verreweg het meest gebruik maakt van CAQDAS functionaliteiten en die hiervoor ook speciaal ontwikkeld is, is de groep van de ‘code-andretrieve’ programma’s. Deze zijn veelal door kwalitatieve onderzoekers zelf ontworpen en zijn meestal gebaseerd op de Grounded Theory onderzoeksmethode van Glaser en Strauss (1967). De programma’s zijn in staat de tekst te verdelen in segmenten. Aan deze segmenten kunnen codes toegekend worden, waarna er gezocht kan worden op alle segmenten met een bepaalde codering. Behalve het bijhouden van codes en memo’s kennen deze programma’s ook ‘content analysis’ functies, en bieden ze meestal ook de mogelijkheid om hyperlinks aan de tekst toe te voegen.

12

Voor meer informatie over ‘content analysis’ zie §3.3

34

3.6. Voordelen en nadelen van CAQDAS Voordat bekeken kan worden of CAQDAS een oplossing biedt voor het analyseren van open antwoorden verkregen uit enquêtes, dient eerst gekeken te worden of het gebruik van CAQDAS functies überhaupt wenselijk en zinvol is. Hiertoe worden hieronder de voor- en nadelen van dit soort software tegen elkaar afgezet. Veel van de nadelen van CAQDAS die in de literatuur besproken worden hebben te maken met een overwaardering van het coderingsproces. Doordat het importeren van de gegevens en vervolgens het coderen van de segmenten een tijdrovende zaak zijn, zijn veel auteurs bang dat de onderzoekers verleid worden tot “quick and dirty research with its attendant danger of premature theoretical closure” (Fielding & Lee 1991: p8). Het risico bestaat dat een onderzoeker zich volledig en uitsluitend op het coderen van de tekst gaat richten en hierbij de originele data uit het oog verliest. Het risico bestaat ook dat een onderzoeker de betekenis van het coderen overschat en hierbij alle andere manieren om tekst te analyseren negeert. Dey (1995: p77) noemt tenslotte nog het gevaar “of drowning in complexity” als de onderzoeker zich enkel en alleen stort op het coderen van de data en dit zo ver doorvoert dat er oneindig veel codes en categorieën aangemaakt worden. Volgens Lee en Fielding (1995) wordt de onderzoeker in de richting geduwd van een uiteindelijk kwantitatief analysemodel, door het aanmaken van matrices en vectoren en door het doen van ‘content analysis’. Bij kwantitatief onderzoek was al lange tijd duidelijk dat het geen zin heeft tijd te besteden aan het invoeren van de antwoorden die vijf respondenten op vijf verschillende vragen hebben gegeven. Datzelfde kan ook voor kwalitatief onderzoek gezegd worden. CAQDAS is dus alleen nuttig indien de onderzoeker beschikt over een groot corpus van gegevens, vaak tekst. Een geschikt tekstueel corpus is bijvoorbeeld één hele lange tekst (bijvoorbeeld een boek), of vele korte stukjes tekst (bijvoorbeeld de antwoorden op een open vraag). Fielding en Lee (1995) konden echter tijdens hun systematische veldonderzoek naar gebruikerservaringen met CAQDAS geen substantieel, empirisch bewijs vinden voor bovengenoemde bezorgdheden van enkele andere onderzoekers. De voordelen die in de literatuur genoemd worden en die ikzelf door het gebruik van enkele CAQDAS programma’s heb ervaren, hebben te maken met snelheid, volledigheid, consistentie en gemak. Door tijdrovende taken van de onderzoeker over te nemen, zoals het zoeken en kopiëren van tekstsegmenten, kan het gebruik van de computer leiden tot een

35

grotere efficiëntie. Eenmaal gecodeerde gegevens zijn eenvoudig en snel terug te vinden door uitgebreide search-and-retrieve faciliteiten. CAQDAS stimuleert bovendien de consistentie bij het coderen van de data. Het onderzoeksproces kan systematischer en consistenter uitgevoerd worden, waardoor het gehele onderzoek grondiger uitgevoerd wordt. Dit draagt bij tot een grotere betrouwbaarheid van de onderzoeksresultaten. Wanneer het

analyseren door een onderzoeksteam wordt

gedaan kan het coderen van de data eenvoudig gedaan worden aan de hand van een coderingsframe, waarin alle codes en hun betekenis van tevoren zijn vastgelegd. CAQDAS kan de onderzoeker aansporen met de gegevens te spelen en relaties te ontdekken tussen verschillende categorieën, die met een handmatige methode wellicht niet ontdekt waren. De kwalitatieve analyse software stimuleert bovendien de combinatie van kwalitatief onderzoek en kwantitatief onderzoek door het mogelijk te maken de kwalitatieve data enigszins te kwantificeren: woorden en woordcombinaties kunnen geteld worden, codes kunnen aan elkaar gekoppeld worden, aan de hand waarvan een numeriek patroon ontdekt kan worden; er kunnen woord x woord, codes x codes, woord x segment en codes x segment matrices gemaakt worden die geëxporteerd kunnen worden naar statistische programma’s als SPSS of MS Excel. Tenslotte wordt secundaire analyse van de gegevens gemakkelijker gemaakt door gebruik te maken van CAQDAS, doordat onderzoekers eenvoudig en snel de, al dan niet gecodeerde, gegevens aan elkaar kunnen doorsturen. Door een tweede, blinde codering uit te voeren, kan de validiteit en betrouwbaarheid van de onderzoeksresultaten getest worden. Bovendien maakt een elektronische versie van de data het makkelijker de gegevens te gebruiken voor een tweede onderzoek dat zich op een ander aspect van de gegevens richt.

3.7. Conclusie “Software will not pull good work out of a poor researcher” (Weitzman 2000: p817) De meeste auteurs zijn het er over eens: “Software will never ‘do’ theory building for you, but it can explicitly support your intellectual efforts, making it easier for you to think coherently about the meaning of your data” (Weitzman & Miles 1995: p330). In een bijdrage aan het handboek van Denzin en Lincoln komt Weitzman (zie Denzin & Lincoln 2000: p806) hier zelf op terug: “This situation may change in the coming years. There are some current efforts to use artificial intelligence approaches to get computers to interpret text.”

36

In

de

kwalitatieve

databasepakketten

zijn

nauwelijks

natuurlijke

taalfuncties

geïmplementeerd die het mogelijk maken dat de computer zelfstandig leert teksten te analyseren. Dit is opvallend omdat er momenteel veel aandacht geschonken wordt aan technieken voor ‘natural language processing’ (NLP) en spraakherkenning. Wanneer de computer in staat zou zijn het coderingsproces geheel van de onderzoeker over te nemen en daarbij in staat zou zijn de tekst te begrijpen, kan dit de onderzoeker veel werk en tijd besparen. Wellicht is de complexiteit van integratie van de NLP functies niet de enige reden waarom CAQDAS niet over dergelijke functies beschikt. Een programma die van deze functies gebruik wil maken dient te beschikken over een volledig woordenboek in minstens één taal (het programma kan dan ook alleen voor teksten in die taal gebruikt worden), en een volledige thesaurus. Bovendien moet de complete grammatica van de gekozen taal ingevoerd zijn, wil het programma in staat zijn de tekst ook daadwerkelijk te begrijpen. Hoewel dit op zich opgebouwd zou kunnen worden uit reeds bestaande onderdelen die gebruikt zijn in programma’s die wel gebruik maken van NLP, maakt een dergelijke implementatie de CAQDAS wellicht te kostbaar voor een onderzoeker die sporadisch van deze software gebruik maakt. De meeste kwalitatieve onderzoekers zijn van mening dat CAQDAS de onderzoeker wel degelijk kan helpen bij het ontwikkelen en formuleren van ideeën en conclusies over het onderwerp. CAQDAS biedt deze mogelijkheid door de gegevens op codes te doorzoeken en door het tonen van de zoekresultaten, het coderingsschema en een eventuele indeling in categorieën en een boomstructuur. Het is belangrijk dat onderzoekers inzien dat de computer een heel handige ‘tool’ kan zijn, maar dat ze zich in hun analyses niet moeten beperken tot de mogelijkheden van de computer. Idealiter worden alleen díe CAQDAS functies gebruikt, die bruikbaar zijn voor het eigen onderzoek. Hoewel in de literatuur vaak geschreven wordt dat CAQDAS niet geschikt zou zijn voor korte teksten, zoals open antwoorden in (online) enquêtes, kunnen de meeste functies naar mijn mening wel degelijk gebruikt worden voor een grondige en betrouwbare analyse van open antwoorden die verkregen worden door een enquête. Het volgende hoofdstuk richt zich dan ook op de mogelijkheden om de CAQDAS functies te gebruiken bij de analyse van zowel open als gesloten antwoorden. Dit in antwoord op de vraag in hoeverre het gebruik van de verschillende CAQDAS-functies mogelijk, zinvol en wenselijk is bij de twee antwoordtypen. Na deze bespreking wordt gekeken welke functies open antwoorden en

37

gesloten antwoorden nodig hebben voor een goede analyse, en in hoeverre bestaande databasesystemen over deze functies beschikken.

38

4. Voldoen bestaande systemen?

4.1. Inleiding In het vorige hoofdstuk is er ingegaan op de hulpmiddelen en de programma’s die speciaal ontwikkeld zijn voor de uitvoering van kwalitatief onderzoek met behulp van de computer. In dit hoofdstuk worden de genoemde functies van CAQDAS programma’s nog eens opgesomd en wordt er gekeken welke functies bruikbaar zijn voor de verwerking van antwoorden op zowel open als gesloten vragen in een online enquête. Daarna wordt gekeken op welke manier de open en gesloten antwoorden het beste opgeslagen, verwerkt en gepresenteerd

kunnen

worden

door

gebruik

te

maken

van

twee

bestaande

computerprogramma’s: Kwalitan voor de analyse van kwalitatieve gegevens; MS Access voor de analyse van kwantitatieve gegevens. Hierbij is onderzocht of het mogelijk is de kwalitatieve en kwantitatieve gegevens samen in één programma op te nemen. Ook is gekeken of een alternatief systeem, dat het beste van beide bestaande programma’s combineert, nog meer voordelen oplevert.

4.2. Zijn CAQDAS functies bruikbaar bij de verwerking van beide vraagvormen? 4.2.1. Coderen Coderen is een methode die uitermate geschikt is voor een uitgebreide ‘labeling’ van de antwoorden die verzameld worden door het uitvoeren van een enquête. Gesloten antwoorden zijn vaak geprecodeerd. Achter een set met tekstuele alternatieven schuilt dan bijvoorbeeld een serie karakters (bijvoorbeeld ‘A’, ‘B’, ‘C’ en ‘D’) of codes. Wanneer de respondent een antwoord heeft gegeven, kan dit karakter, dat eigenlijk gebruikt wordt als afkorting van het werkelijk gegeven antwoord, gebruikt worden in een verwerking van de antwoorden. Indien het gesloten antwoord een eenvoudig te tellen waarde bevat, bijvoorbeeld het antwoord op een ja / nee vraag, of indien het antwoord numeriek is, hoeft het antwoord niet geprecodeerd te zijn voor een directe verwerking van de gegevens. Gesloten antwoorden hoeven niet naderhand handmatig (al dan niet door een computerprogramma ondersteund) gecodeerd te worden en zijn niet onderhevig aan de interpretatie van de onderzoeker. Open antwoorden die door het uitvoeren van een enquête verzameld zijn, zijn vaak korte stukjes tekst waarvan de inhoud en soms zelfs het onderwerp van tevoren niet bekend is. Om deze antwoorden enigszins te kunnen analyseren en te gebruiken in een algemene analyse van alle enquête-antwoorden tezamen, is het nodig dat de open antwoorden in zekere mate

39

gekwantificeerd worden. Indien de Grounded Theory onderzoeksmethode van Glaser & Strauss (1967) gevolgd wordt, kan voor deze kwantificering gebruik gemaakt worden van het coderingsprincipe, waarvan de werking is uitgelegd in het vorige hoofdstuk. Dit coderingsprincipe staat toe dat een tekst zo veel labels krijgt toegekend, dat alle informatie die van belang kan zijn voor het onderzoek erin ligt opgeslagen. Op deze manier kan het antwoord teruggebracht worden tot wat de onderzoeker beschouwt als de essentie van het antwoord. Het coderen van open antwoorden is daarmee onderhevig aan de interpretatie van de onderzoeker. Een belangrijk voordeel van het coderen van open antwoorden is dat een meervoudig open antwoord, bijvoorbeeld in de vorm van “Ik vind dat … en … ”, ook meervoudig gecodeerd kan worden. Des te opener het antwoord, des te belangrijker is het dat het antwoord gecodeerd wordt. Immers een antwoord op een open vraag als “Wat is uw leeftijd?” kan eenvoudig opgeslagen worden zonder dat het eerst gecodeerd wordt. Een antwoord op een open vraag als “Heeft u nog vragen of opmerkingen?” kan van tevoren niet ingeschat worden en behoeft voor verdere verzameling en (statistische) analyse een volledige en consistente codering. Ditzelfde geldt uiteraard ook voor opties bij gesloten vragen als “Anders, namelijk…”. Zoals in hoofdstuk twee reeds uitgelegd is, levert een dergelijke optie bij een gesloten vraag in feite een open antwoord op. 4.2.2. Structureren Het structureren van codes in categorieën is vooral zinvol als er veel verschillende codes gebruikt zijn en als meerdere codes qua betekenis samenhangen. Het kan zinvol zijn zowel de codes die gebruikt zijn om de open antwoorden te coderen, als de codes die gebruikt zijn bij de geprecodeerde antwoorden in te delen in categorieën. Vooral de codes die gebruikt zijn voor de antwoorden op open vragen die heel open gesteld zijn dienen gestructureerd te worden om de verschillende onderwerpen die door de respondenten zijn aangesneden van elkaar te kunnen onderscheiden. Wederom kan de vraag “Heeft u nog vragen of opmerkingen” hier als voorbeeld dienen. Deze vraag kan antwoorden in vele verschillende richtingen opleveren. De antwoorden kunnen gecodeerd worden op inhoud, waarna de codes gestructureerd kunnen worden naar onderwerp. In veel gevallen zal het echter voldoende zijn de codes te categoriseren per vraag. Zo bevat bijvoorbeeld de categorie ‘vraag 4’ alle voor vraag 4 gebruikte codes. 4.2.3. Annoteren Bij ieder onderzoek is het van groot belang dat de onderzoeker tussentijds de mogelijkheid heeft om aantekeningen te maken van gemaakte keuzes, achterliggende ideeën en theorieën

40

en de betekenis van de verschillende codes. Dit geldt ook voor de verwerking van de open en gesloten antwoorden. Met name de interpretatie op basis waarvan een open antwoord gecodeerd wordt, kan goed in een memo bewaard worden. De keuzes die de onderzoeker bij deze interpretatie en de uiteindelijke codering maakt, en de aspecten waarop hij / zij zich daarbij richt, dienen goed vastgelegd te worden. Memo’s kunnen ook gebruikt worden om tijdens het coderen van de antwoorden alvast interessante koppelingen tussen twee of meer vragen te noteren. Bij gesloten antwoorden is het verstandig ook de tekstuele set van alternatieven in de vorm van een memo op te slaan in de database, zodat de betekenis van de codes na verloop van tijd niet voor onduidelijkheden kan zorgen. 4.2.4. Hyperlinks toevoegen Wanneer een onderzoeker gebruik wil maken van codes, categorieën en memo’s, is het handig als de verschillende onderdelen en de antwoorden aan elkaar gelinkt kunnen worden. De computer biedt twee systemen waarin het mogelijk is deze links aan te brengen. Het eerste systeem is een relationele database, zoals het programma MS Access waarin velden van meerdere tabellen aan elkaar gekoppeld kunnen worden. Een andere mogelijkheid maakt gebruik van het World Wide Web, dat gebaseerd is op het linken van bestanden en ook uitstekend gebruikt kan worden voor het linken tussen teksten, memo’s en codes. Het aanbrengen van operationele hyperlinks zorgt er voor dat de onderzoeker eenvoudig door de verschillende onderdelen kan navigeren. 4.2.5. Zoeken en verzamelen Het coderen en structureren van de antwoorden heeft alleen zin als de codes en de categorieën vervolgens gebruikt kunnen worden in zoekopdrachten. Op deze manier kunnen alle respondenten die met dezelfde labels gecodeerd zijn en dus een antwoord van dezelfde strekking hebben gegeven eenvoudig gezocht en verzameld worden. De onderzoeker hoeft, door op de codes en de categorieën te zoeken, niet voor iedere zoekopdracht alle afzonderlijke, volledige open antwoorden opnieuw door te nemen. Het coderen heeft de open antwoorden dus enigszins gekwantificeerd zodat de open en de gesloten antwoorden nu samen gebruikt kunnen worden in een ‘query’. 4.2.6. Weergeven van de data Zonder een presentatie van de analyseresultaten heeft het uitvoeren van een onderzoek weinig nut. De gegeven antwoorden kunnen op meerdere manieren gepresenteerd worden. Eén manier is het tonen van een overzicht van alle volledige antwoorden. Dit is echter een

41

weinig overzichtelijke manier, die het trekken van conclusies niet vergemakkelijkt. Een andere manier is het presenteren van de resultaten van een gerichte zoekopdracht. Een zoekopdracht kan één of meerdere numerieke waarden of percentages opleveren, of een lijst met alle respondenten die aan de opgegeven zoekvoorwaarde(n) voldoen. De numerieke waarden of percentages kunnen getoond worden in een tabel, een grafiek, een matrix of een vector. Indien een open vraag gebruikt is in de zoekopdracht, is het ook mogelijk de open antwoorden van respondenten die voldoen aan de zoekvoorwaarde(n) te tonen. 4.2.7. ‘Content analysis’ ‘Content analysis’ wordt in de literatuur meestal niet genoemd als één van de CAQDAS functies, maar kan naar mijn mening wel degelijk als een CAQDAS functie beschouwd worden. Het is immers een methode om met behulp van de computer kwalitatieve data te analyseren. Het hangt van het doel van het onderzoek af in hoeverre ‘content analysis’ interessant is om toe te passen op de verzamelde kwalitatieve data. Vaak zijn de open antwoorden in online enquêtes korte stukjes tekst, waarbij het coderen en structureren, en het zoeken en verzamelen voldoen voor een analyse van de antwoorden. In sommige gevallen kan ‘content analysis’ echter wel interessant zijn. Bij lange open antwoorden (denk hierbij aan essayvragen), of wanneer het onderzoek gericht is op het woordgebruik van de respondenten, kan een ‘content analysis’ naar de gebruikte woorden en frequentie waarmee deze woorden gebruikt worden interessante resultaten opleveren. ‘Content analysis’ is niet interessant om te gebruiken bij gesloten antwoorden. Immers de tekst van deze antwoorden bestaat uit woorden van de onderzoeker zelf. 4.2.8. Vergelijking De bruikbaarheid van de verschillende CAQDAS functies in combinatie met open en gesloten antwoorden is hierboven uitvoerig behandeld. In tabel 5 zijn de functies nogmaals opgesomd, waarbij is aangegeven welke functies voor open antwoorden en welke functies voor gesloten antwoorden zinvol en wenselijk zijn.

42

CAQDAS functie

Open antwoorden

Gesloten antwoorden

Coderen Structureren van de codes Zoeken en verzamelen Memo’s en annotaties toevoegen Hyperlinks toevoegen Weergeven van de resultaten Content analyse

Tabel 5. CAQDAS functies die bruikbaar zijn voor open en gesloten antwoorden.

4.3. Bestaat er een databasesysteem dat beide vraagvormen kan verwerken? Er bestaan voldoende programma’s die in staat zijn te werken met ofwel kwantitatieve ofwel kwalitatieve gegevens. Dit hoofdstuk onderzoekt in hoeverre bestaande programma’s gebruikt kunnen worden om zowel kwantitatieve als kwalitatieve gegevens op te slaan, te analyseren en te presenteren. Daartoe is uit de categorie ‘kwantitatieve databases’ één programma gekozen en getest op de mogelijkheden om zowel kwantitatieve gegevens als kwalitatieve gegevens te verwerken, namelijk MS Access. Ook uit de categorie ‘kwalitatieve analyse programma’s’ is één programma getest op de mogelijkheden om beide typen gegevens te verwerken, namelijk Kwalitan. Kunnen alle gegevens in één van deze twee programma’s opgeslagen, verwerkt en gepresenteerd worden? 4.3.1. Kunnen alle gegevens verwerkt worden in een kwalitatieve database? Kwalitan is een computerprogramma dat ontwikkeld is ter ondersteuning van de uitvoering van een analyse van kwalitatieve data. In hoofdstuk drie is een opsomming gegeven van de verschillende CAQDAS gradaties: Kwalitan behoort tot de categorie ‘code-and-retrieve’ programma’s. Voordat met Kwalitan gewerkt kan worden moet de data op import in het programma voorbereid worden. Het programma kan alleen tekstbestanden importeren, waarbij alle opmaak van de tekst verloren gaat. De open antwoorden kunnen in hun oorspronkelijke,

43

onbewerkte vorm onder elkaar in een tekstbestand opgeslagen worden. Het te importeren tekstbestand met de gesloten antwoorden kan op vier manieren opgesteld zijn: 1. Het tekstbestand bestaat uit de set met mogelijke antwoorden, die voor ieder gegeven antwoord herhaald wordt en welke gecodeerd is met het gegeven antwoord. 2. Het tekstbestand bestaat uit de tekstuele gekozen antwoorden, welke gecodeerd zijn met de bijbehorende code / afkorting. 3. Het tekstbestand bestaat uit de tekstueel gekozen antwoorden, zonder codering. 4. Het tekstbestand bestaat uit de tekstueel gekozen antwoorden, waarbij de antwoorden uit slechts één woord bestaan (bijvoorbeeld “regelmatig”, “soms” of “nooit”), of enkel uit de afgekorte versie van het antwoord (een karakter, code of getal). Deze vier mogelijkheden zijn in figuur 5 weergegeven. @ Ik gebruik de pc soms

@B

Ik gebruik de pc vaak

Ik gebruik de pc soms

Ik gebruik de pc soms

Soms

Ik gebruik de pc soms Ik gebruik de pc nooit

Figuur 5. De vier mogelijkheden om gesloten antwoorden in een tekstbestand op te slaan dat geïmporteerd kan worden in Kwalitan. In Kwalitan wordt het ‘@’ gebruikt om een code aan te geven. Na import van tenminste één tekstbestand met antwoorden biedt Kwalitan de volgende CAQDAS functionaliteiten: -

coderen van de tekst

-

structureren van de codes in categorieën en boomstructuren

-

zoekopdrachten waarbij filters (voorwaarden) gedefinieerd kunnen worden

-

memo’s en annotaties toevoegen

-

hyperlinks toevoegen

-

weergeven van de resultaten in de vorm van lijsten, tabellen en matrices; bovendien kunnen de resultaten zo opgemaakt worden dat ze geëxporteerd kunnen worden naar het statistische programma SPSS voor verdere analyse

-

‘content analysis’ uitvoeren dat een woordfrequentielijst oplevert

In de vorige paragraaf is bestudeerd in hoeverre deze functies bruikbaar zijn voor open en gesloten antwoorden. Daar kwam uit dat alle bovenstaande functies toepasbaar zijn op open

44

antwoorden. Voor de gesloten antwoorden is daar geconcludeerd dat de functies coderen en ‘content analysis’ niet van toepassing zijn. Echter, wanneer de gesloten antwoorden geïmporteerd worden in een tekstbestand van het derde of het vierde type, kunnen de antwoorden alsnog wel voorzien worden van codes. Op een tekstbestand van type vier is het tevens zinvol om een ‘content analysis’ uit te voeren. Deze analysefunctie telt namelijk het aantal keren dat ieder woord voorkomt. Als ieder woord een antwoord representeert is het met ‘content analysis’ mogelijk te tellen hoe vaak ieder antwoord gegeven is. Kwalitan is onderzocht op een aantal belangrijke functionaliteiten zoals snelheid, duidelijkheid en consistentie in gebruik, gebruik van een database, gebruik van CAQDAS functionaliteiten, mogelijkheid om het programma te koppelen aan een online enquête en de bruikbaarheid voor een onervaren onderzoeker. Tabel 6 geeft kort de belangrijkste plus- en minpunten van Kwalitan weer. Pluspunten van Kwalitan

Minpunten van Kwalitan

-

consistent coderen mogelijk gemaakt

-

handmatige import van tekstbestanden

door aanmaak van coderingsschema,

-

geen weergave van de geïmporteerde

waaruit reeds aangemaakte codes

antwoorden in tabellen of grafieken

gekozen kunnen worden voor

mogelijk

hergebruik

-

resultaten van zoekopdrachten alleen

-

autocoding mogelijk

-

‘content analysis’ functies

-

geen statistische methoden aanwezig

-

voorzien van een stap voor stap

-

geen ‘realtime’ analyse of directe

weergegeven in lijsten

interface en begeleiding -

codes kunnen ingedeeld worden in een

koppeling met een website mogelijk -

querymogelijkheden gaan niet verder

grafische boomstructuur

dan zoek- en verzamelopdrachten

onderzoeker hoeft niet zelf een

waarbij alleen bepaalde codes

gegevensstructuur te bedenken

opgegeven kunnen worden als

gegevens worden op eigen schijfruimte

zoekvoorwaarde

opgeslagen

-

platformafhankelijk: programma werkt alleen onder MS Windows

Tabel 6. Plus- en minpunten van de opslag, verwerking en presentatie van de open en gesloten antwoorden in Kwalitan.

45

Het programma Kwalitan is duidelijk geschikt voor de verwerking van open antwoorden. De CAQDAS functionaliteiten zijn in dit programma goed geïmplementeerd en de onderzoeker wordt in het verwerken van de gegevens stap voor stap begeleid en ondersteund. Echter, het programma is niet sterk in een gestructureerde opslag van de gegevens, het uitvoeren van zoekopdrachten en de weergave van de zoekresultaten. Wellicht dat een programma als MS Access op dit vlak meer mogelijkheden kan bieden?!

4.3.2. Kunnen alle gegevens verwerkt worden in een kwantitatieve database? MS Access is het programma dat ik bij de verwerking van mijn eigen enquête heb gebruikt. Met het programma kan een relationele database gemaakt worden waarin grote hoeveelheden gegevens in één of meerdere tabellen gestructureerd kunnen worden. Vervolgens kunnen deze gegevens gebruikt worden in uitgebreide ‘queries’ en voor een statistische verwerking. Het programma is daarmee uitermate geschikt voor een snelle verwerking van de gesloten antwoorden. MS Access kan verschillende datatypen opnemen in de velden van een tabel, zoals tekst, numeriek, datum en tijd, valuta, autonummering, ja / nee en hyperlink. Gesloten antwoorden zijn vaak korte antwoorden of afgekorte antwoorden, zoals een karakter, een code of een getal. Deze antwoorden worden daarom meestal opgenomen in een tekstveld van het type ‘char’ of een numeriek veld van het type ‘int’. Open antwoorden dienen vanzelfsprekend opgenomen te worden in een tekstueel veld. Een tekstueel veld van het type ‘char’ kan slechts 255 karakters (‘characters’) bevatten; een tekstueel veld van het type ‘memo’ kan 64.000 karakters bevatten. Open antwoorden dienen dus in een memoveld bewaard te worden. Een andere mogelijkheid is het opslaan van het open antwoord in een tekstbestand. In de tabel kan vervolgens in een veld van het type ‘hyperlink’ een link aangemaakt worden naar dit tekstbestand. Het antwoord wordt in dit geval dus niet rechtstreeks opgeslagen in de database. De aangemaakte link is operationeel, wat betekent dat als de onderzoeker erop klikt, het tekstbestand geopend wordt. Nadeel van deze methode is dat voor ieder antwoord een apart tekstbestand aangemaakt dient te worden en dat het antwoord in het tekstbestand niet inhoudelijk doorzocht kan worden, of gebruikt kan worden in een ‘query’. Wanneer de gegevens eenmaal geïmporteerd zijn in de database, kunnen de gesloten antwoorden direct gebruikt worden voor statistische toepassingen en ‘queries’. De open antwoorden moeten wederom eerst gecodeerd worden. Omdat van tevoren niet bekend is hoeveel codes nodig zijn om een antwoord te coderen, is het niet verstandig de codes in dezelfde tabel als de antwoorden op te nemen, want dan moet voor iedere code die aan een

46

antwoord gekoppeld wordt een nieuwe kolom aan de tabel toegevoegd worden. Een betere methode is het aanmaken van een extra tabel waarin alle codes opgeslagen worden en voorzien worden van een ‘codenummer’. Een derde tabel kan dan vervolgens als koppeltabel dienen tussen het antwoord en de codes die aan dat antwoord toegekend zijn. Zie voor een voorbeeld figuur 6. #

Antwoord

#

Code

Antw.

Code

1

Antwoord1

1

Code1

1

1

2

Antwoord2

2

Code2

1

3

3

Antwoord3

3

Code3

2

3

Figuur 6. Overzicht van drie tabellen die aangemaakt moeten worden om een code aan een antwoord toe te kunnen kennen . Het voordeel van een relationele database is dat de gegevens in de derde tabel ook daadwerkelijk gekoppeld kunnen worden aan de gegevens in de eerste en de tweede tabel, zoals afgebeeld in figuur 7.

Figuur 7. De tabel met de antwoorden en de tabel met de codes zijn aan elkaar gekoppeld via een derde tabel met de antwoord - code combinaties. MS Access is op dezelfde functionaliteiten onderzocht als Kwalitan: snelheid, duidelijkheid en consistentie in gebruik, gebruik van een database, gebruik van CAQDAS functionaliteiten, mogelijkheid om het programma te koppelen aan een online enquête en de bruikbaarheid voor een onervaren onderzoeker. Tabel 7 geeft kort een aantal belangrijke plus- en minpunten van MS Access weer.

47

Pluspunten van MS Access

Minpunten van MS Access

-

-

uitgebreide querymogelijkheden door koppelingen tussen tabellen en de mogelijkheid om zowel codes als

onderzoeker zelf aangemaakt worden -

letterlijke antwoorden te gebruiken als -

gegevensstructuur moet door codes kunnen niet in een grafische boomstructuur getoond worden

zoekvoorwaarde

-

handmatige import van tekstbestanden

weergave van antwoorden en

-

geen ‘content analysis’ functies

queryresultaten in tabellen en grafieken mogelijk

aanwezig -

autocoding alleen mogelijk door zelf een

-

statistische methoden aanwezig

uitgebreid SQL statement te maken:

-

overzichtelijke gegevensstructuur

hiervoor is kennis van SQL nodig

-

doordat alle gegevens in afzonderlijke

-

geen stap voor stap analysetraject

records en velden kunnen worden

-

weinig consistente codering doordat drie

opgeslagen; tevens mogelijkheid om

tabellen nodig zijn voor het koppelen

meerdere tabellen aan te maken

van een antwoord en een code

gegevens worden op eigen schijfruimte

-

opgeslagen

geen ‘realtime’ analyse of directe koppeling met een website mogelijk

-

het is niet mogelijk gekoppelde tekstbestanden te doorzoeken

-

gebonden aan het MS Windows besturingssysteem

Tabel 7. Plus- en minpunten van de opslag, verwerking en presentatie van de open en gesloten antwoorden in MS Access. MS Access kent een aantal sterke pluspunten, maar ook meerdere minpunten. MS Access kan heel goed gebruikt worden voor de opslag van de gegevens, het uitvoeren van zoekopdrachten en het presenteren van de resultaten. Echter, het programma is niet eenvoudig in gebruik en vereist veel interactie met de onderzoeker. Hij / zij moet zelf een gegevensstructuur opstellen en wordt niet ondersteund bij het analyseren van de open antwoorden. Is het mogelijk een systeem te ontwerpen, die het beste van Kwalitan combineert met het beste van MS Access?

48

4.4. Een alternatieve methode Aan de hand van de bestudering van de mogelijkheden die Kwalitan en MS Access bieden is het mogelijk een wensenpakket op te stellen waaraan een alternatief systeem zou moeten voldoen: -

stap voor stap ondersteuning bij de codering en structurering van de open antwoorden; hulp bij consistente codering en tonen van een grafische boomstructuur

-

uitgebreide CAQDAS en ‘content analysis’ functionaliteiten

-

uitgebreide querymogelijkheden en statistische methoden

-

directe koppeling met een website zodat handmatige import en opzet van een eigen gegevensstructuur niet nodig is en het systeem platform- en programma-onafhankelijk is

-

‘realtime’ weergave van de resultaten in tabellen en grafieken

Eén van de grootste nadelen van beide bestaande programma’s is dat ze niet direct gekoppeld kunnen worden aan een online enquête. Dit betekent dat het niet mogelijk is de antwoorden die een respondent geeft direct gestructureerd en overzichtelijk op te slaan in een database die de onderzoeker niet zelf hoeft op te zetten. De gegevens zijn dan ook niet beschikbaar voor een ‘realtime’ verwerking. Dit betekent dat de gegevens niet direct na ontvangst gebruikt kunnen worden voor een tussentijdse analyse. Een methode waarbij dit allemaal wel mogelijk is, is de koppeling van de online enquête met een MySql database. Deze database is vergelijkbaar met een MS Access database. Alle voordelen van een verwerking van de antwoorden in MS Access gelden ook voor een verwerking van de antwoorden in MySql. Echter, ook in een MySql ontbreken de CAQDAS functies die nodig zijn voor een analyse van de open antwoorden. Dit gebrek kan worden opgevangen door de website die aan de database gekoppeld is. De website biedt de onderzoeker een interface waarmee hij / zij een analyse op de gegevens kan uitvoeren zonder daarbij kennis te hoeven hebben van specifieke software of programmeertalen zoals SQL. Zonder dat de onderzoeker het door hoeft te hebben, worden de gegevens in de database opgeslagen en kunnen de gegevens ook weer uit de database gelezen worden. Dit maakt het mogelijk uitgebreide zoekopdrachten op te stellen waarbij ook de open antwoorden gebruikt kunnen worden, die vervolgens door het systeem omgezet worden in SQL ‘queries’. Op deze manier ontstaat één systeem dat zowel mogelijkheden biedt voor een gestructureerde opslag van de verzamelde antwoorden, het uitvoeren van uitgebreide zoekopdrachten, statistische methoden, en de belangrijkste CAQDAS functies. Bovendien

49

hoeft de onderzoeker niet zelf een geschikte databasestructuur te bedenken en op te zetten, en hoeft hij / zij niet zelf de gegevens te importeren en te structureren. De website en de achterliggende database zorgen voor een stap voor stap analyseproces met voldoende begeleiding. De verschillende plus- en minpunten van dit alternatieve systeem zijn opgesomd in tabel 8. Pluspunten van de alternatieve methode

Minpunten van de alternatieve methode

-

alle pluspunten van Kwalitan

-

-

alle pluspunten van MS Access

-

systeem is platformonafhankelijk en de

gegevens zijn niet direct opgeslagen op eigen computer

onderzoeker hoeft zelf niet te beschikken over speciale software -

geen import van gegevens nodig, deze worden automatisch vanaf de website in de database weggeschreven

-

exportmogelijkheden voor MS Access, MS Excel en SPSS

Tabel 8. Plus- en minpunten van de opslag, verwerking en presentatie van de open en gesloten antwoorden in een alternatief systeem dat gebaseerd is op een website met een daaraan gekoppelde MySql database.

4.5. Conclusie In dit hoofdstuk is gekeken op welke manieren open en gesloten antwoorden in één systeem opgeslagen, verwerkt en gepresenteerd kunnen worden. Hoewel Kwalitan en MS Access voldoende mogelijkheden bieden om beide antwoordtypen te verwerken, zijn beide systemen niet ideaal om te gebruiken wanneer een onderzoeker snel en eenvoudig een online enquête wil uitvoeren. Vervolgens is gekeken op welke manier het beste van beide programma’s gecombineerd kan worden in een alternatief systeem dat gebaseerd is op een website die een duidelijk en eenvoudig te gebruiken interface biedt. Aan de website kan een MySql database gekoppeld worden, die het mogelijk maakt de gegevens gestructureerd op te slaan en ‘realtime’ te verwerken. Dit levert een totaalpakket op waarin een enquête aangemaakt, uitgevoerd en verwerkt kan worden. In het volgende hoofdstuk wordt in dit hoofdstuk voorgestelde alternatieve systeem verder uitgewerkt en geïmplementeerd.

50

5. Ontwerp en implementatie van een alternatief

5.1. Inleiding In hoofdstuk vier kwam een alternatieve methode, die gebruik maakt van een website en een MySql database voor het uitvoeren van een online enquête, als beste uit de bus. Om deze methode zo optimaal mogelijk uit te werken tot een goed werkend systeem, zijn eerst nog een aantal bestaande online enquêtesystemen onderzocht op de mogelijkheden die zij aanbieden en vooral ook op de aanwezige CAQDAS functies. De mogelijkheden blijken zeer beperkt en CAQDAS functies ontbreken veelal. Het enquêtesysteem dat in dit hoofdstuk voorgesteld wordt, is gebaseerd op de theorie omtrent de mogelijkheden om open en gesloten antwoorden te gebruiken en te verwerken, en op de bevindingen van het praktische, vergelijkende onderzoek van bestaande online enquêtesystemen. De in de algemene inleiding genoemde CVO enquête is als testenquête gebruikt. Door middel van deze enquête heb ik onderzocht hoe verschillende gebruikersgroepen maatregelen treffen tegen, en omgaan met computervirussen. De resultaten van deze CVO enquête zijn gebruikt als invoer voor de testenquête en berusten dus op de werkelijkheid.13 De oorspronkelijke enquête bestond uit 58 vragen en is gehouden onder 135 respondenten, zowel op papier als via Internet.14

5.2. Vergelijkend onderzoek Voor het vergelijkende onderzoek naar de mogelijkheden die bestaande online enquêtesystemen bieden zijn enkele toonaangevende systemen bestudeerd en getest: Enquête Via Internet, Survey World, Online Enquête, eXamine, eQuest, Zoomerang, Quask, Studentenenquete en Websurveyor. De vergelijkingen zijn opgezet aan de hand van de drie taken die onderscheiden kunnen worden bij het houden van een enquête: 1. Het aanmaken van een enquête en het invoeren van de vragen. 2. Het publiceren en uitvoeren van de enquête. 3. Het verwerken van de verzamelde gegevens en het presenteren van de resultaten.

13

Zie voor de ‘CVO’ enquête bijlage II. De op Internet ingevulde enquête werd door gebruik te maken van een kant-en-klaar ‘sendmail’ programma in Perl via e-mail naar mij opgestuurd; de gegevens moesten handmatig in de MS Access database ingevoerd worden.

14

51

Bij wijze van illustratie zijn de bevindingen die gedaan zijn bij twee van deze systemen, “Enquête Via Internet” en “Survey World” hier kort samengevat.15 5.2.1. Enquête Via Internet 1

+ + + + + -

2

+ +

3

+ + -

Eén onderzoeker kan meerdere enquêtes beheren. Gegevens over enquête en beheerder kunnen gewijzigd worden. Logboek houdt de belangrijkste ontwikkelingen bij, zoals het aanmaken van een nieuwe enquête, toevoeging van nieuwe vragen en aangebrachte wijzigingen. Keuze uit vijf vraagtypen.16 Achtergrondkleur van de enquête kan aangepast worden; afbeelding kunnen ‘geupload’ worden. Het is niet mogelijk ‘skips’ (vervolgvragen) te definiëren. Duidelijke instructies voor versturen van uitnodigingen en inpassen van enquête in eigen website. Check op uiterlijke publicatiedatum. Resultaten zijn realtime te volgen in een overzicht van alle gegeven antwoorden, waarbij ook percentages berekend worden. Export mogelijk naar XML, Access, Excel en Word. Exportbestanden moeten via e-mail aangevraagd worden. Het is niet mogelijk koppelingen tussen tabellen te definiëren of ‘queries’ uit te voeren. De verwerking van open antwoorden is niet bekend.

5.2.2. Survey World 1

+ + + -

Keuze uit meerdere talen. Lay-out kan volledig aan huisstijl aangepast worden. Keuze uit tien vraagtypen.17 Het is niet mogelijk ‘skips’ (vervolgvragen) te definiëren. Het is niet mogelijk externe bestanden (afbeeldingen) te ‘uploaden’ en toe te voegen aan de vragen.

15

Zie http://www.enqueteviainternet.com en http://www.surveyworld.com. Onder andere: open vragen, gesloten vragen met één of meerdere keuzes en een likertschaal. 17 Onder andere: ja / nee vraag, open vraag waarbij de respondent kan antwoorden in één regel of in meerdere regels, gesloten vraag met één of meerdere keuzes, en een matrixvraag. De overige vraagtypen zijn combinaties van de genoemde typen of typen die bedoeld zijn voor zeer specifieke marktonderzoeken. 16

52

2

+ + + +

3

+ + + -

Duidelijke instructies voor versturen van uitnodigingen en invoegen van enquête in eigen website. Deelnemers kunnen uit een bestaand adresboek geïmporteerd worden en uitgenodigd worden via e-mail. Er wordt bijgehouden wie gereageerd heeft en wie niet (en waarom niet) en er kan een tweede e-mailbericht ter herinnering gestuurd worden. Wanneer de uitnodiging verstuurd is kan de enquête niet meer gewijzigd worden. Resultaten zijn realtime te volgen in meerkleurige, 3D grafieken die voorzien zijn van een duidelijke legenda. Er kunnen koppelingen (kruisverbanden) gemaakt worden tussen meerdere vragen. Export van de resultaten is mogelijk naar Office software en SPSS. De verwerking van open antwoorden is niet bekend.

Wat duidelijk ontbreekt in deze twee systemen, en ook in de andere bestudeerde systemen, is de verwerking van de verzamelde antwoorden op de open vragen. Uit correspondentie met verschillende ICT bedrijven die in online enquêtes gespecialiseerd zijn en met universiteiten die een systeem hebben voor het uitvoeren van tentamens via het WWW, is duidelijk geworden dat de open vragen bij deze organisaties handmatig verwerkt worden. Dit betekent dat de gegeven antwoorden verzameld, geprint en handmatig gestructureerd worden, waarna ze gelezen en geïnterpreteerd worden. De vragen worden op deze manier afzonderlijk van de overige gestelde vragen behandeld, en worden door de genoemde bedrijven niet gekoppeld aan andere gegeven antwoorden. De universiteiten geven aan de hand van de interpretatie van het antwoord een waardering voor het antwoord, welke uiteindelijk wel gekoppeld wordt aan de overige antwoorden om zo een totaal cijfer voor het tentamen te kunnen geven. Op basis van de opgedane kennis van de verschillende CAQDAS functionaliteiten lijkt het mij noodzakelijk enkele van deze functies te implementeren zodat het systeem ook wat betreft de verwerking van de antwoorden op de open vragen de onderzoeker kan ondersteunen. Aan de hand van deze bevindingen, de resultaten van de vergelijkingen en de kennis die opgedaan is omtrent de verschillende verwerkingsfuncties heb ik een online enquêtesysteem opgezet dat zoveel mogelijk gebruik maakt van de pluspunten van programma’s als Kwalitan en MS Access en van de pluspunten van de bestaande online enquêtesystemen. De volgende paragrafen beschrijven welke functies geïmplementeerd zijn en op welke manier dit gebeurd is.

53

5.3. Gebruikte technieken Voor het uitwerken van algoritmen voor een alternatief online enquêtesysteem is gebruik gemaakt van de standaard webtaal HTML en van JavaScript. Uit de vergelijkingen van bestaande online enquêtesystemen en uit de correspondentie met verschillende ICT bedrijven die in online enquêtes gespecialiseerd zijn, bleek dat de meeste systemen gebruik maken van het databasesysteem MySql. Deze database kan eenvoudig aan een website gekoppeld worden en kan via deze website geraadpleegd worden door gebruikmaking van de programmeertaal PHP. De eerste stap die genomen is in het opzetten van het nieuwe enquêtesysteem is het aanmaken van de MySql database. Bij het aanmaken van de database zijn ook direct twee tabellen aangemaakt: ‘beheerders’ en ‘enquetes’. In tabel 9 worden de verschillende onderdelen van deze tabellen opgesomd.

TABELLEN Beheerders

Enquetes

VELDEN -

beheerder e-mail inlognaam inlogcode enquete inleiding afsluiting aanmaakdatum afsluitdatum font fontcolor bgcolor balkcolor buttonbg bordercolor

OMSCHRIJVING naam van enquêtebeheerder (onderzoeker) emailadres van enquêtebeheerder inlognaam voor enquêtesysteem gegenereerde inlogcode voor enquêtesysteem naam van de enquête tekst waarmee de enquête ingeleid wordt tekst waarmee de enquête afgesloten wordt datum waarop enquête aangemaakt is uiterlijke publicatie datum lettertype van de enquête kleur van de tekst van de enquête achtergrondkleur van de enquête kleur van een balkje in de enquête kleur van de knoppen in de enquête kleur van de knopranden in de enquête

Tabel 9. De onderdelen van de tabellen ‘beheerders’ en ‘enquêtes’. De tweede stap is het bedenken van geschikte algoritmen om het systeem op te zetten. Dit heb ik gedaan aan de hand van de eerder genoemde taken die bij het uitvoeren van een enquête grofweg kunnen worden onderscheiden, namelijk: 1. Het aanmaken van een enquête en het invoeren van de vragen. 2. Het publiceren en uitvoeren van de enquête. 3. Het verwerken van de verzamelde gegevens en het presenteren van de resultaten.

54

De volgende paragrafen bespreken hoe iedere taak gerealiseerd is binnen het alternatieve online enquêtesysteem.

5.4. Aanmaken van een enquête 5.4.1. Het eerste bezoek Bij het oproepen van het enquêtesysteem, krijgt de onderzoeker in eerste instantie toegang tot slechts drie mogelijkheden: het lezen van hulpbestanden, aanmelden als nieuwe enquêtebeheerder of inloggen als reeds aangemelde enquêtebeheerder. Een nieuwe gebruiker dient zich eerst kenbaar te maken bij het systeem. De onderzoeker kiest hiertoe tijdens het eerste bezoek aan de website de optie “aanmelden als nieuwe gebruiker”. Vervolgens geeft de onderzoeker een aantal persoonsgegevens op, die opgeslagen worden in de tabel ‘beheerders’: naam van de beheerder, emailadres van de beheerder en een zelf te kiezen inlognaam en inlogcode. Op het hierop volgende scherm wordt om de zojuist opgegeven inlognaam en inlogcode gevraagd om voor het eerst in te loggen in het nieuwe systeem. Een reeds aangemelde onderzoeker kan in het menu direct kiezen voor ‘inloggen’ om van het systeem gebruik te maken.18 5.4.2. Een nieuwe enquête Nadat de enquêtebeheerder is ingelogd wordt een uitgebreider navigatiemenu aangeboden (zie figuur 10.2) en wordt een overzicht getoond van enquêtes die de ingelogde beheerder reeds aangemaakt heeft. In dit overzicht zijn de enquêtenaam, de datum van aanmaak, de uiterste publicatiedatum en het aantal deelnemers (respondenten) opgenomen. Indien er nog geen enquête is aangemaakt, of indien de beheerder van een reeds bestaande enquête een nieuw onderzoek wil starten, is de volgende stap het aanmaken van een nieuwe enquête. De naam die de onderzoeker kiest voor de enquête dient in kleine letters opgegeven te worden, mag niet beginnen met een getal en mag niet geheel numeriek zijn. Deze regels zijn zo opgesteld omdat de naam van de enquête ook gebruikt wordt als onderdeel van tabelnamen, waarbij MySql dezelfde regels hanteert.

18

Om het systeem te testen kan gebruik gemaakt worden van de inlognaam ‘beheerder’ en de inlogcode ‘test123’. Voor deze enquêtebeheerder is een complete enquête aangemaakt om het systeem te kunnen testen.

55

Bij het aanmaken van een nieuwe enquête kan verder een inleidende tekst en een afsluitende tekst opgegeven worden. De inleidende tekst wordt aan de respondent getoond bij het oproepen van de enquête; de afsluitende tekst wordt getoond wanneer de respondent de enquête voltooid heeft. De opmaak van de inleidende en de afsluitende tekst kan volledig aangepast worden aan de wensen van de onderzoeker, doordat gebruik gemaakt is van een ‘inline HTML editor’ die door een JavaScript gegenereerd wordt (zie figuur 8.).

Figuur 8. De ‘inline htmleditor’ die gegenereerd wordt door een JavaScript biedt veel opmaakmogelijkheden. Het script van deze ‘inline editor’ kan gratis van Internet ‘gedownload’ worden.19 Deze editor is alleen te gebruiken door Internet Explorer 5.5 of hoger, maar indien een andere browser gebruikt wordt, wordt een standaard ‘textarea’ getoond, zoals weergegeven is in figuur 9.

Figuur 9. Een standaard ‘textarea’ waarin een tekst getypt kan worden. Tenslotte wordt gevraagd om een uiterlijke datum van publicatie. Deze datum wordt gebruikt door een functie die bij het oproepen van de enquête door de respondent controleert of de ‘afsluitdatum’ reeds bereikt is. Indien dit het geval is wordt niet de enquête getoond, maar een alternatieve tekst die aangeeft dat het onderzoek beëindigd is. Nu de algemene enquêtegegevens door de onderzoeker opgegeven zijn, worden er twee acties uitgevoerd. De eerste is het aanmaken van nieuwe tabellen die voor iedere nieuwe enquête opnieuw aangemaakt worden, en waarbij de enquêtenaam deel van de tabelnaam is. 19

Zie hiervoor HTMLArea v2.03 op http://www.interactivetools.com.

56

Deze tabellen worden dus alleen door de zojuist aangemaakte enquête gebruikt. Het betreft de tabellen en velden die opgenomen zijn in tabel 10 en die allen beginnen met de naam van de enquête, gevolgd door een ‘underscore’ ( _ ), gevolgd door de eigenlijke naam van de tabel. De tabelnamen zijn op deze manier opgebouwd om de tabellen die bij een specifieke enquête horen te onderscheiden van de tabellen die bij een andere enquête horen. Idealiter wordt voor iedere enquête een nieuwe database aangemaakt. Lokaal is dit mogelijk, maar bij gebruikmaking van ruimte op een externe webserver, is slechts plaats voor één database (met een onbeperkt aantal tabellen).

TABELLEN

VELDEN

_antwoorden _categorieen

-

_codes

_koppelingen1

_koppelingen2 _opties

_respondenten

_vragen

resnummer catnummer categorie codenummer codetekst codetype codememo resnummer vraagnummer codenummer codenummer catnummer vraagnummer optie vervolg resnummer begin eind email vraagnummer vraagtekst vraagtype vraagmemo

OMSCHRIJVING nummer van respondent (uniek) nummer van de categorie (uniek) naam van de categorie nummer van de code (uniek) tekst van de code type van de code: feitelijk of referentieel memo bij de code nummer van gekoppelde respondent nummer van gekoppelde vraag nummer van gekoppelde code nummer van gekoppelde code nummer van gekoppelde categorie nummer van vraag gekoppelde optie nummer van de vervolgvraag nummer van respondent (uniek) tijdstip en datum waarop respondent begint tijdstip en datum waarop respondent eindigt emailadres van respondent nummer van de vraag tekst van de vraag type van de vraag memo bij de vraag

Tabel 10. Omschrijving van de tabellen en de velden die gedefinieerd worden bij het aanmaken van een nieuwe enquête. De vragen die de onderzoeker aanmaakt, komen in de tabel _vragen te staan. Hierbij is voor iedere vraag ruimte opgenomen voor een vraagnummer, de tekst van de vraag, het type van de vraag (zie voor deze typen pagina 60) en eventueel een memo bij de vraag. De “opties” die per vraag meegegeven worden, zoals de set van gesloten antwoorden, de waarden van de likertschaal en het aantal regels dat de respondent kan invoeren bij een open vraag, worden

57

opgeslagen in de tabel _opties. In deze tabel wordt iedere “optie” aan het bijbehorende vraagnummer gekoppeld. De tabellen _vragen en _opties worden dus gevuld bij het aanmaken van de enquête. Wanneer een respondent deelneemt aan de enquête worden de tabellen _respondenten en _antwoorden gebruikt. In de eerste tabel worden enkele gegevens over de respondent opgeslagen, zoals het nummer van de respondent en het tijdstip en de datum waarop de respondent aan de enquête begint. Voordat de eerste respondent een antwoord op een vraag heeft gegeven bestaat de tabel _antwoorden enkel uit het veld ‘resnummer’. Elke keer als de eerste respondent een antwoord op een vraag heeft gegeven wordt de tabel uitgebreid met een veld met de naam ‘vraag$vraagnummer’, waarbij $vraagnummer een variabele is en gelijk staat aan het nummer van de vraag die zojuist beantwoord is. Als de onderzoeker toe is aan het verwerken van de verzamelde antwoorden, kunnen de open antwoorden gecodeerd worden. In de tabel _codes wordt de informatie over iedere aangemaakte code opgeslagen: nummer van de code, tekst van de code, type van de code en eventueel een memo. De combinatie van vraagnummer en respondentnummer is de link naar het gegeven antwoord en dient daarom uniek te zijn. De tabel _koppelingen1 geeft vervolgens de koppelingen tussen de vraagnummers, de respondentnummers en de codenummers. De codes kunnen vervolgens ingedeeld worden in categorieën. Deze categorieën worden met naam en nummer opgeslagen in de tabel _categorieen. De tabel _koppelingen2 is de tabel die het laatste gevuld wordt. In deze tabel worden koppelingen gemaakt tussen de codes en de categorieën door categorienummer en het nummer van de toegekende code op te slaan. De combinatie van een categorienummer met een codenummer dient uniek te zijn, om dubbele koppelingen te voorkomen. De aanmaak van nieuwe tabellen is voor de onderzoeker niet zichtbaar. De tweede actie die plaats vindt, is wel zichtbaar: een nieuwe uitbreiding van het navigatiemenu. De drie verschillende navigatiemenu’s zoals ze eerder in deze paragraaf genoemd zijn, zijn in figuur 10 weergegeven.

58

Figuur 10.1

Figuur 10.2

Figuur 10.3

Figuur 10. De verschillende navigatiemenu’s: 10.1. Wordt getoond als de gebruiker nog niet ingelogd is op het systeem; 10.2. Wordt getoond wanneer de gebruiker ingelogd is op het systeem maar nog geen enquête aangemaakt heeft, of nog niet een reeds aangemaakte enquête geselecteerd heeft; 10.3. Wordt getoond wanneer de onderzoeker een enquête geselecteerd heeft om mee te werken. De volgende stap in het aanmaken van een enquête is het toevoegen van vragen aan de (lege) enquête. Het systeem zoekt eerst of er in de tabel _vragen al vragen opgenomen zijn. Indien dit niet het geval is, is het nummer van de vraag “1”. Indien er al vragen in de database zijn opgeslagen wordt door middel van de SQL-functie MAX het laatste (hoogste) vraagnummer geselecteerd. Vervolgens wordt dit getal verhoogd met één, en dit vormt het nummer van de nieuwe vraag. De vraagnummers zijn van het type ‘int’ (‘integer’), maar niet van het type ‘autonummering’ (‘autoincrement’), omdat het dan later niet mogelijk zou zijn de vragen van nummer te laten veranderen door ze naar boven of naar beneden te verschuiven in

59

volgorde. De onderzoeker voert nu eerst een vraagtekst in. 20 Vervolgens wordt gekozen voor één van de volgende vraagtypen: 1.

een gesloten ja / nee vraag met als extra optie “geen idee” of “geen mening”;

2.

een gesloten vraag met een set van antwoorden, waarbij één antwoord gegeven kan worden;

3.

een gesloten vraag met een set van gradaties verdeeld over een likertschaal;

4.

en tenslotte een open vraag met een tekstvak voor het open antwoord.

Een belangrijk alternatief type is de gesloten vraag met een set van antwoorden, waarbij de respondent meerdere antwoorden aan kan geven. Voor de verzamelde antwoorden op een dergelijke vraag is nog een tabel nodig, die het respondentnummer en het vraagnummer koppelt en een tabel die vervolgens het nummer van deze koppeling koppelt aan het gegeven antwoord. Deze oplossing is niet ingewikkeld om te begrijpen, maar is niet geïmplementeerd vanwege het feit dat de realisatie op dit moment te arbeidsintensief is. Een ander belangrijk type is de gesloten vraag met een open alternatief, zoals “anders, namelijk:…” of “ja, omdat: …”. Om een dergelijke vraag te kunnen verwerken moet het enquêtesysteem enorm uitgebreid worden. Het antwoord dat op een dergelijke vraag gegeven wordt, dient dan namelijk ook voorzien te worden van een aanduiding van het antwoordtype: open of gesloten. Indien het één van de vooraf gegeven gesloten antwoorden betreft, dan kan het antwoord verwerkt worden zoals de overige gesloten antwoorden. Betreft het een alternatief, open antwoord, dan dient het antwoord voor een analyse geïnterpreteerd en gecodeerd te worden. Ook dit vraagtype vraagt dus om extra tabellen, en is om deze reden nog niet geïmplementeerd. Wanneer er gekozen is voor één van de vier aangeboden vraagtypen, worden, afhankelijk van het vraagtype dat gekozen is, verschillende mogelijkheden getoond. Is er gekozen voor type 1, dan kan er vervolgens gekozen worden om de optie “geen idee” of de optie “geen mening” toe te voegen aan de antwoordenset die standaard bestaat uit de antwoorden “ja” en “nee”. Is er gekozen voor type 2, dan worden er tien invoervelden getoond, waarin de onderzoeker een set van maximaal tien gesloten antwoorden kan invoeren. Voor type 3 geldt ongeveer hetzelfde: hierbij worden vijf invoervelden getoond, waarin de onderzoeker een set van maximaal vijf gradaties voor een likertschaal kan opgeven. Wordt er gekozen voor het

20

Voor het aanmaken van de vragen wordt ook gebruik gemaakt van eerder beschreven JavaScript ‘inline editor’.

60

vierde type, de open vraag, dan kan het maximale aantal regels dat de respondent mag intypen opgegeven worden. Tenslotte kunnen alle vragen, ongeacht type, voorzien worden van een memo. Figuur 11 toont hoe een scherm voor het aanmaken van een nieuwe vraag eruit kan zien en figuur 12 laat zien hoe deze vraag er uiteindelijk uit ziet.

Figuur 11. Voorbeeld scherm waarin een gesloten vraag met een likertschaal aangemaakt en toegevoegd wordt aan de enquête (vraag 53 in de ‘CVO’ enquête, zie bijlage II).

Figuur 12. Voorbeeld van een vraag met een likertschaal (vraag 53 in de ‘CVO’ enquête, zie bijlage II).

61

Wanneer de optie “vragenoverzicht” in het navigatiemenu gekozen wordt (zie figuur 10), worden alle aangemaakte vragen in volgorde onder elkaar getoond. Voor het lezen van de memo bij een vraag, kan de onderzoeker gebruik maken van een link naast de vraag om een kleiner browserscherm te openen met daarin de bijbehorende memo. 5.4.3. Een bestaande enquête Wanneer een enquête aangemaakt is en vragen zijn toegevoegd biedt het systeem uitgebreide mogelijkheden om wijzigingen aan te brengen in de vragen, de inleidende en de afsluitende teksten en de lay-out van de uiteindelijke enquête. Van de inleiding en de afsluiting kunnen alleen de letterlijke tekst en de opmaak gewijzigd worden. De vragen kunnen op meerdere manieren aangepast worden. Zo kunnen verschillende onderdelen gewijzigd worden: vraagtekst, opgegeven opties (bijvoorbeeld de gesloten antwoorden of de gradaties voor een likertschaal) en de memo. Vragen kunnen ook verwijderd worden. Indien dit gebeurt met een vraag die niet de laatste vraag is, schuiven alle volgende vragen op naar boven. Dit verschuiven van vragen kan ook gedaan worden zonder een vraag te verwijderen. Met uitzondering van de eerste vraag, kunnen alle vragen per keer één plaatsje omhoog geschoven worden. Wanneer bijvoorbeeld de derde vraag één plaatsje omhoog geschoven wordt, wordt deze vraag de tweede vraag; de voormalig tweede vraag wordt automatisch de nieuwe derde vraag. Door dezelfde vraag nogmaals omhoog te schuiven kan van de oorspronkelijk derde vraag de eerste vraag gemaakt worden, wordt de eerste vraag de tweede vraag en wordt de tweede vraag de derde vraag. Terwijl in de achterliggende database de vraagnummers van twee vragen omgewisseld worden, ziet de onderzoeker op het scherm dat de geselecteerde vraag omhoog geschoven is. Op deze manier kan de gehele vragenlijst gereorganiseerd worden. Tenslotte is het nog mogelijk ‘skips’ (ook wel vervolgvragen genoemd) te definiëren. Op deze manier kan aangegeven worden welke vraag aan de respondent getoond moet worden, afhankelijk van het antwoord dat gegeven is op de vorige vraag. De ‘skips’ worden per antwoordmogelijkheid (optie) gedefinieerd. Uiteraard hoeft de onderzoeker geen ‘skip’ aan te geven als de volgende vraag de vervolgvraag is. Het is niet mogelijk een ‘skip’ aan te geven voor open vragen, immers het antwoord van de open vraag is van tevoren niet bekend. Een laatste stap in het aanmaken van een enquête is het aanpassen van de lay-out van de enquête. De enquête kan aangepast worden aan de website van de onderzoeker door bijvoorbeeld de achtergrondkleur van de enquête en van de knoppen te veranderen, de randen van de knoppen en het lettertype (keuze uit vijf standaard lettertypen). Om te laten zien hoe de nieuwe kleuren en / of het nieuwe lettertype eruit zien in de uiteindelijke enquête

62

wordt gebruik gemaakt van de HTML-tag <IFRAME>. Op deze manier kan een voorbeeldscherm van de enquête getoond worden als onderdeel van het opmaakscherm.

5.5. Uitvoeren van de enquête Nu de enquête ‘gevuld’ is met vragen en opgemaakt is naar eigen wens, kan de enquête gepubliceerd worden. Dit houdt in dat aan de doelgroep bekend gemaakt kan worden dat de enquête online staat en dat men uitgenodigd wordt aan het onderzoek deel te nemen. Deze bekendmaking kan op verschillende manieren gebeuren. Door een e-mailbericht te versturen met een aankondiging kunnen eenvoudig en snel veel respondenten tegelijk geattendeerd worden op de enquête. Een link op de eigen website kan de respondenten ook naar de enquête leiden. Het enquêtesysteem genereert hiervoor de benodigde HTML-code die gekopieerd kan worden naar de eigen website, zoals bijvoorbeeld figuur 13.

Figuur 13. Voorbeeld HTML-code om op te nemen in de eigen website voor een verwijzing naar de enquête. ‘ENQ’ is hierbij een variabele die door PHP automatisch gevuld wordt met de naam van de enquête die de onderzoeker eerder geselecteerd heeft. Een andere mogelijkheid is het tonen van de enquête binnen de eigen website door gebruik te maken van de eerder genoemde <IFRAME> HTML-tag. Hiermee wordt de enquête in een nieuw scherm binnen het actieve scherm geopend. Op deze manier kan de enquête eenvoudig opgenomen worden in de lay-out van een bestaande website. Nadeel van deze methode is dat de <IFRAME> tag niet ‘compatible’ met iedere browser is. Een voorbeeld van de code zoals deze aan de onderzoeker aangeboden wordt, staat in figuur 14.

Figuur 14. Voorbeeld HTML-code om op te nemen in de eigen website om de enquête te tonen als onderdeel van de webpagina. Voordat de enquête aan de respondent getoond wordt, is het van belang dat de onderzoeker de enquête zelf uitgebreid test of laat testen, door te kiezen voor de menu-optie “enquête testen in definitieve vorm” (zie ook figuur 10.). De resultaten van deze testronde worden niet

63

in de database opgeslagen, zodat ze geen invloed hebben op de werkelijk verkregen resultaten van het onderzoek. Babbie (2001) schrijft dat het van belang is dat de respondent aan het begin van de enquête niet lastig gevallen wordt met allerlei persoonlijke vragen die niet in direct verband staan met het onderwerp van het onderzoek, zoals in het geval van de ‘CVO’ enquête bijvoorbeeld vragen over adresgegevens, leeftijd, sociale status en geslacht. Iedere keer als de enquête opgeroepen wordt en de inleidende tekst aan een respondent getoond wordt, wordt daarom alleen het tijdstip en de datum waarop de respondent aan de enquête is begonnen in de database opgeslagen. Door deze gegevens toe te voegen aan de tabel _respondenten, wordt automatisch een nieuw respondentnummer aangemaakt. ‘Resnummer’ is namelijk van het type ‘autonummering’ en de waarde moet uniek zijn. Het respondentnummer wordt gebruikt om in de tabel _antwoorden de antwoorden van de verschillende respondenten van elkaar te kunnen onderscheiden. Het respondentnummer en het antwoord dat de respondent op een vraag gegeven heeft worden elke keer meegegeven naar de volgende vraag. Pas als de respondent op de knop voor de volgende vraag geklikt heeft, wordt het antwoord op de vorige vraag weggeschreven naar de database. Daarna wordt de volgende vraag getoond. Van het wegschrijven van het antwoord naar de database merkt de respondent uiteraard niets. Zowel open als gesloten antwoorden kunnen eenvoudig in de MySql database worden opgeslagen. Gesloten antwoorden worden opgeslagen in een veld van het datatype ‘character’ (char: maximaal 255 tekens); open antwoorden worden opgeslagen in een veld van het datatype ‘longtext’ (maximaal 4.294.967.295 tekens). Na de opslag kunnen de beide soorten antwoorden ‘realtime’ bekeken worden. De gesloten antwoorden zijn dan ook direct beschikbaar voor een statistische analyse. Analyse van de open antwoorden kan het beste plaatsvinden wanneer eerst alle antwoorden gecodeerd worden. Daarna kunnen ‘queries’ uitgevoerd kunnen worden op de coderingen en de categorieën waarin de codes zijn ingedeeld. De twee typen antwoorden vragen dus om een afzonderlijke aanpak wat betreft de analyse van de antwoorden.

64

5.6. Verwerken van de verzamelde resultaten 5.6.1. ‘Realtime’ verwerking Het enquêtesysteem biedt de mogelijkheid tussentijds de verzamelde resultaten te bekijken. Direct nadat de eerste respondent aan de enquête heeft deelgenomen, zijn de resultaten voor de onderzoeker zichtbaar. De gesloten antwoorden worden getoond in een tabel en een eenvoudige grafiek, waarbij de gegeven antwoorden geteld worden en omgezet worden in percentages. De tabel wordt simpelweg gevuld met de gegevens uit de tabel in de database; de grafiek wordt opgebouwd met een afbeelding van 1x1 pixel, waarbij de hoogte van de afbeelding een vaste waarde heeft, maar de breedte van de afbeelding afhankelijk is van het aantal keren dat een bepaald antwoord gegeven is. Dit levert een zogenaamd staafdiagram op. Ook de gegeven open antwoorden kunnen direct bekeken worden. Deze worden in een tabel getoond, waarbij alleen de laatste vijf antwoorden getoond worden, in verband met de lengte die de open antwoorden kunnen hebben. Voor een diepgaande verwerking van de open antwoorden dienen de antwoorden gecodeerd en gestructureerd te worden. Dit is dan ook de volgende stap in de verwerking van de verzamelde resultaten. 5.6.2. Coderen en structureren Om een doordachte, consistente en efficiënte manier van coderen te bereiken, kan de onderzoeker de open antwoorden op drie manieren coderen: -

vooraf een set met codes aanmaken, waaruit bij het coderen van ieder open antwoord een of meerdere codes gekozen kunnen worden;

-

tijdens het coderen van een antwoord een nieuwe code aanmaken, het zogenaamde ‘open coding’;

-

zoeken naar het voorkomen van een bepaald woord, een woordcombinatie of een compleet antwoord en aan de zoekresultaten automatisch een code toe laten kennen: ‘auto coding’.

Het aanmaken van een nieuwe code is vergelijkbaar met het aanmaken van een nieuwe vraag. Een code bestaat uit een codetekst, een codetype (feitelijk of referentieel, zie ook paragraaf 3.4.2.) en een codememo. De codegegevens worden in de tabel _codes bewaard. Wanneer de onderzoeker een open vraag geselecteerd heeft om te coderen wordt een overzicht gegeven van alle antwoorden die op deze vraag gegeven zijn, en indien er reeds antwoorden gecodeerd zijn, de toegekende codes. Bovendien staat achter ieder antwoord een link om dat specifieke antwoord te voorzien van codes. Een code die uit het lijstje met codes

65

geselecteerd wordt en toegekend wordt aan een specifiek antwoord, wordt samen met het nummer van de vraag en het nummer van de respondent die het antwoord gegeven heeft opgeslagen in de tabel _koppelingen1. Een andere mogelijkheid om de antwoorden op een bepaalde vraag te coderen is ‘autocoding’. De onderzoeker kan opgeven naar welke term in de antwoorden gezocht moet worden. Voor de toe te kennen code kan de gebruikelijke informatie opgegeven worden: codetekst, codetype en codememo. Het systeem zoekt in alle antwoorden die op de geselecteerde vraag gegeven zijn naar de opgegeven zoekterm. Wanneer de zoekterm gevonden wordt in één van de antwoorden, wordt er automatisch een koppeling gemaakt tussen het antwoord (combinatie van respondentnummer en vraagnummer) en de code (het nummer van de code) in de tabel _koppelingen1. Indien dit gewenst is, kan in een later stadium een koppeling tussen een code en een antwoord weer verwijderd worden. Doordat in de tabel _koppelingen1 alleen het nummer van de code gebruikt wordt om een koppeling met een antwoord te maken, worden achteraf gemaakte wijzigingen in de codetekst automatisch doorgevoerd op alle plaatsen waar de code aan een antwoord is toegekend. Als alle open antwoorden gecodeerd zijn, kunnen de codes in categorieën ingedeeld worden. De methode om een code aan een categorie toe te kennen is vergelijkbaar met de methode voor het toekennen van codes aan antwoorden. Het enige verschil is dat een code aan meerdere antwoorden gekoppeld kan worden, maar aan slechts één categorie. De categorieën zelf kunnen ook weer gekoppeld worden aan een overkoepelende categorie om op deze manier een hiërarchie te ontwikkelen. Wanneer de hiërarchie voltooid is, kan deze getoond worden in de vorm van een grafische boomstructuur. In deze boomstructuur worden de categorieën en codes per open vraag getoond. De codes vormen operationele links naar een overzicht van alle aan de betreffende code gekoppelde antwoorden. 5.6.3. Zoeken en verzamelen Voor het zoeken naar respondenten die aan bepaalde zoekvoorwaarden voldoen, kan gebruik gemaakt worden van de verzamelde gesloten antwoorden en de codes die toegekend zijn aan de open antwoorden. Het is de bedoeling geweest de onderzoeker zoveel mogelijk te ontzien van allerlei ingewikkelde programmeertaken en daarom worden de zoekopdrachten opgesteld in het Webinterface, waarvoor de onderzoeker geen kennis hoeft te hebben van het opstellen van ‘queries’ of de programmeertaal SQL (‘Structured Query Language’).21

21

In de MySql handleiding van Kulk (1999) wordt SQL als volgt omschreven: “De meeste relationele database management systemen hebben de taal SQL geïmplementeerd. SQL bevat mogelijkheden om

66

Er kunnen twee typen zoekopdrachten geformuleerd worden. Het eerste type vraagt om de invoer van de nummers van twee gesloten vragen. Vervolgens worden de antwoorden op de eerste vraag verticaal in een matrix geplaatst en afgezet tegen de antwoorden op de tweede vraag, die horizontaal in de matrix worden geplaatst. Op deze manier kan gekeken worden welke antwoorden in combinatie met elkaar gegeven zijn. Een ander type zoekopdracht zoekt naar het aantal respondenten dat aan één, twee of drie zoekvoorwaarden voldoet. Hierbij kunnen maximaal drie verschillende of drie dezelfde vraagnummers opgegeven worden. Vervolgens dient de onderzoeker het gezochte antwoord(en) of de gezochte code(s) op te geven. Ook is het mogelijk aan te geven of het om een “EN” statement of een “OF” statement gaat. Zo kan een zoekopdracht er uiteindelijk als volgt uitzien: Zoek het aantal respondenten dat… 1. vraag 10 heeft beantwoord met [antwoord] “ja” EN 2. vraag 12 heeft beantwoord met [code] “geïnfecteerd e-mailbericht” OF 3. vraag 12 heeft beantwoord met [code] “geïnfecteerde download” Zowel de zoekvoorwaarden die de onderzoeker formuleert, als de vragen die hij / zij opgeeft voor de matrix, worden door PHP omgezet in SQL ‘queries’ die uitgevoerd worden op de MySql database. Echter, de codes en de antwoorden zijn in afzonderlijke tabellen opgeslagen (_codes en _antwoorden). Het is van tevoren net bekend of de onderzoeker gebruik zal maken van de codes of de antwoorden in zijn / haar zoekopdracht. Dit heeft tot gevolg dat het niet mogelijk is een enkele SQL ‘query’ op te stellen waarbij zowel een code als een antwoord opgegeven wordt als zoekvoorwaarde. Om de open antwoorden en de gesloten antwoorden toch samen in een zoekopdracht te kunnen gebruiken, worden meerdere SELECT ‘queries’ opgegeven, waarbij de formulering afhankelijk is van het gekozen vraagtype. Betreft de selectie een open vraag, dan wordt de ‘query’ uitgevoerd op de tabel codes; betreft het een gesloten vraag, dan wordt de ‘query’ uitgevoerd op de tabel antwoorden. De resultaten van de ‘queries’ worden in afzonderlijke ‘arrays’ weggeschreven. Indien een “EN” statement geselecteerd is, worden de verschillende ‘arrays’ met elkaar vergeleken en worden alleen de waarden die in beide ‘arrays’ voorkomen in een nieuwe

relatieschema’s te declareren, om vragen aan een database te stellen en om de toestand van het databasesysteem te wijzigen.”

67

‘array’ weggeschreven (functie array_intersect). Wanneer gekozen is voor een “OF” statement, worden de ‘arrays’ samengevoegd in een nieuwe ‘array’ (functie array_diff). Tenslotte wordt het aantal waarden in de ‘array’ geteld en wordt deze numerieke waarden (het aantal respondenten dat aan de zoekvoorwaarde(n) voldoet) gepresenteerd. 5.6.4 Exporteren van de onderzoeksresultaten De resultaten van de enquête kunnen geëxporteerd worden naar andere (statistische) programma’s, zoals MS Access, MS Excel en SPSS. Hiertoe worden de gegevens die opgeslagen zijn in de tabel _antwoorden opgeslagen in tekstbestanden die vervolgens van de website ‘gedownload’ kunnen worden. De gegevens in deze tekstbestanden zijn opgeslagen in CVS-formaat. Dit betekent dat ze van elkaar gescheiden zijn met een vast teken, namelijk een tab, welke in de drie genoemde programma’s herkend kan worden als een scheidingsteken voor de verschillende velden. De eerste regel in het tekstbestand geeft de veldnamen, de volgende regels komen overeen met de rijen in de MySql-tabel. De resultaten kunnen natuurlijk ook direct vanaf de website gekopieerd worden naar bijvoorbeeld een MS Word bestand, een MS PowerPoint presentatie of een andere website. 5.6.5. ‘Content analysis’ Er is slechts één ‘content analysis’ functie geïmplementeerd, namelijk die van de woordfrequentielijst. De onderzoeker geeft aan van welke vraag hij / zij een woordfrequentielijst wil genereren. Het systeem doorloopt dan alle antwoorden die op die specifieke vraag gegeven zijn. De antwoorden worden ontdaan van interpunctie en afgebroken bij de spaties. Op deze manier kunnen alle afzonderlijke woorden opgenomen worden in een lijst van woorden. Door middel van de functie array_count_values wordt geteld hoe vaak ieder woord in de lijst is opgenomen. Door de resultaten van deze functie weg te schrijven naar het scherm, ontstaat een overzicht van alle gebruikte woorden en het aantal keren dat ze gebruikt zijn.

5.7. Toepassing van het systeem Het systeem is getest door de 58 vragen uit de ‘CVO’ enquête in te voeren, evenals de antwoorden van 30 respondenten. Tijdens het werken met het systeem valt op dat het systeem zeer efficiënt werkt door de stap voor stap begeleiding bij het invoeren en wijzingen van de vragen, maar ook bij de analyse van de ingevoerde antwoorden. Tijdens deze test zijn echter ook een aantal gebreken aan het licht gekomen. Zo is het niet mogelijk in de tekst van

68

de vraag of in een antwoord een apostrof in te voeren. Dit teken wordt als speciaal karakter behandeld, waardoor de vraag niet goed opgeslagen wordt in de database. Woorden als ‘programma’s’ en ‘macro’s’ zijn daarom ingevoerd als ‘programmas’ en ‘macros’. Bij het invoeren van veel vragen zijn typefouten snel gemaakt. De vragen kunnen te allen tijde nog gewijzigd worden, maar dat geldt niet voor de opties. Wanneer deze veranderd worden nadat een respondent heeft deelgenomen aan de enquête, komen de antwoorden die gegeven zijn voor de wijziging niet meer overeen met de antwoorden die na de wijziging worden gegeven. Wellicht dient er in de toekomst een spellingscontrole ingebouwd te worden, die zoveel de mogelijk voor de hand liggende fouten kan voorkomen. De volgende paragraaf gaat dieper in op de mogelijkheden en functionaliteiten die in de toekomst aan het systeem toegevoegd kunnen of moeten worden. Bij een aantal van deze beperkingen is bewust gekozen om ze niet te implementeren, andere kwamen aan het licht tijdens het toepassen van het systeem.

5.8. Voor de toekomst… Er zijn een aantal functies in dit online enquêtesysteem die nog verder uitgewerkt zouden kunnen worden. Deze paragraaf bespreekt enkele ‘gebreken’ in de achterliggende techniek, de gebruiksvriendelijkheid voor de onderzoeker en de toegankelijkheid voor de respondent. 5.8.1 Achterliggende techniek De database is op dit moment minimaal beveiligd. De onderzoeker kiest zelf een inlogcode en inlognaam, welke opgeslagen worden in een tabel in de database. Bij het inloggen op het systeem wordt de ingetypte inlogcode niet op het scherm getoond, maar verhuld door het gebruik van ‘*’. Vervolgens wordt gecontroleerd of de inlognaam en de inlogcode samen voorkomen. Echter, iedere hacker kan op dit moment eenvoudig in de database inbreken, gegevens veranderen en de inlogcodes kopiëren. Een ander risicovol punt is het doorgeven van de variabelen na het uitvoeren van een actie of na het volgen van een link. De waarden van de door te geven variabelen worden nu in de adresbalk van de browser getoond en zouden beter beveiligd kunnen worden door ze te encrypten. Op deze manier kunnen de waarden niet door hackers onderschept worden. Het encrypten van de variabelen en vooral ook het decrypten is een ingewikkelde taak. Indien er voor gekozen wordt het enquêtesysteem daadwerkelijk online aan te bieden is het echter wel een noodzakelijke taak.

69

Om te voorkomen dat er erg veel enquêtes aangemaakt worden die allemaal in de database opgeslagen blijven staan, wordt de beheerder van een nieuwe enquête gevraagd een uiterlijke datum van publicatie op te geven. Het systeem voert een check uit om te kijken of de opgegeven datum reeds bereikt is. Indien dat het geval is, wordt momenteel alleen een melding aan de respondent getoond, dat de enquête niet langer uitgevoerd wordt. Idealiter blijft de enquête na deze datum nog twee weken in het systeem aanwezig, zodat de onderzoeker de verzamelde gegevens in die tijd nog kan gebruiken voor het onderzoek en eventueel de gegevens kan downloaden. Na deze twee weken zou de enquête dan definitief uit de database verwijderd kunnen worden. Dit zal de database aanzienlijk opschonen. Een extra functionaliteit die geboden kan worden om het aantal respondenten dat deelneemt aan de enquête onder controle te houden is de onderzoeker de mogelijkheid te bieden een ‘IP-range’ op te geven. Iedere computer die verbinding maakt met het Internet is voorzien van een IP adres. Door te definiëren welke IP adressen deel mogen nemen aan de enquête, kan de onderzoeker een beperkte doelgroep opgeven, bijvoorbeeld alleen de studenten en medewerkers van de eigen universiteit. Een andere methode is bijvoorbeeld het opgeven van het minimale en / of maximale aantal te verzamelen antwoorden. Wat niet getest is, is de snelheid waarmee de ‘queries’ uitgevoerd worden, en wat er gebeurt als meerdere onderzoekers tegelijkertijd op het systeem in loggen, al dan niet op verschillende enquêtes. Hiervoor zullen tests uitgevoerd moeten worden om te voorkomen dat de maximale hoeveelheid dataverkeer, die ingesteld is door de webprovider, overschreden wordt. Tenslotte is het nodig hier een opmerking te maken over de programmeercodes. Het is wellicht mogelijk het programmeren efficiënter uit te voeren, waardoor er minder dataverkeer is en het systeem nog sneller te gebruiken is. Dit kan gerealiseerd worden door meer gebruik te maken van algemene, externe bestanden voor codes die hergebruikt worden, en door nog meer elementen op te nemen in de ‘cascading stylesheets’ waarin de stijl van de website gedefinieerd is. 5.8.2 Gebruiksvriendelijkheid voor onderzoekers Een systeem, dat vriendelijk in het gebruik is voor de onderzoeker die een enquête wil aanmaken, uitvoeren en verwerken, is voorzien van duidelijke en overzichtelijk helpfunctie. Op dit moment is op de welkomstpagina te lezen wat globaal de mogelijkheden van het systeem zijn. Daarnaast is een samenvatting van Babbie’s (2001) voorwaarden voor een goed opgezette enquête opgenomen: voorwaarden voor een goed opgezette vragenlijst, voorwaarden voor goed verwoorde vragen en tenslotte een aantal adviezen voor het kiezen

70

van een geschikt vraagtype. De website zal echter ook nog voorzien moeten worden van een uitgebreide handleiding, een ‘Frequently Asked Question’-sectie (FAQ) en de mogelijkheid om vragen en opmerkingen op de site achter te laten (in de vorm van een forum of een gastenboek) of via e-mail aan de ontwikkelaar te versturen. Des te meer mogelijkheden het systeem biedt, des te vriendelijker wordt het systeem wellicht ervaren, mits deze mogelijkheden helder, zinvol en functioneel zijn. Het is eenvoudig te realiseren dat er meer gebruik gemaakt kan worden van de multimediamogelijkheden van het Internet. Hierbij valt bijvoorbeeld te denken aan de mogelijkheid dat de onderzoeker een afbeelding opgeeft, die dienst kan doen als enquêtelogo, en die bij iedere vraag zichtbaar blijft. Op deze manier kan de onderzoeker de enquête een persoonlijk tintje geven. Naast het opgeven van een logo zou ook de mogelijkheid geboden kunnen worden bij een vraag een link naar een extern bestand op te nemen, zoals een afbeelding, een video- of audiobestand, of naar een andere website. Deze bestanden krijgt de respondent bij het invullen van de enquête dan bij de betreffende vraag te horen en / of te zien. Nadeel van het gebruik van externe bestanden is dat ze eerst ‘geupload’ moeten worden naar de webserver. Wanneer hier voor gekozen wordt, dient er een functie in het systeem ingebouwd te worden die bijhoudt hoeveel ruimte de afbeeldingen per enquête op de server innemen, en die hier een maximum aan stelt, bijvoorbeeld 1.000.000 bytes (1 MB). Momenteel wordt het systeem alleen in het Nederlands aangeboden. Het is wellicht het overwegen waard het systeem meertalig te maken, zowel voor de onderzoekers, als voor de respondenten. Ook wat betreft de mogelijkheden voor het opstellen van enquêtevragen zou nog het één en ander uitgebreid kunnen worden. Het is nu alleen mogelijk een meerkeuzevraag met alternatieven op te geven waarbij de respondent slechts één antwoord op de vraag kan geven; de alternatieven worden vooraf gegaan door ‘radiobuttons’. Wellicht is het wenselijk ook een meerkeuze vraag met alternatieven aan te kunnen bieden waarbij de respondent meerdere antwoorden kan kiezen. De antwoorden worden dan vooraf gegaan door ‘checkboxes’. In verband met een lastige opslag in de database, is er voor gekozen deze mogelijkheid nog niet te implementeren. Ook het vraagtype dat in paragraaf 2.5.3. besproken is, de gesloten vraag met een open optie, zou toegevoegd moeten worden. Een laatste veel gebruikte vraagvorm die ontbreekt, is de matrixvraag waarbij in een matrix meerdere deelvragen opgenomen zijn met telkens dezelfde set alternatieven om uit te kiezen. Het systeem is nu dusdanig geprogrammeerd dat alle vragen afzonderlijk getoond worden, omdat dit voor de respondenten veelal overzichtelijker is dan alle vragen onder elkaar. Deze tweede mogelijkheid zou echter wellicht wel als optie aangeboden kunnen worden. Het

71

tonen van meerdere vragen per pagina is vooral praktisch bij een klein aantal vragen, of wanneer de vragen ingedeeld zijn in deelonderwerpen,, bijvoorbeeld ‘persoonsgegevens’. Bij het vragen naar de persoonsgegevens zou de onderzoeker tevens moeten kunnen aangeven of het ook toegestaan is anoniem aan de enquête deel te nemen. Vooral ook de toepassing van ‘natural language processing’ kan een belangrijke stap voorwaarts betekenen. Door de krachtige functies uit de natuurlijke taalverwerking te implementeren in het enquêtesysteem, kan het mogelijk gemaakt worden de antwoorden geheel automatisch te coderen (volledige ‘auto-coding’) en te analyseren. De onderzoeker zal hierdoor steeds meer van zijn taken verlicht worden bij het uitvoeren van een enquête. De open antwoorden kunnen momenteel gecodeerd worden met één of meerdere labels. Deze coderingslabels kunnen vervolgens in een categorieën verdeeld worden, welke in een grafische boomstructuur getoond kunnen worden. Wellicht is het wenselijk om ook de geprecodeerde gesloten antwoorden in een dergelijke structuur te kunnen opnemen, met name in het geval van vervolgvragen. Tenslotte moeten de verkregen resultaten niet alleen op de website getoond worden in een tabel, een grafiek, een boomstructuur of een matrix, maar is het ook belangrijk dat de gegevens geëxporteerd kunnen worden naar andere, veel gebruikte computerprogramma’s zoals SPSS, MS Access, MS Excel, MS PowerPoint, MS Word etc. De gegevens kunnen direct vanaf de website gekopieerd worden naar een MS Word document of een MS PowerPoint presentatie. Om de gegevens te importeren in de andere drie genoemde programma’s wordt momenteel alleen een tekstbestand aangeboden. Het is in PHP ook mogelijk een formaat op te stellen dat specifiek bedoeld is voor bijvoorbeeld MS Excel. Er wordt dan niet een tekstbestand aangemaakt dat uiteindelijk 1 tabel oplevert, maar een compleet ‘werkboek’ dat kan bestaan uit meerdere tabellen en zelfs grafieken. Het zou ook mogelijk moeten zijn meerdere soorten grafieken en diagrammen te maken. In PHP kunnen namelijk dynamische afbeeldingen en diagrammen gegenereerd worden. Echter, zowel voor het maken van een MS Excel ‘werkboek’, als voor het gebruiken van dynamische afbeeldingen dient een speciale PHP ‘library’ geïnstalleerd te zijn op de webserver. Niet iedere webprovider biedt de mogelijkheid deze ‘libraries’ te gebruiken. Het gehele systeem zou misschien nog meer ‘stap voor stap’ opgezet kunnen worden, om het volgen van de juiste route door het systeem nog duidelijker te maken voor de onderzoeker. 5.8.3. Toegankelijkheid voor respondenten Er wordt steeds meer onderzoek gedaan naar de gebruikersvriendelijkheid van websites. Ook de gebruikersvriendelijkheid en de toegankelijkheid van het online enquêtesysteem zoals dat

72

in dit hoofdstuk gepresenteerd is, dient goed onderzocht te worden in de toekomst. De toegankelijkheid voor de respondenten kan verhoogd worden door een vriendelijker ‘userinterface’. Hiervoor moet bijvoorbeeld onderzocht worden welke kleuren het beste gebruikt kunnen worden (in verband met kleurenblindheid bijvoorbeeld), welke woorden het beste gekozen kunnen worden voor het navigatiemenu en op welke manier de site het beste ingedeeld en gestructureerd kan worden. Een stapje verder gaat het invoeren van geluidsbestanden bij iedere vraag. Hierdoor is het mogelijk dat ook slechtzienden mee kunnen doen aan de enquête doordat ze de vraag kunnen horen. Echter, om de website daadwerkelijk laagdrempelig te maken voor respondenten met een handicap dienen wellicht nog veel meer maatregelen genomen te worden (zoals namen geven aan afbeelding, mogelijkheid bieden om vragen via spraak te beantwoorden etc.). Daarnaast dient de interface enigszins bijgestuurd te worden om het systeem ook bruikbaar te maken in de browsers Netscape, Mozilla en Opera. De website kan momenteel in deze browsers geopend en gebruikt worden, maar ziet er enigszins anders uit dan in Internet Explorer. Bij deze aanpassingen dient ook rekening gehouden te worden met andere platformen zoals Unix en Macintosh en andere schermresoluties (de meest gebruikte zijn 15 inch en 17 inch monitoren, maar 19 inch en 21 inch komen ook steeds meer voor). Een laatste extra ‘feature’ voor de respondenten die hier genoemd wordt, is de progressiebalk. In een dergelijke balk kan worden bijgehouden hoe veel vragen de respondent reeds beantwoord heeft, en hoe veel vragen nog onbeantwoord zijn.

5.9. Conclusie In dit hoofdstuk is een mogelijk alternatief systeem gepresenteerd. Het systeem is onder andere gebaseerd op de CAQDAS functionaliteiten uit hoofdstuk drie. In hoofdstuk vier zijn de besproken CAQDAS functies in een schema opgenomen om aan te geven welke functies voor antwoorden op open en gesloten vragen gebruikt kunnen worden. Dit schema is in tabel 11 opnieuw gebruikt om aan te geven welke functionaliteiten uiteindelijk in dit alternatieve systeem geïmplementeerd zijn.

73

CAQDAS functie

Open antwoorden

Gesloten antwoorden

Coderen Structureren van de codes Zoeken en verzamelen Memo’s en annotaties toevoegen Hyperlinks toevoegen Weergeven van de resultaten Content analyse

Tabel 11. CAQDAS functies die in het gepresenteerde alternatieve systeem gerealiseerd zijn. Uit de tabel valt af te lezen dat met uitzondering van het structureren van de codes van de gesloten antwoorden alle genoemde CAQDAS functies in het alternatieve systeem gerealiseerd zijn. Vervolgens zijn in hoofdstuk vier een tweetal bestaande computerprogramma’s en een aantal bestaande online enquêtesystemen bestudeerd op de mogelijkheden die zij bieden om zowel open als gesloten antwoorden in een online enquête te verwerken. Hieruit is een lijst van plus- en minpunten voortgekomen. In het in dit hoofdstuk gepresenteerde online enquêtesysteem zijn zoveel mogelijk van deze pluspunten overgenomen. Dit levert een systeem op dat een groot aantal voordelen kent boven bestaande computerprogramma’s en bestaande online enquêtesystemen. Zo is het ontwikkelde systeem platform- en programmaonafhankelijk en is een directe koppeling tussen website en database gemaakt. Daarnaast biedt het systeem voldoende CAQDAS functionaliteiten om zowel open als gesloten antwoorden te verwerken en maakt het systeem uitvoerig gebruik van de voordelen van het Internet, zoals hyperlinks en allerlei grafische mogelijkheden. Bovendien worden al deze functionaliteiten in één systeem aangeboden en is het systeem dermate uitgebreid opgezet dat het mogelijkheden biedt voor het opzetten, het uitvoeren en het verwerken van een enquête. De onderzoeker hoeft niet te beschikken over speciale software of kennis van specifieke programma’s of programmeertalen (zoals SQL), en wordt in staat gesteld in korte tijd een enquête uit te voeren, waarbij een grote populatie bereikt kan worden. De bespreking van een alternatief systeem is afgesloten met een opsomming van de beperkingen. Deze opsomming is uiteraard niet uitputtend. Het volgende hoofdstuk gaat onder andere in op meer algemene onderwerpen voor vervolgonderzoeken.

74

6. Conclusie Deze scriptie heeft geleid tot het zoeken naar een systeem, bestaand of nieuw, dat het mogelijk maakt een online enquête met zowel gesloten als open vragen op te zetten, uit te voeren en te verwerken. Aanleiding hiervoor waren de problemen waar ik tegenaan liep bij de verwerking van een enquête die verschillende groepen computergebruikers vroeg om hun mening over en gedragingen ten opzichte van computervirussen. Naar aanleiding van de behoefte aan één eenvoudige en snel te gebruiken ‘tool’ voor het opzetten, het uitvoeren en het verwerken van een online enquête, is in de inleiding de volgende onderzoeksvraag gesteld: “Is hoeverre is het mogelijk antwoorden op zowel open als gesloten vragen in online enquêtes zoveel mogelijk geautomatiseerd en in één systeem op te slaan, te analyseren en te presenteren?” Om een antwoord te kunnen geven op deze onderzoeksvraag zijn meerdere aspecten van de thema’s ‘online enquête’ en ‘open en gesloten vragen’ bekeken. In hoofdstuk twee wordt allereerst een theoretisch kader geschetst, waarin de begrippen kwalitatief, kwantitatief, online enquête, open vragen en gesloten vragen gedefinieerd worden. Een eerste conclusie die uit dit theoretische kader getrokken kan worden heeft te maken met de online enquête in vergelijking met andere enquêtestrategieën. Wanneer een onderzoeker een enquête wil gebruiken als aanvulling op, of als basis van een groter onderzoek, is de online enquête bij uitstek geschikt. De een online enquête is een snelle onderzoeksstrategie en via het World Wide Web is het mogelijk een grote populatie te bereiken. Bovendien hoeven voor een online enquête niet veel kosten gemaakt te worden, doordat er geen sprake is van papiergebruik en enquêteurs. Een andere opmerking die aan de hand van het tweede hoofdstuk gemaakt kan worden is het feit dat een enquête uit zowel open als gesloten vragen kan bestaan, afhankelijk van het onderzoek en het onderwerp. Een onderzoeker moet zich bij keuze voor het type vraag laten leiden door het onderwerp en het gewenste antwoord, niet door het werk dat verricht moet worden om de antwoorden te verwerken. Het derde hoofdstuk bespreekt een manier van verwerken van open antwoorden, die gebaseerd is op de Grounded Theory methode van Glaser en Strauss (1967): CAQDAS. Dit theoretische onderzoek heeft zich beperkt tot de functies coderen, structureren, zoeken en verzamelen, het toevoegen van hyperlinks en memo’s, en het weergeven van de resultaten. Daarbij is ook enige aandacht geschonken aan methoden voor ‘content analysis’. Uit dit theoretisch onderzoek kan geconcludeerd worden dat open antwoorden wel degelijk gestructureerd en geautomatiseerd verwerkt kunnen worden op een verantwoorde manier.

75

Hierbij moet opgemerkt worden dat CAQDAS de onderzoeker wel ondersteunt bij een verwerking van de gegevens, maar deze analyse niet van de onderzoeker overneemt. De analyse kan dus wel met gebruikmaking van de computer uitgevoerd worden, maar kan niet volledig aan de computer overgelaten worden. Hiervoor dienen wellicht ‘natural language processing’ functies geïmplementeerd te worden, die in staat zijn de tekst te ontleden en te begrijpen. Programma’s die van deze functies voorzien zijn, zullen waarschijnlijk in staat zijn een interpretatie van de gegevens te geven, die de interpretatie van de onderzoeker heel dicht nadert. In hoofdstuk vier wordt vervolgens onderzoek gedaan naar de bruikbaarheid van CAQDAS functies bij de verwerking van zowel open als gesloten antwoorden. Hieruit blijkt dat de meeste besproken CAQDAS functies heel goed gebruikt kunnen worden voor zowel open als gesloten antwoorden. Vervolgens zijn twee bestaande programma’s getoetst op de mogelijkheden om beide typen antwoorden op te slaan, te verwerken en te presenteren. Er is hierbij gekozen voor twee gangbare systemen: het kwalitatieve databaseprogramma Kwalitan en het kwantitatieve databaseprogramma MS Access. Hoewel zowel Kwalitan als MS Access in staat blijken deze taken voor beide vraagvormen uit te kunnen voeren, zijn de programma’s er duidelijk niet voor ontwikkeld. Er zijn dan ook meerdere minpunten op te noemen, waardoor de programma’s minder geschikt zijn voor een verwerking van beide typen antwoorden. Een voorbeeld hiervan is het feit dat het niet mogelijk is deze programma’s direct te koppelen aan een online enquête. Omdat beide bestaande programma’s belangrijke functionaliteiten missen is tenslotte gekeken op welke manier de pluspunten van de programma’s samengevoegd kunnen worden in een alternatief, nieuw systeem, dat gebaseerd is op een MySql database voor de opslag van de gegevens en een website die dient als interface voor het opzetten, uitvoeren en verwerken van de enquête. De voordelen van dit alternatieve systeem wegen zwaarder dan de nadelen, en om deze reden is er voor gekozen dit systeem verder uit te werken. Voordat het alternatieve systeem gerealiseerd is, zijn nog enkele bestaande online enquêtesystemen bestudeerd. Uit deze vergelijking kan geconcludeerd worden dat deze systemen sterk zijn in het begeleiden van de onderzoeker bij het opzetten en uitvoeren van de enquête, maar dat te weinig functionaliteit geboden wordt voor de verwerking van de gegevens en de presentatie van de resultaten. Zowel uit dit vergelijkende onderzoek als uit correspondentie met verschillende ICT bedrijven die gespecialiseerd zijn in online enquêtes blijkt dat er behoefte is aan een systeem dat in staat is ook de open antwoorden te verwerken. De bevindingen van het vergelijkend onderzoek in hoofdstuk vier en van het vergelijkend onderzoek naar bestaande online enquêtesystemen zijn gecombineerd met de besproken

76

CAQDAS functies uit hoofdstuk drie. Het functiepakket dat hieruit is voortgekomen, is vervolgens gerealiseerd tot een systeem dat mogelijkheden biedt om een enquête op te zetten, uit te voeren en te verwerken. Hierbij kunnen zowel de open antwoorden als de gesloten antwoorden verwerkt worden, en gebruikt worden in zoekopdrachten. De resultaten van deze zoekopdrachten kunnen tenslotte gepresenteerd worden of ‘gedownload’ worden om op te slaan op de eigen computer en eventueel te gebruiken in andere (statistische) programma’s. Het hoofdstuk sluit af met een bespreking van de mogelijkheden en functies die in de toekomst nog geprogrammeerd zouden kunnen worden. Deze opsomming is niet uitputtend en er kunnen nog een aantal onderzoeken verricht worden om het systeem te perfectioneren. Een van de belangrijkste onderwerpen voor vervolgonderzoek is wellicht het toepassen van ‘natural language processing’ taken. Hoewel het alleen de bedoeling was een systeem te programmeren dat in staat is zowel open als gesloten antwoorden te verwerken, is het systeem uiteindelijk veel uitgebreider geworden. Het systeem kan bijvoorbeeld ook gebruikt worden voor het opzetten van een nieuwe enquête en voor het uitvoeren en publiceren van de enquête. De programmeertaal PHP bleek zeer goed gebruikt te kunnen worden voor de verschillende programmeertaken. Met deze taal was het mogelijk de meer complexe functies van het categoriseren, het opstellen van ‘queries’ en het uitvoeren van ‘content analysis’ te realiseren. Het valt op te merken dat het onderzoek onderhevig is aan een aantal beperkingen. Zo is er slecht één methode onderzocht om kwalitatieve data te analyseren, namelijk de op Grounded Theory gebaseerde CAQDAS. Een andere beperking is de bespreking van slechts twee bestaande programma’s. Voor deze beperking is gekozen, omdat dit de meest gangbare systemen zijn. Voor een nog uitgebreider online enquêtesysteem dat alle mogelijke onderzoekers moet kunnen ondersteunen bij het uitvoeren van een enquête, is het wellicht noodzakelijk ook andere methoden en systemen te bestuderen op geboden functies en mogelijkheden. Het ontwikkelde systeem is uiteraard niet de enige methode om een online enquête op te zetten, uit te voeren en te verwerken. Het is bijvoorbeeld ook mogelijk het programma Frontpage te gebruiken voor het opzetten van een enquête of in plaats van PHP gebruik te maken van de programmeertalen Lite of ASP. Een laatste beperking van dit onderzoek is het feit dat er geen onderzoek gedaan is naar de mogelijkheden die speciale software voor het maken en verwerken van een online enquête bieden. De reden voor deze beperking is de prijs van dergelijke software, die het onaantrekkelijk maakt de software voor een eenmalig uit te voeren enquête aan te schaffen. In de inleiding zijn een aantal vragen geformuleerd over de gewenste ‘tool’. Naar aanleiding van alle conclusies die in de vorige hoofdstukken reeds getrokken zijn, is het mogelijk deze

77

vragen te beantwoorden. De gewenste ‘tool’ bestaat uit verschillende functionaliteiten die het enerzijds mogelijk maken een online enquête op te stellen, uit te voeren en te verwerken; en het anderzijds mogelijk maken de verzamelde antwoorden op zowel de open als de gesloten vragen te analyseren. Het in hoofdstuk vijf gepresenteerde systeem is zoveel mogelijk van deze functionaliteiten voorzien door de statistische methoden die de meeste online enquêtesystemen gebruiken over te nemen en deze aan te vullen met de CAQDAS mogelijkheden die in het derde hoofdstuk uitgebreid besproken zijn. Deze scriptie kan afgesloten worden met een antwoord op de in de inleiding gestelde onderzoeksvraag. De bestudeerde computerprogramma’s en online enquêtesystemen bleken allen op een aantal belangrijke punten tekort te schieten. Het is vervolgens goed gelukt de pluspunten van deze systemen te combineren tot een compleet online enquêtesysteem, dat gebaseerd is op onderzoeken

naar

de

regels

voor

het

opstellen

van

enquêtes,

naar

de

verwerkingsmogelijkheden van antwoorden op open antwoorden en naar de functies en mogelijkheden die reeds bestaande programma’s en online enquêtesystemen bieden.

78