Publicatie 5
Onderzoek naar de betrouwbaarheid van de vragenlijst competenties eTutor Aanzet tot de validering van het onderzoeksinstrument
Lectoraat eLearning Onderzoekstraject eTutoring
Auteur: Jaap Jansen September 2005
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Inhoudsopgave Voorwoord
3
Samenvatting
4
5.1 Aanleiding en onderzoeksvraag
5
5.2 Theoretisch kader
6
5.3 Onderzoeksopzet
9
5.3.1 Onderzoeksgroep
9
5.3.2 Concretisering van het onderzoek
9
5.3.3 Vragenlijst voor studenten
10
5.3.4 Contextanalyse
10
5.4 Dataverzameling, verwerking en analyse
11
5.4.1 Dataverzameling
11
5.4.2 Dataverwerking
11
5.4.3 Analyse
12
5.5 Conclusies en aanbevelingen
16
5.5.1 Conclusies
16
5.5.2 Aanbevelingen
18
5.6 Bronnen
19
Bijlage 1a / Tabel met scores vragen 1 t/m 20
20
Bijlage 1b / Tabel van groepen met vragen 21 t/m 40
23
Bijlage 2 / Descriptives van de totale populatie
26
Bijlage 3 / ANOVA
27
Bijlage 4 / Frequenties per groep
30
Bijlage 5 / Overige statistisch materiaal
31
Bijlage 6 / Vragenlijst
33
2
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Voorwoord Dit onderzoek is tot stand kunnen komen als gevolg van de deelname van drie Schools binnen de hogeschool INHOLLAND [Economics Rotterdam, Communication and Media Den Haag en Education Rotterdam] aan de case studies naar zelfgestuurd leren in de digitale leefomgeving en de rol van de eTutor. Met name de studenten die de moeite hebben genomen om aan dit onderzoek een bijdrage te leveren door het invullen van de vragenlijst worden hiervoor bedankt. Daarnaast is dank verschuldigd aan de docenten van deze schools, die ervoor gezorgd hebben dat de studenten de vragenlijsten konden invullen. Ook hebben zij de moeite genomen om de context van de leeromgeving nader te beschrijven. Ook is dank verschuldigd aan de fellows uit het onderzoekstraject eTutoring binnen de kenniskring eLearning. Zonder de reflectie en inhoudelijke bijdragen van zowel Guus Wijngaards [lector], als van Pieter Swager [projectleider], Jos Fransen [fellow], Eric Poldner [fellow] en Henny Brandwijk [fellow] zou dit onderzoek niet uitgevoerd hebben kunnen worden.
3
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Samenvatting In dit onderzoek is getracht twee onderzoeksvragen te beantwoorden. De eerste onderzoeksvraag luidt: Welke competenties van de eTutor zijn vanuit het perspectief van de eStudent belangrijk? Deze onderzoeksvraag, afgeleid uit een eerder onderzoek van Fransen [2004]1, kan gezien als replicatieonderzoek van het deelonderzoek naar opvattingen van tweedejaars DigiPabo studenten. De opzet van dit deelonderzoek is wat groter dan eerder genoemd onderzoek. In totaal hebben 102 studenten, verdeeld over de drie Schools en vier opleidingen, aan dit onderzoek meegewerkt. Dit betekent dat er in dit onderzoek vijf deelpopulaties te onderscheiden zijn, namelijk drie groepen van de School of Economics, één groep van de School of Education, en één groep van de School of Communication and Media. Uit de resultaten van dit onderzoek blijkt dat de gebruikte vragenlijst van 40 vragen een betrouwbaar en objectief beeld geeft vanuit indicatoren op de competenties passend bij het beroepsprofiel van een eTutor. Ook blijkt dat er een beperkte mate van ‘face validity’ of indruksvaliditeit over het profiel van de eTutor naar voren komt. Dit is echter meer gebaseerd op een kwalitatief oordeel dan een doorwrochte statistische analyse. Dit onderzoek voldoet zeker aan het geven van betekenis aan het profiel van de eTutor, vanuit het perspectief van de eStudent. In dit onderzoek kwam een tweede onderzoeksvraag aan de orde, namelijk: Is de vragenlijst ten behoeve van het onderzoek naar het competentieprofiel van de eTutor een betrouwbaar en valide meetinstrument? Op basis van dit onderzoek kan de conclusie getrokken worden dat de vragenlijst een objectief beeld geeft van de mening van de student over de competenties van een eTutor. Daarnaast kan gesteld worden dat de betrouwbaarheid van de vragenlijst goed lijkt te zijn, omdat sprake is van een grote mate van verband tussen de vragen. Deze rapportage omvat vijf hoofdstukken. In hoofdstuk 1 behandelt de aanleiding van het onderzoek en daar wordt de onderzoeksvraag toegelicht. In hoofdstuk 2 wordt ingegaan op het theoretisch kader inzake het begrip validiteit. In hoofdstuk 3 wordt de onderzoeksopzet behandeld. In hoofdstuk 4 wordt ingegaan op de dataverzameling, dataverwerking en data-analyse, waarbij een aantal statistische bewerkingen zijn uitgevoerd. In hoofdstuk 5 volgen de conclusies en aanbevelingen. De belangrijkste aanbeveling van dit onderzoek is dat verder kwalitatief en kwantitatief onderzoek naar de vragenlijst en naar het competentieprofiel noodzakelijk zijn om een meer gevalideerd beeld te kunnen schetsen.
1
Fransen, J. [2004]. Virtual Identity; Een gevalideerd competentieprofiel van de eTutor. Enschede:Universiteit Twente [Master’s Thesis].
4
Lectoraat eLearning / Onderzoekslijn eTutoring
5.1
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Aanleiding en onderzoeksvraag
Het lectoraat eLearning heeft zich ten doel gesteld de onderwijspraktijk in de hogeschool INHOLLAND te voorzien van ‘praktische tools’, waarmee eLearning en vormen van ‘blended learning’ ondersteund kunnen worden. In de loop van dit onderzoeksjaar is een vragenlijst ontwikkeld, welke indicaties bevat voor de competenties waarover een eTutor zou moeten beschikken. Het is met name interessant om vast te stellen welke competenties de student belangrijk acht. Dit onderzoek is bedoeld om vast te stellen in hoeverre de resultaten van het onderzoek van Fransen [2004]2 bevestigd dan wel ontkend kunnen worden [test-hertest procedure]. In dit onderzoek worden dan ook een aantal trends, zoals die benoemd zijn, verder onderzocht. Daarnaast wordt een poging gedaan de validiteit van de vragenlijst als instrument om de indicatoren bij het competentieprofiel van de eTutor verder te ontwikkelen en te verfijnen. Hierbij staat het perspectief van de eStudent centraal. Het lectoraat eLearning doet onderzoek naar het competentieprofiel van de eTutor. In het onderzoek van Fransen [2004] wordt een eTutor als volgt gedefinieerd: ‘Een eTutor is iemand die, afhankelijk van de situatie, de juiste didactische en organisatorische keuzes kan maken uit alle beschikbare instrumenten binnen de brede leeromgeving’. Meer en meer wordt de student zelf verantwoordelijk gesteld voor zijn eigen leerproces. We spreken in dit verband wel over de student als ‘architect en vormgever van zijn eigen leerproces’. Dit impliceert dat het onderwijs steeds meer wordt ingericht vanuit een studentgeoriënteerd principe. De eTutor is in dit concept dus niet altijd leidend binnen de leeromgeving. De onderzoeksvragen die in dit onderzoek centraal staan kunnen als volgt worden gedefinieerd: Onderzoeksvraag 1: Over welke competenties moet de eTutor beschikken, vanuit het perspectief van de e-Student? Het lectoraat eLearning doet aan de hand van deze onderzoeksvraag een replicatieonderzoek van het deelonderzoek dat door Fransen [2004] onder studenten van de Digipabo is gedaan. Onderzoeksvraag 2: Is de vragenlijst ten behoeve van het onderzoek naar het competentieprofiel van de eTutor een betrouwbaar en valide meetinstrument? Uit het deelonderzoek van Fransen [2004] naar de mening van studenten van de DigiPabo zijn de volgende resultaten gekomen, die voor dit onderzoek als hypotheses hebben gegolden: 1. 2. 3. 4.
Studenten vinden de sociaal-communicatieve competentie van de eTutor het belangrijkste. De eTutor moet eStudenten als groep, maar ook individueel, kunnen motiveren en hij dient rekening te houden met individuele verschillen tussen studenten. Studenten hechten ook veel belang aan de methodisch-didactische competentie van de eTutor. Studenten hechten relatief weinig belang toe aan de organisatorische - en ICT competentie van de eTutor.
2 Fransen, J. [2004]. Virtual Identity; Een gevalideerd competentieprofiel van de eTutor. Deelonderzoek 2: Survey onder studenten van de DigiPabo. Enschede: Universiteit Twente [Master’s Thesis].
5
Lectoraat eLearning / Onderzoekslijn eTutoring
5.2
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Theoretisch kader
In dit onderzoek draait het om het begrip validiteit en in dit hoofdstuk wordt dit begrip daarom nader verkend. Er is in de wetenschap veel geschreven over validiteit. Op basis van dit onderzoek zouden uitspraken gedaan moeten worden over een gevalideerd competentieprofiel van de eTutor. Fransen [2004] heeft in zijn onderzoek evidentie gevonden voor een aantal competenties. Zijn uitspraken daarover zijn ten dele gebaseerd op dezelfde vragen die in dit onderzoek aan de orde worden gesteld. Weinig aandacht is besteed aan de vraag in hoeverre de vragenlijst een voldoende predictief vermogen heeft. In dit hoofdstuk wordt deze kwestie aan een nadere verkenning onderworpen. Ebel [1961]3 geeft een staalkaart van bestaande opvattingen over de validiteit van een test. Hij spreekt in dit verband over termen als juistheid, nuttigheid, accuraatheid in het gebruik, interpreteerbaarheid, al dan niet gecorrigeerd voorspellend vermogen, waarde bij beslissingen, etc…! In hun inleidende boek over testtheorie omschrijven Drenth en Sijtsma4 validiteit van een test als ‘de mate waarin de test aan zijn doel beantwoordt’. Zij stellen dat validiteit betrekking heeft op de vraag of de sprong van testgedrag / testresultaat naar iets anders verantwoord is. Het proces van verzamelen van evidentie voor deze rechtvaardiging heet het valideringsproces, en de mate waarin die validering kan worden gevonden heet validiteit. Messick [1980,1988[5, Guion [1980]6 en Angoff [1988]7 stellen allemaal dat een blinde acceptatie van een predictor en de relatie daarvan met een criterium niet realistisch is. Alleen wanneer zowel de test als het te voorspellen gedrag operationaliseringen zijn van eigenschappen waartussen aantoonbare relaties bestaan, kan de test een adequate voorspelling opleveren. Met andere woorden: de vraag in hoeverre de vragenlijst een juiste voorspelling mogelijk maakt staat in dit onderzoek centraal. Het begrip validiteit kan volgens Drenth en Sijtsma in een viertal soorten validiteit worden uitgesplitst8: A. Predictive Validity Op basis van een test wordt een schatting verkregen door na te gaan in welke mate voorspellingen, gedaan op basis van de testprestatie, worden bevestigd door gegevens of observaties. In dit onderzoek zijn we wel degelijk uit op deze ‘predictieve validiteit’. Op basis van de uitkomsten van de vragenlijsten en de contextanalyses wordt naar een antwoord gezocht op de vraag of indicatoren uit de vragenlijst een voorspellende waarde hebben ten aanzien van het competentieprofiel van de eTutor. Betrouwbare en valide uitspraken zijn dan vooral gebaseerd op representatieve steekproeven. In dit onderzoek is gewerkt met een populatie van 102 respondenten, uitgesplitst in vijf deelpopulaties van wisselende grootte. Er kan gesteld worden dat enige statistische evidentie gevonden kan worden voor de totale populatie, maar dat de deelpopulaties te klein zijn voor een valide en betrouwbare voorspelling. 3
Ebel, [1961]. Must all tests be valid? American Psychologist 16, 640-646 Drenth & Sijtsma [2001]. Testtheorie. Houten: Bohn, Stafleu & Van Loghum. Messick, S.[1980]. Test validity and the ethics of assessment. American Psychologist, 35, 1012-1027 . Messick, S.[1988]. The once and future issues of validity: Assessing the meaning and consequences of measurement. In Wainer, H. & Braun, H. [red.]. Test validity. Hillsdale: Lawrence Erlbaum. 6 Guion, R. [!980]. On trinitarian doctrines of validity. Professional Psychology 2, 385-398. 7 Angoff, W. [1988]. Validity: An evolving concept. Hillsdale: Lawrence Erlbaum. 8 idem als 7. 4 5
6
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
B. Concurrent Validity Dit is een vorm van validiteit waarin wordt beoordeeld hoezeer de testresultaten corresponderen met gelijktijdig beschikbare criteriumgegevens. In dit onderzoek wordt de concurrent validity verkregen doordat de vragenlijst werd voorgelegd aan verschillende deelpopulaties in verschillende contexten. De verschillende contexten in combinatie met een gestandaardiseerde vragenlijst resulteert in een zekere mate van ‘concurrent validity’ [stabiliteit]. Een belangrijke beperking van deze vorm van validiteit ligt in het feit dat de vijf deelpopulaties sterk variëren in grootte en binnen elke groep, en dat ze voor statistische analyses te weinig respondenten bevatten. C. Content Validity De inhoudsvaliditeit wordt verkregen door te beoordelen in hoeverre de inhoud van een test een universum van situaties, kennisinhouden of vaardigheden representeert, waarover met betrekking tot het onderzochte conclusies moeten worden getrokken. Cronbach [1971]9 stelt dat de inhoudsvaliditeit afhangt van de adequaatheid van de representatie van het universum. Hij concludeert: ‘dit is een zaak van oordelen en niet van correleren….!’. Inhoudsvaliditeit is dus een soort van empirische verificatie van een conclusie tot een begrip. Bij inhoudsvaliditeit wordt dus sterk subjectief oordeel geveld. In de literatuur wordt in dit verband ook wel op ‘face validity’ gewezen. Drenth en Sijtsma [2001]10 definiëren inhoudsvaliditeit als volgt: ‘de sterkte van de samenhang tussen de testscore en de totaalscore op het gehele domein’. In dit onderzoek wordt bij de analyses van de gegevens [zie hoofdstuk 4] gewezen op het feit dat de gemiddelden van de vragen variëren van ‘mee eens’ tot ‘enigszins mee eens’. Dit wijst op een zekere mate van inhoudsvaliditeit. D. Construct Validity Construct validity wordt verkregen door te onderzoeken welke [psychologische] kwaliteiten een test meet. Construct is dan een gepostuleerd attribuut, waarvan men veronderstelt dat het gereflecteerd wordt in een testprestatie [Cronbach & Meehl; 1955]11. Deze vorm van validiteit kan uitgesplitst worden uitgesplitst in drie onderdelen [Cronbach 1961]12. Ten eerste: het uitvinden welke begrippen zouden kunnen worden gezien als verklaring voor de testprestatie; een activiteit van psychologische verbeeldingskracht gebaseerd op observatie en logische bestudering van de test. Ten tweede: het afleiden van toetsbare hypothesen uit de theorie waarin het construct plaats heeft; een logische operatie. Ten derde: het uitvoeren van een empirisch onderzoek om deze hypothese te toetsen; een onderzoeksmatig proces. De attributen waar Cronbach 7 Meehl [1955] in hun onderzoek over spreken kan worden gezien als de omschreven competenties van de eTutor door Jos Fransen13. De indicatoren uit de vragenlijst en de conclusies uit zijn onderzoek geven het theoretisch fundament voor dit onderzoek. Daarnaast zijn de hypotheses uit dit onderzoek middels een ‘hertestprocedure’ getoetst.
9
Cronbach, L. [1971]. Essentials of psychological testing. New York: Harper & Row. Drenth & Sijtsma [2001]. Testtheorie. Houten: Bohn, Stafleu & Van Loghum. Cronbach L & Meehl, P. [1955]. Construct validity in psychological tests. Psychological Bulletin, 52, 281-302. 12 Zie 12 13 Zie 2. 10 11
7
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Als we het validiteitsbegrip in dit onderzoek willen operationaliseren, dan kunnen we stellen dat vooral over de inhoudsvaliditeit en de constructvaliditeit enige uitspraken gedaan kunnen worden. Door de grootte van de deelpopulaties en van de totale populatie is een zinvolle uitspraak over de predictieve validiteit en de concurrent validity teveel gevraagd. Wel is het mogelijk om op basis van de uitkomsten van het onderzoek hypotheses voor verder onderzoek te definiëren. Bij validiteit gaat het om het verbinden van betekenis aan een onderzoek. Dit kan bereikt worden door het testgedrag te verklaren in termen van hypothetische begrippen. De hypothetische begrippen zijn de gevalideerde competenties in een profiel van de eTutor. Bij de betekenisanalyse stelt Cambell [1960]14 dat er een onderscheid moet worden gemaakt tussen nomologische- en trekvaliditeit. Bij trekvaliditeit denkt hij voor de verklaring van het testgedrag aan een persoonlijkheidstrek of aan een geschiktheiddimensie, zonder dat daarbij de hele theorie ter sprake hoeft te komen. Bij nomologische validiteit is dit wel het geval. In dit onderzoek is duidelijk sprake van trekvaliditeit. De vragenlijst discrimineert geschiktheidsdimensies van de eTutor vanuit het gezichtspunt van de student. Tot slot van dit hoofdstuk over validiteit is het belangrijk om een aantal tendenties van respondenten te bespreken. Tests zijn onderhevig aan de sociale wenselijkheid die respondenten aan de dag willen leggen. Er zijn twee vormen van sociale wenselijkheid: de individuele en de algemene. De individuele sociale wenselijkheid is een vorm waarbij sprake is van een per individu variërende opvatting over wat ‘sociaal wenselijk’ is. Men antwoordt dan conform deze individuele lijn. Bij de algemene vorm gaat het over algemeen aanvaarde sociale wenselijkheid. In dit onderzoek kan deze sociaal wenselijkheid wel degelijk van betekenis zijn. Gezien het feit dat de groepen niet aselect tot stand zijn gekomen kan het zijn dat hun opvattingen over ‘afstandsonderwijs’ en ‘blended learning’ algemeen geaccepteerd zijn. Onder de instemtendentie [acquiescence-set] wordt verstaan het instemmen met de richting van de vraag. Dit doet zich voor bij tests waarbij respondenten systematisch de neiging hebben om het eens te zijn met de in de vraag geponeerde stelling of het impliciete standpunt. Door het feit dat de groep select tot stand is gekomen, kan deze tendentie wel degelijk een rol spelen. Het normeren van de vragenlijst op dit gebied in vervolgonderzoek zou zeker gewenst zijn. De antwoordtendentie die bekend staat als positievoorkeur houdt in dat sommige posities bij de antwoorden worden geprefereerd boven andere. Veel voorkomend is om de neutrale positie in te nemen. Dit laatste geldt vooral bij attitudetests. Deze tendentie is in dit onderzoek niet opgetreden, omdat de gemiddelden sterk naar een confirmerend oordeel neigen. De gemiddelden van de vragen variëren tussen 2.08 en 2.72.
14
Campbell D. [1960]. Recommendations for APA tests regarding construct, trait or discriminant validity. American Psychologist, 15, 546-553
8
Lectoraat eLearning / Onderzoekslijn eTutoring
5.3
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Onderzoeksopzet
Achtereenvolgens wordt hier ingegaan op de onderzoeksgroep, de concretisering van het onderzoek, de vragenlijst en de contextanalyse.
5.3.1 Onderzoeksgroep Om vanuit het perspectief van de student zicht te krijgen op competenties van de eTutor, is er voor gekozen om tweedejaars studenten te benaderen, enerzijds omdat deze studenten al ruime ervaring hebben met de leeromgeving van de hogeschool, en anderzijds omdat zij wellicht vanuit deze ervaring beter de positie van de eTutor kunnen inschatten. Het onderzoek is opgezet binnen drie Schools [Education, Economics en Communicationan Media], met vijf deelpopulaties in de steden Rotterdam en Den Haag. De deelpopulaties zijn afkomstig uit vier verschillende opleidingen. Onderstaande tabel geeft de deelpopulaties en andere gegevens weer.
School
Locatie
Opleiding
Deelpopulatie
Respondenten
Economics
Den Haag
Bedrijfseconomie
BE 1
32
Economics
Rotterdam
Bedrijfsinformatica
BI
35
Economics
Rotterdam
Bedrijfseconomie
BE
20
Education
Rotterdam
Pedagogiek
PE
10
Communication
Den Haag
Informatie & dienstverleningsmanagement
IDM
Totaal aantal respondenten
5 102
Tabel 1. Schematisch overzicht van de onderzoeksopzet
5.3.2 Concretisering van het onderzoek Binnen de hogeschool INHOLLAND is gezocht naar een aantal geschikte leerpraktijken waarbinnen sprake is van afstandsonderwijs. Het onderzoek is er op gericht om te achterhalen wat het oordeel van de eStudent is over de competenties waarover een eTutor volgens hen zou moeten beschikken. Binnen drie Schools zijn vijf deelonderzoeken verricht. Het onderzoek is als volgt opgezet: •
• • • • •
Er zijn vijf settings geselecteerd waarbinnen sprake was van een virtuele leeromgeving. Hierbij was de belangrijkste eis dat de leerpraktijk gekenmerkt werd door het principe van ‘blended learning’; Aan alle studenten zijn door de eTutor vragenlijsten uitgereikt; Deze vragenlijsten zijn door de studenten ingevuld en door de eTutor geretourneerd naar de kenniskring; De eTutor heeft een contextbeschrijving van de leerpraktijk toegevoegd; De vragenlijsten zijn met behulp van de applicatie SPSS verwerkt; Op basis hiervan zijn de beschrijvingen gemaakt en conclusies getrokken.
9
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
5.3.3 Vragenlijst voor studenten In het onderzoekstraject eTutoring van het lectoraat eLearning is vanuit het onderzoek van Fransen15 [2004] een vragenlijst ontwikkeld. Die vragenlijst bestaat uit 40 vragen met 7 antwoordmogelijkheden voor de respondent.
Vraag
Helemaal mee eens
Mee eens
Enigszins mee eens
Niet mee eens of oneens
Enigszins mee oneens
Mee oneens
Helemaal mee oneens
Een eTutor moet de begeleiding kunnen aanpassen aan de leerstijl van de student Tabel 2. Vragenlijstconstructie [voorbeeld van een vraag / stelling].
Nadat de respondent de volledige lijst van 40 vragen had beantwoord, werd hem gevraagd een top 5 van meest belangrijke kwaliteiten van de eTutor aan te geven. Hiertoe konden de respondenten de 40 eerder omschreven kwaliteiten gebruiken of er zelf nieuwe aan toevoegen. Deze uitwerking van het onderzoek wijkt af van de opzet zoals die in het onderzoek van Fransen [2004] is gehanteerd. Hierin werden 20 vragen gebruikt en werd een top 3 gevraagd. De 40 kwaliteiten zijn afgeleid van een lijst van 80 kwaliteiten die als indicatoren zijn beschreven bij het competentieprofiel van de eTutor. In bijlage 1 vindt is de volledige vragenlijst opgenomen die aan studenten is voorgelegd.
5.3.4 Contextanalyse Voor elke deelpopulatie is een contextanalyse van de leerpraktijk gemaakt. In deze contextanalyse wordt in hoofdlijnen de deelpopulatie beschreven, de aard van de leerpraktijk in termen van opbouw en organisatie en de rol van de eTutor. In 4.3 wordt de contextanalyse gegeven van de verschillende deelpopulaties.
15
Fransen, J. [2004]. Virtual Identity; Een gevalideerd competentieprofiel van de eTutor. Enschede: Universiteit Twente [Master’s Thesis]
10
Lectoraat eLearning / Onderzoekslijn eTutoring
5.4
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Dataverzameling, verwerking en analyse
In dit hoofdstuk wordt ingegaan op de condities rond de dataverzameling en de methode die werd gebruikt voor de dataverwerking.
5.4.1 Dataverzameling Studenten kregen een vragenlijst toegestuurd via de eTutor met het verzoek deze in te vullen. Op de vragenlijst stond uitgelegd hoe de student te werk diende te gaan. Voorzover bekend hebben zich hierbij geen problemen voorgedaan. De vragenlijsten zijn in verschillende vormen afgenomen. Vier groepen hebben een papieren versie van de vragenlijst handmatig ingevuld en één groep heeft dit een digitale versie ‘online’ ingevuld. De IDM deelpopulatie [Communication] had op het moment van het onderzoek de leerpraktijk al afgerond. Zij stonden daarmee op wat grotere afstand van de opleiding, omdat ze toen stage liepen. Dit heeft ertoe geleid dat van de 8 deelnemers er slechts 5 de vragenlijst geretourneerd hebben. Meerdere malen zijn de resterende studenten aangespoord om alsnog de vragenlijst in te vullen, maar deze aansporingen hebben geen resultaat opgeleverd. Tussen de verschillende deelpopulaties zit een groot verschil voor wat betreft de groepsgrootte. Met name de IDM groep en de Pedagogiek groep hebben een beperkt aantal respondenten. De aantallen van deze deelpopulaties waarborgen niet een valide uitspraak over de groep zelf. Voor de groepen vanuit Economics geldt dat deze van een omvang zijn dat deelanalyse van de gegevens eventueel mogelijk is. Hierover meer in de volgende paragraaf.
5.4.2 Dataverwerking Statistische analyse De ruwe scores van alle vragenlijsten zijn in SPSS op ordinaal niveau ingebracht. Aan alle antwoordmogelijkheden werd een numerieke waarde toegekend. Tabel 4 geeft deze omzetting weer.
Numerieke waarde
Helemaal mee eens
Mee eens
Enigszins mee eens
Niet mee eens of oneens
Enigszins mee oneens
Mee oneens
Helemaal mee oneens
1
2
3
4
5
6
7
Tabel 4. Omzetting van antwoordmogelijkheid in numerieke waarden.
Hierdoor werd het mogelijk om enige statische bewerkingen op de resultaten uit te voeren. Teneinde dit adequaat te doen zijn alle vragen gecodeerd met een trefwoord of summiere omschrijving van de kwaliteit. Daarnaast zijn de verschillende deelpopulaties als aparte groep in het systeem ingebracht, waardoor onderlinge vergelijking van de deelpopulaties mogelijk gemaakt wordt. In de statische verwerking zijn de volgende bewerkingen uitgevoerd: • • • • • •
De frequentieverdelingen van de 40 vragen voor de gehele populatie; De frequentieverdelingen van de 40 vragen voor de deelpopulaties; De gemiddelde score per vraag voor de gehele populatie; De gemiddelde score per vraag voor de deelpopulaties; Crosstabs met correlaties tussen de vragen voor de gehele populatie; Crosstabs met correlaties tussen deelpopulatie en vragen;
In paragraaf 5.2 en deel 2 van de bijlagen zijn uitwerkingen van statistische bewerkingen opgenomen.
11
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
5.4.3 Analyse Achtereenvolgens wordt hier ingegaan op de resultaten van de gehele populatie en voor de vijf deelpopulaties.
Gehele populatie In het onderzoek participeerden 102 studenten, verdeeld over vijf deelpopulaties. Bij de verwerking zijn de analyses vooral gericht op de hele groep, omdat dit zowel de betrouwbaarheid als de validiteit van de gegevens ten goede zal komen. De vragenlijst is over het algemeen door de studenten naar behoren ingevuld. Dat wil zeggen dat de meeste vragen door de respondenten conform de richtlijn beantwoord zijn. Ongeveer de helft van de respondenten maakte gebruik van de mogelijkheid om op basis van deze vragenlijst zelf een top 5 van belangrijkste competenties te formuleren. Regelmatig kwam uit de vragenlijsten naar voren dat men het een behoorlijk lastige opgave vond. Gemiddelden, percentielen en frequenties De studenten kregen een vragenlijst voorgelegd met gesloten vragen, waarbij op een 7-punts Likertschaal gescoord kon worden [zie tabel 4]. Voor de hele populatie liggen over alle vragen de gemiddelden tussen 2.08 en 2.76. In woorden uitgedrukt komt dat erop neer dat de respondenten over het algemeen scoren met ‘mee eens’ of ‘enigszins mee eens’ ten aanzien van de indicatoren die in de stellingen worden genoemd. In absolute zin scoren beide antwoordmogelijkheden even hoog [20x]. Voor een meer gedetailleerde uitsplitsing wordt verwezen naar bijlage 2 [Descriptives]. Dit betekent dat over het algemeen de volledige schaalgrootte voor 48,5 % van de vragen benut is. Voor 42,5 % van de vragen is het antwoord ‘helemaal mee oneens’ uitgebleven. Slechts bij 1 % van de vragen zijn ‘helemaal mee oneens’ en ‘mee oneens’ niet gescoord.
Deelpopulaties Hieronder volgt een overzicht van de contexten van de leeromgeving en de resultaten met analyses van het onderzoek middels de vragenlijst. Voor meer gedetailleerde informatie wordt naar de bijlagen verwezen.
Groep Communicatie Context Aantal M/V Leeftijd: Vooropleiding Huidig studietraject:
5 2 vrouwen / 3 mannen Tussen 18 en 21 jaar Voornamelijk Havo / VWO Deze studenten volgen de opleiding Informatie dienstverleningsmanagement [IDM] in Den Haag, waarin ze worden opgeleid tot informatiemedewerker op tactisch- en strategisch niveau binnen een organisatie. De leerpraktijk die is onderzocht betreft het vak ITIL. Dit een ICT specialisatie, waarin studenten geleerd wordt hoe servicemanagement binnen organisaties vormgegeven kan worden. ITIL staat voor een concrete methode op dat terrein.
12
Lectoraat eLearning / Onderzoekslijn eTutoring
Begeleiding:
ELO:
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Studenten hebben eerst een film gezien [Apollo 13]. Op basis van deze film, die de context van de leerpraktijk schetste, konden zij een programma doorwerken op basis van eLearning waarin de ITIL methode verduidelijkt en uitgelegd werd. Aan het einde van dit traject werd een digitaal tentamen afgenomen. Op één na zakten alle studenten voor dit tentamen. Degenen die gezakt zijn hebben veelal hun opleiding opgeschort of zelfs beëindigd. Blackboard en een externe Leer Content Management System fungeerden als elektronische leeromgeving.
Analyse resultaten De groep stemt collectief zeer in met de indicatoren voor de competenties zoals die in de vragenlijst verwoord zijn, want 30 van de 40 vragen kregen de score ‘mee eens’ [75 %]. De indicatoren ‘inleven in de student’ en ‘kennis van het vakgebied’ kregen een collectieve score van ‘helemaal mee eens’. In 20 % van de gevallen lag het gemiddelde op ‘helemaal mee eens’. Slechts op de vraag ‘beheersing van technische functies’ kwam van de groep een ontkennend antwoord in de vorm van ‘enigszins mee oneens’.
Groep BE/ CE 1 Context Aantal: M/V: Leeftijd: Vooropleiding: Huidige studietraject: Begeleiding: ELO:
De groep bestaat uit aantal klassen van 30 studenten: niet elke student was aanwezig dus zijn er minder gegevens. Mannen en vrouwen De leeftijd [op het moment van afname vragenlijsten] varieerde van 18 tot 21 jaar. De exacte leeftijden zijn niet geregistreerd. Gedeeltelijk Havo en gedeeltelijk MBO. De groep bestaat uit studenten van de School of Economics Rotterdam, de opleiding CE commerciële economie, 2e jaar voltijdopleiding Rotterdam. De groep studenten wordt gedurende het jaar begeleid door een docent die wekelijks met de groep een contactmoment heeft van 45 minuten. Als elektronische leeromgeving gebruikten de studenten de reguliere omgeving van BlackBoard.
Analyse resultaten De resultaten van het onderzoek laten een wisselend beeld zien, want 25 van de 40 vragen worden gemiddeld beantwoord met ‘mee eens’ [ruim 62 %] en 15 met het antwoord ‘enigszins mee eens’. Er is met andere woorden een duidelijke instemtendens bij deze groep waar te nemen. Er zijn geen uitschieters naar boven of beneden.
Groep Economie / BI Context Aantal.: M/V: Leeftijd: Vooropleiding:
De groep bestaat uit aantal klassen van 25 studenten. Mannen en vrouwen. De leeftijd [op het moment van afname vragenlijsten] varieerde van 18 tot 22 jaar. De exacte leeftijden zijn niet geregistreerd. Niet bekend
13
Lectoraat eLearning / Onderzoekslijn eTutoring
Huidige studietraject: Begeleiding: ELO:
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
De groep bestaat uit studenten van de School of Economics Rotterdam, opleiding Bedrijfskundige Informatica, 2e jaar voltijdopleiding Rotterdam. De groep studenten wordt gedurende het jaar begeleid door een docent die periodiek met de groep contact heeft. Als leeromgeving gebruiken studenten de reguliere leeromgeving BlackBoard.
Analyse resultaten Van alle groepen scoort deze groep het meest nadrukkelijk voorzichtig, want 39 van de 40 vragen worden met antwoord ‘enigszins mee eens’ gescoord. Slechts één stelling kent een score van ‘mee eens’. Dit betreft de indicator ‘stimuleren tot actief leren’. In deze groep werd ook behoorlijk vaak aangegeven dat men het concept van het afstandsleren niet altijd even op prijs stelt [hetgeen bleek uit commentaar op de vragenlijst]. Maar dit is slechts een minderheid. In de scores komt dat verder niet naar voren.
Groep Educatie Context Aantal: M/V: Leeftijd: Vooropleiding: Huidige studietraject: Begeleiding: ELO:
De groep bestaat uit 10 studenten. Mannen en vrouwen. De leeftijd [op het moment van afname vragenlijsten] varieerde van 18 tot 22 jaar. Niet bekend. De groep bestaat uit studenten van de School of Education Rotterdam, de opleiding PABO, 2e jaar voltijdopleiding Rotterdam. De groep studenten wordt gedurende het jaar begeleid door een docent die periodiek met de groep contact heeft. Als leeromgeving gebruiken de studenten Sharepoint en BlackBoard.
Analyse van de gegevens Deze groep scoort redelijk positief bij de antwoorden op deze vragenlijst, want op 28 van 40 vragen werd gemiddeld ‘mee eens’ gescoord. Daarnaast werd op drie vragen gemiddeld ‘helemaal mee eens’ gescoord. Dat betreft de indicatoren ‘rolkeuzes bij verschillende situaties’, ‘kennis van het vakgebied’ en ‘duidelijke communicatiestijl’. Bij 9 van de 40 vragen werd ‘enigszins mee eens’ gescoord.
Groep BE/ CE 2 Context Aantal: M/V: Leeftijd: Vooropleiding: Huidige studietraject: Begeleiding: ELO:
De groep bestond uit 20 studenten. Mannen en vrouwen. De leeftijd [op het moment van afname vragenlijsten] varieerde van 18 tot 21 jaar. De exacte leeftijden zijn niet bekend. Havo of MBO. De groep bestaat uit studenten van de School of Economics Rotterdam, de opleiding CE commerciële economie, 2e jaar voltijdopleiding Rotterdam. De groep studenten wordt gedurende het jaar begeleid door een docent die wekelijks met de groep een contactmoment heeft van 45 minuten. Als leeromgeving gebruikten de studenten de reguliere omgeving BlackBoard.
14
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Analyse resultaten Deze groep scoort zeer positief op de vragenlijst. Maar liefst 34 van de 40 vragen krijgen de score ‘mee eens’. Ook hier weer krijgt de indicator ‘duidelijke communicatiestijl’ de score ‘helemaal mee eens’. De overige vragen krijgen een gemiddelde score van ‘enigszins mee eens’. Correlaties Om de validiteit van de vragenlijst te kunnen beoordelen is het van belang om de verschillende vragen met elkaar te confronteren. Meerdere vragen verwijzen namelijk naar vergelijkbare indicatoren of naar dezelfde vaardigheden. In deze analyse worden met name de wat sterkere en zwakkere correlaties besproken. De hoogste correlatie die werd gevonden heeft een waarde van 0.635. Dit betrof de volgende twee indicatoren: ‘helpen bij reflectie op leerresultaat en leerproces’ met ‘leeromgeving leidt tot zelfstandig werken’. Het kunnen ‘geven van hulp bij het individuele en groepsleerproces’ correleert 0.641 met de indicator ‘inzicht geven in leerstijlen en leerprocessen’. Kijkend naar de vragen die sterker met andere vragen correleren [Pearson correlation], dan ontstaat het volgende beeld: • •
• •
Veruit de meeste in het oog springende correlaties vertonen de indicatoren ‘versterken van de motivatie’ en ‘gericht schriftelijk communiceren’; Daarnaast vertonen ook de indicatoren ‘optimaal inrichten van de leeromgeving’, ‘helpen bij reflectie op de leeromgeving’ en ‘kennis van het vakgebied’ een grotere correlatie met andere indicatoren; Bij de indicator ‘het kunnen uitsluiten van meeliften’ wordt heel regelmatig een kleine negatieve correlatie met andere indicatoren gevonden; Vier indicatoren blijken geen duidelijke correlaties met andere indicatoren te vertonen. Het betreft hier de volgende antwoordmogelijkheden: o ‘leiden van discussies op discussionboard’ o ‘gebruik van peer-review’ o ‘beheersing van technische functies’ o ‘inzicht in de organisatie en structuur van de leerpraktijk’
De bijlagen bevatten uitgebreid statistisch materiaal op basis waarvan verder onderzoek gedaan kan worden.
15
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
5.5 Conclusies en aanbevelingen In dit hoofdstuk wordt getracht een antwoord te geven op de onderzoeksvragen. Daarnaast wordt ingegaan op de te toetsen hypotheses, zoals die zijn afgeleid uit de resultaten van het onderzoek van Fransen [2004].
5.5.1 Conclusies Onderzoeksvraag 1 Welke competenties van de eTutor zijn vanuit het perspectief van de eStudent belangrijk? Deze onderzoeksvraag was aanleiding voor een replicatieonderzoek van het deelonderzoek dat door Fransen16 [2004] onder studenten van de Digipabo is uitgevoerd. Uit zowel de deelpopulaties als uit de totale populatie ontstaat sterk hetzelfde beeld dat ook uit het onderzoek van Fransen naar voren is gekomen. Er is een sterke instemmende tendens op bijna alle antwoordmogelijkheden. Binnen de verschillende deelpopulaties zitten hierin kleine verschillen [zie bijlage 1], maar er is in geen enkele deelpopulatie sprake van een afwijzing van een indicator. We mogen concluderen dat de vragenlijst kennelijk een betrouwbaar beeld geeft van de opvattingen die studenten hebben over het profiel van de eTutor. We kunnen enige twijfel hebben over de vraag in hoerverre het competentieprofiel van de eTutor op basis van deze resultaten een ‘gevalideerd profiel’ is. Zoals eerder gesteld gaat het bij validiteit om de vraag of de resultaten van dit onderzoek een rechtvaardiging impliceren naar het gedrag, behorend bij het competentieprofiel van de eTutor. Messick [1980, 1988], Guion [1980] en Angoff [1988]17 stellen dat blinde acceptatie van een predictor [lees de vragenlijst] en de relatie daarvan met een criterium [lees het gevalideerde competentieprofiel] niet realistisch is. Feitelijk kan gesteld worden dat de resultaten van dit onderzoek enigszins wijzen naar enkele vormen van validiteit. Ten eerste kan exploratief worden vastgesteld dat er een bepaalde mate van ‘inhoudsvaliditeit’ van het profiel gesuggereerd kan worden. Cronbach [1971]18 stelt dat deze vorm van validiteit sterk afhangt van de adequaatheid van de representatie van het universum, wat naar zijn mening meer een zaak is van oordelen dan van correleren….! Deze oordelen hebben zowel betrekking op de vraag of het universum [volledige competentieprofiel] adequaat is gerepresenteerd als op de definitie van het universum zelf. Uit de onderzoeken van Taks19 en Fransen komt voldoende evidentie voor het feit dat het profiel goed in elkaar zit. Met andere woorden: de inhoudsvaliditeit is meer een kwalitatieve inschatting, maar kan niet kwantitatief op basis van dit onderzoek geverifieerd worden. Drenth & Sijtsma [1990]20 stellen dan ook dat het bezwaar tegen inhoudsvaliditeit is dat empirische verificatie van een conclusie tot een begrip hierbij vaak ontbreekt. Wellicht dat we ook enige mate van construct validiteit kunnen vaststellen ten aanzien van het competentieprofiel van de eTutor. Door de gesuggereerde betrouwbaarheid van de vragenlijst kunnen we stellen dat studenten kennelijk instemmen met de ‘geconstrueerde competenties’.
16 Fransen, J. Virtual Identity; Een gevalideerd competentieprofiel van de eTutor. Enschede: Universiteit Twente [Master’s Thesis]. 17 Messick, S. [1980]. Test validity and the ethics of assessment. American Psychologist, 35, 1012-1027 Messick, S. [1988]. The once and future issues of validity: Assessing the meaning and consequences of measurement; In Wainer, H. & Braun, H. [red.], Test validity. Hillsdale: Lawrence Erlbaum 17 Guion, R. [1980]. On trinitarian doctrines of validity. Professional Psychology 2, 385-398. 18 Cronbach, L. [1971]. Test validation. In Thorndike, R. [ed.]. Educational Measurement. Washington D.C: American Council on Education 19 Taks, M. [2003]. Zelfsturing in leerpraktijken. Een curriculumonderzoek naar nieuwe rollen van studenten en docenten in de lerarenopleiding. Enschede: Universiteit Twente. 20 Drenth & Sijtsma [2001]. Testtheorie. Houten: Bohn, Stafleu & Van Loghum.
16
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Zijn er verschillen te onderkennen tussen de verschillende studentpopulaties..? We zien hier en daar wat verschillen tussen de verschillende deelpopulaties. Voor een belangrijk deel zijn die te verklaren uit de verschillende contexten waarin de leerpraktijk geplaatst was. We denken dat de vergelijkbaarheid van de Economie studenten redelijk groot is. Qua context zitten daar niet teveel verschillen in. Met name één groep van BE laat een wat ander beeld zien. Aangezien er in dit onderzoek niet gewerkt is met interviews met betrokkenen, kunnen deze verschillen niet geduid worden. De kwalitatieve benadering zal in vervolgonderzoek beter tot haar recht moeten komen. Het is moeilijk om op basis van de vragenlijsten een volledig beeld te geven. Onderzoeksvraag 2 Is de vragenlijst ten behoeve van het onderzoek naar het competentieprofiel van de eTutor een betrouwbaar en valide meetinstrument? Zoals hiervoor al gesteld kan op basis van de resultaten van de deelonderzoeken vastgesteld worden dat de vragenlijst een betrouwbaar instrument is gebleken om de competenties van de eTutor vanuit het perspectief van de eStudent te bepalen. Het onderzoek geeft een dermate eenduidig beeld dat dit wel aangenomen kan worden. Ook het gegeven dat dit deelonderzoek een replicatieonderzoek is van eerder onderzoek van Fransen [2004], waaruit een vergelijkbaar beeld naar voren komt, geeft enige indicatie. Daarnaast kan worden opgemerkt dat een groot deel van de indicatoren enigszins tot sterk met elkaar correleren. Met andere woorden: de vragenlijst objectiveert goed het beeld dan de student heeft van het competentieprofiel van de eTutor. Er kan gesteld worden dat er een zogenaamde ‘face validity’ of indruksvaliditeit optreedt. Daarnaast geven de resultaten van de deelonderzoeken hiervan een statistische ondersteuning [zie hiervoor de toegevoegde bijlagen met de verschillende statistische bewerkingen]. Als een grotere predictieve validiteit van deze vragenlijst gewenst is, dan is het noodzakelijk dat de vragenlijst genormaliseerd wordt. Met normaliseren wordt in dit verband bedoeld dat de vragenlijst dient te voldoen aan psychometrische eisen die daaraan gesteld worden [APA-rules]. Aangezien er voldoende statistische evidentie uit dit onderzoek naar voren komen, wordt voorgesteld om de vragenlijst een meer adaptief karakter te geven. Met adaptief wordt hier bedoeld dat een ‘itembank’ van vragen wordt geconstrueerd, die goede voorspellers van het gewenste competentieprofiel van de eTutor blijken te zijn. Zodoende kunnen vragenlijsten [adaptief] worden geconstrueerd die passen bij het leerproces in een gegeven leerpraktijk en bij het type sturing of begeleiding dat daarin geboden wordt. Uit het deelonderzoek van Fransen [2004] zijn de hypotheses geformuleerd die in dit onderzoek zijn getoetst: • • • •
Studenten vinden de sociaal-communicatieve competentie van de eTutor het belangrijkste; De eTutor moet eStudenten als groep, maar ook individueel, kunnen motiveren en dient rekening te houden met individuele verschillen; Studenten hechten ook veel belang aan de methodisch-didactische competentie van de eTutor; Studenten hechten relatief weinig belang toe aan de organisatorische - en ICT competentie van de eTutor.
Vanuit dit replicatieonderzoek komt eenzelfde beeld naar voren als uit het onderzoek van Fransen uit 2004 onder studenten van de DigiPabo. Inderdaad blijkt de sociaal communicatieve competentie van de eTutor een belangrijke kwaliteit te zijn vanuit het gezichtspunt van de eStudenten. Met name de indicator ‘gericht schriftelijk kunnen communiceren’ blijkt sterk naar voren te komen.
17
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
De tweede hypothese wordt ondersteund door het gegeven dat studenten veel belang hechten aan ‘een duidelijke communicatiestijl’ en ‘het kunnen schakelen tussen vormen van begeleiding’. Ondanks dat de opzet van de leeromgeving ‘studentgeorienteerd’ was, blijken studenten veel belang te hechten aan de bijdrage van de eTutor aan de sturing van het leerproces. Studentgeoriënteerd onderwijs moet in dit concept niet worden verward met ‘studentgeleid’. Studenten verwachten van de eTutor dat hij nadrukkelijk het leerproces binnen een ELO begeleidt en stuurt. Sommige antwoordtendenties in dit onderzoek kunnen ook gebaseerd zijn op bepaalde semantische interpretaties van de keuze- of beoordelingscategorieën. Bijvoorbeeld: de antwoordcategorieën als ‘enigszins mee eens’, ‘mee eens’, ‘enigszins mee oneens’ en ‘mee oneens’ zijn onderhevig aan een persoonlijke interpretatie. In dit onderzoek moet rekening worden gehouden met deze tendentie.
5.5.2 Aanbevelingen Uit dit deelonderzoek blijkt dat de indicatoren uit de vragenlijst een betrouwbaar beeld geven van het competentieprofiel van de eTutor vanuit het perspectief van de eStudent. Er kan in dit verband maar in beperkte mate gesproken worden van een gevalideerde vragenlijst, want daarvoor is de vragenlijst enerzijds te weinig gebruikt en voldoet hij anderzijds niet aan de APA-rules zoals die opgesteld zijn. Verder onderzoek naar de bruikbaarheid van de indicatoren lijkt gewenst. Op basis van dit onderzoek blijkt dat bepaalde vragen een lage correlatie met andere vragen vertonen, waardoor de vraag gelegitimeerd is in hoeverre ze in deze vragenlijst hetzelfde meten. Diepgaander correlatieonderzoek van de gegevens zou hierover meer helderheid kunnen verschaffen. In dit verband is het zinvol ook aandacht te besteden aan de formuleringen van de indicatoren. Op dit moment zijn alle indicatoren ‘positief’ geformuleerd. Negatieve formuleringen van indicatoren kunnen ervoor zorgen dat bepaalde antwoordtendenties worden vermeden of beperkt. Daarnaast wordt voorgesteld een zogenaamde ‘itembank’ van indicatoren in te richten, welke gebruikt kan worden bij het meer adaptief gebruik van de vragenlijst. In dit kader is het dan ook van belang om de fasering in de inrichting van een ELO te kunnen koppelen aan gerichte vragen uit deze itembank. Daarmee zou de fasering zoals Taks [2003] die omschrijft beter ondersteund worden. Het lijkt gewenst de vragenlijst wat in te korten. Bij de analyse van de vragenlijsten werd de indruk gewekt dat respondenten, naarmate de vragenlijst vorderde, een bepaalde ‘tendentie’ van sociale wenselijkheid tentoonspreidden. Wanneer de items voldoende betrouwbaar en valide zijn, zal een kortere vragenlijst waarschijnlijk haalbaar zijn.
18
Lectoraat eLearning / Onderzoekslijn eTutoring
5.6
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Bronnen
Angoff, W. [1988]. Validity: An evolving concept. Hillsdale: Lawrence Erlbaum Campbell, D. [1960]. Recommendations for APA tests regarding construct, trait or discriminant validity. American Psychologist, 15, 546-553 Cronbach, L. [1971]. Essentials of psychological testing. New York: Harper & Row Cronbach, L. & Meehl, P. [1955]. Construct validity in psychological tests. Psychological Bulletin, 52, 281-302 Cronbach, L. [1961]. Essentials of psychological testing. New York: Harper & Row . Cronbach, L. [1971]. Test validation; In R.L. Thorndike [ed.]. Educational Measurement. Washington D.C: American Council on Education Drenth & Sijtsma [2001]. Testtheorie. Houten: Bohn, Stafleu & Van Loghum. Ebel [1961]. Must all tests be valid. American Psychologist 16, 640-646. Fransen, J. [2004]. Virtu@l Identity; Een gevalideerd competentieprofiel van de eTutor. Enschede: Universiteit Twente [Master’s Thesis]. Guion, R. [1980]. On trinitarian doctrines of validity. Professional Psychology 2, 385-398. Messick, S. [1980]. Test validity and the ethics of assessment. American Psychologist, 35, 1012-1027 Messick, S. [1988]. The once and future issues of validity: Assessing the meaning and consequences of measurement; In H. Wainer & H.I. Braun [ed.]. Test validity. Hillsdale: Lawrence Erlbaum. Taks, M. [2003]. Zelfsturing in leerpraktijken; Een curriculumonderzoek naar nieuwe rollen van studenten en docenten in de lerarenopleiding. Enschede: Universiteit Twente.
19
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Bijlage 1a Tabel met scores vragen 1 t/m 20 Groep Communicatie Adequaat inspelen op leerstijlen
Educatie
1
1
8
6
3
2
5
20
13
13
Enigszins mee eens
1
3
5
9
3
Niet mee eens of oneens
1
1
2
1
Helemaal mee eens
1
4
3
8
3
4
17
11
9
Enigszins mee eens
1
3
9
6
2
1
1
8
1
3
1
1
Mee oneens
3
Helemaal mee oneens
1
Helemaal mee eens Mee eens
4
Enigszins mee eens
1
7
5
7
7
22
13
10
6
9
3
Niet mee eens of oneens
1
Enigszins mee oneens
3 1
Helemaal mee eens
1
3
7
1
5
Mee eens
4
6
17
10
12
1
6
8
3
5
9
Enigszins mee eens Niet mee eens of oneens Enigszins mee oneens
3
Helemaal mee eens
3
11
6
8
Mee eens
3
6
15
6
10
Enigszins mee eens
2
1
8
6
1
1
9
Niet mee eens of oneens Enigszins mee oneens
3
Mee oneens
2
Helemaal mee eens
1
4
7
6
8
Mee eens
2
5
18
9
10
Enigszins mee eens
2
1
3
8
2
Niet mee eens of oneens
6
6
Enigszins mee oneens
1
1
Mee oneens Beoordelen op resultaat en proces
1
3
Mee oneens
Juiste inzet communicatiemiddelen
1
Mee eens
Enigszins mee oneens
Effectief emailgebruik
1 1
Niet mee eens of oneens
Gerichte gespreksvoering
Economie BE
Mee eens
Mee oneens
Schakelen tussen individu en groep
Economie [N]
Helemaal mee eens
Enigszins mee oneens Asynchrone discussies leiden
Economie [F]
2
Helemaal mee eens Mee eens
4
Enigszins mee eens
1
Niet mee eens of oneens
4
5
5
4
5
15
6
14
13
9
2
2
1
Enigszins mee oneens
8
Mee oneens
3
20
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Communicatie Reflectie stimuleren in de leeromgeving
Peer review effectief inzetten
Helemaal mee eens
Educatie 1
1
3
8
4
19
8
7
Enigszins mee eens
1
5
9
13
1
Niet mee eens of oneens
4
5
3
Enigszins mee oneens
2
2
3
7
4
3
7
9
6
8
8
9
3
8
11
4
Helemaal mee eens Mee eens
3
Enigszins mee eens
1 1
2
Mee oneens
2
1
2
6
7
5
13
Mee eens
2
4
20
11
5
Enigszins mee eens
1
8
8
2
Niet mee eens of oneens
4
Enigszins mee oneens
2
Mee oneens
2
Helemaal mee eens
2
1
10
3
6
Mee eens
3
3
13
7
7
Enigszins mee eens
2
5
10
6
Niet mee eens of oneens
1
4
7
Enigszins mee oneens
2
1
3
2
2
Helemaal mee oneens
1
1
Helemaal mee eens
2
4
5
6
7
Mee eens
2
5
16
9
8
9
10
5
4
7
Enigszins mee eens Niet mee eens of oneens
1
Mee oneens Leiden van chatsessies
1
1
Helemaal mee eens
Mee oneens Controleren op meeliftgedrag
Economie BE
4
Enigszins mee oneens
Instrueren in portfoliogebruik
Economie [N]
Mee eens
Niet mee eens of oneens
Eenduidig communiceren
Economie [F]
1
Helemaal mee eens
4
4
9
Mee eens
2
1
14
7
9
Enigszins mee eens
2
6
10
13
1
2
5
6
Niet mee eens of oneens Enigszins mee oneens
1
1
Mee oneens
1 1
1
Helemaal mee oneens Zicht hebben op het beroepenveld
1
Helemaal mee eens
2
5
7
3
5
Mee eens
3
1
14
9
9
1
10
4
5
2
8
1
5
Enigszins mee eens Niet mee eens of oneens Enigszins mee oneens
2
Mee oneens
2
Helemaal mee oneens Gericht schriftelijk communiceren
1
Helemaal mee eens
2
7
Mee eens
3
4
15
7
8
Enigszins mee eens
1
3
11
10
3
Niet mee eens of oneens
1
2
8
1
2
5
Enigszins mee oneens
2
4
1
Mee oneens
1
21
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Communicatie Interactie stimuleren in de leeromgeving
Helemaal mee eens
Educatie
Economie [F]
Economie [N]
Economie BE
1
4
4
8
Mee eens
4
6
16
7
8
Enigszins mee eens
1
2
9
11
2
1
5
7
1
Niet mee eens of oneens Enigszins mee oneens
2
Mee oneens Versterken van de motivatie
1
Helemaal mee eens Mee eens
5
Enigszins mee eens
5
8
5
5
4
18
7
11
1
3
8
3
3
7
Niet mee eens of oneens Enigszins mee oneens
3
Mee oneens
2
2
Helemaal mee oneens Inleven in de student
1
Helemaal mee eens
3
4
8
2
6
Mee eens
2
3
15
10
8
Enigszins mee eens
2
4
9
5
Niet mee eens of oneens
1
3
6
Enigszins mee oneens
2
4
Mee oneens
1
1
Helemaal mee oneens Vormen van PGO begeleiden
1
Helemaal mee eens
1
1
3
4
3
Mee eens
2
4
15
7
11
Enigszins mee eens
2
4
11
13
2
3
6
2
1
2
1
Niet mee eens of oneens Enigszins mee oneens
1
Mee oneens Samenwerkend leren stimuleren
1
1
Helemaal mee eens
2
2
1
4
4
Mee eens
1
4
18
12
11
Enigszins mee eens
2
9
7
1
4
3
2
Niet mee eens of oneens
2
Enigszins mee oneens
2
5
Mee oneens
1
Helemaal mee oneens
1
22
1 1
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Bijlage 1b
Tabel van groepen met vragen 21 t/m 40 Groep Communi -catie Kennis hebben van relevante vakgebieden
Educatie
Economie [F]
Economie [N]
Economie BE
Helemaal mee eens
3
6
4
8
9
Mee eens
2
4
16
8
7
Enigszins mee eens
8
4
4
Niet mee eens of oneens
4
6
Enigszins mee oneens
4
Mee oneens Beschikken over onderzoeksvaardigheden
1
2
Helemaal mee eens
2
3
6
2
3
Mee eens
3
5
16
12
15
1
7
10
1
3
5
1
2
1
1
Enigszins mee eens Niet mee eens of oneens Enigszins mee oneens
1
Mee oneens Helemaal mee oneens Aanzetten tot kritisch nadenken
1
Helemaal mee eens
2
4
4
5
6
Mee eens
3
5
12
7
6
12
8
7
6
9
1
Enigszins mee eens Niet mee eens of oneens
1
Enigszins mee oneens
1
Mee oneens Zelfstandig leren stimuleren in de leeromgeving
2
Helemaal mee eens
1
2
3
4
4
Mee eens
3
6
14
8
10
Enigszins mee eens
1
1
11
9
3
1
3
3
1
1
Niet mee eens of oneens Enigszins mee oneens
Initiatief nemen door de student stimuleren
inzicht bieden in kennismanagement
5
1
Mee oneens
1
1
Helemaal mee oneens
1
Helemaal mee eens
2
6
2
3
Mee eens
3
6
17
9
11
Enigszins mee eens
2
2
4
12
3
Niet mee eens of oneens
4
8
2
Enigszins mee oneens
2
1
1
Mee oneens
1
Helemaal mee eens
2
4
6
1
2
Mee eens
1
4
13
12
11
Enigszins mee eens
2
1
10
6
4
5
9
1
Niet mee eens of oneens Enigszins mee oneens
1
1
Helemaal mee oneens Zinvolle bijdrage aan ind. en productbeoordeling
1
Helemaal mee eens Mee eens
5
Enigszins mee eens
5
5
7
4
12
5
11
1
2
11
11
Niet mee eens of oneens
4
7
Enigszins mee oneens
2
3
Mee oneens
1
23
1
5
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Groep Communi -catie Inrichten van de leeromgeving
Helemaal mee eens
Economie [F]
Economie [N]
Economie BE
3
4
4
10 8
Educatie
Mee eens
4
4
14
11
Enigszins mee eens
1
2
12
6
3
8
Niet mee eens of oneens Enigszins mee oneens
1
Mee oneens
1
Helemaal mee oneens Sturing kunnen aanpassen aan situatie
1
Helemaal mee eens
6
5
6
2
Mee eens
4
3
14
8
8
Enigszins mee eens
1
1
8
11
8
5
5
1
Niet mee eens of oneens Enigszins mee oneens
1
Mee oneens Zoeken en selecteren van informatie
Helemaal mee eens
2
1
4
4
5
5
3
3
14
8
11
Enigszins mee eens
2
2
9
10
2
3
6
Enigszins mee oneens
1
3
Mee oneens 1
Helemaal mee eens
3
12
7
9
Mee eens
2
3
12
8
6
Enigszins mee eens
2
3
6
9
5
2
5
1
3
Niet mee eens of oneens Enigszins mee oneens
1
Mee oneens
1
Helemaal mee oneens
1
Helemaal mee eens
1
3
3
3
1
Mee eens
3
7
19
12
12
7
8
3
3
5
Enigszins mee eens Niet mee eens of oneens
1
Enigszins mee oneens
Relevantie van informatie kunnen aangeven
2
Mee oneens
1
1
Helemaal mee oneens
1
1
Helemaal mee eens
2
3
5
4
5
Mee eens
3
5
17
8
10
Enigszins mee eens
2
2
5
8
3
Niet mee eens of oneens
4
6
1
Enigszins mee oneens
2
5
Mee oneens Juiste rol kiezen in gegeven situatie
2 2
Helemaal mee oneens
Reflectie op proces en resultaat initieren
1
Mee eens Niet mee eens of oneens
beheersing technische functies
1
2
1
1
1
Helemaal mee eens
1
7
5
2
5
Mee eens
3
3
17
12
8
Enigszins mee eens
1
8
5
5
Niet mee eens of oneens
3
8
1
Enigszins mee oneens
1
2
Mee oneens
3
Helemaal mee oneens
1
24
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Groep Communi -catie Inzicht bieden in opzet van de leerpraktijk [opleiding]
Educatie
Economie [F]
Economie [N]
Helemaal mee eens
1
3
8
5
5
Mee eens
4
6
16
12
10
1
8
5
2
3
6
Enigszins mee eens Niet mee eens of oneens Enigszins mee oneens
4
Mee oneens
1
Helemaal mee eens
1
1
7
2
6
Mee eens
3
4
19
13
10
Enigszins mee eens
1
4
6
10
2
1
3
6
Niet mee eens of oneens Enigszins mee oneens
1
Mee oneens Vorming van een ‘ learning community’ stimuleren
Mee eens
2
Enigszins mee eens
3
Enigszins mee oneens
4
5
5
1
3
2
15
8
12
10
13
5
4
6
1
2
Helemaal mee oneens
1
Helemaal mee eens
2
5
7
3
Mee eens
3
5
16
11
14
Enigszins mee eens
1
3
10
3
1
Niet mee eens of oneens
1
2
9
2
1
Enigszins mee oneens Mee oneens
1
Helemaal mee eens
1
3
5
5
7
Mee eens
3
1
16
12
11
Enigszins mee eens
1
3
11
8
Niet mee eens of oneens
1
2
4
Enigszins mee oneens
2
Mee oneens
1
3 1
Helemaal mee oneens Actief leren stimuleren
1
1
Helemaal mee oneens Ondersteunen van het groepsproces
1 1
Helemaal mee eens
Niet mee eens of oneens
Inzicht kunnen geven in leerstijlen
1 1
Helemaal mee oneens Verwijzen naar inhoudelijke experts
Economie BE
1
Helemaal mee eens
5
6
9
8
Mee eens
2
4
16
12
7
Enigszins mee eens
3
1
5
9
2
Niet mee eens of oneens
5
2
1
Enigszins mee oneens
1
Mee oneens
1
Helemaal mee oneens
2
25
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Bijlage 2 Descriptives van de totale populatie Descriptive Statistics N
Minimum
Maximum
Mean
Adequaat inspelen op leerstijlen
101
1
6
2,23
,968
Asynchrone discussies leiden
102
1
7
2,64
1,363
Schakelen tussen individu en groep
102
1
6
2,12
,926
Gerichte gespreksvoering
101
1
5
2,38
1,018
Effectief emailgebruik
101
1
6
2,27
1,174
Juiste inzet communicatiemiddelen
102
1
6
2,27
1,145
Beoordelen van proces of resultaat
101
1
6
2,49
1,230
Reflectie stimuleren in de leeromgeving
100
1
5
2,52
1,000
Peer-review effectief inzetten
102
1
6
2,76
1,299
Eenduidig communiceren
102
1
6
2,08
1,078
Instrueren in portfoliogebruik
102
1
7
2,68
1,457
Controleren op meeliftgedrag
101
1
15
2,37
1,586
Leiden van chatsessies
101
1
7
2,62
1,207
Zicht hebben op het beroepenveld
99
1
7
2,56
1,357
Gericht schriftelijk communiceren
101
1
6
2,64
1,171
Interactie stimuleren in de leeromgeving
100
1
6
2,46
1,058
Versterken van de motivatie
101
1
7
2,42
1,329
Inleven in de student
101
1
7
2,50
1,331
Vormen van PGO begeleiden
100
1
6
2,61
1,063
Samenwerkend leren stimuleren
100
1
7
2,67
1,334
Kennis hebben van relevante vakgebiden
100
1
6
2,30
1,275
Beschikken over onderzoeksvaardigheden
101
1
7
2,44
1,187
Aanzetten tot kritisch nadenken
101
1
6
2,50
1,146
Zelfstandig leren stimuleren in de leeromgeving
98
1
7
2,62
1,256
Initiatief nemen door student te stimuleren
101
1
6
2,53
1,073
Zinvolle bijdrage aan ind. en productbeoordeling
98
1
7
2,55
1,185
Inrichten van de leeromgeving
101
1
6
2,44
1,153
Sturing kunnen aanpassen aan de situatie
100
1
7
2,42
1,191
Zoeken en selecteren van informatie
101
1
6
2,50
1,180
Beheersing van technische functies
100
1
7
2,56
1,266
Reflectie op proces en resultaat initiëren
101
1
11
2,36
1,460
Relevantie van informatie kunnen aangeven
99
1
7
2,60
1,355
Juiste rol kiezen in gegeven situatie
101
1
6
2,57
1,260
Inzicht bieden in opzet van leerpraktijk [opleiding]
101
1
7
2,49
1,278
Verwijzen naar inhoudelijke experts
102
1
22
2,50
2,246
Vorming van een ‘ learning community’ stimuleren
102
1
6
2,35
1,001
Inzicht kunnen geven in leerstijlen
102
1
7
2,53
1,078
Ondersteunen van het groepsproces
102
1
7
2,45
1,174
Actief leren stimuleren
102
1
7
2,41
1,197
26
Standard Deviation
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Bijlage 3 ANOVA
Sum of Squares Aanpassen aan pers. Leerstijl
Leiden van discussies op het discussionboard
Schakelen tussen individuele en groepsfeedback
Gerichte gespreksvoering
Between Groups
1,995
4
,499
91,767
96
,956
Total
93,762
100
Between Groups
15,453
4
3,863 1,774
Within Groups
172,125
97
Total
187,578
101
Between Groups
11,798
4
2,950
Within Groups
74,790
97
,771
Total
86,588
101
Between Groups
26,108
4
6,527
Within Groups
77,595
96
,808
103,703
100
Between Groups
34,871
4
8,718
Within Groups
102,911
96
1,072
Total
137,782
100
Juiste inzet communicatiemiddelen bij leerproces
Between Groups
Onderscheidende feedback op resultaat en proces
Between Groups
Leeromgeving inrichten op reflectie
Gebruik van peer-review
Duidelijke communicatiestijl
18,202
4
4,551
Within Groups
114,112
97
1,176
Total
132,314
101
37,645
4
9,411
Within Groups
113,583
96
1,183
Total
151,228
100
Between Groups
10,448
4
2,612
Within Groups
88,512
95
,932
Total
98,960
99
Between Groups
14,813
4
3,703
Within Groups
155,540
97
1,604
Total
170,353
101
28,782
4
7,196
88,590
97
,913
117,373
101
Between Groups Within Groups Total
Uitleg over digitaal portfolio
Kunnen uitsluiten van ‘meeliften’
Leiden van chatsessies
Op de hoogte van ontwikkeling in beroepenveld
Mean Square
Within Groups
Total Effectief emailgebruik
df
Between Groups
25,699
4
6,425
Within Groups
188,625
97
1,945
Total
214,324
101
Between Groups
9,106
4
2,276
Within Groups
242,340
96
2,524
Total
251,446
100
Between Groups
19,318
4
4,829
Within Groups
126,385
96
1,317
Total
145,703
100
Between Groups
36,911
4
9,228
Within Groups
143,533
94
1,527
Total
180,444
98
27
F
Sig.
,522
,720
2,177
,077
3,825
,006
8,075
,000
8,132
,000
3,868
,006
7,954
,000
2,803
,030
2,309
,063
7,879
,000
3,304
,014
,902
,466
3,668
,008
6,043
,000
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Sum of Squares Gericht schriftelijk communiceren
Interactie in de leeromgeving bevorderen
Versterken van de motivatie
Inleving in de student
Procesbegeleiding bij pgo onderwijs
Activiteiten die aanzetten tot samenwerkend leren
Kennis van het vakgebied
Onderzoeksvaardigheden
Aanzetten tot kritisch nadenken
Leeromgeving leidt tot zelfstandig werken
Ontlokken van initiatief bij student
Inzicht in kennismanagement
Zinvolle bijdrage aan individuele en productbeoordeling
Optimaal inrichten van digitale omgeving
Schakelen tussen losse en strakke begeleiding
Zoekstrategie bepalen en kennisbronnen kunnen duiden
Between Groups
df
Mean Square
17,800
4
4,450
Within Groups
119,369
96
1,243
Total
137,168
100
Between Groups
10,074
4
2,518
Within Groups
100,766
95
1,061
Total
110,840
99
Between Groups
23,092
4
5,773
Within Groups
153,443
96
1,598
Total
176,535
100
Between Groups
23,029
4
5,757
Within Groups
154,219
96
1,606
Total
177,248
100
Between Groups
4,237
4
1,059
Within Groups
107,553
95
1,132
Total
111,790
99
Between Groups
4,374
4
1,093
Within Groups
171,736
95
1,808
Total
176,110
99
Between Groups
29,908
4
7,477
Within Groups
131,092
95
1,380
Total
161,000
99
12,446
4
3,112 1,337
Between Groups Within Groups
128,385
96
Total
140,832
100
Between Groups
19,662
4
4,916
Within Groups
111,585
96
1,162
Total
131,248
100
Between Groups
13,878
4
3,469
Within Groups
139,153
93
1,496
Total
153,031
97
Between Groups
8,189
4
2,047
Within Groups
106,939
96
1,114
Total
115,129
100
Between Groups
12,306
4
3,077
Within Groups
123,939
93
1,333
Total
136,245
97
Between Groups
29,478
4
7,369
Within Groups
103,354
96
1,077
Total
132,832
100
Between Groups
13,849
4
3,462
Within Groups
126,511
95
1,332
Total
140,360
99
Between Groups
12,243
4
3,061
Within Groups
127,004
96
1,323
Total
139,248
100
8,534
4
2,133
Within Groups
150,106
95
1,580
Total
158,640
99
Between Groups
28
F
Sig.
3,579
,009
2,374
,058
3,612
,009
3,584
,009
,936
,447
,605
,660
5,418
,001
2,327
,062
4,229
,003
2,319
,063
1,838
,128
2,309
,064
6,845
,000
2,600
,041
2,314
,063
1,350
,257
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Sum of Squares Beheersing van technische functies
Helpen bij reflectie op leerresultaat en leerproces
Relevantie van informatie kunnen bepalen
Rolkeuzes bij verschillende situaties
Inzicht in organisatie en structuur van de leerpraktijk
Kunnen verwijzen
Between Groups
27,585
4
6,896
185,583
96
1,933
Total
213,168
100
Between Groups
12,681
4
3,170
Within Groups
167,157
94
1,778
Total
179,838
98
Between Groups
16,204
4
4,051
Within Groups
142,489
96
1,484
Total
158,693
100
Between Groups
30,594
4
7,649
Within Groups
132,633
96
1,382
Total
163,228
100
Between Groups
22,929
4
5,732
Within Groups
486,571
97
5,016
Total
509,500
101
Between Groups Total
Inzicht kunnen geven in leerstijlen en leerprocessen
Hulp bij individueel leerproces en groepsleerproces
Stimuleren tot actief leren
Mean Square
Within Groups
Within Groups Faciliteren van een ‘learning community’
df
Between Groups
7,490
4
1,872
93,804
97
,967
101,294
101
8,326
4
2,082
Within Groups
109,086
97
1,125
Total
117,412
101
3,165
4
,791 1,403
Between Groups Within Groups
136,090
97
Total
139,255
101
Between Groups
7,206
4
1,801
Within Groups
137,500
97
1,418
Total
144,706
101
Between Groups
7,041
4
1,760
Within Groups
141,771
96
1,477
Total
148,812
100
29
F
Sig.
3,567
,009
1,783
,139
2,729
,034
5,536
,000
1,143
,341
1,936
,111
1,851
,125
,564
,689
1,271
,287
1,192
,319
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Bijlage 4 Frequenties per groep
Frequency Valid
Communicatie
Percent
Valid Percent
Cumulative Percent
5
4,9
4,9
4,9
Educatie
10
9,8
9,8
14,7
Economie [F]
35
34,3
34,3
49,0
Economie [N]
32
31,4
31,4
80,4 100,0
Economie BE Total
20
19,6
19,6
102
100,0
100,0
30
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Bijlage 5 Overig statistisch materiaal Parameter Estimates Estimate
Std. Error
Wald
df
Sig.
95% Confidence Interval Lower Bound
Threshold
Location
Upper Bound
[Groep = 1]
-6,031
1,401
18,545
1
,000
-8,776
-3,286
[Groep = 2]
-4,358
1,265
11,876
1
,001
-6,836
-1,879
[Groep = 3]
-1,314
1,143
1,322
1
,250
-3,555
,926
[Groep = 4]
1,016
1,158
,769
1
,381
-1,254
3,286
VAR00001
-,780
,373
4,376
1
,036
-1,511
-,049
VAR00002
-,782
,264
8,748
1
,003
-1,301
-,264
VAR00003
-,950
,474
4,024
1
,045
-1,879
-,022
VAR00004
-,104
,419
,061
1
,804
-,926
,718
VAR00005
-,007
,339
,000
1
,983
-,672
,657
VAR00006
,025
,323
,006
1
,938
-,609
,659
VAR00007
,760
,390
3,802
1
,051
-,004
1,525
VAR00008
-,134
,397
,114
1
,735
-,913
,644
VAR00009
,227
,227
,995
1
,319
-,219
,672
VAR00010
-,328
,358
,839
1
,360
-1,029
,373
VAR00011
,786
,324
5,871
1
,015
,150
1,421
VAR00012
-,288
,162
3,176
1
,075
-,605
,029
VAR00013
-1,016
,344
8,729
1
,003
-1,690
-,342
VAR00014
-,138
,295
,219
1
,640
-,715
,440
VAR00015
,171
,342
,251
1
,616
-,499
,841
VAR00016
,670
,390
2,949
1
,086
-,095
1,436
VAR00017
,695
,336
4,273
1
,039
,036
1,353
VAR00018
,078
,309
,064
1
,800
-,528
,685
VAR00019
,075
,327
,052
1
,819
-,567
,716
VAR00020
,389
,323
1,453
1
,228
-,243
1,021
VAR00021
-,026
,337
,006
1
,937
-,686
,633
VAR00022
,025
,399
,004
1
,950
-,757
,807
VAR00023
,612
,358
2,925
1
,087
-,089
1,314
VAR00024
-,211
,389
,296
1
,587
-,973
,550
VAR00025
,550
,358
2,363
1
,124
-,151
1,252
VAR00026
,299
,397
,566
1
,452
-,480
1,077
VAR00027
-,265
,289
,841
1
,359
-,831
,301
VAR00028
-,693
,389
3,170
1
,075
-1,456
,070
VAR00029
,197
,312
,399
1
,527
-,414
,808
VAR00030
-,703
,334
4,422
1
,035
-1,359
-,048
VAR00031
-,104
,246
,179
1
,672
-,587
,378
VAR00032
-,034
,360
,009
1
,924
-,740
,671
VAR00033
-,539
,354
2,324
1
,127
-1,233
,154
VAR00034
-,084
,322
,069
1
,793
-,715
,546
VAR00035
1,225
,391
9,810
1
,002
,459
1,992
VAR00036
-,310
,406
,581
1
,446
-1,106
,487
VAR00037
,854
,467
3,348
1
,067
-,061
1,769
VAR00038
-,102
,454
,050
1
,823
-,991
,788
VAR00039
-,743
,356
4,353
1
,037
-1,441
-,045
VAR00040
-,056
,325
,030
1
,862
-,693
,581
31
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Reliability Statistics Cronbach's Alpha
Cronbach's Alpha Based on Standardized Items
,937
N of Items
,943
40
Summary Item Statistics Maximum Mean
Minimum
Maximum
1,579
,934
5,592
4,658
5,986
,570
40
Inter-Item Covariances
,428
-,160
1,139
1,300
-7,103
,042
40
Inter-Item Correlations
,293
-,093
,657
,750
-7,076
,019
40
Item Variances
The covariance matrix is calculated and used in the analysis.
32
Range
/ Minimum
N of Variance
Items
Lectoraat eLearning / Onderzoekslijn eTutoring
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Bijlage 6 Vragenlijst studenten [validering profiel eTutor] / Jos Fransen Lees de onderstaande stellingen over de rol en functie van een eTutor [begeleider/tutor] bij vormen van samenwerkend leren in een taakgroep en bij het begeleiden van individuele leerprocessen. Geef daarbij aan in welke mate je het met elke stelling eens bent. Geef tenslotte nog eens een eigen top-5 van de meest belangrijke eigenschappen, kwaliteiten of vaardigheden waarover een eTutor volgens jou moet beschikken. Ze hoeven niet in de lijst met stellingen te worden genoemd, want het kan zijn dat jij daar nog niet bent tegengekomen wat volgens jou van groot belang is. Bij taakgroepen gaat het altijd om leerprocessen die je samen met medestudenten doormaakt. Het kan gaan om een projectopdracht, kerntaak of onderzoeksopdracht, waarbij het principe is dat er altijd dient te worden samengewerkt om tot het leerresultaat [en product] te komen. Daarnaast kan het zijn dat je individueel wordt begeleid bij je eigen leerproces, bijvoorbeeld in het kader van een scriptie. In deze vragenlijst gaat het vaak over beide soorten van leerprocessen en begeleiding.
1. Een eTutor moet de begeleiding kunnen aanpassen aan mijn persoonlijke leerstijl, zodat ik het meeste rendement haal uit het leerproces. 2. Een eTutor moet discussies op een ' discussionboard'adequaat kunnen leiden, zodat iedereen een gelijkwaardige bijdrage levert en discussies niet te lang duren. 3. Een eTutor moet kunnen schakelen tussen feedback geven aan de groep en aan individuele groepsleden, zodat respectvol wordt omgegaan met ieder groepslid. 4. Een eTutor moet in staat zijn om een op de persoon of groep gericht gesprek te voeren in het kader van de begeleiding en beoordeling van het leerproces. 5. Een eTutor moet effectief gebruik maken van de e-mail bij de begeleiding, zodat het duidelijk is wat hij bedoelt er geen overbodig mailverkeer ontstaat. 6. Een eTutor moet het juiste communicatiemiddel inzetten bij de begeleiding [e-mail, chat, discussionboard], zodat leerproces en groepsproces bevorderd worden. 7. Een eTutor moet onderscheid kunnen maken tussen feedback op het proces en op het resultaat, zodat duidelijk is of het beter moet of een andere aanpak nodig is. 8. Een eTutor moet de leeromgeving zo kunnen gebruiken dat een student of groep geholpen wordt bij het reflecteren op proces en resultaat van de leeractiviteiten. 9. Een eTutor moet zinvol gebruik maken van peer-review, ofwel dat studenten werk en producten van elkaar becommentariëren en daarvan ook leren. 10. Een eTutor moet goed kunnen communiceren, zodat duidelijk is wat hij bedoelt en zijn reacties niet op verschillende manieren geïnterpreteerd kunnen worden. 11. Een eTutor moet mij kunnen uitleggen hoe ik een digitaal portfolio het beste kan inrichten en gebruiken in het kader van mijn leerproces.
33
Helemaal mee oneens
Mee oneens
Enigszins mee oneens
Niet mee eens of oneens
Enigszins mee eens
Mee eens
Lees de onderstaande stellingen en geef aan in welke mate je het met elke stelling eens bent.
Helemaal mee eens
Het begrip eTutor wordt hier ook bewust gebruikt, want het gaat vooral om de rol en functie van een begeleider van individuele leerprocessen en samenwerkend leren, waarin er op afstand wordt gewerkt en gecommuniceerd in de digitale omgeving.
12. Een eTutor moet om goed kunnen gaan met het verschil in inzet en bijdragen van leden van een taakgroep, zodat meeliften zichtbaar wordt of wordt voorkomen. 13. Een eTutor moet in staat zijn een ' chatsessie'met een groep te leiden, zodat deze ordelijk verloopt en de opbrengst ervan zinvol is voor het leerproces. 14. Een eTutor moet op de hoogte zijn van de ontwikkelingen in het beroepenveld, anders is hij niet in staat om professionals in wording goed te begeleiden. 15. Een eTutor moet op student of groep gericht schriftelijk kunnen communiceren, zodat er geen vervelende misverstanden ontstaan en niemand wordt gekwetst. 16. Een eTutor moet de interacties in de digitale leeromgeving zo kunnen organiseren, dat de samenwerking in een groep wordt ondersteund en bevorderd. 17. Een eTutor moet de motivatie kunnen versterken en stimuleren als een student of een taakgroep het even niet meer zo ziet zitten. 18. Een eTutor moet zich kunnen inleven in studenten en rekening houden met hun wensen en behoeftes bij de begeleiding van het leerproces. 19. Een eTutor moet het proces kunnen begeleiden bij probleemgestuurd onderwijs, want onderzoek doen in groepen op basis van een casus kent een eigen aanpak. 20. Een eTutor moet activiteiten kunnen ontwerpen en voorstellen doen die een groep studenten aanzetten tot samenwerkend leren. 21. Een eTutor moet beschikken over kennis op de belangrijke vakgebieden voor het beroep, zodat hij kan uitleggen waar relevante informatie gevonden kan worden. 22. Een eTutor moet kunnen vertellen hoe een onderzoek kan worden afgebakend en welke onderzoeksvragen bijdragen aan de ontwikkeling van het beroep. 23. Een eTutor moet vragen kunnen stellen die stimuleren tot kritisch nadenken en tot uitwisseling van kennis tussen de leden van een taakgroep. 24. Een eTutor moet de leeromgeving zo inrichten dat de student en taakgroep worden gestimuleerd tot zelfstandig verwerken van leerstof en sturen van het leerproces. 25. Een eTutor moet kunnen uitdagen tot het zetten van nieuwe stappen en het leren van iets nieuws, zonder dat hij studenten overvraagt en daarmee frustreert. 26. Een eTutor moet inzicht kunnen geven in principes van kennismanagement, ofwel hoe [nieuwe] kennis kan worden verzameld, vastgelegd en overgedragen. 27. Een eTutor moet een prettig en zinvol gesprek kunnen voeren met een taakgroep en de individuele leden over het samenwerkingsproces en de productbeoordeling. 28. Een eTutor moet de [digitale] leeromgeving zo kunnen inrichten dat het verwerken van informatie en het leerproces zelf optimaal worden ondersteund. 29. Een eTutor moet kunnen schakelen tussen aansturen en begeleiden, naargelang de student of de groep al of niet behoefte heeft aan strakke sturing. 30. Een eTutor moet een onderzoeksvraag kunnen vertalen in een juiste zoekstrategie met gebruikmaking van alle beschikbare informatiebronnen. 31. Een eTutor moet de technische functies van e-mail beheersen en toepassen, zoals archivering, adressenlijst maken, bestand meezenden, en de CC- en BCC-functie. 32. Een eTutor moet een student of taakgroep helpen bij het reflecteren op zowel het leerproces als het leerresultaat. 33. Een eTutor moet kunnen aangeven of informatie relevant, actueel en betrouwbaar is en hoe een student dat ook zelf kan beoordelen. 34. Een eTutor moet de juiste rol en positie kiezen tegenover in een gegeven situatie, zodat hij zich niet teveel, maar ook niet te weinig bemoeit met het leerproces.
34
Helemaal mee oneens
Mee oneens
Enigszins mee eens
Mee eens
Helemaal mee eens
Lees de onderstaande stellingen en geef aan in welke mate je het met elke stelling eens bent [vervolg].
Enigszins mee oneens
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Niet mee eens of oneens
Lectoraat eLearning / Onderzoekslijn eTutoring
35. Een eTutor moet inzicht kunnen geven in organisatie en structuur van de opleiding en het curriculum, en in de procedures die in de opleiding worden gehanteerd. 36. Een eTutor moet kunnen aangeven waar of bij wie meer gespecialiseerde kennis en expertise gevonden kan worden over een gegeven onderwerp. 37. Een eTutor moet groepsprocessen kunnen begeleiden en ondersteunen, zodat ze een ' learning community'worden, rekening houdend met behoeften van de groep. 38. Een eTutor moet inzicht kunnen geven in leerprocessen en leerstijlen, zodat zicht ontstaat op leerstijlen binnen een groep en de gevolgen daarvan op het proces. 39. Een eTutor dient studenten te ondersteunen bij het vormgeven en plannen van het individuele leerproces en het proces van samenwerkend leren in een groep. 40. Een eTutor moet studenten stimuleren tot actief leren en ze bemoedigen om zelf de verantwoordelijk te nemen voor het leerproces.
Geef een top 5 van de meest belangrijke kwaliteiten waarover een goede eTutor volgens jou moet beschikken, ook als die kwaliteiten in de bovenstaande stellingen al werden genoemd. 1. 2. 3. 4. 5.
35
Helemaal mee oneens
Mee oneens
Enigszins mee eens
Mee eens
Helemaal mee eens
Lees de onderstaande stellingen en geef aan in welke mate je het met elke stelling eens bent [vervolg
Enigszins mee oneens
Onderzoek betrouwbaarheid vragenlijst competenties eTutor
Niet mee eens of oneens
Lectoraat eLearning / Onderzoekslijn eTutoring