Overzicht instrumenten voor onderzoekers Rendementsonderzoek Oktober 2011 Het merendeel van deze onderzoeken kunnen worden geraadpleegd door deze op te zoeken in de onderzoeksdatabank van Kennisnet.
Instrumenten in afgerond onderzoek Wat?
Wie?
Toelichting
Meer informatie
Lerarenvragenlijst Leren met meer effect
docenten VO
rapportage: eindrapportage leren met meer effect
Epistemologie
leerlingen VO
Belevingsschaal wiskunde (BSW)
leerlingen VO
Belevingsschaal Engels
leerlingen VO
Intrinsieke Motivatie Inventaris (IMI)
leerlingen VO
Toets Algemene Vaardigheden
leerlingen vmbo gt
Learner reports
leerlingen VO
Kijkwijzer digitale
docenten,
In deze vragenlijst komen de volgende onderwerpen aan de orde. ‐Algemene gegevens ‐Tijdsbesteding ‐Visie op het leraarschap en plezier in het werk ‐Ict‐competenties en ict‐gebruik Vragenlijst over opvattingen (‘epistemological beliefs’) over leren en studeerbaarheid. De vragenlijst is onderverdeeld in itemsets over: ‐ oppervlakkige opvattingen over kennisverwerving ‐ complexe opvattingen over kennisverwerving ‐ opvattingen over de diepte van kennisverwerking ‐ negatieve opvattingen over leren (gerelateerd aan faalangsttendentie) ‐ opvattingen over voorkeur voor samenwerking met andere leerlingen De vragenlijst is veel gebruikt bij implementatie van ELO’s ten behoeve van planning en zelfstandigheid. Motivatie voor het vak Wiskunde. De BSW bestaat uit de volgende itemsets: ‐ inzet voor het vak wiskunde ‐ angst voor wiskundeoverhoringen, toetsen, proefwerken etc. ‐ plezier in vak wiskunde ‐ waargenomen relevantie van vak wiskunde voor vervolgopleiding en later beroep Motivatie voor het vak Engels. De BSE bestaat uit de volgende itemsets: ‐ vragen betreffende de werkwijze van de docent Engels en het door hem/haar gebruikte lesmateriaal ‐ vragen over het plezier dat de leerling ondervindt bij het vak Engels ‐ vragen over de opvatting van de leerling t.a.v. nut en relevantie van het vak Engels voor vervolgopleiding en beroepsperspectief ‐ vragen over aangenaamheid van Engelse taal en waardering Angelsaksische cultuur Vragenlijst naar motivaties gebaseerd op de zelfdeterminatietheorie van Ryan & Deci, vertaald naar het Nederlands. De IMI richt zich op: ‐ waargenomen intrinsieke motivatie ‐ waargenomen autonomie ‐ waargenomen competentie De toets beoogt een achttal algemene vaardigheden te meten, waaronder: Samenwerkingsvaardigheid Kunnen onderscheiden van feiten en meningen Standpunt bepalen Zelfrapportage leren. Versie bedoeld voor bovenbouwleerlingen die als e‐coach onderbouwleerlingen hebben begeleid. Evaluatieformulier vaardigheden en gebruik digitale
rapportage: eindrapportage leren met meer effect
rapportage: eindrapportage leren met meer effect
rapportage: eindrapportage leren met meer effect
rapportage: eindrapportage leren met meer effect
rapportage: eindrapportage leren met meer effect rapportage: eindrapportage leren met meer effect rapport:
schoolborden
management PO
Ict in cluster 3
leerkrachten PO
waardering virtuele leeromgeving
welbevinden en motivatie op school van leerlingen
Gebruik en gepercipieerde opbrengsten van ELO (elektronische leeromgeving Zelfevaluatie effectief gebruik digitaal portfolio (voor scholen zelf!)
Beoordeling digitaal leermateriaal voor taalonderwijs op de basisschool
Effectiviteit van gebruik van een commercial off‐the‐ shelf (COTS) game in het onderwijs
schoolborden.
Beschrijving: Internet‐vragenlijst personeel, waarbij de volgende kernaspecten aan bod komen: • de mate waarin wordt voldaan aan een aantal randvoorwaarden en mogelijke verbeteringen daarin • het didactisch gebruik van ict door leerkrachten • het specifieke gebruik van ict in verband met de beperking van de leerlingen • het gebruik van ict door leerlingen thuis, contacten tussen school en ouders én functie van ict • de gepercipieerde effecten van ict voor leerlingen en de meerwaarde van ict leerlingen Uitgebreide vragenlijst naar werkwijze en beleving van MBO leerlingen van een virtuele leeromgeving. De vragenlijst is bij uitstek geschikt om de effectiviteit van een leeromgeving in kaart te brengen in het kader van competentiegericht beroepsonderwijs. leerlingen PO Vragenlijst gebaseerd op vragenlijst gebruikt in COOL‐ onderzoek en SVL, met aandacht voor: ‐ welbevinden met medeleerlingen ‐ welbevinden met leerkracht(en) ‐ self‐efficacy ‐ taakmotivatie ‐ welbevinden school algemeen ‐ hulp leerkrachten, instrumentarium ontwikkeld voor het in kaart brengen van: directie, ict‐ management, ‐ realisatie randvoorwaarden Vier in Balans leerlingen ‐ gebruik ELO’s in MBO MBO ‐ effecten dankzij inzet ELO leerlingen, Instrumentarium ontwikkeld voor docenten en leerkrachten management, om sterke en zwakke punten in gebruik en directie digitaal portfolio op de school in kaart te brengen. De PO resultaten kunnen worden verzameld in een matrix (zie voorbeeld Kennisnet in eindrapportage, v.a. p.23), waarbij geldt: ‐ rood: alle respondenten scoren ‘geheel niet van toepassing’ ‐ groen: alle respondenten scoren: ‘volstrekt van toepassing ‐ geel: gemiddelde score van 2,6 tot 3,9 ‐ oranje: gemiddelde score van 1,1 tot 2,5. De ingevulde matrix geeft een indicatief maar snel overzicht van sterke punten en aandachtpunten bij gebruik van het digitaal portfolio. digitaal Evaluatielijsten voor het beoordelen van geschiktheid leermateriaal van specifieke taalprogramma’s voor het primair voor PO onderwijs. Er zijn vragenlijsten voor het beoordelen van: ‐ algemene kwaliteitscriteria ‐ woordenschat ‐ begrijpend luisteren groep 1‐3 ‐ begrijpend lezen ‐ technisch lezen ‐ spelling ‐ beginnende geletterdheid ‐ taalbeschouwing leerlingen Vragenlijsten voor in kaart brengen van effecten COTS MBO games in onderwijssituaties met pretest en posttest: ‐ problemen oplossen ‐ Engels (toets) ‐ motivatie, oriënteren, plannen en samenwerken
eindrapportage digitale schoolborden (2008) rapport Ict in cluster 3 (vanaf pagina 59)
rapportage homozappiens@ schonenvaart.nl
Sandra de Koster,
[email protected]
Rapportage benutting en opbrengst elektronische leeromgevingen in het MBO (BOEL) Rapportage Ander onderwijs met digitaal portfolio?
Review digitaal taalonderwijs PO
Rapportage Effectiviteit van een COTS game in het MBO: Oblivion
INIS vragenlijst
leerlingen vmbo
samenwerken, zelfstandigheid, informatieverwerking
IMI vragenlijst
leerlingen vmbo
intrinsieke motivatie competentie inzet
IVA instrument beoordeling van teksten
leerlingen voortgezet onderwijs (3e en 4e leerjaar) docenten MBO
Zelf ontwikkeld instrument om teksten te beoordelen op: inhoud woordkeuze stijl/opbouw grammatica, spelling, interpunctie Docenten/mentoren in het mbo wordt gevraagd de leerlingen te beoordelen op plannings‐ en reguleringsvaardigheden en autonomie. Vragenlijst is nooit uitgezet, omdat het onderzoek niet doorging Vragenlijsten LMME aangepast en samengevoegd voor het MBO. Vragenlijst is nooit uitgezet, omdat het onderzoek niet doorging Er is een vragenlijst die door leerkrachten wordt ingevuld, en eentje die door leerlingen (bovenbouw) zelf kan worden ingevuld. Categorieën: ervaringen delen aardig doen samen werken en spelen een taak uitvoeren jezelf presenteren een keuze maken opkomen voor jezelf omgaan met ruzie vragenlijst voor leerkrachten over verwachtingen voor en ervaringen met SeCO (sociaal emotionele competentie ontwikkeling)
docentvragenlijst planning, regulering en autonomie studenten
IMI + vragenlijst epistemological beliefs voor MBO (NL)
leerlingen MBO
SCOL (Sociale Competentie Observatie lijst) SCOL leerlingen
leerlingen PO
SeCO ervaringen
leerkrachten PO
klassenklimaatschaal
leerlingen PO
Zestig items, gebaseerd op Van der Sar, in voorbereiding
Effectiviteit, efficiëntie en onderwijskundige meerwaarde van leerlingvolgsysteem Benflex
leerlingen en leerkrachten PO
diverse vragenlijsten voor in kaart brengen van meerwaarde online leerlingvolgsysteem
algemeen
Attitude en vaardigheden
Leerlingen PO
Benflex verwijst naar het begrippenpaar benchmark en flexibiliseren. Benflex zou inzicht moeten bieden in de inrichting en organisatie van onderwijsprocessen en de dialoog daarover in en tussen teams bevorderen. IN EXPOI zijn diverse vragenlijsten ingezet om attitude en en vaardigheden van leerlingen in kaart te brengen: ‐ zelfstandigheid: SCHOBL‐R (Bleichroch, Resing & Zaal, 1993). ‐ communicatie/samenwerken (Oosterheert , 2005). ‐ motivatie/interesse/plezier (Werkhoudinglijst van Van Doorn (1997)). ‐ relatie met leerkracht en klasgenoeten : COOL 5‐18 (Driessen, Mulder, Ledoux, Roeleveld, Van der Veen, 2009).
rapportage: Projecten van Codename Future in ogenschouw rapportage: Projecten van Codename Future in ogenschouw rapportage: TIO schrijven
Instrument Meer informatie: Joost Meijer, Kohnstamm Instituut (
[email protected]) Instrument Joost Meijer, Kohnstamm Instituut (
[email protected]) rapportage: Praktijkonderzoek naar de effectiviteit van SeCO
rapportage: Praktijkonderzoek naar de effectiviteit van SeCO rapportage: Praktijkonderzoek naar de effectiviteit van SeCO rapportage: De meerwaarde van Horeb PO digitaal
rapportage: De ontwikkeling van Benflex Rapportage EXPOI
Atttitude en motivatie
Leerlingen PO
Motivatie voor de opleiding
VMBO3, ict route
Algehele tevredenheid
VMBO3, ict route
Self‐efficacy
VMBO3, ict route
Interesse Studie Programma (ISP)
VMBO3, ict route
Intrinsieke Studie Motivatie (ISM).
VMBO3, ict route
‐ cognitief zelfvertrouwen: COOL 5‐18 (Driessen, Mulder, Ledoux, Roeleveld, Van der Veen, 2009). ‐ taakmotivatie: COOL 5‐18 (Driessen, Mulder, Ledoux, Roeleveld, Van der Veen, 2009). ‐ computervaardigheden en computer attitude: ICT‐ monitor voortgezet onderwijs 1998‐1999 (Ten Brummelhuis, Drent, Janssen Reinen, Meelissen & Slotman, 1999). ‐ leesattitude (nieuw ontwikkeld) Ook in EXPOII zijn vragenlijsten ingezet voor het meten van attitude en vaardigheden van leerlingen: motivatie voor school: ‐ welbevinden in relatie tot leerkracht ‐ welbevinden in relatie tot medeleerlingen ‐ schaal voor cognitief zelfvertrouwen ‐ schaal voor taakmotivatie motivatie voor rekenen ‐ plezier ‐ uitdaging ‐ angst leesmotivatie ‐ intrinsieke leesmotivatie ‐ zelfreflectiestrategieën motivatie voor het leren van woorden ‐ intrinsieke motivatie ‐ strategieën Een schaal van Harskamp, Suhre & Tjeerdema (2000). De schaal is ingekort naar 8 items ten behoeve van het huidige onderzoek. Enkele voorbeelditems ‘Ik werk heel hard voor school’, ‘Op school praat ik meer dan dat ik werk’ (omkeervraag), ‘Ik ben een leerling die graag leert voor school’ Een schaal van Kunin (1998). Uit onderzoek is gebleken dat deze schaal de algehele tevredenheid beter vaststelt dan tientallen losse vragen over tevredenheid. De schaal bestaat uit 5 verschillende gezichten van heel blij tot heel ongelukkig, waarbij 1 laag is en 5 hoog. Pintrich & De Groot (1990) hebben een schaal ontwikkeld waarmee self‐efficacy bij leerlingen onderzocht kan worden. Voor de doelgroep van leerlingen in het huidige onderzoek is de formulering van enkele vragen aangepast. De schaal bestaat uit 8 items. Voorbeelditems zijn: ‘Ik verwacht goed te presteren vergeleken met andere leerlingen die deze opleiding volgen’, ‘Ik ben er zeker van dat ik de stof kan begrijpen die in deze opleiding onderwezen wordt’, ‘Ik weet dat ik in staat ben de lesstof van deze opleiding te leren’. Een schaal van 8 stellingen van Harachiewicz et al. (2000), aangepast voor de doelgroep in het huidige onderzoek. Voorbeelditems: ‘Ik vind dat we interessante dingen leren in deze opleiding’ , ‘Ik denk dat het vakgebied van deze opleiding erg interessant is’. Deze schaal is ontwikkeld door Guay et al. (2000) en qua formulering aangepast voor het huidige onderzoek. De stellingen zijn van de volgende opzet: ‘Ik volg deze opleiding omdat…‘ en heeft vervolgens 12 stellingen, waaronder: ‘ik denk dat deze opleiding interessant is’, ‘ik
Rapportage op aanvraag beschikbaar (onderzoek@kennisn et.nl)
Rapportage AVO Integratie in de ICT route
Rapportage AVO Integratie in de ICT route
Rapportage AVO Integratie in de ICT route
Rapportage AVO Integratie in de ICT route
Rapportage AVO Integratie in de ICT route
Zelfsturend vermogen
VMBO3, ict route
Ervaren prestatie
VMBO3, ict route
Contact met de docent
VMBO3, ict route
Houding en vaardigheden voor Informatica
Havo/vwo leerlingen
Motivatie
Havo 4 leerlingen
Percepties cultuureducatie
Docenten en leerlingen vo
het voor mijn eigen bestwil doe’ en ‘ik dat zelf heb besloten’. Deze schaal is eerder toegepast in Kennisnet onderzoek en aangevuld met vragen die speciaal ontwikkeld zijn voor deze studie. De 11 vragen hebben betrekking op controle en op aanpak. Voorbeelditems zijn. ‘Ik heb mijn schoolwerk voor mijn gevoel onder controle’, ‘Ik maak een planning van mijn schoolwerk’, ‘ Ik heb geen idee hoe ik moet werken om op tijd klaar te zijn’ (omkeervraag). Deze schaal van 8 vragen is door Beteor ontwikkeld ten behoeve van dit onderzoek om een gevoel te krijgen voor de leerling‐beoordeling van eigen prestatie. Voorbeeldvragen: ‘Vergeleken met andere leerlingen vind ik dat ik goed presteer’, ‘Ik ben tevreden over mijn cijfers’, ‘De opdrachten die we in de projecten uitvoeren passen goed bij wat we al weten’. Op verzoek van het Blariacumcollege hebben we een schaal ontwikkeld om het contact met de docent te meten om daar meer inzicht in te krijgen. In totaal zijn 14 items geformuleerd. Enkele voorbeelden: ‘Ik voel me op mijn gemak in de lessen van de docenten’, ‘Ik ben tevreden over het contact met de docent’, ‘Docenten bespreken met ons hoe we een opdracht kunnen aanpakken’. ‐ Attitudetesten (interesse informatica, beeld bij informatica, nut, voorkennis, etc.) ‐ Informatica toetsen (vnl kennis van begrippen)
Rapportage AVO Integratie in de ICT route
Rapportage AVO Integratie in de ICT route
Rapportage AVO Integratie in de ICT route
Rapportage Rendement van objectgeoriënteerd programmeeronderw ijs Voor onderzoek naar game‐based learning zijn gemeten: Rapportage Game Based Learning ‐ Intrinsieke motivatie (Ryan&Deci), met plusvariant met specifieke vragen over motivatie voor biologie. ‐ Faces Measure ‐ Self‐efficacy (Pintrich & De Groot) ‐ Zelfsturend vermogen (Pintrich & De Groot) ‐ Perceptie prestatie ‐ Werken in een groep (o.a. Yamarik) Deze overlappen voor een groot deel met het onderzoek naar AVO integratie. Voor een onderzoek naar crossmediale aanbieding van Meer informatie via erfgoed educatie zijn diverse vragenlijsten ontwikkeld. onderzoek@kennisne Het onderzoek is uiteindelijk niet uitgevoerd, maar de t.nl, vraag naar de vragenlijsten zijn wellicht nog bruikbaar. eindrapportage Onderzoek crossmediale toepassingen bij erfgoed educatie in het VO
(selectie) Instrumenten in lopend onderzoek:
Onderzoek Daltonschool Helen Parkhurst (meer informatie over het onderzoek: Patrick Sins,
[email protected] ) zelfregulatie (planning, monitoring en evaluatie)
onderbouw havo/vwo
Inventaris van Leerstijlen. Deze inventaris bestaat uit 120 items die met elkaar 20 schalen vormen, gegroepeerd in vier categorieën. De categorie Regulatiestrategieën bestaat uit de schalen: (6) Externe sturing leerproces, (7) Zelfsturing leerproces en ‐resultaten, (8) Zelfsturing leerinhoud, (9) Externe sturing leerresultaten, (10) Stuurloos leergedrag General Self‐Efficacy Scale
zelfvertrouwen in het leren (selfefficacy)
onderbouw havo/vwo
motivatie (intrinsiek en extrinsiek)
onderbouw havo/vwo
Motivated Strategies for Learning Questionnaire: schalen Zelfvertrouwen, Motivatie, Toetsangst, Cognitieve strategieën en Regulatiestrategieën Intrinsic Motivation Inventory: schalen Intrinsieke motivatie, Autonomie en Competentie
reflectief vermogen (naar inhoud, proces en voorwaarden en naar zelfdeterminatie van niveau)
onderbouw havo/vwo
Reflective Thinking Questionnaire: schalen Routine, Begrip, Reflectie en Kritische reflective Inhoudelijke analyse van reflectiedossiers volgens onderscheidingssysteem van Wallman et al. (2008) op diepte van de reflectie, diepteniveaus zijn hierbij Inhoud, Proces en Voorwaarde (zie ook De Bruin, 2010)
Vermunt, J.D. & Van Rijswijk, F. A. W. M. (1990) Inventaris Leerstijlen voor het hoger onderwijs. Katholieke Universiteit Brabant.).
Luszczynska, A., Scholz, U., & Schwarzer, R. (2005). The general self‐efficacy scale: Multicultural validation studies. The Journal of Psychology, 139(5), 439‐ 457.) Pintrich, P. R., Smith, D., Garcia, T, & McKeachie, W. J. (1993). Reliability and predictive validity of the Motivated Strategies for Learning Questionaire (MLSQ). Educational and Psychological Measurement, 53, 801‐813. Deci, E.L. & Ryan, R.M. (1985). Intrinsic Motivation and Self‐determination in Human Behavior. New York, Plenum. Kember et al. (2000) Development of a questionnaire to measure the level of reflective thinking. Assessment & Evaluation in Higher Education, 25 (4), 381‐395. Wallman, A., Lindblad, A. K., Hall, S., Lundmark, A., & Ring, L. (2008). A categorization scheme for assessing pharmacy students’ levels of reflection during internships. American Journal pf Pharmaceutical Education, 72, 1, 1‐10 Bruin, L., de (2010). Reflection in portfolios and motivation for composing a portfolio. Masterthesis Onderwijskunde Universiteit Utrecht:
Juistheid en consistentie aangegeven niveau‐ inschatting aan de hand van scoringssleutel Zelfdeterminatie)
Utrecht.
