Subsidievoorstel ABBAS fonds 2013 Dr. Pascal Wilhelm, Vakgroep Instructietechnologie, Faculteit Gedragswetenschappen (Cubicus building, nr. 41, room B229), Universiteit Twente, Postbus 217, 7500 AE Enschede, t 00 31 (0)534893562
Herziening Inquiry Skills Test (IST) voor de bovenbouw van het voortgezet onderwijs en opstellen ontwerpeisen voor het gebruik van computersimulaties als dynamisch assessment instrument voor het meten van onderzoekvaardigheid. Korte schets Sinds de invoering van de zogenaamde “Tweede fase” in het voortgezet onderwijs is de aandacht voor het ontwikkelen van onderzoekvaardigheden steeds prominenter zichtbaar geworden in kerndoelen en eindtermen. Op alle niveaus (VMBO/HAVO/VWO) wordt door leerlingen onderzoek gedaan op verschillende gebieden, zoals de menswetenschappen, natuurkunde, scheikunde en biologie. De implementatie van een leerlijn gericht op onderzoekvaardigheid is een uitdagende taak. Zo bestond er eerder nog onduidelijkheid over de vraag of onderzoekvaardigheid beschouwd moet worden als een middel om domeinkennis te vergaren of als een doel op zichzelf (Stokking & Van der Schaaf, 1999). Ook leverde de domein-specificiteit van onderzoekvaardigheid, de ervaring en attitude van betrokken docenten nog beperkingen op (Veenhoven, 2004). Landelijk worden nu wetenschap en techniek lessen geïmplementeerd in de curricula van zowel het primair – als het voortgezet onderwijs (PO/VO). Belangrijk bij het stellen van doelen in het onderwijs is het toetsen of de doelen worden bereikt. Gestandaardiseerde toetsen voor het meten van wiskunde- en taalvaardigheden hebben al een lange historie, maar voor het toetsen van onderzoekvaardigheid geldt dat niet. Meetinstrumenten voor onderzoekvaardigheid en gerelateerde concepten als “science process skills” (Beaumont-Walters & Soyibo, 2001; Temiz, Taşar, & Tan, 2006), kritische denkvaardigheden (e.g. Butler, 2012), epistemiologische overtuigingen (Schraw, Bendixen, & Dunkle, 2002), overtuigingen over de aard van wetenschap (nature of science; Lederman, Abd-El-Khalick, Bell,& Schwartz, 2002), en onderzoekmotivatie (Glynn, Taasoobshirazi, & Brickman, 2009; Wilhelm, Stellmacher, Eijsink, & Ten Klooster, in voorbereiding) zijn al enige tijd object van onderzoek. Veel van deze instrumenten zijn alleen ontwikkeld voor onderzoek, momenteel zijn er geen gevalideerde en genormeerde instrumenten voor onderzoekvaardigheid in de handel . Dit subsidievoorstel richt zich op de verdere ontwikkeling van een gestandaardiseerd screeningsinstrument voor het meten van onderzoekvaardigheid in het voortgezet onderwijs (Wilhelm, 2012; Wilhelm & Hoffman, in voorbereiding). Daarnaast richt het zich op het opstellen van ontwerpeisen voor het gebruik van (computer)simulaties als dynamisch assessment instrument voor hetzelfde construct.
1
In de literatuur wordt een onderscheid gemaakt tussen “hands-on” en “hands-off” assessment (zie bijvoorbeeld Shavelson, Baxter & Gao, 1993; Straetmans,1998) van onderzoekvaardigheid. “Handsoff assessments” zijn traditionele item-gebaseerde tests, “hands-on assessments” zijn “performance tests” waarin kennis en vaardigheden zijn geïntegreerd en die meer realistisch zijn. Beide vormen van assessment worden in de praktijk gebruikt en beide hebben hun voor- en nadelen. Traditionele item-gebaseerde test zijn meer gestandaardiseerd en daardoor betrouwbaarder, “hands-on” assessments kosten doorgaans meer tijd, zijn minder betrouwbaar en hebben minder voorspellende waarde (Lock, 1989; Shavelson, Baxter & Gao, 1993; Swanson, Norman & Lynn, 1995). Aan de andere kant zijn ze meer representatief voor het meten van onderzoekvaardigheid en kan het domein waarin onderzoekvaardigheid wordt gemeten worden aangepast. Het lijkt erop dat een combinatie van beide vormen optimaal is. Bijvoorbeeld, Groen, Kerkhof, Smeets en de Roo (1996) ontwikkelden een prototype van een aardrijkskunde onderzoektoets waarin beide typen geïntegreerd zijn. Veenhoven (2004) concludeert dat het beoordelen van onderzoekvaardigheid authentiek, efficiënt en gestandaardiseerd dient te zijn. De Inquiry Skills Test (IST, Wilhelm, 2010; Wilhelm & Hoffman, in voorbereiding) is een “hands-off” meetinstrument en doet een beroep op onderzoekvaardigheid. Het is een vragenlijst die is samengesteld uit verschillende, uit het engels vertaalde items en bevat de schalen hypothesen opstellen, variabelen identificeren, een experiment opzetten en data interpretatie (o.a. grafieken lezen). Uit ons onderzoek blijkt dat de prestatie op dit instrument samenhangt met de prestatie op een onderzoektaak waarin proefpersonen in een digitale experimenteeromgeving experimenten moeten uitvoeren om de samenhang tussen verschillende variabelen te ontdekken. Ook blijkt er een positieve samenhang te bestaan tussen de score op de IST en het niveau van kritisch beoordelen van een wetenschappelijk artikel. Er is dus enig bewijs voor de (criterium) validiteit van de interpretatie van de testscore. De betrouwbaarheid van de subschalen lijkt van voldoende niveau, met uitzondering van de schalen die een beroep doen op data interpretatie. Ook lijken deze schalen in verhouding minder bij te dragen aan criteriumvaliditeit. Voor deze schalen wordt naar alternatieven gezocht en dat is waarvoor in dit voorstel in de eerste plaats subsidie wordt aangevraagd. Validatie- en normeringsonderzoek met een herziening van de IST (doelgroep: bovenbouw VO) vormt het belangrijkste aandeel in de beoogde projectactiviteiten. In onderzoek naar inquiry learning (onderzoekend leren) wordt veelvuldig gebruik gemaakt van (computer) simulaties (zie bijv. de Jong, 2006). In simulaties kunnen leerlingen zelfstandig, of in samenwerking met anderen, experimenten uitvoeren en zo kennis opdoen over een bepaald domein (bijv. biologie). De technologie biedt de mogelijkheid voor verschillende vormen van ondersteuning tijdens het leerproces (bijv. bij het opstellen van hypothesen). Een recente ontwikkeling is adaptiviteit: het systeem houdt het leergedrag van de leerling(en) in de gaten en genereert automatisch passende feedback op het leerproces (de Jong et al., 2009). In vereenvoudigde vorm zou een simulatie dienst kunnen doen als een “hands-on” performance assessment voor onderzoekvaardigheid. Deze assessment is dan gebaseerd op diverse kwaliteitsindicatoren, afgeleid van onderzoek naar factoren die bijdragen aan leerprestaties op het gebied van inquiry learning (bijv. systematisch experimenteergedrag). Deze indicatoren kunnen voor 2
een deel automatisch gegenereerd worden door het systeem (de Jong, Wilhelm, & Anjewierden, 2011). Adaptiviteit biedt daarbij de mogelijkheid om de assessment dynamisch te maken. Bovendien kan men in simulaties eenvoudig verschillende onderzoekdomeinen implementeren, waardoor de domeinspecificiteit van het meten van onderzoekvaardigheid kan worden ondervangen (Hulshof, Wilhelm, Besihuizen, & Van Rijn, 2005, Wilhelm, Beishuizen, & Van Rijn, 2005). Simulaties bieden daarom diverse mogelijkheden om onderzoekvaardigheid authentiek, efficiënt en gestandaardiseerd te beoordelen (Veenhoven, 2004). Bovendien geeft dynamische assessment een beter inzicht in de ontwikkelmogelijkheden van de leerling. Dit subsidie voorstel richt zich in de tweede plaats op het definiëren van ontwerpeisen voor dit type dynamische simulatie assessments. Voor de realisatie zal echter elders (NWO/SETO) subsidie worden aangevraagd. In het beoordelen en ontwikkelen van onderzoekvaardigheid kan de verbeterde IST worden beschouwd als screeningsinstrument dat ook ter validatie van de simulatie assessments kan worden ingezet. Simulaties kunnen hopelijk op termijn worden ingezet voor een meer dynamische vorm van assessment die meer inzicht geeft in de ontwikkelmogelijkheden van het individu op het gebied van onderzoek zodat instructie effectief kan worden afgestemd. Een screeningsinstrument als de IST is dus nuttig om een eerste indicatie te krijgen van het niveau van onderzoekvaardigheid, simulaties geven inzicht in de specifieke ontwikkelmogelijkheden.
3
Referenties Beaumont-Walters, Y., & Soyibo, K. (2001). An analysis of high school students' performance on five integrated science process skills. Research in Science and Technological Education, 19 (2), 133145. Bètapartners. (2010, May 29). Bètapartners. Retrieved May 29, 2010, from Doelstellingen: http://www.betapartners.nl/Betapartners/Doelstellingen_Betapartners.pdf Butler, H.A. (2012). Halpern Critical Thinking Assessment Predicts Real-World Outcomes of Critical Thinking. Applied Cognitive Psychology (in press) DOI: 10.1002/acp.2851 de Jong, T., Wilhelm, P., & Anjewierden, A. (2011). Inquiry and assessment; future developments from a technological perspective.” In M. Mayrath, J. Clarke-Midura, & D. H. Robinson (Eds.). Technology-based assessments for 21st Century skills: Theoretical and practical implications from modern research. Charlotte, NC: Information Age Publishing. de Jong, T., van Joolingen, W.R., Giemza, A., Girault, I., Hoppe, U., Kindermann, J., Kluge, A.W., Lazonder, A.W., Vold, V., Weinberger, A., Weinbrenner, S., Wichmann, A. Anjewierden, A., Bodin, M., Bollen, L. d´Ham, C., Dolonen, J., Engler, J., Geraedts, C., Grosskreutz, H., Hovardas, T., Julien, R., Lechner, J., Ludvigsen, S., Matteman, Y., Meistadt, Ø., Næss, B., Ney, M., Pedaste, M., Perritano, A., Rinket, M., von Schlanbusch, H., Sarapuu, T., Schulz, F., Sikken, J., Slotta, J., Toussaint, J., Verkade, A., Wajeman, C., Wasson, B., Zacharia, Z.C., & van der Zanden, M. (2010). Learning by creating and exchanging objects: the SCY experience. British Journal of Educational Technology, 41, 909-921. de Jong, T. (2006). Computer simulations - Technological advances in inquiry learning. Science, 312, 532-533. Glynn, S. M., Taasoobshirazi, G., & Brickman, P. (2009). Science motivation questionnaire: Construct validation with nonscience majors. Journal of Research in Science Teaching, 46 (2), 127–146. doi: 10.1002/tea.20267 Groen, H., Kerkhof, A. van de., Roo, L. de., & Smeets, L. (1996). Vaardigheidstoetsing in het studiehuis. Een verslag van exploratief ontwikkelingswerk waarin verschillende varianten de revue passeren. Arnhem: Cito. Hulshof, C.D., Wilhelm, P., Beishuizen, J.J., & Van Rijn, H. (2005). FILE: A Tool for the Study of Inquiry Learning. Computers in Human Behavior, 21 (6), 945-956. Lederman, N.G.Abd-El-Khalick, F., Bell, R. L., & Schwartz, R.S. (2002). Views of nature of science questionnaire: Toward valid and meaningful assessment of learners' conceptions of nature of science. Journal of Research in Science Teaching, 39, 6, 497 – 521. DOI: 10.1002/tea.10034 Lock, R. (1989). Assessment of practical skills Part 1: the relationships between component skills. Research in Science & Technological Education, 7, 2, 221-233. 4
Shavelson, R. J., Baxter, G. P., & Gao, X. (1993). Sampling variability of performance assessments. Journal of Educational Measurement, 30, 3, 215-232. Shaw, G., Benddixen, L.D., & Dunkle, M.E. (2002). Development and validation of the Epistemic Belief Inventory (EBI). In Hofer, Barbara K. (Ed); Pintrich, Paul R. (Ed), Personal epistemology: The psychology of beliefs about knowledge and knowing (pp. 261-275). Mahwah, NJ, US: Lawrence Erlbaum Associates Publishers. Stokking, K. M., & Van der Schaaf, M. F. (1999). Beoordelen van onderzoeksvaardigheden van leerlingen. Richtlijnen, alternatieven en achtergronden. Utrecht: Brouwer Uithof b.v. Straetmans, G.J.J.M. (1998). Toetsing van competenties. Arnhem: Cito. Swanson, D.B., Norman, G.R., & Linn, R.L. (1995). Performance-based assessment: lessons from the health professions. Educational Researcher, 24, 5, 5-11. Temiz, B.K., Taşar, M.F., & Tan, M. (2006). Development and validation of a multiple format test of science process skills. International Education Journal, 7 (7), 1007-1027. Veenhoven, J. & Stokking, K.M. (2007). Begeleiden van leerlingonderzoek: effecten van ondersteuning door docenten op de prestaties van leerlingen bij aardrijkskundige onderzoekstaken in de tweede fase voortgezet onderwijs. Pedagogische Studiën, 84, 207-223. Veenhoven, J. (2004). Begeleiden en beoordelen van leerlingonderzoek: een interventiestudie naar het leren ontwerpen van onderzoek in de tweede fase bij aardrijkskunde. Dissertation Utrecht University. Retrieved from http://igitur-archive.library.uu.nl/dissertations/2004-1109102230/index.htm Wilhelm, P. (2010). Validatie van de Inquiry Skills Test. Poster gepresenteerd op de Onderwijs Research Dagen Universiteit Twente. Wilhelm, P., Beishuizen, J.J. & Van Rijn, H.(2005). Studying Inquiry Learning with FILE. Computers in Human Behavior, 21 (6), 933-943. Wilhelm, P., & Hoffman, K. (in voorbereiding). Can Students’ Inquiry Skills be Assessed using a Paperand-Pencil Questionnaire? Wilhelm, P. Stellmacher, O., Eijsink, T.H.S., & Ten Klooster, P. M. (in voorbereiding). Construction and Validation of the Dutch Science Motivation Questionnaire.
5
