Meetinstrumenten voor sociale competenties, metacognitie en advanced skills GUUSKE LEDOUX JOOST MEIJER INEKE VAN DER VEEN IRIS BREETVELT

Meetinstrumenten voor sociale competenties, metacognitie en advanced skills GUUSKE LEDOUX JOOST MEIJER INEKE VAN DER VEEN IRIS BREETVELT

Meetinstrumenten voor sociale competenties, metacognitie en advanced skills Een inventarisatie

GUUSKE LEDOUX JOOST MEIJER INEKE VAN DER VEEN IRIS BREETVELT M.M.V.

GEERT TEN DAM EN MONIQUE VOLMAN /

ONDERZOEKSINSTITUUT CHILD DEVELOPMENT AND EDUCATION UNIVERSITEIT VAN AMSTERDAM

CIP-gegevens KONINKLIJKE BIBLIOTHEEK, DEN HAAG

Ledoux, G., Meijer, J., Veen, I. van der, Breetvelt, I., m.m.v. Dam, G. ten, Volman, M. Meetinstrumenten voor sociale competenties, metacognitie en advanced skills. Een inventarisatie. Amsterdam: Kohnstamm Instituut. (Rapport 900, projectnummer 40550)

ISBN 978-90-6813-964-8

Alle rechten voorbehouden. Niets uit deze uitgave mag worden vermenigvuldigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, zonder voorafgaande schriftelijke toestemming van de uitgever.

All rights reserved. No part of this publication may be reproduced, stored in a retrieval system, or transmitted, in any form or by any means, electronic, mechanical, photocopying, or otherwise, without the prior written permission of the publisher.

Uitgave en verspreiding: Kohnstamm Instituut Plantage Muidergracht 24, Postbus 94208, 1090 GE Amsterdam Tel: 020-525 1226 www.kohnstamminstituut.uva.nl Dataverwerking: Elion.nl © Copyright Kohnstamm Instituut, 2013

Inhoudsopgave

Samenvatting

1

1 Inleiding

5

2 Theoretische verantwoording

11

2.1

Begrippen en domeinen

11

2.2

Sociale competenties

18

2.3

Metacognitie

22

2.4

Advanced skills

25

3 Criteria voor de beoordeling en selectie van instrumenten

35

4 Meetmethoden

41

5 Beschrijving (mogelijk) geschikte meetinstrumenten Beschrijving geschikte instrumenten

52

5.2

Beschrijving mogelijk of deels geschikte instrumenten

66

5.3

Informatiebronnen over de (mogelijk) geschikte meetinstrumenten

6

49

5.1

Conclusies en advies 6.1 6.2

Beschikbare Nederlandse instrumenten

6.4

111 111

Elders ontwikkelde instrumenten die voor Nederland toepasbaar zouden kunnen zijn

6.3

106

113

Witte vlekken en mogelijkheden om aanvullende instrumenten te ontwikkelen

114

Nabeschouwing

118

Literatuur

121

Bijlagen 127 Bijlage 1 Het zoekproces

127

Bijlage 2 Self-efficacy

129

Bijlage 3 Overzicht alle instrumenten

133

Recent uitgegeven rapporten Kohnstamm Instituut

147

Samenvatting

In dit onderzoek is gezocht naar bruikbare instrumenten voor het meten van sociale competenties, metacognitie en zogenaamde “advanced skills” in het basis- en voortgezet onderwijs. Met het laatste wordt gedoeld op vaardigheden of competenties, die voor het leren en leven in de 21e eeuw bevorderlijk danwel essentieel zijn. In eerste instantie ging het om instrumenten in het Nederlandse taalgebied, maar buitenlands instrumentarium is ook meegenomen omdat de mogelijkheid bestond dat beperking naar Nederland en Vlaanderen te weinig zou opleveren. Er waren drie onderzoeksvragen: 1) welke instrumenten voor sociale competenties, metacognitie en advanced skills zijn in het Nederlandse taalgebied beschikbaar?; 2) welke instrumenten in het buitenland zijn geschikt te maken voor gebruik in Nederland en Vlaanderen?; 3) indien noodzakelijk, wat is een effectieve strategie om op korte termijn aanvullende instrumenten te maken? Eerst is een theoretische analyse uitgevoerd om meer helderheid te verkrijgen over de begrippen sociale competentie, metacognitie en advanced skills en hun onderlinge verband. Daarin werd intelligentie als voorwaardelijk voor metacognitie geïdentificeerd en stabiel geachte persoonskenmerken als voorwaardelijk voor sociale competentie. Tevens werd vastgesteld dat zowel sociale competentie als metacognitie een rol kunnen spelen bij advanced skills. Besloten werd om instrumenten die zijn gericht op stabiel geachte kenmerken van personen (traits) uit te sluiten, omdat die weliswaar als voorwaarde kunnen gelden voor de beoogde begrippen, maar niet zijn gericht op sociale competentie, metacognitie of advanced skills als zodanig. Voorts werd bij sociale competentie de nadruk gelegd op de interpersoonlijke en

1

maatschappelijke component, omdat de intrapersoonlijke component zich meer in de voorwaardelijke sfeer bevindt. Omdat een beperking noodzakelijk was, is een aantal selectiecriteria gekozen, die mede gebaseerd waren op de theoretische analyse. Deze hadden onder meer te maken met de meetpretentie van de instrumenten (geen persoonskenmerken, motivatie, waarden of diagnostisch – klinisch gebruik), de leeftijd van de doelgroep (alleen tussen 8 en 18 jaar), niet al te gedateerd en de beschikbaarheid (verkrijgbaarheid). Na een uitgebreide literatuursearch in diverse bronnen met een relevant zoekprofiel zijn de gevonden instrumenten getypeerd en beschreven aan de hand van hun meetpretentie, de competenties die ze beoogden te meten in termen van begrippen en operationalisaties, doelgroep, wijze van afnemen, scoring, interpretatie en rapportage, psychometrische kwaliteit, geschiktheid en verkrijgbaarheid. Na toetsing aan de selectiecriteria werd een indeling gemaakt in drie typen: geschikt voor gebruik in het onderwijs (A), eventueel geschikt na aanpassing (B) en niet geschikt voor gebruik in het onderwijs (C). Instrumenten in de B-categorie zijn vaak slechts gedeeltelijk gericht op sociale competentie, metacognitie of advanced skills. Ook zijn ze soms niet in het Nederlands beschikbaar, bedoeld voor leerlingen ouder dan 18 jaar of moeilijk af te nemen. Sommige B-instrumenten voor metacognitie zijn specifiek gericht op een bepaald schoolvak, terwijl er voor sommige B-instrumenten in het sociale competentie domein geen psychometrische informatie beschikbaar is. Voor sociale competentie en metacognitie zijn enige instrumenten bruikbaar, die zowel op betrouwbaarheid als validiteit zijn getoetst. Voor advanced skills is dit veel minder het geval, ofschoon de ontwikkelingen hieromtrent in volle gang zijn. Voor alle drie de domeinen wordt aanbevolen bestaande Ainstrumenten zonder meer toe te passen in het onderwijs en na te gaan in hoeverre eerder gevonden onderzoeksresultaten kunnen worden gerepliceerd. B-instrumenten dienen eerst te worden aangepast en aan verder onderzoek te worden onderworpen. De eerste onderzoeksvraag is beantwoord met de vaststelling dat er instrumenten in het Nederlands taalgebied zijn aangetroffen die aan de selectiecriteria voldoen en waarvan de psychomterische kwaliteit bovendien 2

voldoende is. Het merendeels Engelstalig instrumentarium in de B-categorie geeft een antwoord op de tweede onderzoeksvraag. Het antwoord op de derde onderzoeksvraag is uitgesplitst naar sociale competentie, metacognitie en advanced skills. Voor sociale competentie worden vaak observaties en vragenlijsten gebruikt. Instrumenten uit de B-categorie voor dit domein hebben in het algemeen weinig belofte om veel toe te voegen aan het instrumentarium in de A-categorie, met uitzondering van de vignettenmethode, die het mogelijk maakt om authentieke situaties aan te bieden. Op dit moment is deze methode echter nog te tijdrovend en te ingewikkeld. Voor metacognitie worden ook vaak vragenlijsten gebruikt. Het probleem is dat de vragenlijstmethode vaak niet convergeert met on-line methoden zoals gedragsoservaties en hardopdenkprotocollen. De laatste methoden zijn op het oog meer valide dan vragenlijsten, maar ook veel arbeidsintensiever en de interpretatie vereist uitgebreide scholing in de methode. Een mogelijk veelbelovend alternatief vormt een toets met meerkeuze-items. De items in een dergelijke toets geven leerlingen de gelegenheid om te tonen dat zij bepaalde principes kunnen hanteren ter verklaring van het gedrag of de gebeurtenis in de situatie die in het item wordt beschreven. Het instrumentarium voor de meting van advanced skills staat grotendeels nog in de kinderschoenen. Vaak worden deze skills niet apart maar in andere vakgebieden geëvalueerd. Niettemin zijn er methoden in ontwikkeling zoals rubrics, waarin recht wordt gedaan aan de complexiteit, authenticiteit en contextgebondenheid van advanced skills. De inventarisatie is bepaald geen eenvoudige taak geweest. Met name de beslissingen omtrent geschiktheid waren soms erg lastig en gaven aanleiding tot stevige wetenschappelijke discussies, zowel binnen het onderzoeksteam als binnen de begeleidingscommissie. Deze discussie is dan ook nog niet afgerond. Met het onderscheid tussen de categorieën A (geschikt), B (geschikt te maken) en C (niet geschikt) hebben de onderzoekers beslist geen keurmerk willen afgeven. Het is aan de gebruikers in het onderwijsveld om een keuze te maken op grond van de beschikbare informatie. De gevonden instrumenten zijn voornamelijk zelfrapportage-instrumenten. Integrale metingen in authentieke situaties of portfolio’s zijn zelden aangetroffen. Zij zijn in het algemeen ook nog zeer complex en arbeidsintensief. Toch zijn er, met name binnen het domein van de advanced skills, veelbelovende ontwikkelingen op dit gebied.

3

De onderzoekers kunnen niet garanderen dat de inventarisatie uitputtend is geweest. Niet gepubliceerde instrumenten, zoals van internationale vergelijkingsprojecten, zijn niet geselecteerd. Het is mogelijk dat er interessant en geschikt materiaal over het hoofd is gezien. Niettemin hopen we met het resultaat van de inventarisatie bruikbare en nuttige informatie voor verschillende partijen in het onderwijsveld op te hebben geleverd.

4

1

Inleiding

Het huidige beleid van het Ministerie van OCW kent een duidelijke focus op verhoging van de leerprestaties taal en rekenen en het verminderen van het aantal scholen dat op dit gebied beneden een verwachte standaard presteert. De inspectie van het onderwijs houdt hierop nauwkeurig toezicht. Tegelijkertijd leeft echter het besef dat een eenzijdige nadruk op hogere leeropbrengsten risico’s heeft en dat het er in het onderwijs niet alleen om gaat om leerlingen tot op een hoog niveau de vaardigheden taal en rekenen bij te brengen, maar ook om het ontwikkelen van vakoverstijgende competenties die nodig zijn voor het functioneren in de samenleving (zie bijvoorbeeld Volman, 2011; Peschar e.a., 2010; European Parliament, 2007). Dat zijn zowel competenties op het cognitieve domein (zoals metacognitie, analytisch vermogen, omgaan met kennis en informatie, omgaan met ICT en technologie) als competenties op het sociale domein (bijvoorbeeld samenwerken, conflicten oplossen, communiceren). Over het belang van dergelijke competenties en over de taak die het onderwijs heeft bij het ontwikkelen daarvan bestaat weinig discussie. Veel onduidelijkheid is er echter nog over mogelijkheden om het niveau en de ontwikkeling van dergelijke competenties te meten en te volgen. Bij het Ministerie van OCW, maar ook bij de inspectie van het onderwijs bestaat daarom behoefte aan een actueel overzicht van instrumenten die geschikt zijn voor het meten van leeropbrengsten op deze domeinen in het primair en het voortgezet onderwijs. In eerste instantie gaat de belangstelling daarbij uit naar instrumenten in het Nederlandse taalgebied, vanwege de toepasbaarheid in de Nederlandse situatie, maar men is ook geïnteresseerd in instrumenten die in andere landen beschikbaar zijn, daar waar er in het Nederlands taalgebied te weinig voorhanden zou blijken te zijn. Ook is er bij het Ministerie en bij de inspectie behoefte aan adviezen over mogelijkheden om op de korte termijn 5

aanvullende toetsen/meetinstrumenten te ontwikkelen op gebieden waar nog leemtes bestaan. Aan het Kohnstamm Instituut van de Universiteit van Amsterdam is de opdracht gegeven om hiernaar onderzoek te doen. Dat onderzoek moest antwoord geven op de volgende vragen: 1.

Welke instrumenten zijn in het Nederlandse taalgebied beschikbaar voor meting van sociale competenties (vooral de interpersoonlijke en maatschappelijke component daarvan), metacognitie en de zogenaamde ‘advanced skills’ van leerlingen in de bovenbouw van de basisschool en in het voortgezet onderwijs, die voldoen aan criteria die (op schoolniveau) valide en betrouwbare uitspraken over het competentieniveau mogelijk maken?

2.

Voor zover daarvan onvoldoende sprake is: welke instrumenten in andere landen voldoen aan die criteria en zouden voor afname in het Nederlandse taalgebied geschikt gemaakt kunnen worden?

3.

Indien het resultaat daarvan beperkt is: wat is een effectieve strategie om, met maximale gebruikmaking van beschikbare aanzetten of materialen, en in aansluiting bij beschikbare theorievorming, empirische kennis en toetsontwikkeling, te komen tot ontwikkeling van aanvullende toetsen op korte termijn?

Achtergrond Het onderzoek moest inzichten opleveren voor drie groepen betrokkenen. Twee daarvan zijn al genoemd: het Minsterie van OCW en de inspectie van het onderwijs. De Directie Kennis van het Ministerie van OCW houdt zich al enige tijd bezig houdt met vragen over de relatie tussen verschillende soorten competenties en persoonlijke en maatschappelijke opbrengsten van onderwijs. Het Ministerie participeert in internationale projecten zoals Education and Social Progress (ESP) en in internationaal vergelijkend onderzoek zoals PISA, ICCS en PIAAC1, waarin deze relaties ook aan de orde zijn. Voor het Ministerie

PISA: Programme for International Student Assessment; een onderzoeksprogramma van de OECD waarin vaardigheden en kennis van 15-jarigen worden onderzocht in verschillende landen. . ICCS: International Civic and Citizenship Education Study, onderdeel van The International Association for the Evaluation of Educational Achievement (IEA).

6

is het belangrijk te weten of en hoe de in de onderzoeksvragen competenties meetbaar zijn en op welke gebieden eventueel nog aanvullende meetinstrumenten ontwikkeld zouden moeten worden. De inspectie is op zoek naar betrouwbare en valide instrumenten die scholen zelf kunnen inzetten om onderwijsopbrengsten te meten die buiten het domein van de schoolvakken liggen. Deze heeft de inspectie nodig om te kunnen beoordelen of scholen voldoen aan gewenste standaarden op deze gebieden. Een voorbeeld is het gebied van de burgerschapsvorming. Scholen zijn wettelijk verplicht hieraan aandacht te besteden, de inspectie moet daarop dus toezicht houden, maar het is nog onvoldoende duidelijk of en hoe dat kan tot en met het niveau van de leeropbrengsten. De derde groep betrokkenen zijn medewerkers van het Cito. Het Cito voert het Periodiek Peilingsonderzoek uit in het basisonderwijs, en betrekt daarbij sinds enige tijd op verzoek van het Ministerie ook het domein van de sociale vaardigheden. Ook daarvoor zijn valide en betrouwbare instrumenten nodig. Vooral voor de inspectie is van belang dat instrumenten praktisch toepasbaar zijn en vrij beschikbaar zijn voor scholen. Instrumenten die in internationaal onderzoek gebruikt worden zijn dat vaak niet, omdat de protocollen die in dergelijk onderzoek gelden te strikt zijn voor gebruik van deze instrumenten voor andere toepassingen. Een aandachtspunt bij de inventarisatie moest dus ook zijn in welke mate instrumenten feitelijk bruikbaar zijn of gemaakt kunnen worden buiten het kader waarin ze ontwikkeld zijn. Werkwijze Het onderzoek bestond uit drie onderdelen: 1.

Begrippenverheldering en opstellen van een beschrijvingskader

2.

Zoeken en beschrijven van instrumenten

3.

Opstellen van een advies over gebruiks- en eventueel ontwikkelmogelijkheden van instrumenten

In het eerste deel hebben we ons gericht we op de vraag wat verstaan kan worden onder sociale competenties, metacognitie en advanced skills. Het gaat hierbij enerzijds om algemene begripsomschrijvingen, anderzijds om

PIAAC: Programme for the International Assessment of Adult Competencies survey, eveneens een OECD project.

7

verkenning van constituerende elementen en verzamelingen van competenties die tot de drie domeinen worden gerekend. Hiervoor is literatuur gezocht en is gebruik gemaakt van de expertise die aanwezig was bij de onderzoekers zelf, de twee adviseurs die bij het onderzoek zijn betrokken (Prof. Dr. G. ten Dam en Prof. Dr. M. Volman) en bij de leden van de begeleidingscommissie die voor het onderzoek is ingesteld. Tegelijkertijd is gestart met het zoeken en beoordelen van instrumenten. De reden om dit tegelijkertijd te doen en niet eerst het beschrijvingskader af te ronden en daarop de search te baseren, lag in de constatering die we na enige tijd begrippenverkenning deden, namelijk dat een eenduidige afbakening van begrippen en daarbij horende zoektermen voor de instrumentensearch niet goed mogelijk was. Daarvoor waren twee redenen: ten eerste de veelheid aan noties over hoe de drie domeinen ingevuld kunnen worden (vanuit verschillende wetenschapstradities), anderzijds het besef dat veel instrumenten niet erg precies zijn afgebakend en gelabeld. Dat maakte het nodig om redelijk breed te zoeken en al werkend tot beredeneerde keuzes voor selectiecriteria te komen, deels vanuit theoretische en deels vanuit pragmatische overwegingen. Over deze criteria is vervolgens diverse malen gesproken met de begeleidingscommissie. Voor het zoeken van de instrumenten is in de eerste plaats gebruik gemaakt van een systematische search. De details hiervan zijn te vinden in bijlage 1. In de tweede plaat hebben we hiervoor gebruik kunnen maken van de kennis die bij de leden van de begeleidingscommissie en de adviseurs beschikbaar was. Ook hebben we voor het domein van de sociale competenties een eerder opgestelde lijst van mogelijke instrumenten benut (Ten Dam e.a., 2003). Niet alle gevonden instrumenten bleken beoordeelbaar. Soms was de juiste documentatie over een instrument niet te vinden of niet publiek toegankelijk. Verder zit veel informatie over instrumenten die alleen in specifiek onderzoek zijn gebruikt ‘verborgen’ in publicaties over dat onderzoek. We hebben alleen literatuur bestudeerd die expliciet over instrumenten en instrumentontwikkeling gaat, en niet alle publicaties waarin gebruikte instrumenten wel genoemd zijn maar niet nader gedocumenteerd. Dat zou het onderzoeksterrein veel te uitgebreid hebben gemaakt. Het is heel goed mogelijk dat we hierdoor mogelijk interessante instrumenten toch hebben gemist. Met name voor het terrein van de advanced skills, waarvoor we weinig 8

specifieke instrumenten hebben aangetroffen, is misschien nog wel meer in ontwikkeling dan we in dit onderzoek hebben kunnen vinden. De gevonden instrumenten zijn verzameld in een ‘longlist’. Daarin zijn de instrumenten ingedeeld in drie rubrieken: (A) voldoet geheel aan de selectiecriteria, (B) voldoet niet geheel aan de criteria, maar kan wellicht geschikt worden gemaakt of is om specifieke redenen toch interessant, (C) valt buiten de criteria. De instrumenten in de rubriek (A) en (B) zijn vervolgens verzameld in een ‘shortlist’ en nader beschreven en in dit rapport opgenomen. De onder (B) genoemde instrumenten worden bovendien besproken in het laatste gedeelte van dit rapport waarin we aanbevelingen doen over gebruiksmogelijkheden en eventuele verdere ontwikkeling van instrumenten. Leeswijzer Het rapport is als volgt opgebouwd. Hoofdstuk 2 bevat het resultaat van de begripsverkenning en –afbakening. Hoofdstuk 3 gaat over de selectiecriteria bij het beoordelen van gevonden instrumenten. In hoofdstuk 4 gaan we in op voor- en nadelen van verschillende meetmethoden. Hoofdstuk 5 bevat de beschrijving van de geselecteerde (A) en (B) instrumenten. In hoofdstuk 6 formuleren we conclusies over gevonden hiaten wat betreft geschikte instrumenten en over de mogelijkheden om daar verder in te gaan voorzien. Het rapport bevat verder drie bijlagen. Bijlage 1 bevat informatie over de gehanteerde werkwijze bij het zoeken van instrumenten. Bijlage 2 biedt informatie over een aparte verkenning op instrumenten voor het meten van self-efficacy (zie voor toelichting van deze activiteit hoofdstuk 2). Bijlage 3 tenslotte omvat de longlist van alle gevonden instrumenten, met per instrument een beslissing over waarom wel/niet passend bij de selectiecriteria.

9

2

Theoretische verantwoording

2.1

Begrippen en domeinen

Voor de competenties waar het hier om gaat bestaan allerlei benamingen. Bijvoorbeeld breed toepasbare competenties, vakoverstijgende competenties, sleutelcompetenties (voor maatschappelijk functioneren), soft skills, advanced skills, 21e eeuwse vaardigheden. Nadere beschouwing van wat verschillende auteurs of organisaties daaronder verstaan (zie voor verwijzingen de literatuurlijst) leert dat er sprake is van een grote diversiteit en van veel overlap. Zo rekenen sommigen ‘communicatievaardigheden’ tot het domein van de sociale competenties en zien anderen dat als behorend tot een schoolvak (taal) of als een vaardigheid die nodig is voor deelname aan de kenniseconomie. En ‘kritisch denken’ wordt door sommigen beschouwd als een aspect van metacognitie, terwijl anderen dit rekenen tot de advanced skills. Voor de zoektocht naar instrumenten was het dus noodzakelijk om een begrippenverkenning uit te voeren en op basis daarvan te komen tot een afbakening die voldoende houvast geeft voor het ordenen en indelen van instrumenten. Conform de wens van de opdrachtgever moest die begrippenverkenning vooral een praktisch doel dienen (namelijk als kapstok voor het zoeken en beoordelen van instrumenten) en niet te veel conceptueeltheoretisch van aard worden. Er kan immers allerlei ‘begrippenstrijd’ gevoerd worden, zeker als literatuur uit verschillende onderzoekstradities en wetenschappelijke disciplines wordt gecombineerd. In het onderstaande gaan we eerst in op het begrip competenties en, in algemene zin, op de meetbaarheid daarvan. We onderscheiden daarbij verschillende aspecten en gaan in op de vraag of er sprake zou moeten of 11

kunnen zijn van enkelvoudig of geïntegreerd meten van die aspecten. Daarbij betrekken we ook de vraag hoe smal of breed we de begrippen in deze studie moeten opvatten en hoe beïnvloedbaar ze zijn door onderwijs. Vervolgens beschrijven we in het kort wat verstaan kan worden onder sociale competenties, metacognitieve competenties2 en advanced skills. We proberen dit voor elk domein vast te leggen in een ordenend schema. Die schema’s dienen als houvast voor de latere bespreking van gevonden hiaten. Over het begrip competenties De termen competentie en competenties worden in relatie tot onderwijsopbrengsten nog niet zo lang gebruikt. Ze zijn in zwang gekomen als aanduiding voor vakoverstijgende vaardigheden, kennis of houdingen die geïntegreerd toegepast (moeten) worden door beroepsbeoefenaren in de beroepspraktijk. Vooral in het beroepsonderwijs en het volwassenenonderwijs is daardoor veel aandacht ontstaan voor het definiëren van competenties en de wijze waarop ze verworven of aangeleerd kunnen worden (‘competentiegericht onderwijs’). Een bekend voorbeeld binnen het onderwijsdomein zijn de competenties waarover leerkrachten moeten beschikken om vakbekwaam te kunnen lesgeven. Deze zogenaamde ‘SBL-competenties’ zijn inmiddels ontwikkeld, beschreven en wettelijk vastgelegd. Ze zijn een hulpmiddel bij het aanleren en beoordelen van bekwaamheden van leerkrachten. Kenmerkend voor het begrip competentie is dat het gaat om een combinatie van kennis, houding en vaardigheden. Volgens sommigen (Ten Dam e.a., 2010; Rychen & Salganik, 2003) kan van een echte competentie pas gesproken worden als de bezitter van die competentie niet alleen vaardigheden, kennis en houdingen (geïntegreerd) kan ‘toepassen’, maar ze ook kan onderwerpen aan kritisch nadenken en zelfreflectie. De zojuist genoemde SBL-competenties bevatten deze component ook. Min of meer als synoniem voor de term competenties wordt ook de Engelse term ‘skills’ in de literatuur veel gebruikt. Dit begrip wordt echter vaak minder goed omschreven en feitelijk nogal eens ten onrechte vertaald met alleen ‘vaardigheden’ (zie hiervoor bijvoorbeeld Van Eck, Van Daalen & Heemskerk ,

2

In de literatuur wordt soms gesproken over competentie (enkelvoud), soms over competenties (meervoud). Daaraan ligt geen systematisch onderscheid ten grondslag. Omdat het bij elk van de hier bestudeerde domeinen steeds om een verzameling van verschillende componenten en aspecten blijkt te gaan, kiezen wij in dit rapport voor de meervoudsvorm.

12

2011). We gebruiken daarom in dit rapport consequent het begrip competenties en vatten dit op als de combinatie van kennis, houding, vaardigheden en reflectie. Het zal duidelijk zijn dat een dergelijk samengesteld begrip niet gemakkelijk meetbaar is. Er zijn in de afgelopen decennia in de psychologie en in de sociale wetenschappen vele meetinstrumenten ontwikkeld voor het afzonderlijk meten van kennis, vaardigheden of houdingen (minder voor het meten van reflectie), veelal stevig theoretisch ondersteund. Meetinstrumenten voor de combinatie daarvan zijn er echter nauwelijks. Het vaststellen van iemands competentie op een bepaald terrein kan eigenlijk alleen door observatie van de toepassing van die competentie in een levensechte situatie, zoals de uitoefening van het beroep (of aspecten daarvan) ‘op de werkvloer’. De beoordeling daarvan is een complexe aangelegenheid, juist omdat het gaat om de geïntegreerde toepassing van verschillende componenten. Bovendien is de keuze van te observeren situaties ook erg lastig. Hoe iemand functioneert of kan functioneren in een levensechte situatie is immers vaak contextafhankelijk. Dat geldt zeker voor sociale competenties (vgl Ten Dam e.a., 2003). Competenties zijn dus in hun samengestelde vorm en vooral in hun geïntegreerde vorm moeilijk direct te meten. Vandaar dat we ons in dit rapport overwegend gericht hebben op instrumenten die beschikbaar zijn voor het meten van de afzonderlijke componenten: kennis, houding, vaardigheden, reflectie. Sommige instrumenten meten meerdere van deze componenten, sommige meten slechts een van deze componenten. Wanneer competenties meerdere componenten meten, is er niet vanzelfsprekend sprake van één onderliggend concept. Zo heeft het Cito er in haar Balans van de sociale opbrengsten in het basisonderwijs (Kuhlemeier, Van Boxtel & Van Til, 2012) voor gekozen om sociale competentie op te vatten als een optelsom van 11 verschillende aspecten met maar liefst 66 indicatoren. De 11 aspecten gaan over evenzoveel concepten en van één onderliggende dimensie is geen sprake. Ook wanneer wel in theoretisch opzicht één onderliggend concept is gepostuleerd, zoals bijvoorbeeld het geval is bij de constructie van het meetinstrument burgerschapscompetenties (Ten Dam e.a., 2010), blijkt het in de praktijk toch niet helemaal te lukken om de onderscheiden aspecten empirisch goed ‘onder één paraplu’ te krijgen. In dit meetinstrument neemt het onderdeel kennis bijvoorbeeld een aparte plaats in naast de onderdelen vaardigheden, attituden en reflectie.

13

We hebben ons in onze inventarisatie van meetinstrumenten dus hoofdzakelijk gericht op instrumenten die één of enkele van de samenstellende componenten meten van respectievelijk sociale competentie, metacognitie en advanced skills. Onze aanvankelijke inzet was om voor zowel sociale competenties, metacognitie als advanced skills uit te gaan van het idee van een samenstel van kennis, vaardigheden, houdingen en reflectie. Voor sociale competenties blijkt dit goed mogelijk. Het is echter minder duidelijk of dat ook goed kan voor metacognitieve competenties, en of feitelijk het begrip competentie bij metacognitie wel kan worden toegepast. Het oorspronkelijke begrip is afkomstig van Flavell (1979), die onderscheid maakte tussen metacognitieve kennis, ervaringen, doelen, taken en acties of strategieën. De laatste werden weer onderverdeeld in plannen, monitoren en evalueren. Het meest spaarzame model voor metacognitie is afkomstig van Nelson (1997), waarin onderscheid gemaakt wordt tussen het object-niveau en het meta-niveau. Het meta-niveau zorgt door controle voor sturing van het object-niveau, terwijl het lagere object-niveau terugkoppeling verzorgt aan het meta-niveau. Dit is een min of meer cyclische benadering van metacognitie. Het onderscheid tussen de vier basisaspecten van een competentie is in het geval van metacognitie problematisch. Het is op zichzelf geen probleem om een onderscheid te maken tussen metacognitieve kennis en metacognitieve vaardigheid. Bij de eerste gaat het om kennis ten aanzien van de eigen cognitie, bij de tweede gaat het om de vaardigheid om een cognitief proces strategisch te sturen. Maar het onderscheiden van metacognitieve houding en metacognitieve reflectie is lastiger. Metacognitieve houding zou de attitude zijn die aanzet tot het gebruik van metacognitieve strategieën, zoals de bereidheid om bij ingewikkelde problemen eerst een analyse te maken voordat oplossingsstrategieën worden ingezet. Schoenfeld (1987) geeft hiervan voorbeelden en demonstreert tevens dat deze attitude experts van novieten onderscheidt en derhalve onderwijsbaar zou zijn. Het is echter zeer de vraag of hier nog wel sprake is van een houding of attitude. De ervaring die experts hebben opgedaan zet hen er blijkbaar toe aan om zich vooraf te oriënteren en te plannen, tijdens het oplossingsproces te monitoren en daarna te evalueren. Deze handelingen lijken meer op metacognitieve vaardigheden dan dat ze deel uitmaken van een metacognitieve houding. Bij metacognitieve reflectie is het probleem dat het begrip metacognitie op zichzelf al reflectie impliceert; het gaat immers om cognitie van cognitie, oftewel kennis over kennis. 14

Voor metacognitie lijkt dus alleen het onderscheid tussen kennis en vaardigheden van belang. Omdat dat een wat smallere invulling is van het begrip competenties dan bij sociale competenties, spreken we in dit rapport verder over metacognitie en niet over metacognitieve competenties. Voor advanced skills kunnen de vier basisaspecten wel worden onderscheiden. We komen daar later op terug. Breed of smal en wel/niet beïnvloedbaar door onderwijs Zoals beschreven in hoofdstuk 1, is het doel van deze studie het opsporen van instrumenten die geschikt zijn om opbrengsten van onderwijs te evalueren op de drie domeinen. We hebben het dus in principe over competenties die op enige wijze door het onderwijs kunnen worden gevormd of verbeterd. Uiteraard zijn bepaalde persoonskenmerken voorwaardelijk voor het ontwikkelen van specifieke competenties. Voor metacognitie geldt bijvoorbeeld dat intelligentie een voorname determinant of voorwaarde is, ofschoon er voor de relatie tussen intelligentie en metacognitie verschillende modellen zijn voorgesteld (Meijer, Veenman, & Van Hout-Wolters, ter perse; Veenman, Elshout, & Meijer, 1997; Veenman, Wilhelm, & Beishuizen, 2004). Het opnemen van instrumenten voor het meten van intelligentie in de inventarisatie valt echter buiten het bestek van het huidige onderzoek, omdat dit de scope van het project te breed zou maken. Bovendien gaat het in onze opdracht uitdrukkelijk om niet puur cognitieve competenties. Ook voor sociale competenties zijn bepaalde persoonskenmerken voorwaardelijk. Daarbij kan worden gedacht aan de Big Five of de Grote Vijf, de basispersoonskenmerken die in de psychologie worden onderscheiden (Kohnstamm, 1992; Hofstee, 1994). Het betreft de persoonskarakteristieken ordelijkheid, vriendelijkheid, autonomie, extraversie – introversie en emotionele stabiliteit. Voor een prettige sociale omgang is een hoge mate van vriendelijkheid en warmte bijvoorbeeld bevorderlijk. Dat geldt ook voor emotionele stabiliteit en een zekere mate van extraversie. Ook hier geldt echter dat het opnemen van instrumenten die uitsluitend gericht zijn op dergelijke persoonskenmerken de reikwijdte van het onderzoek te breed maken. Het gaat hier immers meer om condities voor sociaal functioneren dan om de sociale competenties zelf. Bij sociale competenties ligt het accent op interpersoonlijke aspecten, op kenmerken die de kwaliteit van de sociale interactie bepalen. Een sociaal competente persoon heeft wel intrapersoonlijke houdingen, kennis en vaardigheden nodig om in sociaal opzicht goed te functioneren, maar de 15

sociale competenties zelf beslaan in onze opvatting alleen aspecten die met sociaal verkeer tussen personen te maken hebben of met maatschappelijk functioneren. Voor advanced skills zullen intelligentie en persoonskenmerken ook deels voorwaardelijk zijn, maar daarnaast kunnen sociale- en metacognitieve competenties weer voorwaardelijk zijn voor advanced skills. Specifiekere vaardigheden die deel uitmaken van advanced skills zijn bijvoorbeeld probleemoplossend, kritisch denken en het gebruik maken van mentale tools. We geven dit denken in voorwaarden weer in onderstaand schema:

Figuur 2.1 Voorwaarden voor metacognitieve- en sociale competenties en de relatie met advanced skills

Intelligentie

Metacognitie Advanced skills

Big Five

Sociale competenties

In de figuur neemt de complexiteit van de constructen van links naar rechts toe. Hoewel daarop natuurlijk wel wat valt af te dingen3, beschouwen we concepten als intelligentie en persoonlijkheidskenmerken als enkelvoudig. Metacognitie en sociale competenties zijn aanzienlijk ingewikkelder concepten, die uiteenvallen in veel meer verschillende deelcomponenten dan intelligentie en de Grote Vijf. Advanced skills zijn nog weer complexer, met name omdat ze aspecten van metacognitie en sociale competentie in zich verenigen. De figuur geeft zeker niet alle (theoretisch ingewikkelde) relaties tussen de concepten weer. Het moet ook niet gezien worden als een causaal model. De functie is vooral om te laten zien vanuit welk denkkader we de verschillende

3

Intelligentie wordt door sommigen opgevat als een enkelvoudig begrip (De G-factor, Spearman, 1929), maar door anderen ook wel als een ingewikkelde combinatie van basale mentale inhouden, operaties en producten (Guilford, 1967). Recente opvattingen maken meestal alleen onderscheid tussen crystallised en fluid intelligentie (Horn, 1997; Cattell, 1971) of tussen verbale intelligentie, redeneervermogen en ruimtelijk inzicht (Lohman, 1989). De Grote Vijf worden over het algemeen gezien als enkelvoudige begrippen, maar ook daarin worden wel nuanceringen aangebracht (Elshout, 1999).

16

concepten bezien, namelijk denken in voorwaarden voor en toenemende complexiteit van de hier onderzochte begrippen. Zoals eerder vermeld richten we ons op competenties die (mede) ontwikkeld kunnen worden via onderwijs. Dat impliceert dat we instrumenten die stabiele kenmerken of traits meten niet in de studie betrekken, ook niet als zij kunnen worden opgevat als voorwaarden. Uiteraard zijn persoonlijkheidstrekken natuurlijk nooit volledig stabiel, in de zin dat ze volledig door aanleg kunnen worden verklaard en niet te veranderen zijn. Bovendien reageren mensen, ook al hebben ze bepaalde stabiele eigenschappen, niet in alle omstandigheden op dezelfde manier, dat wil zeggen hun gedrag varieert als functie van de context. Niettemin wordt de trait, ook wel latente trek genoemd in de persoonlijkheidsleer, opgevat als een tendentie om in bepaalde situaties op een bepaalde manier te reageren. De state, oftewel het manifeste gedrag, is afhankelijk van de situatie. Personen met een sterke faalangsttendentie zullen bijvoorbeeld de neiging vertonen om in situaties, waarin zij geëvalueerd worden, angstig te reageren. Bij dreiging met fysiek gevaar daarentegen, reageren ze niet angstiger dan personen met een lage faalangsttendentie (Spielberger, 1975). Persoonskenmerken zijn in principe ontwikkelbaar en gevoelig voor beïnvloeding door opvoeding en onderwijs. Het is moeilijk om een grens te trekken tussen wat wel en niet beïnvloedbaar zou zijn door onderwijs. In deze studie is geprobeerd die grens te leggen bij dat wat tot onderwijskerndoelen gerekend kan worden. Dat is niet altijd een gemakkelijk toepasbaar principe, omdat de kerndoelen die voor basis- en voorgezet onderwijs geformuleerd zijn een sterk algemeen karakter hebben en dus weinig concreet zijn. Toch is het criterium ‘passend bij onderwijsdoelen’ wel een geschikt uitgangspunt, want daarmee valt bijvoorbeeld onderscheid te maken tussen instrumenten die tot doel hebben om specifieke tekorten bij kinderen vast te stellen om vervolgens voor die leerlingen een therapie of behandeling in te zetten, en instrumenten die meer gericht zijn op het vaststellen van een ontwikkelingsniveau en dus op ‘leervorderingen’. Dat betekent concreet dat instrumenten die bijvoorbeeld bedoeld zijn om faalangst te meten, of gedragsproblemen, of gebrek aan zelfbeheersing, buiten beeld zullen blijven. We lichten dat in hoofdstuk 3 nog verder toe.

17

Na deze algemene verkenning en eerste afbakening, gaan we nu over tot een nadere omschrijving van de drie domeinen in dit onderzoek: sociale competenties, metacognitie en advanced skills.

2.2

Sociale competenties

Over sociale competenties is veel geschreven, maar daarmee is het nog allesbehalve een afgebakend begrip. Aanduidingen als ‘container begrip’, ‘contested concept’ of zelfs ‘vergaarbak’ zijn te vinden in de literatuur (Van Eck, Van Daalen & Heemskerk; 2011; Geboers e.a., 2011; Ten Dam & Volman, 2007; Peschar e.a., 2010). Er zijn verschillende tradities en perspectieven en die brengen elk weer nieuwe invalshoeken met zich mee. Een uitvoerig review van de internationale onderzoeksliteratuur is uitgevoerd in 2003 en neergeslagen in de publicatie Sociale competentie langs de meetlat (Ten Dam e.a., 2003). Een update en verdere samenvatting daarvan is te vinden in het artikel van Ten Dam & Volman in het European Journal of Education (2007). Omdat in deze publicaties expliciet sprake is van een ordening van begrippen, gebruiken we deze hier als kader. Ten Dam & Volman constateren dat onderzoek naar sociale competenties wortelt in twee tradities. De eerste traditie is de ontwikkelingspsychologie. Daarin worden sociale competenties beschouwd als competenties die nodig zijn voor interactie tussen het individu en anderen, in de context van eisen en verwachtingen die aan opgroeiende jeugd gesteld worden op het sociale terrein. Kinderen en jongeren worden gesteld voor leeftijdsgerelateerde sociale ontwikkelingstaken en de bedoeling is dat die ontwikkeling leidt tot sociaal adequaat functioneren als volwassene. Wat precies ‘adequaat’ is valt moeilijk te omschrijven, dat kan variëren met de context (bijvoorbeeld op school anders dan thuis of met vrienden anders dan in omgang met onbekenden) en met maatschappelijke ontwikkelingen . In de moderne samenleving zijn bijvoorbeeld omgaan met diversiteit en kunnen communiceren belangrijker dan vroeger; elke samenleving stelt weer eigen ‘ontwikkelingstaken’. Binnen deze traditie is er geen expliciete opdracht voor het onderwijs. Sociale competenties worden eerder gezien als een conditie voor leren via onderwijs dan als een leerdoel op zichzelf. In de schoolse context wordt het vooral opgevat als ‘onderwijsgeschikt gedrag’ (instructies opvolgen, aandacht richten, goed meedoen, je goed gedragen). Er is vooral aandacht voor kinderen die in 18

die competenties tekortschieten (deficiënties); het antwoord daarop zijn trainingen of behandelingen die los staan van het kerncurriculum van de school. De tweede traditie is die van burgerschapsvorming (citizenship education). Hierin gaat het om de vraag wat er nodig is om een goed burger te zijn of te worden en wat een jongere daarvoor moet leren. Binnen deze traditie gaat het niet om normen voor een ‘gezonde’ ontwikkeling maar om maatschappelijk gedefinieerde normen: het gaat om wat je moet kunnen om te participeren in de samenleving, in het bijzonder in een moderne, democratisch georiënteerde samenleving. Ook in deze traditie staan zulke normen niet vast, omdat maatschappelijke eisen evolueren. Vooral vanuit het perspectief van democratic education wordt benadrukt dat het niet alleen gaat om kennis, maar ook en of zelfs juist om houdingen, zoals bereid zijn tot dialoog, perspectief van de ander willen zien, kritische bijdrage willen leveren, eigen mening willen ontwikkelen. Vanuit deze invalshoek zijn sociale competenties wel een leerdoel binnen het onderwijs. Het onderwijs moet er mede voor zorgen dat leerlingen worden voorbereid op goed burgerschap (participeren in de samenleving in brede zin). Dat leer je niet uit een boek maar vooral al doende, en de school is bij uitstek geschikt als sociale oefenplaats. Het gaat daarbij om wat alle leerlingen moeten leren en niet alleen om het opsporen en ‘repareren’ van deficiënties. De tweede traditie is dan ook doelgerichter dan de eerste. Relevant zijn verder de onderscheidingen die Ten Dam & Volman maken in dimensies van sociale competentie. In de eerste plaats gaat het dan om het onderscheid tussen intrapersoonlijke, interpersoonlijke en maatschappelijke competenties. Meestal wordt, aldus Ten Dam & Volman, in de onderzoeksliteratuur over sociale competenties het accent gelegd op interpersoonlijke competenties. In het sociale domein gaat het immers vooral om competenties in omgaan met anderen: samenwerken, relaties kunnen onderhouden, gezamenlijk problemen oplossen en dergelijke. De intrapersoonlijke competenties gaan, zoals we hiervoor al hebben aangeduid, meer over kwaliteiten die iemand als persoon moet hebben om aan het sociale verkeer te kunnen deelnemen, zoals zelfrespect, zelfcontrole, zelfregulatie, zelfvertrouwen, zelfkennis. Deze ‘kwaliteiten’ kunnen dus ook worden gezien als voorwaarden voor de interpersoonlijke competenties. De maatschappelijke competenties tenslotte hebben betrekking op wat nodig is om in meer brede 19

zin te participeren in de samenleving en daaraan een kritische bijdrage te leveren. Het gaat bijvoorbeeld om democratische houding, inzicht in functioneren van de samenleving, kunnen omgaan met verschillen, willen bijdragen aan de gemeenschap. De tweede dimensie is het al eerder genoemde onderscheid tussen kennis, houding, vaardigheden en reflectie. De component reflectie verdient hierbij nog enige toelichting. Zoals eerder vermeld wordt deze niet algemeen gezien als een onderdeel van het begrip competentie, maar Ten Dam en Volman kiezen er in navolging van Rychen & Salganik (2003) voor om dat wel te doen. De gedachte hierachter is dat het er bij sociale competenties niet alleen om gaat dat iemand leert om sociale taken volgens normen van anderen (maatschappelijke normen) goed uit te voeren, maar ook om het zelf nadenken over die normen, over daarin te maken eigen keuzes en om het kunnen leveren van een kritische bijdrage aan de samenleving. Zeker in de moderne samenleving, waarin omgaan met onzekerheden en persoonlijke keuzes kunnen maken belangrijke voorwaarden voor goed maatschappelijk functioneren zijn geworden (dit wordt ook wel genoemd als onderdeel van advanced skills, zie bij 2.5), is reflectievermogen essentieel. De combinatie van beide dimensies leidt tot een door Ten Dam e.a. opgestelde matrix, waarin elementen van sociale competentie geordend kunnen worden. In de cellen van die matrix is weergegeven wat op grond van het review uit 2003 (Sociale competentie langs de meetlat) als belangrijk is aangetroffen, dat wil zeggen genoemd in of afgeleid uit de onderzoeksliteratuur tot dat moment. Met de kennis van nu zou die vulling van de cellen wel wat aangepast kunnen worden. Maar de matrix als zodanig is nog goed bruikbaar voor het ordenen van meetinstrumenten of delen van meetinstrumenten. In figuur 2.2 is de matrix weergegeven. In de figuur zijn ook de interpersoonlijke competenties opgenomen, deze maken deel uit van de oorspronkelijke matrix. We hebben echter eerder betoogd dat we hierop in deze studie niet de nadruk zullen leggen, omdat we ze beschouwen als de voorwaarden voor de meer essentiële sociale competenties, namelijk het interpersoonlijke en maatschappelijke domein. In hoofdstuk 3 wordt dit nog verder besproken.

20

Figuur 2.2 Schema Sociale Competentie Ten Dam e.a. (2003)

1

Houding

Intrapersoonlijk Zelfvertrouwen

Interpersoonlijk Maatschappelijk vertrouwen in anderen democratische houding

Zelfrespect

anderen respecteren betrokkenheid bij anderen

gelijkheid/gelijkwaardigheid rechtvaardigheid/zorg

verantwoordelijkheid willen nemen voor eigen handelen

verantwoordelijkheid willen nemen voor relaties met anderen

verantwoordelijkheid voor de samenleving willen nemen/ willen participeren

eigen koers durven varen

dialoog met anderen willen aangaan

ieders stem willen horen

2

Kennis

Zelfkennis

kennis van sociale regels en omgangsvormen

kennis van de samenleving

3

Reflectie

kritisch inzicht4 in de wensen, mogelijkheden, beweegredenen van jezelf

inzicht in de wensen, mogelijkheden, beweegredenen van anderen

inzicht in de sociale structuur van de samenleving

inzicht in groepsprocessen

inzicht in sociale processen (in- en uitsluiting)

inzicht in het effect van het eigen handelen op anderen

inzicht in de invloed van de sociale structuur van de samenleving op intra- en interpersoonlijk functioneren inzicht in de eigen handelings(on)mogelijkheden m.b.t. de sociale structuur van de samenleving

4

Vaardigheden regulatievaardigheden sociaal(regulering van eigen communicatieve impulsen, zelfcontrole, vaardigheden zelfdisciplinering) van perspectief kunnen wisselen

4

met culturele verschillen en verschillen in maatschappelijke positie kunnen omgaan met sociale spanningen kunnen omgaan

Inzicht wordt vaak gebruik als synoniem voor of als een bepaalde invulling van kennis (begrip van). Dat is hier niet bedoeld. De term inzicht die Ten Dam en Volman gebruiken in de cellen bij reflectie moet opgevat worden als zelfstandig nadenken over eigen en andermans functioneren en over maatschappelijke aspecten van sociale interacties.

21

Typen instrumenten Sociale competenties kunnen op verschillende manieren worden gemeten. Zoals we later in dit rapport zullen zien, zijn surveys (schriftelijke vragenlijsten) die door jongeren zelf worden ingevuld de meest gebruikte vorm. Maar ook vragenlijsten waarin een ander dan de jongere zelf een oordeel geeft over zijn of haar competenties of gedrag zijn gebruikelijk (zoals vragenlijsten voor ouders of leerkrachten). Ook wordt wel gebruik gemaakt van gestructureerde observaties of van vignettenonderzoek. Voor de kennisaspecten zijn enkele toetsen ontwikkeld. In hoofdstuk 4 gaan we nader in op de voor- de nadelen van de verschillende soorten instrumenten.

2.3

Metacognitie

In de literatuur worden verschillende omschrijvingen, definities en operationalisaties van metacognitie aangetroffen. Meijer, Veenman en Van Hout – Wolters (2006) maakten onderscheid tussen oriëntatie en planning, execution of uitvoeren, monitoring, en evaluatie en elaboratie, waarbij uitvoeren niet als metacognitief wordt beschouwd. In de door Meijer et al. ontwikkelde taxonomie wordt gesproken over metacognitieve activiteiten omdat ze is gebaseerd op een kwalitatieve analyse van hardopdenkprotocollen van leerlingen die twee schoolse taken verrichtten. Veenman en Elshout (1999) definieerden metacognitieve vaardigheid als “systematische probleemaanpak”. De operationalisatie was in hun onderzoek het systematisch handelen van personen in een computer-gesimuleerde omgeving, waarin bepaalde problemen moesten worden opgelost, bijvoorbeeld betreffende de thermodynamica. Prins (2002) deed hetzelfde binnen een leeromgeving over optica. In dit type onderzoek worden hardopdenkprotocollen geanalyseerd om de mate van systematisch handelen vast te kunnen stellen. In onderzoek van Alexander en Schwanenflugel (1994) werden geheugenstrategieën geobserveerd en bevraagd ten einde de kwaliteit van het metacognitief handelen vast te kunnen stellen. Enkele onderscheidingen die in het domein metacognitie zijn aangebracht betreffen metacognitieve kennis, metacognitieve vaardigheid, metacognitieve regulatie en metacognitieve ervaring. Metacognitieve kennis is kennis over factoren die het verloop en de uitkomst van cognitief handelen bepalen, eventueel in interactie met elkaar. Metacognitieve vaardigheid behelst de beheersing van strategieën waarmee problemen kunnen worden opgelost. 22

Metacognitieve regulatie betreft het ordenen en plannen van het cognitieve handelingsrepertoire. Metacognitieve ervaringen betreffen bewuste gewaarwordingen tijdens intellectuele ondernemingen, zoals de plotselinge realisatie dat een probleem veel moeilijker oplosbaar is dan aanvankelijk leek (Efklides, 2006). Meijer et al. (2006) gebruiken in plaats van metacognitieve ervaring de term metacognitieve responsiveness of ontvankelijkheid, waarmee gedoeld wordt op de sensitiviteit voor interne terugkoppeling tijdens een leerproces. Metacognitieve ervaringen sluiten ook gedeeltelijk aan bij nog een andere stroming binnen het onderzoek naar metacognitie, die gericht is op de nauwkeurigheid van evaluaties van de eigen kennis en vaardigheid. Het betreft hier zelfevaluaties, zogenaamde feelings of knowledge, evaluations of learning en zelfvertrouwen (zie onder andere Stankov, 2000). Ten slotte zijn er nog enkele meer exotische operationalisaties van metacognitie in onderzoek gebruikt, zoals een doolhoftaak en het achterwaarts reproduceren van getalreeksen (Allon, Gutkin & Bruning, 1994). Naar een ordeningskader voor metacognitie Metacognitieve kennis verwijst naar kennis over het cognitieve repertoire, zoals declaratieve en procedurele kennis en kennis over strategieën. Metacognitieve vaardigheid verwijst onder andere naar het kunnen toepassen van oriëntatie, planning, monitoring en evaluatie bij complexe taken die niet met eenvoudige middelen kunnen worden opgelost. Dit komt erg in de buurt van zelfregulatie. Ten slotte is metacognitieve elaboratie de neiging om nader na te denken over ervaringen die zijn opgedaan tijdens de uitvoering van bepaalde taken. Voorbeelden zijn de overpeinzing waarom een bepaalde cognitieve strategie in de ene situatie wel werkt en in een andere niet. In figuur 2.3 staan de verschillende aspecten vermeld.

Figuur 2.3 Ordeningskader voor instrumenten op het terrein van metacognitie Metacognitie 1

Kennis

2

Vaardigheid

3

Regulatie

4

Ervaring

Kennis over eigen declaratieve en procedurele kennis, kennis over cognitieve strategieën (Zelf)regulatie (oriëntatie, planning, monitoring en evaluatie), systematische probleemaanpak, controle, sturing Het ordenen en plannen van het cognitieve handelingsrepertoire Metacognitieve ervaringen, elaboratie, ontvankelijkheid, zelfevaluatie

23

Typen instrumenten Aspecten van metacognitie kunnen op verschillende manieren worden gemeten: via toetsen, vragenlijsten of de al eerder genoemde hardopdenkprotocollen. Een voorbeeld van een toets is een toets voor algemene vaardigheden die Elshout – Mohr en Meijer (1996) construeerden voor leerlingen in het voortgezet onderwijs. De toets bevat onder meer items die metacognitieve vaardigheid beogen te meten. De onderscheiden algemene vaardigheden in deze toets zijn waarnemingen verrichten, samenvatten en conclusies trekken, opvattingen en overtuigingen herkennen, samenwerken, feiten en meningen onderscheiden, meningsvorming, eisen stellen aan eigen werk, en kiezen en ordenen van informatie. De toets bestaat geheel uit meerkeuzevragen. Bij de op metacognitie gerichte items moeten leerlingen laten zien dat zij bepaalde principes kunnen aanwenden om verklaringen te geven voor bepaalde gebeurtenissen of bepaald gedrag. Een voorbeeld is de ontwikkeling van kennis omtrent samenwerking. Veel leerlingen denken op jongere leeftijd dat het voornaamste principe omtrent samenwerking eerlijk delen is. Pas later komt het besef tot ontwikkeling dat ook andere overwegingen, zoals individuele competenties en het doel van de samenwerking, een belangrijke rol vervullen. De toets is later gebruikt in grootschalig cohortonderzoek en bleek valide (Meijer & Elshout – Mohr, 1999; Meijer, Elshout – Mohr en Van Hout – Wolters, 2001; Meijer, 2007). Vragenlijsten die metacognitieve kwaliteiten beogen te meten, zijn er in overvloed (onder andere Swanson, 1990; Paris & Jacobs, 1987; Schraw & Dennison, 1994; Pintrich & Smith, 1993; Meijer, Elshout – Mohr, Van Daalen – Kapteijns, Meeus & Tempelaar, 2006). Een bekend voorbeeld is de vragenlijst MSLQ van Pintrich en Smith (1993). Hierin wordt onderscheid gemaakt tussen vragen die motivatie beogen te meten en items voor het in kaart brengen van strategiegebruik. Onder cognitieve en metacognitieve strategieën worden herhaling, elaboratie, organisatie, kritisch denken en metacognitieve zelfregulatie gerekend. Elaboratie en zelfregulatie zijn metacognitief bij uitstek, herhaling en organisatie zijn meer cognitief van aard en kritisch denken wordt ook wel bij de advanced skills ondergebracht (zie verder). De lijst van Schraw en Dennison (1994) beoogt metacognitief bewustzijn te meten, onderverdeeld in metacognitieve kennis en regulatie van cognitie. De lijst van Meijer, Elshout – Mohr, Van Daalen – Kapteijns, Meeus en Tempelaar (2006) is gericht op het meten van de metacognitieve kwaliteiten van studenten in het hoger onderwijs, bestaande uit metacognitieve kennis, metacognitieve regulatie 24

en metacognitieve ontvankelijkheid. Deze vragenlijst is voornamelijk gebruikt om effecten van gebruik van portfolio in het hoger onderwijs vast te kunnen stellen (Meeus, 2008).

2.4

Advanced skills

De term ‘advanced skills’ is nog niet zo lang in zwang. De term verwijst naar vaardigheden die nodig zijn om succesvol deel te kunnen nemen aan de huidige kenniseconomie (o.a. Allen & Van der Velden, 2011). Door verschillende ontwikkelingen in de afgelopen decennia, deels van technologische aard (met name op het gebied van ICT), zijn de vaardigheden die nodig zijn om succesvol deel te kunnen nemen en deel te kunnen blijven nemen aan de maatschappij sterk veranderd. Voogt & Pareja Robin (2010) wijzen in dit verband op de verschuiving van een nadruk op meer feitelijke en procedurele kennis naar meer conceptuele kennis en metacognitie, door de verandering van een industriële naar een kenniseconomie. Advanced skills wordt gebruikt als verzamelterm voor deze ‘geavanceerde’ competenties. Een andere term die veelal gebruikt wordt en die verwijst naar het toekomstgerichte karakter van deze competenties is 21th century skills. Deze term is echter minder gelukkig, omdat de meeste van deze competenties niet per se nieuw zijn. Het gaat veeleer om al bekende competenties die aan belang winnen naarmate de samenleving complexer wordt en hogere eisen stelt aan de deelnemers aan die samenleving. Wij gebruiken daarom in dit rapport liever alleen de term advanced skills. Er is toenemende aandacht voor de discussie over hoe het onderwijs, ook het basis- en voortgezet onderwijs, op die veranderingen in de samenleving zou kunnen/moeten inspelen. Centrale vragen die daarbij gesteld worden zijn welke eisen de (toekomstige) arbeidsmarkt stelt, hoe het onderwijs daar optimaal op kan voorbereiden en wat en hoe geleerd moet worden om in de huidige en toekomstige tijd succesvol te zijn. Over welke competenties het precies gaat is, zeker op meer detailniveau, niet veel overeenstemming. Wel kan een algemene set van vaardigheden worden aangewezen die in de meeste studies en daarin gehanteerde modellen terugkomen. Op basis van een analyse van 32 documenten concluderen Voogt & Pareja Robin (2010) dat in vrijwel alle modellen onderstaande ‘skills’ genoemd worden:

25

•

samenwerking;

•

communicatie;

•

ICT geletterdheid;

•

sociale en/of culturele vaardigheden (inclusief burgerschap);

•

creativiteit;

•

kritisch denken;

•

probleemoplossingsvaardigheden;

•

productiviteit.

In sommige van de 32 door Voogt en Pareja Robin geanalyseerde studies wordt daarnaast verwezen naar leervaardigheden, self-management, plannen, flexibiliteit, metacognitieve vaardigheden, de bereidheid om risico’s te nemen en leiderschap. Ook persoonseigenschappen als autonomie en nieuwsgierigheid worden wel genoemd (Instituto Ayrton Senna, 2012). Alternatieve omschrijvingen die voor dit type competenties worden gehanteerd zijn ‘lifelong learning competencies’ of ‘key skills/competencies’ (o.a. Rychen & Salganik, 2003). De term skills wordt over het algemeen vertaald met vaardigheden. Feitelijk worden echter vaak competenties bedoeld, dus het samenspel van kennis, vaardigheden, houding en (soms) reflectie. Het ministerie van OCW is in de ontwikkeling van deze competenties geïnteresseerd vanwege de ambitie om tot de top vijf kenniseconomieën in de wereld te behoren. Daarvoor wordt beheersing van dit type competenties door zoveel mogelijk jongeren en volwassenen als noodzakelijk beschouwd. Vanwege de concurrentie met andere landen is bovendien inzicht nodig in het niveau van deze skills van Nederlandse scholieren in vergelijking met scholieren in andere landen. Een ambitie is bijvoorbeeld dat Nederlandse 15jarigen hoog scoren op de prestatiemetingen in PISA, waarin een beperkte meting van advanced skills is opgenomen. Naar een ordeningskader van advanced skills In dit project is het de bedoeling om te inventariseren welke (in eerste instantie Nederlandstalige) meetinstrumenten er zijn op het gebied van advanced skills gericht op de bovenbouw van het basisonderwijs en het voortgezet onderwijs. Hiervoor is het van belang om te zorgen voor afbakening ten opzichte van de twee andere competenties in dit project: sociale competenties en metacognitie. Zoals hierboven aangegeven, worden ook (aspecten van) sociale competenties en metacognitie tot de advanced skills gerekend. Aangezien we 26

meetinstrumenten gericht op deze competenties al apart inventariseren, doen we dat niet onder de noemer advanced skills.. Dat wil uiteraard niet zeggen dat het geen advanced skills zijn (men rekent ze daar immers toe), maar ze worden in dit rapport uit praktische overwegingen besproken onder de noemers sociale competenties en metacognitie. Slechts enkele studies naar advanced skills hebben het meten ervan expliciet als onderwerp. Een veel geciteerde studie betreft het ‘Assessment and Teaching of 21st Century Skills’ project (ATCS21) op initiatief van Cisco, Intel en Microsoft. In deze studie is een indeling gemaakt voor deze skills in vier typen (Binkley e.a., 2010): (a) Manieren van denken Hiertoe worden gerekend: 1.

creativiteit, zelf kennis construeren, innovatief denken

2.

kritisch denken**, probleemoplossen**, beslissingen nemen**

3.

leren leren**, metacognitie**

(b) Manieren van werken Hiertoe worden gerekend: 4.

communiceren*

5.

samenwerken*

(c) Instrumenten hanteren Hiertoe worden gerekend: 6.

informatieverwerking

7.

ICT-geletterdheid

(d) Functioneren in de samenleving Hiertoe worden gerekend: 8.

burgerschapscompetenties*

9.

carrière (plannings- en managementvaardigheden**, omgaan met onzekerheden en veranderingen, zelfgestuurd leren**)

10. persoonlijke en maatschappelijke verantwoordelijkheid*. Achter de skills die (eveneens) vallen onder sociale competenties is één sterretje gezet en achter de skills die (eveneens) vallen onder metacognitie twee sterretjes. Het zijn met name skills 1, 6 en 7 die niet ook al onder sociale competenties en metacognitie vallen (zoals hiervoor beschreven). .

27

Voor het maken van een schema voor het ordenen van instrumenten op het gebied van advanced skills, is het van belang om niet een te groot detailniveau te hanteren. Er worden namelijk vaak verschillende termen gehanteerd voor dezelfde begrippen en begrippen worden verschillend geoperationaliseerd (zie ook Voogt & Pareja Robin, 2010). Bij het construeren van een ordeningsschema hebben we ernaar gestreefd om aan te sluiten bij het schema voor sociale competenties. De daarin gebruikte indeling in houding, kennis, vaardigheden en reflectie is ook geschikt voor de indeling van instrumenten op het gebied van advanced skills. In verschillende advanced skills-modellen wordt een dergelijk onderscheid gemaakt. Zo onderscheiden Binkley e.a. binnen elke skill de aspecten kennis, attitude en vaardigheden. In een andere studie, specifiek gericht op natuurwetenschappelijk onderwijs, worden eveneens de aspecten kennis, attitude en vaardigheden onderscheiden (Ruiz-Primo, 2009; Hilton, 2010). Vaardigheden worden in dit project aangeduid als crossfunctionele vaardigheden. Het gaat hierbij om vaardigheden waarvan het waarschijnlijk is dat ze in meerdere domeinen gebruikt worden. Dit type vaardigheden is bij uitstek waar het bij advanced skills om gaat. Vandaar dat we dit specifiek benoemen in het ordeningskader. De component reflectie wordt in advanced skills modellen vaak niet apart benoemd, maar wel gerekend tot de vaardigheden (zie o.a. Binkley e.a.). Het vormt echter de kern binnen de indeling gemaakt in het DeSeCo project (Definition and Selection of Competencies, OECD; zie Rychen & Salganik, 2003), die veel verwantschap vertoont met de indeling van het ATCS21-project. In het DeSeCo project is het uitgangspunt dat het vermogen om reflectief te denken en handelen het gebruik van metacognitieve strategieën, creativiteit en kritisch denken impliceert en dat het afstand nemen van sociale druk, wisselen van perspectief, onafhankelijk oordelen en verantwoordelijkheid nemen voor eigen acties vereist. We hebben het daarom als aparte component in het ordeningskader opgenomen. In figuur 2.4 is het ordeningskader voor meetinstrumenten op het terrein van advanced skills weergegeven. De skills die tussen haakjes zijn gezet behoren ook tot het domein van sociale competenties en metacognitie.

28

Figuur 2.4 Ordeningskader voor instrumenten op het terrein van advanced skills

1

Houding

2

Kennis

3

Vaardigheden

4

Reflectie

Advanced skills (complexe, cross-functionele taken) aanpassingsvermogen, flexibiliteit, omgaan met onzekerheden (persoonlijke en maatschappelijke verantwoordelijkheid*) ICT en media geletterdheid manieren van werken: probleemoplossen, complexe communicatie (samenwerking*) instrumenten hanteren: ICT en mediavaardigheden functioneren in de samenleving: (burgerschapscompetenties*) (plannings- en managementvaardigheden**, zelfgestuurd leren**) manieren van denken (leren leren**, metacognitie**) manieren van denken: creativiteit en innovatief denken (kritisch denken**, probleemoplossen**, beslissingen nemen**)

Typen instrumenten Voorbeelden van meetinstrumenten voor advanced skills, voor zover niet al gedekt door sociale competenties en metacognitie, zijn er nog maar weinig. Wel zijn er verschillende internationale projecten waarin de vraag naar meetinstrumenten (ook) aan de orde is. Om een indruk te geven van het type instrumenten geven we hier een korte beschrijving van die projecten. Dat geeft tevens verder inzicht in de variatie in opvattingen van wat tot het domein van de advanced skills behoort. Learning to learn In het kader van een project over leren leren van de Europese Commissie is onderscheid gemaakt tussen het cognitieve en het affectieve domein (Bonnet et al., 2006). Het cognitieve domein bestaat uit vier dimensies: 1. Identificeren van proposities; 2. Gebruik maken van regels; 3. Toetsen van regels en proposities; 4. Gebruiken van mentale werktuigen (tools). Het affectieve domein bestaat uit drie dimensies: 1. Motivatie om te leren, leerstrategieën en de oriëntatie jegens verandering; 2. Academisch zelfconcept en zelfachting; 3. De leeromgeving. 29

Daarnaast is er nog een facet betreffende metacognitie, dat onderverdeeld is in monitoring, nauwkeurigheid en zelfvertrouwen (Hoskins & Frederiksson, 2008; Hoskins & Deakin Crick, 2008). Voor het cognitieve domein zijn toetsitems gemaakt en overgenomen uit bestaand instrumentarium. Voor het affectieve domein is een vragenlijst gemaakt. Het resulterende instrument is in Europa in diverse landen in een vergelijkende studie afgenomen. PISA Advanced skills worden zoals vermeld ook vaak opgevat als competenties die voor een goed functioneren in het moderne digitale tijdperk nodig zijn. Binnen het PISA-onderzoek werd een zogenaamde digital reading scale ontwikkeld, die beoogt te meten hoe efficiënt 15-jarige leerlingen op het world wide web navigeren. Voor het voldoen aan een navigatieopdracht moesten leerlingen een vraag beantwoorden waarvoor eerst relevante pagina’s op het internet moesten worden gevonden. Er werden drie indices gehanteerd om tot een score te komen voor de kwaliteit van het navigeren: 1) aantal bezochte pagina’s; 2) aantal bezoeken aan relevante pagina’s en 3) aantal relevante pagina’s dat werd bezocht. ICILS Daarnaast wordt door de Universiteit Twente in opdracht van IEA en Kennisnet gewerkt aan de Nederlandse pilot voor de International Computer and Information Literacy Study (ICILS), die in 2013 zal worden uitgevoerd. Ofschoon het Nederlandse deel nog in een pilotfase verkeert, zijn er in Australië al proefmetingen verricht, waarvoor opdrachten zijn ontwikkeld, die nu als voorbeelden kunnen dienen. Op de website van ICILS is een demonstratievideo beschikbaar van een dergelijke taak. De leerlingen krijgen opdracht om een plan te maken voor tuinbouwkassen bij hun school. Daartoe moeten ze met Excel een begroting opzetten voor twee typen kassen, een winstrekening maken en tenslotte een memo schrijven aan het schoolhoofd met het doel hem ervan te overtuigen om zijn steun te geven aan het project. Er moeten dus verschillende ICT toepassingen worden gebruikt om het beoogde doel te bereiken. De taak is ingebed in een levensechte context en het laatste deel van de taak is complex en kan door leerlingen op verschillende manieren worden ingevuld.

30

ATC21S Aan de universiteit van Melbourne wordt gewerkt aan het project Assessment and teaching of 21st century skills (ATC21S). Deze vaardigheden worden gedefinieerd als het leren samenwerken met anderen door zich met hen te verbinden met behulp van technologie in een op kennis gebaseerde samenleving. In dit project baseert men zich op de hiervoor genoemde indeling in denkwijzen, werkwijzen, werktuigen en maatschappelijke competenties. Het project is op dit moment in een concretere fase beland met de ontwikkeling van twee competentiegebieden die de eerder genoemde domeinen omvatten. Het gaat om samenwerkend probleemoplossen en ICT geletterdheid, i.e., het leren in digitale netwerken. Innovative schools program In het Microsoft Innovative schools program wordt een aantal scholen gevolgd bij hun pogingen hun onderwijs te moderniseren en aan te passen aan deze eeuw (Shear, Means, Gorges, Toyama, Gallagher, Estrella et al., 2009). De onderzoekers constateren dat technologiegebruik door leerlingen om hogere orde leerdoelen te bereiken is geassocieerd met meer innovatieve leeromgevingen. Tegelijkertijd stellen zij echter ook vast dat er tussen de betrokken scholen een grote mate van variatie bestaat wat betreft de mate waarin zij innovatief zijn. De auteurs leggen de nadruk op de volgende 21e eeuw competenties: •

Kennisconstructie

•

Samenwerken

•

Probleemoplossen en innovatie

•

Zelfregulatie

•

Gebruik maken van algemene tools en perspectieven (inclusief ICT)

Met behulp van lesobservaties is nagegaan in hoeverre aspecten van innovatief leren en onderwijzen op de scholen in praktijk zijn gebracht. Op de betrokken scholen bleek dat nogal tegen te vallen. Meestal werd bijvoorbeeld volstaan met slechts enige constructie van kennis door de leerlingen. Voor een adequate toetsprestatie kon in het algemeen worden volstaan met reproductie van informatie. Ook werd er veelal slechts aan één aspect van zelfregulatie gewerkt, zoals het vooraf verstrekken van toetscriteria aan leerlingen of het geven van bijtijdse terugkoppeling zodat leerlingen hun werk adequaat konden reviseren. Het geven van peer feedback en terugkoppeling door de leerkracht kwam in 31

69% van de geobserveerde lessen voor, maar performance assessment en portfoliogebruik slechts in 14% van deze lessen. Over toetsing van geavanceerde competenties bestaat nog niet zoveel duidelijkheid. Er wordt gepleit voor gestandaardiseerde toetsing van hoge kwaliteit, het inbedden van terugkoppeling in alledaags leren, formatieve- en summatieve toetsing ondersteund door technologie, en portfoliogebruik, onder andere ten bate van opleiders en werkgevers. Merkwaardigerwijs wordt bij portfoliogebruik niet gewezen op de potentieel gunstige effecten op metacognitieve kwaliteiten van de gebruiker zelf (Elshout-Mohr, DaalenKapteijns, Meijer, & m.m.v. Kösters, 2004). Recent is er aandacht voor zogenaamde rubrics of rubrieken als evaluatieinstrument voor het meten van complexe competenties. In het door Microsoft Partners in Learning ondersteunde 21st Century Learning Design zijn rubrieken ontwikkeld voor leeractiviteiten. De rubrieken zijn in het algemeen hiërarchisch geordend. Bij kennisconstructie is het eerste niveau bijvoorbeeld of er überhaupt sprake is van kennisconstructie, op het tweede niveau is kennisconstructie de belangrijkste vereiste, op het derde niveau passen studenten hun verworven kennis toe in een nieuwe context en op het hoogste niveau is de leeractiviteit bovendien interdsiciplinair. Bij zelfregulatie bestaat de rubriek uit de volgende niveaus: 1. activiteiten op de lange termijn, leerdoelen en successcriteria; 2. planning; 3. gelegenheid tot revisie. Bij het gebruik van ict is de rubriek als volgt opgebouwd: 1. gebruik van ict; 2. ondersteuning van kennisconstructie door ict; 3. deze ondersteuning door ict is een vereiste; 4. leerlingen ontwerpen een ict-product gericht op een specifieke gebruikersgroep. Deze voorbeelden laten zien dat het gebruik van rubrieken interessante mogelijkheden biedt voor de toetsing van complexe competenties. Ook is er aandacht voor competenties gericht op de levensloop en loopbaan, soms meer specifiek op ondernemerschap. Voor het meten van ondernemerschap (entrepreneurial self-efficacy) zijn vragenlijsten gemaakt, waarin naar het vertrouwen in verschillende ondernemingsactiviteiten wordt gevraagd, zoals het identificeren van zakelijke mogelijkheden, creëren van nieuwe producten, creatief denken, en het vermarkten van nieuwe ideeën en ontwikkelingen (Zhao, Seibert, & Hills, 2005). Chen, Greene, en Crick (1998) maakten daarvoor een langere vragenlijst, waarin zij vijf factoren

32

identificeerden: marketing, innovatie, management, risico nemen en financiële controle. Informatievaardigheden, internet vaardigheden Timmers en Glas (2010) construeerden een vragenlijst voor het meten van gedrag bij het opzoeken van informatie. Oorspronkelijk gingen zij er vanuit, dat dit gedrag multidimensioneel is en bestaat uit de volgende zes componenten: 1) het definiëren van het probleem, waarvoor informatie moet worden ingewonnen; 2) gebruik van bronnen; 3) toepassen van zoekstrategieën; 4) evaluatie van informatie; 5) verwijzen naar informatie; en 6) regulatieactiviteiten. Na factoranalyse en analyses met behulp van item-response modellen bleven alleen items voor de laatste vier componenten over. Ofschoon de vragenlijst voornamelijk betrekking heeft op het opzoeken van informatie op internet, was dit niet de enig mogelijke bron. Ook informatie uit boeken, tijdschriften en kranten of informatie verkregen van personen in de omgeving van de respondent komen aan de orde. Dat is niet het geval bij het werk van Van Deursen en Van Dijk (2010), die een instrument ontwierpen om internet vaardigheden te meten. Het instrument bestaat uit opdrachten voor het meten van vier typen internet vaardigheden: 1) operationeel (bijvoorbeeld het bookmarken van een website); 2) formeel (bijvoorbeeld het gebruik van hyperlinks en vermijden van desoriëntatie); 3) informatie (bijvoorbeeld selecteren van informatie) en 4) strategisch (bijvoorbeeld het ondernemen van de juiste actie om een doel te bereiken). Leeftijd was een belangrijke predictor voor operationele- en formele vaardigheid, maar nauwelijks voor informatie- en strategische vaardigheid. Hoe ouder, hoe minder taken werden afgekregen en hoe langer de participant er over deed. Genoten onderwijs was een belangrijke predictor voor alle vier typen vaardigheid. Hoe hoger het onderwijsniveau, hoe meer taken voltooid werden en hoe sneller het ging. Op grond van deze voorbeelden kan er in elk geval worden geconcludeerd dat er bij het toetsen van geavanceerde competenties gestreefd wordt naar het gebruik van complexe, authentieke taken die ingebed zijn in realistische contexten. Het voordeel daarvan is natuurlijk dat dergelijke vormen van assessment een grote mate van overeenkomst vertonen met de omgevingen, waarin leerlingen later zullen moeten functioneren. Het beoordelen van de resultaten van dergelijke vormen van toetsing is echter ook een complexe

33

aangelegenheid. Er zal bijvoorbeeld zelden alleen met meerkeuzevragen kunnen worden gewerkt.

34

3

Criteria voor de beoordeling en selectie van instrumenten

In het vorige hoofdstuk zijn enkele inperkingen aangegeven waarmee we in deze studie instrumenten hebben gezocht en bekeken. In dit hoofdstuk gaan we daar verder op in en formuleren we criteria voor het beoordelen van instrumenten. We grijpen daarbij deels terug op het theoretisch kader, maar brengen ook nieuwe elementen in. Een deel van de criteria is uitsluitend pragmatisch gemotiveerd. Breedte van het zoekdomein Over de breedte van het zoekdomein is uitvoerig gesproken met de begeleidingscommissie. Het belangrijkste onderwerp daarbij was de vraag of het intrapersoonlijke domein ook meegenomen zou moeten worden. Verschillende overwegingen speelden daarbij een rol. Zo is het Ministerie geïnteresseerd in alle instrumenten die niet traditionele schoolkennis meten maar die wel een relatie hebben met leerprestaties. Hierbij horen zeker ook intrapersoonlijke aspecten, te denken valt aan zelfvertrouwen/self-efficacy, zelfregulatie, zelfbeeld, intelligentie, impulscontrole, locus of control en de Big Five. We hebben er echter voor gekozen om deze aspecten buiten beschouwing te laten. De belangrijkste reden daarvoor is dat opname hiervan het zoekterrein veel te breed zou maken. Over deze concepten zijn immers vele studies verschenen en vele meetinstrumenten ontwikkeld, zeker voor de intrapersoonlijke aspecten die relevant zijn voor sociale competenties en metacognitie. Systematisch opnemen hiervan was niet haalbaar binnen de voor het onderzoek beschikbare tijd. Conform de onderzoeksopdracht (zie de onderzoeksvragen in hoofdstuk 1) hebben we ons daarom geconcentreerd op

35

de interpersoonlijke en maatschappelijke aspecten en hebben we geen instrumenten geselecteerd voor intrapersoonlijke aspecten. Wel hebben we op verzoek van het Ministerie nog een aparte search uitgevoerd voor het concept self-efficacy. Het Ministerie was hierin erg geïnteresseerd en wilde graag weten of een systematische search inderdaad een te grote hoeveelheid publicaties zou opleveren, zoals de verwachting van de onderzoekers was. De uitkomsten daarvan staan in bijlage 2. Inderdaad blijkt dit begrip erg veel (te veel) treffers op te leveren in een search, niettemin kon toch wel wat bruikbare kennis over begrip en instrumenten bijeen worden gezet. Om iets dergelijks ook te doen voor andere van de hierboven genoemde voorbeelden biedt dit onderzoek echter niet genoeg tijd en budget. Een tweede reden om het zoekdomein niet te breed te laten worden is van conceptuele aard. We hebben ons laten leiden door de omschrijvingen van sociale competenties, metacognitie en advanced skills zoals gegeven in het vorige hoofdstuk. Begrippen die buiten dit domein vallen zijn daarom niet meegenomen. Dat geldt bijvoorbeeld voor een begrip als motivatie. Hoe relevant ook in en voor onderwijs, motivatie is geen sociale competentie, geen metacognitie, noch een advanced skill. Dat geldt ook voor begrippen als zelfbeeld en (cognitief) zelfvertrouwen.. Soms wordt zelfvertrouwen weliswaar als deel van metacognitie opgevat, maar dan gaat het specifiek om taxaties van de juistheid van gegeven antwoorden (Stankov, 2000). Hierbij gaat het om het idee dat metacognitie draait om het adequaat kunnen evalueren van de eigen beschikbare kennis en vaardigheid, het eigen leerproces, en wat dies meer zij (feelings of knowledge, evaluations of learning). Dat is dus iets anders dan de meer algemene concepten zelfbeeld en zelfvertrouwen. Geen ‘traits’ Het onderscheid tussen trait en state dat in het vorige hoofdstuk is gemaakt gebruiken we ook bij de beoordeling van instrumenten. We beschouwen alleen instrumenten die op state kenmerken zijn gericht als bruikbaar, dat wil zeggen relevant voor gebruik in het onderwijs of voor evaluatie van onderwijs. Hoewel dit principe op zichzelf helder is, is het in de praktijk moeilijk om hier duidelijke grenzen aan te geven. Sommige ‘trait’eigenschappen van personen zijn immers wel (deels) beïnvloedbaar door onderwijs. Voorbeelden zijn geduld, initiatief durven nemen, inlevingsvermogen. Leerkrachten kunnen daar ook daadwerkelijk mee bezig zijn en er (voor individuele leerlingen) doelen op formuleren. Omdat we in dit onderzoek vooral gericht waren op 36

onderwijsdoelen die gelden voor alle leerlingen, zijn we nagegaan of een selectiecriterium voor instrumenten zou kunnen zijn het al dan niet passen van het instrument bij de officiële kerndoelen van het onderwijs. In de Wet op het Primair Onderwijs staan bijvoorbeeld in de Preambule zeven onderwijsdoelen in het sociale domein (zie Kuhlemeier e.a., 2012): -

goede werkhouding

-

reflectie op eigen handelen en leren

-

uitdrukken van eigen gedachten en gevoelens

-

respectvol luisteren en kritiseren van anderen

-

ontwikkelen van zelfvertrouwen

-

verwerven en verwerken van informatie

-

respectvol en verantwoordelijk omgaan met elkaar.

Het is duidelijk dat dit conceptueel nogal een diverse opsomming is, die niet veel houvast geeft bij het beoordelen van de vraag of ‘traits’ tot de onderwijsdoelen behoren. We zijn daarom op dit punt uiteindelijk slechts afgegaan op ons eigen oordeel over wat wel en niet tot onderwijsdoelen voor alle leerlingen zou kunnen behoren. Over het algemeen hebben we bij instrumenten die aspecten van de Big Five meten geoordeeld dat dit ‘trait’ metingen zijn die niet bij ons domein van onderzoek horen. Diagnostische instrumenten Een deel van de instrumenten die worden aangetroffen bij het gebruik van zoektermen in het sociale domein zijn instrumenten voor gebruik in klinische settings, zoals de psychopathologie en psychiatrie. Dergelijke instrumenten zijn sterk gericht op individuele diagnostiek (van afwijkingen of stoornissen) en vallen daardoor buiten de hier gehanteerde opvatting met betrekking tot sociale competenties. Een grensgebied hierbij vormen instrumenten die bedoeld zijn om allerlei soorten probleemgedrag te meten. Deze kunnen heel functioneel zijn voor onderwijsdoeleinden, omdat omgaan met probleemgedrag een alledaagse werkelijkheid is voor docenten en het ‘opvoeden tot beter gedrag’ eveneens. Een standpunt zou kunnen zijn dat de aanwezigheid van probleemgedrag een ‘proxy’ is voor de aanwezigheid van sociale competenties, of liever gezegd voor de afwezigheid daarvan. In de Balans van de sociale opbrengsten in het basisonderwijs van het Cito (Kuhlemeier e.a., 2012) is om deze reden probleemgedrag opgenomen als één van de in dat rapport onderscheiden 37

aspecten van sociale competenties. Hoewel hier iets voor te zeggen valt, kiezen we toch niet voor dit standpunt. Het valt immers moeilijk vol te houden dat de omgekeerde redenering dan ook geldig zou zijn, namelijk dat kinderen die geen probleemgedrag vertonen ‘dus’ sociaal competent zijn. Meetinstrumenten voor sociale competenties moeten in onze ogen aspecten van prosociaal gedrag meten, zoals genoemd in het ordeningskader van Ten Dam e.a. (zie hoofdstuk 2). Een algemeen bekend instrument als de SDQ (Strengths and Difficulties Questionnaire), dat verschillende subschalen heeft, is volgens deze redenering geschikt voor wat betreft de subschaal prosociaal gedrag en ongeschikt voor wat betreft de subschaal antisociaal gedrag. Het bestrijden van probleemgedrag in de klas is wel iets dat leerkrachten doen, en moeten doen, maar dat is dan sterk gericht op individuele kinderen en niet een algemeen onderwijsdoel op het sociale domein. Een onderwijsdoel is, zoals we eerder al aangaven, in principe altijd gericht op alle kinderen. Instrumenten die probleemgedrag meten hebben we derhalve niet opgenomen in de selectie op. Overigens zijn dit ook meestal instrumenten die klinisch van aard zijn (dat wil zeggen screeningsinstrumenten om kinderen die zorg of behandeling behoeven te identificeren). Waarden en normen Een klein deel van de gevonden instrumenten heeft betrekking op waarden, normen, morele opvattingen. We hebben er voor gekozen om ook deze buiten beschouwing te laten. In de eerste plaats omdat ze niet (direct) blijken te gaan over de aspecten die in de verschillende ordeningskaders zijn genoemd, en dus buiten ons domein vallen. In de tweede plaats omdat ze intrapersoonlijk zijn, en zoals eerder aangegeven richten we ons daar in dit onderzoek niet op. Hoewel persoonsvorming en morele ontwikkeling wel degelijk onderwijsdoelen kunnen zijn (zie bijvoorbeeld Dijkstra, 2012), hebben we ze dus om bovengenoemde redenen niet in de selectie opgenomen. Sociale veiligheid en school- en klasklimaat Sommige instrumenten die onder de noemer ‘sociale competenties’ worden aangetroffen gaan over de mate waarin leerlingen zich veilig voelen op school/in hun klas, en/of over de mate waarin ze een goede relatie hebben met de leerkracht of hun klasgenoten, en/of over andere aspecten van het schoolen klasklimaat. Deze instrumenten gaan in feite over condities waaronder op school kan worden geleerd, ook in sociaal opzicht. De inspectie gaat onder 38

meer op dit type informatie af bij het beoordelen van resultaten die scholen kunnen laten zien op het gebied van sociale competenties. In het onderzoek van het Cito naar sociale opbrengsten in het basisonderwijs (Kuhlemeijer e.a, 2012) zijn ook metingen op dit gebied opgenomen. In de eerdere inventarisatie van meetinstrumenten voor sociale competenties ( Ten Dam e.a, 2003) zijn instrumenten van dit type ook in de beschrijving meegenomen. In dit onderzoek is er voor gekozen om dat niet te doen. De reden daarvoor is dat deze instrumenten voorwaarden voor (ontwikkeling van) sociale competenties meten en niet de competenties zelf. Ze meten kenmerken van de school of de klas, via oordelen van de leerlingen. Hoe relevant ze daarmee ook kunnen zijn bij het beoordelen van schoolkwaliteit op het sociale en pedagogische domein (daarvoor gebruikt de inspectie ze ook), ze geven geen directe informatie over de sociale ‘skills’ van leerlingen. En daartoe hebben wij ons in dit onderzoek beperkt. Praktische argumenten Er zijn ook niet-inhoudelijke selectiecriteria. Deze vloeien deels voort uit de onderzoeksopdracht en deels uit beperkingen van het onderzoek. We hebben ons beperkt tot instrumenten die ontwikkeld zijn voor leerlingen van acht tot achttien jaar, een ruime operationalisatie van de doelgroep volgens de onderzoeksopdracht: leerlingen in de bovenbouw van het basisonderwijs en in het voortgezet onderwijs. Verder zijn vooral voor de inspectie die instrumenten van belang die redelijk makkelijk afneembaar/toepasbaar zijn, liefst (wens van de inspectie) door leerkrachten zelf. Als de afname van een instrument uitgebreide specifieke training of scholing vraagt (bijvoorbeeld psychodiagnostische bevoegdheid) zijn ze daardoor minder geschikt voor toepassing in het onderwijs. Toch hebben we, na overleg met de begeleidingscommissie, ook instrumenten die qua meetmethode meer ingewikkeld zijn geselecteerd en beschreven. ‘Niet door leerkrachten meetbaar’ is dus geen selectiecriterium, maar we hebben de instrumenten er wel op beoordeeld en dat meegnomen in de beschrijvingen. Er zijn overigens in de literatuur veel vragenlijsten aangetroffen en weinig andere meetmethoden zoals levensechte opdrachten, simulaties, rollenspelen en dergelijke. De reden daarvoor is waarschijnlijk dat dit type instrumenten nog een experimenteel karakter heeft en dus nog niet als afzonderlijk instrument is beschreven. Onderzoeksartikelen waarin van dergelijke instrumenten sprake is, zijn moeilijk te vinden met trefwoorden. In de 39

Nederlandse literatuur zijn er geen voorbeelden van aangetroffen. In de Europese projecten zijn er een paar te vinden, zie hiervoor hoofdstuk 2 over projecten waarin aspecten van advanced skills worden gemeten. Dit type instrumenten is zoals gezegd moeilijk toe te passen omdat afname ingewikkelde vormen van scoring en getrainde afnemers vergt. We komen daarop terug in het volgende hoofdstuk over meetmethoden. Een ander praktisch argument is de beschikbaarheid. Als er te weinig informatie over een instrument te vinden is of als het niet vrij beschikbaar is, heeft het geen zin om het in de inventarisatie op te nemen. Het gaat dan bijvoorbeeld om instrumentaren die in nationale of internationale peilingen worden gebruikt; hiervan worden de items in het algemeen niet vrijgegeven. Ook bleek het voor sommige instrumenten niet mogelijk langs digitale weg de informatie te vinden over de kenmerken ervan, deze instrumenten zijn daarom ook afgevallen. Verder besloten we aanvankelijk om instrumenten waarvan nauwelijks of geen psychometrische gegevens bekend zijn niet in de inventarisatie op te nemen. Bij deze instrumenten kan immers niet goed beoordeeld worden wat de onderzoekstechnische waarde is van de meting. In overleg met de begeleidingscommissie hebben we er echter in tweede instantie voor gekozen om instrumenten waarvan geen psychometrische gegevens bekend zijn, maar die wel inhoudelijk interessant zijn, toch op te nemen, maar dan in de B-categorie (= mogelijkheden voor verdere ontwikkeling). Overzicht selectiecriteria Hieronder vatten we samen met welke criteria we instrumenten hebben beoordeeld, dat wil zeggen op grond van welke argumenten we hebben besloten om instrumenten niet te selecteren. 1.

tijdsperiode: hoewel geen strikte tijdgrens is aangehouden, zijn al te gedateerde instrumenten niet opgenomen;

2.

geen instrumenten die persoonlijkheid meten;

3.

geen instrumenten die alleen intrapersoonlijke zaken meten;

4.

geen diagnostische instrumenten/voor klinisch gebruik;

5.

geen motivatie instrumenten;

6.

geen instrumenten die waarden meten;

7.

geen instrumenten die niet vrij beschikbaar zijn/kunnen komen; geen instrumenten waarover te weinig informatie beschikbaar is;

8. 9. 40

geen instrumenten voor kinderen jonger dan 8 en ouder dan 18 geen instrumenten die school- of klasklimaat meten

10.

4

Meetmethoden

Voor de vraag welke instrumenten bruikbaar en geschikt zijn voor het meten van sociale competentie, metacognitie en advanced skills is niet alleen de vraag naar inhoudelijke criteria van belang (wat hoort bij het domein?), maar ook de vraag naar de meetmethoden. Het is duidelijk dat dit type vaardigheden niet zo ‘toetsbaar’ is als bijvoorbeeld het vaardigheidsniveau in rekenen, taal of andere schoolvakken. Het overgrote deel van de gevonden instrumenten meet dan ook geen kennis maar gedrag, vaardigheden of attituden. Hiervoor worden andere meetmethoden ingezet dan toetsen, zoals vragenlijsten, observaties van gedrag of observaties van uitvoering van opdrachten. Elk van deze meetmethoden heeft eigen voor- en nadelen, die mee in beschouwing moeten worden genomen bij beslissingen over geschiktheid van instrumenten, gegeven een bepaald doel. Hieronder worden in het kort enkele meetmethoden geschetst met de bijbehorende voor- en nadelen. Toetsen Alleen voor de kennisaspecten van sociale competentie, metacognitie en advanced skills is het mogelijk toetsvragen of opdrachten te construeren die gescoord kunnen worden als goed of fout en voldoende of onvoldoende, volgens vooraf vastgelegde criteria. Er zijn echter maar weinig toetsen aangetroffen. Voorbeelden zijn de kennistoets burgerschapscompetenties die deel uitmaakt van het Meetinstrument Burgerschapscompetentie van Ten Dam e.a., de toets voor algemene vaardigheden Alvabavo van Elshout-Mohr e.a., de toets probleemoplossen die deel uitmaakt van het PISA instrumentarium en de kennisvragen die deel uitmaken van het instrumentarium van het internationale IEA project voor meting van burgerschapscompetenties. Voor metacognitieve kennis zijn ook wel toetsen geconstrueerd, bijvoorbeeld met 41

items over leesstrategieën (Schoonen, in press). Bij de kennisaspecten van de advanced skills kunnen in principe ook toetsitems worden ingezet, zoals bijvoorbeeld de items over samenwerking in Alvabavo. Vragenlijsten, zelfrapportage Voor het meten van houding, vaardigheid en reflectie binnen sociale competenties worden vaak vragenlijsten gebruikt die aan kinderen of jongeren zelf worden voorgelegd (zelfrapportage). Ook voor metacognitieve vaardigheden worden dergelijke vragenlijsten gebruikt. Het is echter de vraag in hoeverre vaardigheden adequaat kunnen worden gemeten met zelfrapportagevragenlijsten. De antwoorden van respondenten corresponderen in elk geval niet altijd met het gedrag dat zij vertonen bij het uitvoeren van een taak (Prins, Busato, Elshout, & Hamaker, 1998) of met het oordeel over dat gedrag door een ander (Geijsel, Ten Dam, Meijer, & Ledoux, submitted). Bij dit type vragenlijsten rapporteren kinderen of jongeren zelf over eigen vaardigheden, houdingen, neigingen, waarden of gedrag. Over het algemeen worden in zulke vragenlijsten antwoordmogelijkheden van het Likert type gegeven, dat wil zeggen respondenten scoren zichzelf op een drie- of meerpuntsschaal van laag naar hoog. Enkele evidente voordelen van dit soort instrumenten zijn: -

Makkelijk afneembaar, tegen lage kosten, er is geen specifieke deskundigheid vereist bij degene die afneemt.

-

Bij uitstek geschikt om attituden te meten, die immers niet toetsbaar zijn en vaak ook niet goed observeerbaar.

-

De wijze van scoren past goed bij complexe vaardigheden, omdat het daarbij gaat om moeilijk af te bakenen concepten. Beoordelingen zijn dan eerder in termen van meer of minder dan in termen van goed of fout aan de orde.

Er zijn echter ook enkele evidente nadelen: -

Zelfrapportages zijn per definitie subjectief.

-

Zelfrapportages kunnen gevoelig zijn voor sociale wenselijkheid.

-

Zelfrapportages kunnen gevoelig zijn voor zelfoverschatting.

-

Zelfrapportages meten hoe respondenten oordelen over zichzelf en meten dus geen feitelijk gedrag. Ook als respondenten de vragen in alle eerlijkheid beantwoorden, en zich dus niet gunstiger voordoen dan ze werkelijk zijn of denken te zijn, is het nog de vraag hoe goed men

42

het eigen gedrag of de eigen meningen kent en weet weer te geven. Zelfrapportages vergen zelfinzicht, en dit is niet bij iedereen in gelijke mate aanwezig. Zelfinzicht is bijvoorbeeld minder aanwezig bij jonge kinderen, of bij kinderen met lage intelligentie, of bij kinderen met sociale handicaps. -

Zelfrapportages kunnen gevoelig zijn voor culturele partijdigheid, zeker als het gaat om waarden of gewenst sociaal gedrag.

Vaak blijkt bij validiteitsonderzoek bij dit type instrumenten dat er lage correlaties gevonden worden tussen zelfoordelen en oordelen van anderen zoals ouders, leerkrachten en medeleerlingen. Dat betekent niet per se dat de validiteit in het geding is, maar wel dat zelfoordelen kennelijk iets anders meten dan oordelen van anderen. Ook blijkt vaak dat leerlingen van allochtone afkomst zichzelf hoger inschatten dan leerlingen van autochtone afkomst. Dat is bijvoorbeeld bekend van instrumenten voor het meten van motivatie, burgerschapscompetentie, zelfvertrouwen, self-efficacy en dergelijke (zie voor recente gegevens Kuhlemeier e.a., 2012; zie ook Ten Dam e.a., 2011). Ook sekseverschillen doen zich voor. De interpretatie van dit type verschillen is niet eenduidig. Vragenlijsten, oordelen van anderen Voor de aspecten houding en vaardigheid van sociale competentie wordt ook vaak gebruik gemaakt van oordelen van anderen. Het gaat dan om vragenlijsten waarin een ander dan de betrokkene zelf een oordeel geeft over de vaardigheden, houdingen, en gedragingen van die persoon. Bij kinderen of jongeren gaan het dan in de regel om ouders, leerkrachten of peers. Op de domeinen in dit onderzoek betreft het meestal leerkrachten. Maar voor het volgen van de sociaal-emotionele ontwikkeling van jonge kinderen neemt men vaak ook zijn toevlucht tot oordelen van ouders. Voor metacognitie en advanced skills is deze methode minder geschikt, omdat de beoordelaar veel moet weten van deze complexe vaardigheden om een objectief oordeel te kunnen geven. Voordelen van dit type instrumenten zijn: -

Redelijk makkelijk afneembaar, geen specifieke deskundigheid nodig bij degene die invult.

-

Vooral bij de beoordeling van vaardigheden en gedrag zijn deze instrumenten mogelijk objectiever dan zelfrapportage. Uit pilots die 43

gedaan zijn met het Meetinstrument Burgerschap bleek bijvoorbeeld dat oordelen van klasgenoten en oordelen van de leerkrachten redelijk hoog samenhingen, hoger dan het leerkrachtoordeel en het zelfoordeel van de leerling en het zelfoordeel van de leerling en het oordeel van klasgenoten -

Wijze van scoren: hiervoor geldt hetzelfde voordeel als bij zelfoordeel.

Ook dit soort instrumenten kent echter nadelen: -

Gevoelig voor het halo-effect: de beoordelaar kijkt niet neutraal naar de verschillende aspecten waarop een persoon beoordeeld moet worden, maar wordt daarin beïnvloed door de algemene indruk die hij/zij al heeft van die persoon.

-

Belastend voor leerkrachten als zulke oordelen gegeven moeten worden over alle leerlingen in een groep; dan kost invullen veel tijd.

-

Gevoelig voor culturele partijdigheid (vooroordelen bij degene die

-

Soms ingewikkelde en tijdrovende scoring, bijvoorbeeld bij

beoordeelt). sociometrische instrumenten waarbij elke leerling meerdere andere leerlingen beoordeelt. -

Mogelijk gevoelig voor context: een kind gedraagt zich niet onder alle omstandigheden hetzelfde, de beoordelaar ziet maar één specifieke context.

Directe observaties De oordelen-van-anderen instrumenten zijn natuurlijk feitelijk gebaseerd op observatie, namelijk op de vaak langdurige observatie in de alledaagse schoolof thuissituatie. Daarnaast bestaan nog andere observatie-instrumenten, zoals wanneer een (al dan niet getrainde) observant op een of meer specifieke momenten het gedrag van een kind of jongere waarneemt en op een of andere manier scoort. Een voorbeeld hiervan zijn hardopdenk protocollen: iemand wordt gevraagd een taak uit te voeren en daarbij hardop aan te geven welke stappen hij of zij daarbij zet. Deze methode wordt veel toegepast in onderzoek naar metacognitie (Veenman & Elshout, 1999; Prins, 2002; Meijer, Veenman & Van Hout-Wolters, 2006; Meijer, Veenman & Van Hout-Wolters, 2012). De methode kent een rijke traditie; aanvankelijk werd ze voornamelijk gebruikt bij complexe cognitieve taken (De Groot, 1966; Newell, 1972; Ericsson, 1993). Walraven, Brand-Gruwel, & Boshuizen (2010) gebruikten ook 44

hardopdenkprotocollen bij het beoordelen van zoekgedrag op het World Wide Web in het kader van een complexe opdracht. Een ander voorbeeld zijn de opdrachten waarin kinderen een complexe samenwerkingsopdracht tot een goed einde moeten brengen en een observant met behulp van vooraf bepaalde criteria beoordeelt of daarbij meer of minder goede strategieën worden ingezet. Nog een ander voorbeeld zijn gedragsbeoordelingen van kinderen of jongeren in een klas die worden uitgevoerd door een psycholoog of orthopedagoog. Voordelen van dit type instrumenten zijn: -

De te observeren situatie is nauwkeurig gekozen, er bestaat geen of in elk geval minder risico op halo-effecten.

-

De normen voor beoordeling zijn gedefinieerd en daarmee objectiever.

-

De beoordelaar is getraind in het toepassen van die normen.

-

Geschikt voor complexe en ‘levensechte’ taken.

Nadelen zijn echter: -

Ingewikkelde en tijdrovende vormen van scoren, vooral bij meer complexe observaties (zoals bij levensechte taken).

-

Vergt getrainde observanten, daardoor veelal alleen toepasbaar binnen een onderzoekssetting.

-

Kostbaar.

-

Gevoelig voor context.

Vignetten instrumenten In plaats van een kind of jongere een opdracht laten uitvoeren en die observeren, is het ook mogelijk om een ‘papieren opdracht’ voor te leggen, dat wil zeggen een beschrijving van een situatie of gebeurtenis waarop de betrokkene moet reageren. Uit de antwoorden wordt dan bijvoorbeeld afgeleid welke strategieën iemand beschikbaar heeft, of welke kennis en vaardigheden. Voorbeelden van dergelijke instrumenten, die in de literatuur wel worden genoemd (zie Ten Dam e.a., 2003), zijn we in onze search bijna niet tegengekomen. Uit eerder onderzoek (Roede e.a, 2007), waarin deze methode is geprobeerd bij kinderen in het basisonderwijs, weten we dat het moeilijk is om aan kinderen voldoende rijke en dus inhoudelijk goed scoorbare antwoorden te ontlokken. Een interessant recent voorbeeld is te vinden in Balans van de sociale opbrengsten in het basisonderwijs (Kuhlemeier e.a., 2012). Daar wordt de toepassing van een instrument voor het meten van sociale 45

informatieverwerking beschreven, ontleend aan De Wit, Van der Veer & Slot (2002). Hierbij worden in een gestructureerd interview vignetten aan leerlingen voorgelegd, de leerlingen moet vervolgens vragen beantwoorden over eigen en andermans gedragsintenties. Voordelen van deze meetmethode zijn: -

Gaat uit van concrete situaties (zij het op papier), in een gegeven context.

-

Mogelijkheden om te scoren op inzet van strategieën en potentieel gedrag in plaats van alleen op kwaliteit van vaardigheden en dergelijke.

-

Normen voor scoren worden vastgelegd en zijn daarmee onderzoekbaar op interbeoordelaarsbetrouwbaarheid.

Maar nadelen zijn: -

Vergt voldoende rijke antwoorden, daardoor minder geschikt voor jonge of cognitief beperkte leerlingen.

-

Scoring is ingewikkeld en vergt getrainde beoordelaars.

-

Meest gewenste afname is in de vorm van een gestructureerd interview (één op één), dit is kotbaar.

-

Meestal alleen bruikbaar in een onderzoekssetting.

Portfolio Een methode die met name in het hoger onderwijs aan populariteit heeft gewonnen, is portfolio assessment. Hierbij legt een student een archief aan van werkstukken, uitgevoerde opdrachten, projecten en andere producten. Het portfolio wordt veelal beoordeeld op kwaliteit door een docent of andere expert. In het kunstvakonderwijs was deze methode al langer in zwang (Blaikie, Schonau, & Steers, 2004). Er wordt ook wel verondersteld dat het proces van het samenstellen van het portfolio door de student een gunstig effect heeft op reflectieve aspecten van het leerproces (Elshout-Mohr et al., 2004). Het beoordelen van het portfolio is óf een zeer subjectieve aangelegenheid óf het vereist de formulering vooraf van een aantal criteria. Afhankelijk van de aard van de producten in het portfolio kunnen deze criteria meer of minder duidelijk en transparant zijn. Voor het beoordelen van schrijfproducten zijn bijvoorbeeld vrij eenduidige beoordelingscriteria te geven (Blok & Gelderen, 1994). Deze worden vaak in experimentele settings toegepast. In de praktijk van het onderwijs wordt echter vaak volstaan met globale beoordelingen,

46

omdat de in experimenten gebruikte beoordelingsmethoden complex en tijdrovend zijn. Voordelen van deze methode zijn: -

De opdrachten, taken en andere producten in het portfolio vormen gezamenlijk een authentiek verslag van het leerproces dat is doorlopen.

-

Het portfolio kan ook worden gebruikt in de latere professionele loopbaan (bijvoorbeeld voor een sollicitatie).

-

Het samenstellen van het portfolio kan een gunstig effect hebben op het leerproces.

-

Het geeft ruimte om informatie uit verschillende contexten bijeen te brengen; dit zorgt voor een completer beeld.

Nadelen zijn: -

Het beoordelen van de kwaliteit van het portfolio vereist gebruik van complexe criteria en kan eigenlijk alleen door experts gedaan worden

-

Het beoordelen van de kwaliteit van het portfolio is een tijdrovende aangelegenheid.

-

Het samenstellen van het portfolio vereist complexe vaardigheden van leerlingen of studenten; de methode is daarom niet/minder geschikt voor jongere leerlingen.

-

Het is niet eenvoudig om informatie over (ontwikkeling van) sociale competenties vast te leggen in een portfolio. Voor zover toch mogelijk, gelden hierbij alle nadelen van zelfoordelen.

Uit deze verkenning van meetmethoden wordt duidelijk dat er in ieder geval niet één ideale methode bestaat voor het meten van de complexe vaardigheden die in dit onderzoek aan de orde zijn. In het conclusiehoofdstuk (hoofdstuk 6) wordt hier verder op ingegaan.

47

5

Beschrijving (mogelijk) geschikte meetinstrumenten

In dit hoofdstuk geven we een beschrijving van alle instrumenten die volgens de selectiecriteria geschikt zijn bevonden (A) of mogelijk geschikt (B). De tabellen 5.1 en 5.2 bevatten hiervan eerst een overzicht, met indeling naar domein. Daarna volgt een beschrijving per instrument, op alfabetische volgorde. Van elk instrument wordt vermeld: -

bron (waar informatie over het instrument gevonden/te vinden)

-

meetpretentie (aanduiding van dat wat het instrument beoogt te meten)

-

de competenties waar het instrument zich op richt

-

doelgroep (typering populatie)

-

wijze van afnemen (door wie, hoe)

-

wijze van scoring, interpretatie en rapportage

-

psychometrische kwaliteit

-

verkrijgbaarheid

-

geschiktheid (waarom deels of mogelijk geschikt, alleen bij Binstrumemten).

De A-instrumenten worden aldus beschreven in 5.1, de B-instrumenten in 5.2.

49

Tabel 5.1 Geschikt bevonden instrumenten Naam

Domein(en)

Informatiebron

Alvabavo

Metacognitie

Elshout-Mohr, Meijer, Oostdam, &

Advanced skills

Van Gelderen, 1996

Advanced skills

Klinkenberg, 2004

Sociale competenties

Schulz, Ainley, & Fraillon, 2009

Measuring internet skills

Advanced skills

Van Deursen & Van Dijk, 2010

Meetinstrument Burgerschap

Sociale competenties

Ten Dam, Geijsel, Reumerman, &

Advanced skills

Ledoux, 2010

MSLQ (Motivated strategie for

Metacognitie

Duncan & McKeachie, 2005;

learning questionnaire)

Advanced skills

Pintrich & Smith, 1993

ACV (Algemene Computervaardigheid Vragenlijst) ICCS (International Civic and Citizenship Education Study)5)

Scales for information-seeking Metacognitie

Timmers & Glas, 2010

behavior

Advanced skills

SCOL (Sociale Competentie

Sociale competenties

Observatie Lijst)

Advanced skills

SEOL (sociaal-emotionele

Sociale competenties

CED-groep, 2006; Joosten, 2007 Meijer, 2007

ontwikkeling van leerlingen)

Tabel 5.2 Mogelijk geschikte instrumenten ABC Gedragslijst

Metacognitie (aspect aandacht) ABC Werkhoudingslijst Metacognitie (aspect concentratie) BRIEF executieve Metacognitie functies (aspect metacognitie) gedragsvragenlijst CBSA (Competentie Sociale competenties belevingsschaal (aspect sociale acceptatie) adolescenten) CBSK (Competentie Sociale competenties belevingsschaal (aspect sociale acceptatie) kinderen) EGGO Sociale competentie gedragsleerlingvolg- (sociaal-emotioneel) systeem ESE (Entrepreneurial Advanced Skills Self-Efficacy) (aspect ondernemerschap) Kanjervragenlijst Sociale competenties (aspect prosociaal gedrag)

5

Meerdere instrumenten

50

Van Doorn, 2000 Van Doorn, 1998 Smidts & Huizinga, 2009

Treffers, Goedhart, Veerman, Van den Bergh, Ackaert, & Rycke, 2002 Veerman, Straathof, Treffers, Van den Bergh, & Ten Brink, 1997

http://www.pravoo.com/index.php?id=EGGO

Chen, Greene, & Crick, 1998; Zhao, Seibert, & Hills, 2005 Vliek, 2009

Vervolg Tabel 5.2 KIJK! Op Sociale Competentie

Sociale competenties

MAI en MAI-Jr (Metacognitive Awareness Inventory)

Metacognitie

MALQ (Metacognitive Awareness Listening Questionnaire) Measurement of Young Pupils' Metacognitive Abilities in Mathematics Metacognitieve activiteiten meten PISA digitale leesvaardigheid SCVT (Sociaal Cognitieve Vaardigheden Test) Strength and Difficulties Questionnaire (SDQ) SEMLI-S (Self-Efficacy and Metacognition Learning InventoryScience) Schaal voor Interpersoonlijke Waarden (SIW) Schaal voor Persoonlijke Waarden (SPW)

Metacognitie (alleen voor tweede taalleerders)

SSRS en SSIS-RS (Social Skills Rating System, Social Skills Improvement System Rating Scales) STUDEON

SVL (Schoolvragenlijst)

ZIEN!

http://www.bazalt.nl/schoolontw ikkeling/ kijk-op-sociale-competentie.html Schooten, 2009; Schraw & Dennison, 1994; Sperling, Howard, Miller, & Murphy, 2002; Sperling, Richmond, Ramsay & Klapp, 2012 Vandergrift, Goh, Mareschal, & Tafaghodtari, 2006

Metacognitie (aspect wiskunde leren)

Panaoura & Philippou, 2003

Metacognitie

Schellings, Van Hout-Wolters, Veenman & Meijer (ter perse) OECD, 2011

Advanced skills (aspect internetvaardigheden) Sociale competenties (aspect sociale cognitie) Sociale competenties (aspect prosociaal gedrag) Metacognitie (aspect science)

Manen, Prins, & Emmelkamp, 2009 Van Widenfelt, Goedhart, Treffers, & Goodman, 2003 Thomas, Anderson, & Nashon, 2008

Sociale competenties (aspect interpersoonlijke contacten)

Drenth & Kranendonk, 1973.

Advanced Skills (aspecten zakelijkheid, besluitvaardigheid en doelgerichtheid) Sociale competenties Advanced skills (deel van de subdomeinen, o.a. communicatie en verantwoordelijkheid) Metacognitie (aspect plannen van de denkprocessen)

Drenth & Cornelisse-Koksma, 1970

Metacognitie (aspecten leertaakgerichtheid en concentratie in de klas) Sociale competenties (aspecten sociaal initiatief, sociale flexibiliteit, sociale autonomie)

Crosby, 2011; Gresham, Elliott, Vance, & Cook, 2011; Merrell, 1993

http://www.cito.nl/nl/onderwijs/ voortgezet%20onderwijs/alle_pro ducten/e50eecd7b7aa487f9d5424d487 199c61.aspx. Vorst H.C.M. - m.m.v. J.A.E. Smits, 2008 Broer, Haverhals, & Maaswaal, 2011

51

Hieronder volgt een systematische beschrijving van de geschikte en mogelijk geschikte instrumenten uit de tabellen 5.1 en 5.2. De volgorde van de instrumenten in de tabellen en de volgende pagina’s is alfabetisch. Ongeschikt bevonden instrumenten worden in dit hoofdstuk niet nader beschreven; deze worden wel vermeld in bijlage 3. Een deel van de informatie in dit hoofdstuk is rechtstreeks afkomstig van de ontwikkelaars en uitgevers van de betreffende instrumenten.

5.1

Beschrijving geschikte instrumenten

Toets algemene vaardigheden in de basisvorming (ALVABAVO) Bronnen Elshout-Mohr, M., Meijer, J., Oostdam, R., & Van Gelderen, A. (1996). ALVABAVO, een toets voor Algemene Vaardigheden in de Basisvorming. Amsterdam, SCO-Kohnstamm Instituut (FMG) http://www.cotandocumentatie.nl/test_details.php?id=253 Meetpretentie Leergebied overstijgende vaardigheden. De schooltoets meet acht vaardigheden die leerlingen zouden moeten beheersen om goed te kunnen presteren. De AlvaBavo kan gebruikt worden voor evaluatie op klas- en schoolniveau. De schooltoets kan voorlopig nog niet gebruikt worden voor selectie-advies wegens onvoldoende gegevens omtrent de predictieve validiteit bij verschillende groepen leerlingen binnen de verschillende schoolniveaus. Er is ook een verkorte versie met 24 items voor gebruik in grootschalige evaluatiestudies. Competenties (beschrijving: concepten en operationalisaties) De vaardigheden zijn Waarnemingen verrichten, Kiezen en ordenen van informatie, Meningsvorming, Samenwerken, Samenvatten en conclusies trekken, Opvattingen en overtuigingen, Feiten van meningen onderscheiden, Eisen stellen aan eigen werk. Elk onderdeel heeft zeven items met vier antwoordalternatieven per item. Doelgroep (typering populatie) 15-16 jarige leerlingen van IVBO, VBO, MAVO, HAVO, VWO

52

Wijze van afnemen Afname door leerkracht of researchpsycholoog groepsgewijs / papier & potlood. Duur afname: ca. 1 uur. Wijze scoring en interpretatie papier & potlood: handmatig. Duur scoring en interpretatie papier & potlood: 10 min. Wijze van scoring, interpretatie en rapportage Sommering van de juiste antwoorden. De totaalscore kan vergeleken worden met percentielscores of met gemiddelde scores en sd's van leerlingen IVBO (n=433), VBO (n=2307), MAVO (n=2503), HAVO (n=1354) en VWO (n=1278). Binnen elk schooltype worden ook kwartielscores gegeven. Interpretatie: leerkracht, researchpsycholoog Psychometrische kwaliteit De uitgangspunten, de kwaliteit van het testmateriaal en de betrouwbaarheid zijn goed maar de kwaliteit van de handleiding, de normen en de criteriumvaliditeit zijn volgens de Cotan onvoldoende. Verkrijgbaarheid Niet meer verkrijgbaar Algemene Computervaardigheid Vragenlijst (ACV) Bronnen Klinkenberg, S. (2004). Constructie en Validatie van een Algemene Computervaardigheid Vragenlijst (ACV). Doctoraalscriptie, UvA, Amsterdam. Meetpretentie Een vragenlijst om computervaardigheid (bij gebruik van computer met graphical user interface) te meten. Deze vragenlijst kan gebruikt worden als voortgangsindicator voor onderwijs in computervaardigheid, als onafhankelijke variabele in onderzoek, bij werkevaluatie en als instrument voor personeelsselectie. Competenties (beschrijving: concepten en operationalisaties) De zeven onderdelen die behoren tot het Europees Computer Rijbewijs (ECDL) zijn: basisbegrippen van informatietechnologie, de computer gebruiken en bestanden beheren, tekstverwerken, spreadsheets, databases, presenteren, informatie en communicatie via internet (De voor het ontwerponderzoek 53

gebruikte OS en applicaties waren: Windows2000, InternetExplorer, Hotmail, MS Word,MS Excel, MS Powerpoint, MS Frontpage, MSNmessenger, WindowsMediaplayer en WinZip). Competenties betreffen: OS= besturingssysteem, IN= internet, EM= email, TV= tekstverwerker, SP= spreadsheet, PR= presentatie, WD= webdesign Doelgroep (typering populatie) (Jong)volwassenen (validatieonderzoeksgroep studenten waarvan 96% tussen de 18 en 30 jaar oud) Wijze van afnemen Het meetinstrument is een zelfrapportage vragenlijst betreffende computervaardigheid. Het meten van computervaardigheid zou met een vragenlijst ongeveer vijftien minuten in beslag nemen. Meervoudige keuzevragenlijst waarbij proefpersoon de eigen vaardigheid typeert op een 5puntschaal lopend van ‘slecht’ tot ‘zeer goed’. Wijze van scoring, interpretatie en rapportage Niet beschreven in de beschikbare bron. Psychometrische kwaliteit Criteriumvaliditeit: zelfrapportage over voorgelegde computertaken werden in verband gebracht met daadwerkelijke uitvoering van die taken. Van de in totaal 68 vragen vertonen 60 vragen een significante correlatie met de computertaken. De gevonden betrouwbaarheid van de ACV was (in het tweede experiment) .95 (Cronbach’s alfa). De afzonderlijke subschalen vertoonden een betrouwbaarheid van achtereenvolgens: OS gebruik ,73; websurfen ,74; emailgebruik ,88; tekstverwerken ,77; spreadsheet ,95; presentatie ,91 en webdesign ,85. Deze betrouwbaarheden zijn gevonden nadat de niet valide vragen uit de subschalen verwijderd waren. Uit factoranalyse blijkt dat de factoren: tekstverwerking, spreadsheet, presentatie en webdesign hoog laden op component 1. De factoren spreadsheet, presentatie en webdesign laden hoog op component 2. Deze componenten verklaarden tezamen 71% van de gemeenschappelijke variantie. Een tweefactormodel bleek echter niet te passen. De ACV bleek positief samen te hangen met de eigen ingeschatte computervaardigheid, maar bleek negatief te correleren met de frequentie van gebruik (response shift fenomeen?). Er is geen Cotan-beoordeling.

54

Verkrijgbaarheid De (verbeterde) vragenlijst staat afgedrukt in het verslag van het afstudeeronderzoek: International Civic and Citizenship Education Study (ICCS) Bronnen Schulz, W., Ainley, J., & Fraillon, J. (2009). ICCS 2009 Technical Report. Universita degli studi Roma Tre. Meetpretentie De wijzen waarop jongeren voorbereid zijn op hun rol als burger en hun bereidheid om die rol te gaan innemen. Competenties (beschrijving: concepten en operationalisaties) Er zijn vier inhoudelijke domeinen, te weten de burgermaatschappij en haar instituties, burgerprincipes, burgerparticipatie, en burgeridentiteit. De percepties en het gedrag van leerlingen werd gemeten binnen vier affectieveen gedragsdomeinen, i.e., overtuigingen en waarden, attitude, gedragsintenties en gedrag. Cognitieve processen behelzen kennis en redeneren/analyseren. Doelgroep (typering populatie) Leerlingen tussen 14 en 17 jaar oud. Wijze van afnemen Vragenlijsten voor leerlingen, leraren, schooldirecties en research-instellingen. Vragenlijsten in 31 talen, ook in het Nederlands. Wijze van scoring, interpretatie en rapportage Niet beschreven in de geraadpleegde bron. Psychometrische kwaliteit Uitvoerige schaal- en itemanalyses. (Hoofdstukken 11 en 12 van het technisch rapport).

55

Verkrijgbaarheid http://www.iea.nl/fileadmin/user_upload/Publications/Electronic_versions/IC CS_2009_Technical_Report.pdf. Testitems en vragenlijsten in appendices C en D. Measuring internet skills Bronnen Van Deursen, A. J. A. M., & Van Dijk, J. A. G. M. (2010). Measuring internet skills. International Journal of Human-Computer Interaction, 26(10), 891-916. Meetpretentie Internet vaardigheden. Competenties (beschrijving: concepten en operationalisaties) Onderscheiden worden: operationele internet vaardigheid, formele internet vaardigheid, informatievaardigheid, en strategische internet vaardigheid. Doelgroep (typering populatie) Volwassenen (vanaf 18 jaar) die ten minste één keer per maand internet gebruiken, voor andere doeleinden dan alleen e-mail. Wijze van afnemen Vragenlijst met achtergrondkenmerken (afnametijd circa 10 minuten), negen opdrachten die gemaakt moeten worden met behulp van informatie die op internet te vinden is. Wijze van scoring, interpretatie en rapportage Percentage gemaakte opdrachten en gemiddeld benodigde tijd per opdracht. Psychometrische kwaliteit Geen informatie, behalve de overeenkomst tussen de uitkomsten van de twee beschreven studies in het artikel. Ook correlaties met frequentie van internetgebruik en internet ervaring (variërend van niet significant tot .50). Verkrijgbaarheid Opdrachten uit beide studies in appendices bij artikel.

56

Meetinstrument Burgerschap Bronnen Dam, G. ten., Geijsel, F., Reumerman, R., & Ledoux, G. (2010 ). Burgerschapscompetenties : de ontwikkeling van een meetinstrument Pedagogische studiën : tijdschrift voor onderwijskunde en opvoedkunde, 87 (5), 313-334. Dam, G. ten., Geijsel, F., Ledoux, G., Reumerman, R., Keunen, M., & Visser, A. (2010). Burgerschap meten. Handleiding primair onderwijs. Meetpretentie Een meetinstrument voor burgerschapscompetenties van jongeren in de leeftijd van elf tot zestien jaar. Gemeten wordt het vermogen tot adequaat handelen in sociale situaties die zich voordoen in het dagelijkse leven. Het instrument is erop gericht evaluatieve uitspraken te kunnen doen over het vermogen van leerlingen om als burger in een democratische en pluriforme samenleving te handelen en over de effecten van onderwijs op de burgerschapscompetenties van leerlingen. Leerlingen kunnen in hun ontwikkeling op gebied van burgerschapscompetenties gevolgd worden. Competenties (beschrijving: concepten en operationalisaties) Uit de literatuur zijn vier sociale taken afgeleid die exemplarisch zijn voor de burgerschapspraktijken van jongeren: democratisch handelen, maatschappelijk verantwoord handelen, omgaan met conflicten en omgaan met verschillen. Per sociale taak is gedefinieerd wat het adequaat kunnen vervullen van die taak veronderstelt aan kennis, attitude, vaardigheid en reflectie. Naast de 16 inhoudelijke schalen is er een schaal die antwoordtendenties meet. Het instrument bevat 94 items verdeeld over 17 schalen waarvan er 16 betrekking hebben op een van de componenten (kennis, attitude, vaardigheid, reflectie) per sociale taak (democratisch handelen, maatschappelijk verantwoord handelen, omgaan met conflicten, omgaan met verschillen). Kennisitems betreffen het weten, begrijpen, inzicht hebben in wat je het beste kunt doen met betrekking tot de vier taken. Attitude-items gaan over het vinden (meningen), willen, bereid zijn ten aanzien van de vier sociale taken. Vaardigheiditems betreffen de inschatting van de eigen vaardigheid voor de vier taken. Reflectie-items betreffen het nadenken over de vier taken.

57

Doelgroep (typering populatie) Jongeren in de leeftijd van 11 tot 16 jaar. Wijze van afnemen De leerling vult de vragenlijst, bestaande uit meerkeuze antwoorditems, aan een computer met internetverbinding in. Invulling van de leerlingvragenlijst burgerschapscompetenties beslaat ongeveer een lesuur. Invulling van de leerkrachtvragenlijst burgerschapsgedrag vergt 10 minuten per leerling. Wijze van scoring, interpretatie en rapportage De internetapplicatie presenteert resultaten met betrekking tot (gemiddelde en spreiding van): burgerschapscompetenties burgerschapsgedrag, vergelijking tussen burgerschapscompetenties en burgerschapsgedrag. Voor zowel burgerschapscompetenties als voor burgerschapsgedrag wordt een individueel overzicht, een groepsoverzicht en een schooloverzicht door de internetapplicatie geproduceerd. Schoolresultaten worden vergeleken met landelijk gemiddelde. Voor school, groeps- of leerlingresultaten kan op basis daarvan een kwalificatie op een 5-puntsschaal lopend van zeer laag tot zeer hoog worden toegekend voor burgerschap. De overeenkomst tussen het zelfoordeel van leerling(en) en de beoordeling door de leerkracht(en) kan worden bepaald. Psychometrische kwaliteit Betrouwbaarheid: Coefficient alfa varieert voor de 17 subschalen tussen .54 en .89. Voor de componentschalen varieert coefficient alfa tussen .83 en .94. Inhoudsvaliditeit volgt uit het facetdesign als ontwerpmethode. De items zijn aan zowel experts als aan leerlingen voorgelegd. Uit een pilot onder VOleerlingen wees confirmatieve factoranalyse uit dat de interne structuur van de data overeenstemde met de meetpretenties en eerder genomen beslissingen. Op leerlingniveau zijn niet alle schalen per component per sociale taak voldoende betrouwbaar. Constructvaliditeit: Per component en per sociale taak zijn drie concurrerende modellen getoetst: een 1-factormodel voor de items per component of sociale taak, een meerfactormodel per component of sociale taak, en een 2e-orde-factormodel. Bevindingen: 2e-ordefactormodel kennis: de kennisitems laden relatief hoog op de factoren per sociale taak. De ladingen van de vier subfactoren op de hoofdfactor ‘kennis’ verschillen niet extreem. Met het 2e-ordefactormodel attitude laden de attitudeitems relatief hoog op de 58

factoren per sociale taak. Met het 2e-orde-factormodel vaardigheid laden vaardigheiditems relatief hoog op de vier onderscheiden factoren en met het 2e-orde-factormodel reflectie laden reflectie-items relatief hoog op de factoren per sociale taak. Kennis is onderdeel van het begrip burgerschap, maar een relatief zelfstandig onderdeel naast de drie andere componenten. Voor de vier sociale taken democratisch handelen (dh), maatschappelijk verantwoord handelen (mh), omgaan met conflicten (oc) en omgaan met verschillen (ov) zijn drie modellen (1-factormodel, gecorreleerde factorenmodel en het 2-ordefactormodel) met elkaar vergeleken. Bij de factormodellen voor de sociale taken is de kenniscomponent buiten beschouwing gelaten. Op basis van de passende 2e-orde-factormodellen voor de vier sociale taken zijn schalen geconstrueerd per sociale taak (zonder kennis). Cronbach's alfa voor de sociale taken (exclusief kennis) varieert tussen .84 en .90). De vier componenten blijken zeer hoog en positief met elkaar samen te hangen. Met name de componenten ‘attitude’ en ‘vaardigheid’ correleren zeer sterk. Uit de resultaten blijkt empirische steun voor de constructvaliditeit van het instrument. Voor elk van de componenten maar ook voor elk van de taken bleken de 2e-ordefactoren goed te passen. De hoge betrouwbaarheden van de geconstrueerde (8) schalen maken het mogelijk de burgerschapscompetenties van leerlingen op individueel-, klas- en schoolniveau te meten en te volgen in de tijd. Het meetinstrument burgerschapscompetentie is niet in de Cotan testdocumentatie opgenomen Verkrijgbaarheid Rovict. Test kan online afgenomen worden, zie: http://www.burgerschapmeten.nl/index.html Motivated strategies for learning questionnaire (MSLQ) Bronnen Pintrich, P. R., & Smith, D. A. F. (1993). Reliability and predictive validity of the motivated strategies for learning questionnaire (MSLQ). Educational and psychological measurement : a quarterly journal devoted to the development and application of measures of individual differences, 53 (3), 801-813. Duncan, T. G., & McKeachie, W. J. (2005). The Making of the Motivated Strategies for Learning Questionnaire. Educational Psychologist, 40(2), 117-128.

59

Meetpretentie Meten van motivatie en gebruik van leerstrategieën. Met name het onderdeel leerstrategieën is bruibaar voor meting van metacognitieve vaardigheden. De MSLQ is ontwikkeld vanuit een sociaal-cognitieve kijk op motivatie en leerstrategieën, waarbij de student beschouwd wordt als actieve informatie verwerker wiens overtuigingen en cognities een belangrijke input voor instructie leveren. MSLQ betreft het cursusniveau. Het instrument kan ook voor zelfevaluatie gebruikt worden. Bijvoorbeeld universitaire stafleden kunnen hiermee feedback van hun studenten krijgen en beslissingen omtrent aanpassingen in cursussen ondersteunen. Studenten kunnen het ook gebruiken voor diagnostiek van hun sterkte/zwakte-profiel in een cursus. Het meest voorkomende gebruik van de MSLQ is voor de evaluatie van cursuseffecten op studenten. Competenties (beschrijving: concepten en operationalisaties) De MSLQ is een zelfrapportage vragenlijst bestaande uit 15 schalen: 6 voor motivatie en 9 voor leerstrategieën. De MSLQ omvat 81 items die beantwoord worden op een 7-point Likert-type schaal, lopend van 1 (not at all true of me) tot 7 (very true of me). Schaal scores zijn de gemiddelde score op de items waaruit de schaal bestaat. De 15 schalen van de MSLQ kunnen samen of afzonderlijk worden gebruikt. Motivatie (31 items; 6 schalen): waarde (intrinsieke en extrinsieke doelorientatie, taakwaarde); verwachting (controleverwachtingen inzake leren en eigen effectiviteit); affect (testangst). Leerstrategieën (50 items; 9 schalen). Leerstrategieën cognitief: herhaling; elaboratie; organisatie; kritisch denken. Leerstrategieën metacognitief: planning, monitoring en regulering. Resource management strategieën: beheer van tijd en studieomgeving; inspanningsmanagement; in onderlinge samenwerking leren; hulp zoeken. De is in veel talen vertaald en door tal van onderzoekers wereldwijd gebruikt. Doelgroep (typering populatie) Studenten hoger onderwijs (high school, undergraduate, graduate students) ; geschikt voor VO. Wijze van afnemen Het instrument kan klassikaal worden afgenomen en dat duurt 20–30 min.

60

Wijze van scoring, interpretatie en rapportage Lokale normen kunnen worden ontwikkeld voor verschillende curriculae of docenten van een bepaald instituut. Psychometrische kwaliteit De 31 motivatie-items laden op 6 gecorreleerde factoren op basis van toetsende factor-analyse. Coefficient alfa varieert tussen .62 en .93. Sterke interne consistentie. De 50 leerstrategie-items laden op 9 gecorreleerde factoren op basis van confirmatory factor-analyse. Coefficient alfa varieert tussen .52 en .80. Predictieve validiteit (correlatie met een academische prestatiemaat): de motivatiesubschalen (uitgezonderd extrinsieke doeloriëntatie) correleren significant met de academische prestatiemaat. Ook de leerstrategieën (uitgezonderd herhaling, in onderlinge samenwerking leren en hulp zoeken) rreleren significant met de academische prestatiemaat. De MSLQ is een bruikbaar, betrouwbaar en valide meetsinstrument. Verkrijgbaarheid Items van de MSLQ: http://www.osra.org/itlpj/chenspring2002.pdf Scales for Information-seeking behaviour Bronnen Timmers, C.F. &. Glas, C.A.W. (2010). Developing scales for information-seeking behaviour, Journal of Documentation, 66 (1), 46 – 69. Meetpretentie Instrument voor het meten van informatie zoekgedrag van bachelorstudenten bij het uitvoeren van studie-opdrachten in hun opleiding. Uitgangspunt is de ACRL activiteiten en tevens regulatie als activiteit. De vier schalen waaruit de vragenlijst bestaat kunnen eventueel apart gebruikt worden. Competenties (beschrijving: concepten en operationalisaties) Competenties: gebruiken van bronnen, toepassen van zoekstrategieën (advanced searches), evalueren van informatie, verwijzen naar informatie en regulering van al deze vijf activiteiten. De vragenlijst bestaat uiteindelijk uit 48 meerkeuze items die informatie-zoek activiteiten vertegenwoordigen, met per item een 4-punts Likert-antwoordschaal (lopend van ‘altijd’ tot ‘zelden/nooit’).

61

Doelgroep (typering populatie) Bachelor studenten van diverse opleidingen. Wijze van afnemen Niet beschreven in de geraadpleegde bron. Wijze van scoring, interpretatie en rapportage Niet beschreven in de geraadpleegde bron. Psychometrische kwaliteit Inhoudsvaliditeit is gebaseerd op de deductieve constructiemethode waarbij items op eerder onderzoek zijn gebaseerd en gecheckt zijn door expert- en respondentraadpleging. De vragenlijst is onderzocht bij een groep van HBOstudenten (193) en WO-bachelorstudenten (152). Betrouwbaarheid: Cronbach’s alfa = .87. Het instrument bestaat uit een 10-item schaal voor ‘toepassing van zoekstrategieen’ (alpha 0.68), een 14-item schaal voor ‘evaluatie van informatie’ (alpha 0.74), een 6-item schaal voor ‘verwijzing naar informatie’ (alpha 0.81) en een12-item schaal voor ‘regulatie activiteiten’ (alpha 0.75). Uit factoranalyse blijkt dat ‘toepassen van zoekstrategieën’, ‘evalueren van informatie’ en ‘reguleren van activiteiten’ op een factor laden. ‘Verwijzen naar informatie ‘vormt de andere factor. Uit IRT-analyse blijkt dat de schalen ‘toepassen van zoekstrategieën’, ‘evalueren van informatie’ en ‘verwijzen naar informatie’ eendimensionaal zijn, maar de schalen voor regulatie-activiteit en ‘gebruik van bronnen’ dat niet zijn. Verkrijgbaarheid In de appendix staat de uiteindelijk 48 items omvattende vragenlijst. Sociale Competentie Observatie Lijst (SCOL, 2006). Bronnen Joosten, F. (2007). Een maat om op te bouwen: sociale competentie meten voor het basisonderw s. Academisch proefschrift, UvA, Amsterdam. CED-groep. (2006). Sociale Competentie Observatie Lijst, SCOL, 2006. Rovict (Ed.) http://www.cotandocumentatie.nl/test_details.php?id=132

62

Meetpretentie Sociale competentie in de context van school. De SCOL is ontwikkeld als leerlingvolgsysteem voor toepassing bij alle leerlingen. Uitgangspunt bij de testconstructie was de bruikbaarheid voor planmatig onderwijs in sociale competentie. Daarnaast dient de SCOL als signaleringsinstrument om leerlingen te identificeren die extra aandacht behoeven voor het ontwikkelen van sociale competentie. In relatie tot het model planmatig werken, speelt de SCOL vooral een rol bij stap één (gegevens verzamelen en problemen signaleren) en bij stap twee (informatie analyseren). Competenties (beschrijving: concepten en operationalisaties) Sociale competentie wordt gedefinieerd als het adequaat kunnen en willen handelen in sociale situaties. Kennis, vaardigheden en attituden vormen de kern van sociale competentie. De SCOL meet gedrag in concrete situaties. De 26 items bestaan uit positief geformuleerde en onderwijsbare gedragingen ten aanzien van sociaal competent gedrag. Per item zijn er vijf antwoordmogelijkheden oplopend van ‘nooit' tot ‘vaak'. Per item wordt uitgelegd naar welke gedragingen gekeken dient te worden. Schalen: ervaringen delen, samen spelen en werken, aardig doen, een taak uitvoeren, jezelf presenteren, een keuze maken, opkomen voor jezelf, omgaan met ruzie. Doelgroep (typering populatie) Leerlingen groep 1 t/m groep 8 basisonderwijs; er is ook een VO-versie. Wijze van afnemen De vragenlijst wordt tweemaal per jaar ingevuld door de leerkracht. Het eerste meetmoment is vlak na de herfstvakantie, het tweede rond de meivakantie. Invullen van de lijst kan zowel op papier als rechtstreeks via een computerprogramma. Duur van de afname bedraagt 10 minuten. Wijze van scoring, interpretatie en rapportage De scoring verloopt automatisch via de software. Er wordt een totaalscore berekend door itemscores op te tellen. Normscores zijn verdeeld over vijf percentielklassen oplopend van E (10% leerlingen met laagste scores) tot en net A (25% leerlingen met hoogste scores). Leerlingen met een totaalscore van 86 of meer worden als sociaal competent beschouwd

63

Psychometrische kwaliteit Volgens de Cotan-beoordeling zijn de uitgangspunten en de kwaliteit van de testhandleiding goed, de kwaliteit van het materiaal, de normen, de betrouwbaarheid en de begripsvaliditeit voldoende maar de criteriumvaliditeit onvoldoende (de test is echter ook niet bedoeld om te voorspellen). Betrouwbaarheid (interne consistentie) = .94. Interbeoordelaarsbetrouwbaarheid (Spearman’s rho) = .71. Test-hertestbetrouwbaarheid = .76. Interne structuur: Factoranalyse leverde drie factoren met een eigenwaarde hoger dan 1 op, die samen 51% van de variantie verklaarden en zich goed lieten interpreteren: (h2 > .35). De factoren zijn: Innemend en meelevend sociaal handelen, Actief en betrokken sociaal handelen, Zorgvuldig en betrouwbaar sociaal handelen, met betrouwbaarheden van resp. .90, .91 en .85. Onderscheidend vermogen: De totaal-, de categorie- en de itemscores waren alle enigszins negatief scheef, dus van al deze schalen is het onderscheidend vermogen beter aan de kant van de lage scores. negatieve scheefheid gewenst. Om te differentiëren tussen kinderen met scores die aan de lage kant zijn, want daar zoekt men onderscheid tussen zij die wel en zij die minder of te weinig sociaal competent zijn. Validiteit (begripsvaliditeit): jongens scoorden over het algemeen lager dan meisjes met de SCOL. Ook is aangetoond dat leerlingen zonder leergewicht hoger scoorden dan leerlingen met een leerlinggewicht. Die beide bevindingen stemmen overeen met wat op theoretische grond verwacht mag worden. Normering: 10% van de leerlingen, die volgens de indeling in 5 niveau’s (A t.m. E), E-scores hebben, worden beschouwd als risicoleerlingen en 15% leerlingen met D-scores als zwakke leerlingen. Deze leerlingen zouden op basis van hun D- of E-score extra onderwijs in sociale competentie moeten krijgen en als dat niet helpt, in aanmerking moeten komen voor nadere diagnostiek. Voor de categoriescores zijn we uitgegaan van een indeling in twee niveaus van sociale competentie. De score van het 25e percentiel vormt de grens. Daaronder is de leerling onvoldoende sociaal competent op die categorie en is het nodig aan in het onderwijs aan deze categorie aandacht te besteden, daarboven is de sociale competentie voldoende. Verkrijgbaarheid Via Rovict, Postbus 388, 3760 AJ Soest, e-mail [email protected], tel. 035-6036080, fax 035-6036081, http://www.rovict.nl/

64

Leerlingvolgsysteem voor sociaal-emotionele ontwikkeling van Leefstijl (SEOL) Bronnen http://www.leefstijl.nl/aanvullend/50.html Meetpretentie Sociaal-emotionele ontwikkeling van leerlingen. Met het leerlingvolgsysteem SeoL kan een school op een systematische manier de sociaal-emotionele ontwikkeling van de leerlingen registreren en volgen, waarna ze op grond van de gegevens kan handelen. Het leerlingvolgsysteem is zowel bruikbaar voor scholen die met het lesprogramma Leefstijl werken als voor scholen die op een andere wijze aandacht besteden aan sociaal-emotionele vaardigheden van de leerlingen. Zelfrapportage en rapportage door twee anderen (docent en ouder). SeoL is een webbased applicatie. Het leerlingvolgsysteem bevat drie vragenlijsten: voor de leerkracht/docent, de leerling en de ouders. De vragenlijst voor de leerling is afgestemd op de doelgroep en is te gebruiken vanaf groep vijf van de basisschool. Door de drie vragenlijsten met elkaar te vergelijken ontstaat er een zogenaamd 360-graden feedbackmodel. De handleiding bevat een vijf stappenplan voor een analyse, evaluatie en handelingsplanning. Om snel zicht te krijgen op de wijze waarop de handelingsplanning afgeleid kan worden uit de gegevens van het leerlingvolgsysteem, bevat de handleiding een vijftal uitgewerkte voorbeelden. Twee daarvan leiden tot concrete handelingsplannen. Geadviseerd wordt om de vragenlijsten 1 á 2 keer per jaar af te nemen. Competenties (beschrijving: concepten en operationalisaties) Het instrument bevat 9 schalen: Externe factoren (EF), Praten en luisteren (PL), Zelfvertrouwen (ZV), Gevoelens uiten (GU), Omgaan met conflicten (OC), Contact met anderen (CA), Rekenen houden met anderen (RA), Opkomen voor zichzelf (OZ) en Keuzes maken en een doel bereiken (KB). Lijsten voor leerkrachten, ouders en leerlingen. Doelgroep (typering populatie) Leerlingen PO en VO.

65

Wijze van afnemen Scholen kunnen de vragenlijsten via de site van SeoL invullen. Na afname kan een school de resultaten analyseren, met behulp van de handleiding. Zie http://www.leermiddelenplein.nl/php/detail.php?id=165860 Wijze van scoring, interpretatie en rapportage Niet beschreven in de geraadpleegde bron. Psychometrische kwaliteit Alleen leerkrachtlijsten voldoende betrouwbaar. Scores op de schalen sterk scheef verdeeld omdat leerkrachtoordelen i.h.a. positief zijn. Meisjes worden positiever beoordeeld dan jongens. Wegens de grote verschillen tussen de gemiddelde beoordelingen per leeftijdsgroep zijn de normen onderverdeeld naar leeftijd en geslacht. Allochtonen worden negatiever beoordeeld dan autochtonen en leerlingen uit het speciaal onderwijs slechter dan leerlingen uit het regulier onderwijs. Aparte normtabellen voor allochtonen en speciaal onderwijs. Factoranalyse wijst uit dat een model met zeven factoren het beste past. Er zijn aparte factoren voor EF en PL. ZV, KB en GU laden op een factor die zou kunnen worden aangeduid als emotionele stabiliteit. OC is wellicht vergelijkbaar met aangenaamheid, en CA met extraversie. RA en KB laden op een gewetensvolheidsfactor en tenslotte laden OZ en GU op een factor die wordt aangeduid als assertiviteit. NB: er zijn dus twee hybride schalen in dit factormodel, namelijk KB en GU. Niet in Cotan testdocumentatie Verkrijgbaarheid http://www.leermiddelenplein.nl/php/detail.php?id=165860

5.2

Beschrijving mogelijk of deels geschikte instrumenten

ABC Gedragslijst Bronnen Doorn, F. van. (2000). ABC Gedragslijst. Handleiding. Amsterdam: ABC. Meetpretentie (Niet) acceptabel gedrag.

66

Competenties (beschrijving: concepten en operationalisaties) Begeleidingsinstrument dat door de groepsleerkrachten van groep 1 t/m 8 elk schooljaar na de herfstvakantie voor alle leerlingen wordt ingevuld. Er zijn 27 vragen met vijf antwoordmogelijkheden, van 'altijd' (in meer dan 80% van de gevallen) naar 'nooit' (in minder dan 20% van de gevallen). De gedragslijst omvat vier factoren: Grensoverschrijdend gedrag met 9 items, Teruggetrokken gedrag met 7 items, Aandachtsproblemen met 6 items en Emotionele stabiliteit met 5 items. De lijst kan gebruikt worden als signaleringsinstrument voor individuele gedragsproblemen en de ontwikkeling van het gedrag door de jaren heen en als evaluatieschaal voor beleidsmaatregelen op klasniveau en op niveau van de hele school. Doelgroep (typering populatie) Leerlingen van groep 1 t/m 8 basisonderwijs. Wijze van afnemen Individueel / papier & potlood. Duur afname: 5 min. per leerling. Wijze scoring en interpretatie papier & potlood: handmatig. Duur scoring en interpretatie papier & potlood: 10 min. Wijze van scoring, interpretatie en rapportage Scoring m.b.v. sleutels. Optelling van de waarden per factor. De factortotalen worden ingevuld op de individuele lijst en op de groepsstaat. Op de groepsstaat zijn per factor kritieke scores vermeld waarbij een leerling (extra) zorg behoeft. Op het groepsprofiel worden de gemiddelde factorscores per klas weergegeven. Het individuele profiel laat de ontwikkeling gedurende de schoolloopbaan zien. De schoolstaat geeft aantallen en percentages weer van lage, onder gemiddelde en boven gemiddelde factorscores en laat eventuele knelpunten op schoolniveau zien. De factorscores kunnen omgezet worden in normen voor groep 1 t/m 8: vier niveaus van A (25% hoogste scores), via B en C tot D (25% laagste scores). Het landelijk gemiddelde ligt tussen groep B en C. Genormeerd op 1033 leerlingen van 22 scholen. (1998). Jaar laatste normering: 1998 Psychometrische kwaliteit COTAN-beoordeling 2002. Uitgangspunten bij de testconstructie: voldoende. Kwaliteit van het testmateriaal: goed. Kwaliteit van de handleiding: voldoende. 67

Normen: onvoldoende1). Betrouwbaarheid: voldoende. Begripsvaliditeit: onvoldoende2). Criteriumvaliditeit: N.v.t. / Onvoldoende3). 1) Normen niet representatief en/of de representativiteit is niet te beoordelen. 2) Te weinig onderzoek. 3) Deze test is volgens de auteur(s)/uitgever niet bedoeld voor voorspellend gebruik, criterium-validiteit is derhalve niet van toepassing. Wanneer de test wordt ingezet in situaties waarin voorspelling wel aan de orde is, geldt het oordeel onvoldoende, omdat er geen onderzoek naar de criteriumvaliditeit is verricht. Geschiktheid Met uitzondering van de schaal voor aandachtsproblemen meet het instrument persoonskarakteristieken. Het richten van de aandacht kan als een aspect van metacognitie worden opgevat. Deze schaal zou mogelijk geschikt zijn voor gebruik in het onderwijs. Verkrijgbaarheid Advies en Begeleidings Centrum Amsterdam, Baarsjesweg 224, 1058 AA Amsterdam, e-mail [email protected], tel. 020-799 0010, fax 020-799 0020, http://www.hetabc.nl ABC Werkhoudingslijst Bronnen Doorn, F. van. (1998). ABC Werkhoudingslijst. Handleiding. Lisse: Harcourt Test Publishers. Meetpretentie Werkhouding op school. Competenties (beschrijving: concepten en operationalisaties) Begeleidingsinstrument dat door de groepsleerkrachten van groep 2 t/m 8 elk schooljaar in februari of maart voor alle leerlingen wordt ingevuld. Er zijn 27 vragen met vijf antwoordmogelijkheden, van 'altijd' (in meer dan 80% van de gevallen) naar 'nooit' (in minder dan 20% van de gevallen). De werkhoudingslijst omvat vier aspecten: Concentratie, motivatie/interesse met 10 items; Houding t.o.v. eigen prestaties met 5 items; Resultaat van de taak met 6 items en Werkhouding in relatie tot type taak met 6 items. De lijst kan gebruikt worden als signaleringsinstrument voor individuele 68

werkhoudingsproblemen en de ontwikkeling van de werkhouding door de jaren heen en als evaluatieschaal voor beleidsmaatregelen op klasniveau en op niveau van de hele school. Doelgroep (typering populatie) Leerlingen van groep 1 t/m 8 basisonderwijs. Wijze van afnemen Iindividueel / papier & potlood. Duur afname: 5 min. per leerling. Wijze scoring en interpretatie papier & potlood: handmatig. Duur scoring en interpretatie papier & potlood: 10 min. Afname: leerkracht. Interpretatie: leerkracht Wijze van scoring, interpretatie en rapportage Scoring m.b.v. sleutels. Optelling van de waarden per aspect. De totaalscores worden ingevuld op de individuele lijst en op de groepsstaat. Op de groepsstaat zijn per aspect kritieke scores vermeld waarbij een leerling (extra) zorg behoeft. Op het groepsprofiel worden de gemiddelde scores per aspect per klas weergegeven. Het individuele profiel laat de ontwikkeling gedurende de schoolloopbaan zien. De schoolstaat geeft aantallen en percentages weer van lage, onder gemiddelde en boven gemiddelde scores en laat eventuele knelpunten op schoolniveau zien. De scores op de vier aspecten kunnen omgezet worden in normen voor groep 1 t/m 8: vier niveaus van A (25% hoogste scores), via B en C tot D (25% laagste scores). Het landelijk gemiddelde ligt tussen groep B en C. Genormeerd op 672 leerlingen van 20 scholen uit Amsterdam en Rotterdam (1995). Jaar laatste normering: 1995. Psychometrische kwaliteit COTAN-beoordeling 2002. Uitgangspunten bij de testconstructie: onvoldoende1). Kwaliteit van het testmateriaal: goed. Kwaliteit van de handleiding: voldoende. Normen: onvoldoende2). Betrouwbaarheid: onvoldoende3). Begripsvaliditeit: onvoldoende4). Criteriumvaliditeit: N.v.t. / onvoldoende5). 1) Te weinig informatie. 2) Normen niet representatief en/of de representativiteit is niet te beoordelen. De normen zijn verouderd. 3) Geen gegevens over interbeoordelaarsbetrouwbaarheid. 4) Te weinig onderzoek. 5) Deze test is volgens de auteur(s)/uitgever niet bedoeld voor voorspellend gebruik, criteriumvaliditeit is derhalve niet van toepassing. Wanneer de test 69

wordt ingezet in situaties waarin voorspelling wel aan de orde is, geldt het oordeel onvoldoende, omdat er geen onderzoek naar de criteriumvaliditeit is verricht. Geschiktheid Werkhouding is een aspect van motivatie (criterium 5). Concentratie en interesse kunnen worden opgevat als deel van metacognitie. Verkrijgbaarheid Advies en Begeleidings Centrum Amsterdam, Baarsjesweg 224, 1058 AA Amsterdam, e-mail [email protected], tel. 020-799 0010, fax 020-799 0020, http://www.hetabc.nl BRIEF – Executieve Functies Gedragsvragenlijst Bronnen Smidts, D., & Huizinga, M. (2009) BRIEF – Executieve Functies Gedragsvragenlijst. Handleiding. Amsterdam: Hogrefe. Meetpretentie Executieve functies, i.e., cognitieve processen die nodig zijn voor doelgericht, efficiënt en sociaal aangepast gedrag. Competenties (beschrijving: concepten en operationalisaties) Klinische schalen inhibitie, cognitieve flexibiliteit, emotieregulatie, initiatief nemen, werkgeheugen, plannen en organiseren, ordelijkheid en netheid, gedragsevaluatie. Doelgroep (typering populatie) Kinderen in de leeftijd van 5 tot en met 18 jaar. Wijze van afnemen Leerkrachtversie en ouderversie. Leerkrachtversie dient te worden ingevuld door leerkracht of een ander, die het kind in begeleidende zin goed kent. De ouderversie dient bij voorkeur te worden ingevuld door beide ouders.

70

Wijze van scoring, interpretatie en rapportage Berekening gedragsregulatie index op grond van klinische schalen Inhibitie, Cognitieve flexibiliteit en Emotieregulatie. Berekening metacognitie index op grond van de overige 5 klinische schalen. Validiteitsschalen Negativiteit en Inconsistentie om na te gaan of er sprake is van een ongewoon negatief of onsamenhangend antwoordpatroon. Normtabellen, ook apart voor klinische groepen. Psychometrische kwaliteit Alleen de versie voor volwassenen is door de COTAN beoordeeld. Gegevens over interne consistentie, test – hertest betrouwbaarheid, interbeoordelaarsbetrouwbaarheid, constructvaliditeit, convergente en divergente validiteit in handleiding. Geschiktheid De metacognitie index is mogelijk bruikbaar in het onderwijs. Ook de ondergeschikte schalen op grond waarvan de index berekend wordt, zijn relevant ten aanzien van de meting van metacognitie. Verkrijgbaarheid Hogrefe Uitgevers, Weteringschans 128, 1017 XV, Amsterdam, tel. 020 671 35 43, fax 020 673 11 43, www.hogrefe.nl Competentie belevingsschaal voor adolescenten (CBSA) Bronnen Treffers, Ph.D.A., Goedhart, A.W., Veerman, J.W., Bergh, B.R.H. van den, Ackaert, L. & Rycke, L. de (2002). Competentie Belevings-Schaal voor Adolescenten. Handleiding. Lisse: Swets Test Publishers Meetpretentie Meten van facetten van competentiebeleving en eigenwaarde. Competenties (beschrijving: concepten en operationalisaties) Vragenlijst met 35 items gericht op afzonderlijke facetten van het zelfconcept ofwel competentiebeleving. Het instrument heeft zeven schalen, elk bestaand uit vijf items: Schoolvaardigheden, Sociale acceptatie, Sportieve vaardigheden, Fysieke verschijning, Gedragshouding, Hechte vriendschap en Gevoel van 71

eigenwaarde. Bij elk item worden steeds twee groepen jongeren beschreven. De adolescent kruist aan tot welke groep hij behoort, en of hij ‘helemaal' of ‘een beetje' tot die groep behoort. Voorbeeld item 3: "Sommige jongeren zijn erg goed in allerlei sporten." "Andere jongeren vinden dat ze niet goed in sport zijn.". Beschrijving CBSA berust op zelfde motivatiemodel als CBSK en kan op gestandaardiseerde wijze een indruk geven van zowel de competenties op een zestal specifieke gebieden als v/h globale gevoel van eigenwaarde zoals beoordeeld door de adolescent zelf. Te gebruiken voor wetenschappelijk onderzoek, voor klinische doeleinden (in 't bijzonder in psychodiagnostisch onderzoek door instellingen voor jeugdhulpverlening en geestelijke gezondheidszorg), en bij evaluaties van therapeutische interventies. Kern van Harter's theorie is dat zelfwaardering een multidimensioneel begrip is, waarin meerdere domeinspecifieke competentiebelevingen worden onderscheiden alsmede het gevoel van eigenwaarde als globale factor. Haar Amerikaanse vragenlijst, de Self Perception Profile for Adolescents (SPPA, 1988) en deze Nederlandse bewerking verschillen van de versies voor kinderen (Perceived Competence Scale for Children respectievelijk Competentie Belevingsschaal voor Kinderen) doordat een zevende schaal werd toegevoegd. In de adolescentie wordt het domein Hechte vriendschap belangrijk.De CBSA kan worden ingezet voor diagnostiek bij adolescenten met emotionele problemen en/of gedragsproblemen en voor wetenschappelijk onderzoek. Doelgroep (typering populatie) 12 t/m 18 jaar, voortgezet onderwijs. Wijze van afnemen Individueel / groepsgewijs / papier & potlood. Duur afname: 15 min. Verbruiksmateriaal Vragenlijstformulieren. Testmateriaal. Handleiding; Vragenlijsten. Wijze scoring en interpretatie papier & potlood: handmatig. Duur scoring en interpretatie papier & potlood: 10 min. Afname: psychodiagnostisch medewerker. Interpretatie: orthopedagoog, psycholoog Wijze van scoring, interpretatie en rapportage Zelfscorend antwoordformulier. Scoring op een vierpuntsschaal van ‘minst' tot ‘meest competent'. Subschaalscores worden berekend door de itemscores op te tellen (range 5-20) en worden omgezet in percentielscores. De normtabellen zijn gesplitst naar sekse en opleidingsniveau, indien significante verschillen 72

tussen subgroepen werden gevonden. Er zijn tevens aparte normen geconstrueerd voor 1.375 Nederlandse adolescenten uit vijf gemeenten verspreid over Nederland en 744 adolescenten uit heel Vlaanderen. Jaren van normering 1995, 1998 en 1999. Interpretatie op individueel niveau. Jaar laatste normering: 1999. Psychometrische kwaliteit COTAN-beoordeling 2003. Uitgangspunten bij de testconstructie: goed. Kwaliteit van het testmateriaal: goed. Kwaliteit van de handleiding: goed. Normen: goed. Betrouwbaarheid: voldoende. Begripsvaliditeit: goed. Criteriumvaliditeit: onvoldoende1) 1) Geen onderzoek. Nederlandse normen van jongens en meisjes v/h VBO-, MAVO-, HAVO-, & VWO- schooltype; Vlaamse v/h GSO-, BSO-, TSO-, & ASO-schooltype. Geschiktheid Het instrument is gericht op het zelfbeeld, dat vanwege het intrapersoonlijk karakter buiten de focus van dit onderzoek valt. De subschaal sociale acceptatie is echter eventueel nog relevant voor sociale competnties. Verkrijgbaarheid Pearson Assessment and Information B.V., Postbus 78, 1000 AB Amsterdam, email [email protected], tel. 020-5815500, fax 020-5815555, http://www.pearson-nl.com Competentie belevingsschaal voor kinderen (CBSK) Bronnen Veerman, J.W., Straathof, M.A.E., Treffers, Ph.D.A., Van den Bergh, B.R.H. & Brink, L.T. ten. (1997). De Competentiebelevingsschaal voor Kinderen, CBSK. Handleiding. Lisse: Swets & Zeitlinger Meetpretentie Aspecten van zelfwaardering, globaal gevoel van eigenwaarde. Competenties (beschrijving: concepten en operationalisaties) Vragenlijst met 36 items verdeeld over zes subschalen: 1. Schoolvaardigheden, 2. Sociale Acceptatie, 3. Sportieve Vaardigheden, 4. Fysieke Verschijning, 5. Gedragshouding en 6. Gevoel van Eigenwaarde. Het kind moet bij elk item uit 73

twee alternatieven kiezen en daarna aankruisen of dit helemaal waar of een beetje waar voor hem is. Leesvaardigheid op het niveau van groep 5 is gewenst. Bij jonge kinderen worden de items voorgelezen. De CBSK kan in het kader van diagnostiek gebruikt worden voor een gestructureerd gesprek met kinderen over belangrijke levensgebieden. De scores dienen altijd in relatie met ander diagnostisch materiaal te worden beoordeeld. Doelgroep (typering populatie) Basisschoolleerlingen tussen 8 en 12 jaar. Wijze van afnemen Duur afname: ca. 15 min. Wijze scoring en interpretatie papier & potlood: handmatig. Duur scoring en interpretatie papier & potlood: 10 min. Wijze van scoring, interpretatie en rapportage Scoring m.b.v. sleutel. Elk item krijgt een score 1-4. Sommering per subschaal geeft de ruwe subschaalscores (range 6-24) die op een profielblad worden ingevuld. M.b.v. normtabellen kunnen deze worden omgezet in percentielscores die in het Competentiebelevingsprofiel worden uitgezet. De ruwe scores worden gebruikt voor het vergelijken van groepen, de rangpercentielen voor het interpreteren van individuele scores. Interpretatie op individueel niveau. Aparte normtabellen voor jongens en meisjes en voor Nederland en Vlaanderen. Genormeerd op een onderzoeksgroep van 361 Nederlandse kinderen en een representatieve groep van 760 Vlaamse kinderen (1996). Jaar laatste normering: 1996 Psychometrische kwaliteit COTAN-beoordeling 1998. Uitgangspunten bij de testconstructie: goed. Kwaliteit van het testmateriaal: goed. Kwaliteit van de handleiding: goed. Normen: Voldoende1). Betrouwbaarheid: voldoende. Begripsvaliditeit: voldoende. Criteriumvaliditeit: onvoldoende2) 1) De normen zijn verouderd. 2) Geen onderzoek. Geschiktheid Hiervoor geldt hetzelfde als voor de versie voor adolescenten (zie hiervoor).

74

Verkrijgbaarheid Pearson Assessment and Information B.V., Postbus 78, 1000 AB Amsterdam, email [email protected], tel. 020-5815500, fax 020-5815555, http://www.pearson-nl.com EGGO gedragsleerlingvolgsysteem Bronnen http://www.pravoo.com/index.php?id=EGGO Meetpretentie EGGO is een digitaal leerlingvolgsysteem voor werkhouding en sociaalemotioneel gedrag. Dankzij de weergave op een kaart kan de ouders de ontwikkeling van hun kind worden getoond. Met EGGO kan ook een groepsoverzicht worden gemaakt en bekeken worden hoe de gehele klas kan worden aangepakt of welke kinderen de meeste problemen hebben. De kaart voor het groepsoverzicht zit in de handleiding. Het groepsoverzicht is handig bij leerlingbesprekingen. Iedere leerkracht toont dan het groepsoverzicht van haar/zijn groep, laat zien wat het groepsonderwerp is en welke kinderen een speciale zorg nodig hebben en dat betekent dat leerlingbesprekingen veel sneller plaats kunnen vinden dan voorheen. Door de groepsoverzichten van de gehele school te bekijken, kan ook snel worden gezien welke problemen er op schoolniveau het meest voorkomen zodat ook een algehele aanpak voor dat probleem op schoolniveau kan worden uitgevoerd. Competenties (beschrijving: concepten en operationalisaties) De ontwikkeling in werkhouding en op sociaal-emotioneel gebied. Doelgroep (typering populatie) Leerlingen in groep 1 t/m groep 8. Wijze van afnemen Observatie door de leerkracht. EGGO gaat uit van een ‘kaart’ op het beeldscherm waarop vanaf groep 1 t/m groep 8 (populatie) de gehele ontwikkeling van een kind weer wordt gegeven binnen twee grote gedragsclusters, werkhouding en het sociaal-emotionele domein. Dat betekent dat er ieder moment van de dag zicht is op die totale ontwikkeling. EGGO bevat instructievoorschriften. Dat wil zeggen dat er precies wordt aangegeven hoe de 75

kaart moet worden gescoord. Wanneer heeft een kind precies een hoge conflictfrequentie? Hoe vaak moet dat dan voorkomen? Dat is precies omschreven zodat de leerkrachten dat op dezelfde manier invullen. EGGO bevat aansluitend een eenvoudige diagnose die helemaal voorgestructureerd is. Dat betekent dat er met een minimum aan werk ook aansluitend diagnoseactiviteiten uit kunnen worden gevoerd. EGGO bevat aansluitend het digitale boekje "Eerste hulp bij gedragsproblemen". In dat boekje staan voor alle onderdelen van EGGO, maar ook van de diagnosekaart de eerste begeleidingshulpen om in de klas uit te voeren. Wijze van scoring, interpretatie en rapportage Niet beschreven in de geraadpleegde bron. Psychometrische kwaliteit Onbekend. Niet door Cotan beoordeeld. Geschiktheid Het instrument is voornamelijk gericht op signalering van gedragsproblemen. Het sociaal-emotionele domein raakt echter wel aan sociale competentie. Verkrijgbaarheid Unilogic: 046 4571830 of per mail : [email protected]. Het invoeren van EGGO en de nieuwe gedragsorthotheek kan geheel zelfstandig, maar ook onder begeleiding van Pravoo gedaan worden. Kosten voor twee teambijeenkomsten: € 770.- plus reiskosten (geen betaling voor reistijd en voorbereidingstijd. Gratis folder van EGGO met een gratis voorbeeld van een scorekaart. ESE vragenlijst Bronnen Chen, C. C., Greene, P. G., & Crick, A. (1998). Does entrepreneurial self-efficacy distinguish entrepreneurs from managers? Journal of Business Venturing(13), 295-316. Meetpretentie Entrepreneurial self-efficacy (ESE) verwijst naar de mate van overtuiging die iemand heeft over zijn succesvolheid in de rollen en taken van ondernemer.

76

Competenties (beschrijving: concepten en operationalisaties) Self-efficacy is een centraal construct in Bandura’s social learning theory. Selfefficacy heft toepassing op velerlei domeinen en moet dus toegesneden worden op specifieke taken in het betreffende domein. De Entrepreneurial Self-Efficacy zelfrapportagevragenlijst omvat 22 items. Factor-analyse wijst uit dat er 5 factoren zijn, zodat de vragenlijst bestaat uit 5 schalen: marketing (6 items), innovatie (4 items), management (5 items), risico nemen (4 items) en financieel beheer (3 items). De toepasselijkheid van een item wordt aangegeven op een 5punt Likert schaal lopend van geheel juist tot geheel onjuist. Doelgroep (typering populatie) Studenten, potentiële ondernemers. Wijze van afnemen Zelfrapportage; vragenlijst invullen. Wijze van scoring, interpretatie en rapportage Niet beschreven. Psychometrische kwaliteit De betrouwbaarheid van ESE bedraagt .89 en de betrouwbaarheid van de 5 schalen varieert tussen .65 (risico nemen) en .86 (marketing). Validiteit: de ESEscore correleert positief met ondernemingsbeslissingen nemen; uit regressieanalyse van ondernemingsbesluiten op o.a. ESE blijkt dat ESE daaraan significant bijdraagt. De ESE-score blijkt significant te verschillen tussen 3 groepen studenten: bedrijfskunde, management en psychologie. Uit nadere MANOVA op de 5 componenten van de ESE-vragenlijst blijkt een verschil tussen oprichters van een bedrijf en anderen op de factoren innovatie en risico nemen. Daarin onderscheiden ondernemers zich van managers. Ervaring met start-up van en bedrijf correleert positief met de ESE-score. ESE hangt dus significant en positief samen met de waarschijnlijkheid om ondernemer te worden. T.o.v. 'locus of control' is er convergente validiteit: ESE correleert positief met een interne locus of control. Er is ook discriminante validiteit, want ESE voorspelt een ondernemersloopbaan beter dan 'locus of control'. Methodologische beperking betreft sociale wenselijkheid bij zelfrapportage over zelfeffectiviteit.

77

Geschiktheid Ofschoon self-efficacy in algemene zin buiten de scope van de inventarisatie valt, wordt ondernemerschap frequent genoemd als advanced skill. Toch geselecteerd omdat voor dit aspect vrijwel geen instrumenten zijn aangetroffen. Verkrijgbaarheid De items staan op p. 305 (table 1) afgedrukt. Kanjervragenlijst Bronnen Vliek, L. (2009). Kanjervragenlijst. Almere: Instituut voor Kanjertrainingen. Meetpretentie Sociaal functioneren in de klas. Competenties (beschrijving: concepten en operationalisaties) Vragenlijst bestaande uit 29 items, verdeeld over vijf schalen: Gevoelens van waardeloosheid; Positief sociaal gedrag; Ongelukkig in de klas; Storend gedrag in de klas; Negatieve intenties. Elk item bestaat uit een stelling met vier antwoordmogelijkheden: ‘helemaal niet waar', ‘niet echt waar', ‘best waar' en ‘helemaal waar'. Er is tevens een docentvragenlijst, deze is niet meegenomen in de beoordeling. Doelgroep (typering populatie) Leerlingen groep 5 t/m 8 regulier en speciaal basisonderwijs. Wijze van afnemen Individueel / groepsgewijs / digitaal door leerkracht. Duur afname: ca. 15 min. Wijze van scoring, interpretatie en rapportage Leerkracht. Wijze scoring en interpretatie digitaal: software online. Duur scoring en interpretatie digitaal: 5 min. Psychometrische kwaliteit Genormeerd op 4598 leerlingen (2387 jongens en 2211 meisjes) uit groep 5 t/m 8 van het regulier basisonderwijs. Deze leerlingen zijn afkomstig van 1300 scholen die werken met de Kanjertraining. Er zijn normen voor groep 5 t/m 8, 78

apart voor jongens en meisjes. De data zijn verzameld in 2008 en 2009. Jaar laatste normering: 2009. COTAN-beoordeling 20101. Uitgangspunten bij de testconstructie: voldoende. Kwaliteit van het testmateriaal: goed. Kwaliteit van de handleiding: goed. Normen: onvoldoende2. Betrouwbaarheid: onvoldoende3. Begripsvaliditeit: onvoldoende4. Criteriumvaliditeit: onvoldoende5. 1) Deze beoordeling betreft uitsluitend de door de leerling zelf in te vullen Kanjervragenlijst. Over de bijbehorende docentenvragenlijst wordt geen informatie verstrekt. 2) Normen niet representatief en/of de representativiteit is niet te beoordelen. 3) Standaardmeetfout te groot; geen test-hertestgegevens. 4) Factoranalyse biedt geen ondersteuning voor de schaalstructuur. 5) Geen onderzoek. Ligt opnieuw ter beoordeling bij de COTAN. Geschiktheid Alleen de schaal positief sociaal gedrag maakt deel uit van sociale competentie. Verkrijgbaarheid Instituut voor Kanjertrainingen B.V., Edvard Munchweg 41, 1328 MB Almere, email [email protected], tel. 036-5489405, fax 036-5326966 http://www.kanjertraining.nl/index.php?option=com_frontpage&Itemid=1 KIJK! op Sociale Competentie Bronnen http://www.bazalt.nl/schoolontwikkeling/kijk-op-sociale-competentie.html Meetpretentie Een observatie-instrument om de sociaal-emotionele ontwikkeling in kaart te brengen; het is een leerlingvolgsysteem voor de sociaal-emotionele ontwikkeling voor groep 3 t/m 8. Het instrument is gebaseerd op KIJK! en sluit aan bij het ontwikkelings-volgmodel KIJK! 3-4. Er worden echter geen leerlijnen gehanteerd, maar ontwikkelingsschetsen per leeftijdscategorie (6 tot 8, 8 tot 10 en, 10 tot 12 jaar). Competenties (beschrijving: concepten en operationalisaties) De gegevens die u verzamelt zijn afkomstig uit twee bronnen: de leraar en het kind. Door deze twee bronnen bij elkaar te brengen ontstaat een nauwkeurig en betrouwbaar beeld. Voor elk van deze bronnen maakt u gebruik van een apart instrument. Op die manier kunt u de ontwikkeling van kinderen 79

gedurende de gehele basisschoolperiode volgen en eventuele problemen tijdig signaleren. Voor elk van deze leeftijdsgroepen zijn signaleringlijsten opgesteld die u invult. Vanaf groep 5 vullen de kinderen zelf ook een lijst in. Daarnaast kunnen leerlingen ook als bron worden geraadpleegd middels individuele activiteiten, activiteiten in tweetallen, in kleine groepjes en in de hele groep. Hiermee werkt u direct aan de sociale competentie van kinderen en heeft u de gelegenheid het gedrag van leerlingen concreter te observeren. Tussen de signaleringslijst, de ontwikkelschets, de leerlingenlijst en de activiteiten bestaat een duidelijke koppeling. De signaleringslijst bestaat uit 3 domeinen: Intrapersoonlijke Ontwikkeling, Interpersoonlijke Ontwikkeling en Maatschappelijke Betrokkenheid. Door gelaagde observatieniveaus van globaal naar gedetailleerd is deze lijst eenvoudig in te vullen. U vult die onderdelen in, die voor uw signalering van belang zijn. U kunt bijvoorbeeld diepgaander signaleren bij kinderen waar u zich zorgen om maakt. In iedere schets staan aanwijzingen om het probleemgedrag te verhelderen en suggesties om dit probleemgedrag aan te pakken. Door gelaagde observatieniveaus van globaal naar specifiek is het eenvoudig in te vullen. Het is daardoor ook mogelijk om de ene leerling uitgebreider te observeren dan de andere, bijvoorbeeld zorgleerlingen. Er is een duidelijke koppeling tussen de ontwikkelingsschetsen en signaleringslijsten. Door het laten invullen van een leerlingenlijst en door gebruik te maken van journaalactiviteiten, kan ook de leerling als bron gebruikt worden. Doelgroep (typering populatie) Het traject is bedoeld voor leraren van groep 3 t/m 8, intern begeleiders en directies. Wijze van afnemen Leerkracht vult de observatielijst (signaleringslijst) in. Vanaf groep 5 vullen de kinderen zelf ook een lijst in. Daarnaast kunnen leerlingen ook als bron worden geraadpleegd middels individuele activiteiten, activiteiten in tweetallen, in kleine groepjes en in de hele groep. Hiermee werkt u direct aan de sociale competentie van kinderen en heeft u de gelegenheid het gedrag van leerlingen concreter te observeren. Wijze van scoring, interpretatie en rapportage Niet beschreven. 80

Psychometrische kwaliteit Geen gegevens en geen Cotan-beoordeling. Geschiktheid KIJK! is inhoudelijk wel relevant voor sociale competenties, vooral de schalen voor interpersoonlijke ontwikkeling en maatschappelijke betrokkenheid. Psychometrisch gezien ontbreekt echter elke informatie en de waarde van het instrument is dus onzeker. Verkrijgbaarheid Offertes via secretariaat van Bazalt (0118-480880), Bazalt - Edisonweg 2 Postbus 351 - 4380 AJ Vlissingen, telefoon (0118) 480880 - Fax (0118) 480900 [email protected] Metacognitive awareness inventory (MAI) Bronnen Schraw, G., & Dennison, R. S. (1994). Assessing metacognitive awareness. Contemporary Educational Psychology, 19(4), 460-475. Schooten, N. M. v. (2009). Ondersteunen van planningsactiviteiten tijdens het zoeken van informatie op het web. Niet gepubliceerd manuscript. Meetpretentie De Metacognitive Awareness Inventory (MAI) dient voor meting van het metacognitief bewustzijn als het vermogen om op het leerproces te reflecteren, dit te begrijpen en te reguleren. Het gaat om kennis en regulatie van cognitie. Competenties (beschrijving: concepten en operationalisaties) De MAI is een zelfrapportage vragenlijst bestaande uit 52 items verdeeld over 2 factoren: kennis van cognitie (declaratieve kennis; procedurele kennis; conditionele knowledge) en regulatie van cognitie (planning; informatie beheer strategieen; monitoring van begrip; debugging strategieen; en evaluatie). In totaal worden er 8 metacognitieve competenties gemeten. Van Schooten (2009) heeft een aangepaste Nederlandstalige versie van de MAI gemaakt. Hiervoor zijn alle items uit de vragenlijst verwijderd die in het oorspronkelijke onderzoek een lading hadden op beide factoren (kennis en regulatie van cognitie). Dit geldt ook voor de items die op geen van beide factoren laden. Dit resulteerde in een ingekorte vragenlijst van 40 items, die vervolgens zijn 81

vertaald in het Nederlands. Bovendien zijn de vragen gekoppeld aan de specifieke context van het zoeken van informatie op het Web. Doelgroep (typering populatie) Bachelorstudenten. Wijze van afnemen Niet beschreven. Wijze van scoring, interpretatie en rapportage Niet beschreven. Psychometrische kwaliteit Betrouwbaarheid = .95 (coëfficiënt alfa) en voor elk van de factoren kennis van cognitie en regulatie van cognitie .91. Validatie: het 2-componenten model voor metacognitie (kennis en regulatie van cognitie) werd experimenteel gesteund; de subcomponenten (declaratieve, procedurele en conditionele kennis en planning, informatiebeheerstrategieen, begripsmonitoring strategie om fouten te elimineren, evaluatie) niet: dat leken er eerder 6 dan 8 te zijn. Betrouwbaarheid: Coefficient alfa is voor elk van de beide factoren (kennis over cognitie en regulatie van cognitie) .88 en de correlatie tussen deze beide factoren is .45. Validiteit: statistisch significante correlaties tussen de MAI en andere beoordelingen van cognitief bewustzijn en prestatiematen. Conclusie: de MAI is een betrouwbare test voor metacognitief bewustzijn voor oudere leerlingen/studenten. De verkorte Nederlandse versie van de MAI (Van Schooten, 2009) vond voor de uiteindelijke versie van de MAI die bestond uit 39 items voor de totale schaal een Cronbach’s coëfficiënt

van 0.82. De

subschalen kennis en regulatie van cognitie kenden respectievelijk een Cronbach’s

van 0.70 en 0.80.

Geschiktheid Het is de vraag in hoeverre het instrument dat gericht is op studenten in het hoger onderwijs, geschikt is of gemaakt kan worden voor een jongere doelgroep.

82

Verkrijgbaarheid Appendix A (Schraw & Dennison, 1994) bevat het meetinstrument. Verkorte nederlandstalige versie van de MAI: zie http://essay.utwente.nl/58185/1/scriptie_N_van_Schooten.pdf Junior Metacognitive awareness inventory (Jr- MAI) Bronnen Sperling, R. A., Howard, B. C., Miller, L. A., & Murphy, C. (2002). Measures of children’s knowledge and regulation of cognition. . Contemporary Educational Psychology, 27(1), 51-79. Sperling, R. A., Richmond, A. S., Ramsay, C. M., & Klapp, M. (2012). The Measurement and Predictive Ability of Metacognition in Middle School Learners. Journal of Educational Research, 105(1), 1-7. Meetpretentie Het meten van metacognitie bij kinderen in grade 3-9 (PO en onderbouw VO) t.b.v. diagnose of interventie. Competenties (beschrijving: concepten en operationalisaties) Uitgangspunt is de MAI voor volwassenen. Kennis van cognitie en regulatie van cognitie. Drie componenten voor kennis over cognitie (declarative knowledge, conditional knowledge, and procedural knowledge), and vijf componenten voor regulatie van cognitie (planning, monitoring, information management, evaluation, and debugging). Er bestaat een versie voor grade 3-5 bestaande uit 12 3-keuze items en een versie voor grade 6-9 die met 6 items is uitgebreid voor een hoger niveau van regulatie. Doelgroep (typering populatie) Kinderen in grade 3-9 Wijze van afnemen Klassikaal Wijze van scoring, interpretatie en rapportage Niet beschreven.

83

Psychometrische kwaliteit De factorstructuur van de versies voor de jongere en oudere kinderen is in overeenstemming met de theorie: kennis en regulatie zijn te onderscheiden factoren. MAI-Jr is gevalideerd aan 3 andere maten voor metacognitie en een beoordeling door de docent. Betrouwbaarheid (interne consistentie) was .76 voor de jongeren (versie A) en .82 voor de oudere kinderen (versie B). In het latere onderzoek van Sperling (Sperling, et al., 2012) werd een betrouwbaarheid (Cronbach’s ) van .76 voor de schaal bestaande uit items die kennis van cognitie meten en .80 voor de schaal bestaande uit items die regulatie van cognitie meten. Versie A correleert significant met 3 andere maten voor metacognitie. Versie B correleert significant met 2 andere maten voor metacognitie, maar niet met het oordeel van de docent over metacognitie van de leerling. Correlatie tussen Versies A en B en de Strategic Problem-Solving Inventory (Fortunato et al., 1991) bedraagt voor A: r 5 .72; en voor B: r 5 .68); tussen beide versies van de Jr. MAI en de Metacomprehension Strategies Index (Schmitt, 1990) bedraagt de correlatie voor A: r 5 .30; en voor B: .23; lage correlaties, hoewel statistisch significant voor Versie A, tussen de Jr. MAI en docent beoordelingen van metacognitie (voor A:r 5 .21; voor B: r 5 .09). Een matige significante correlatie (r = .30, p = .003) bleek te bestaan tussen de Jr. MAI, die is gebaseerd op Brown’s (1978) theoretisch kader, en de SMQ (Swanson metacognitive questionnaire), een maat gebaseerd op Flavell’s (1979) visie op metacognitie. Er is geen samenhang tussen metacognitie (Jr-MAI) en prestatie gevonden. De correlaties tussen prestatie scores en de Jr. MAI waren statistisch significant, maar laag, voor Versie A en nonsignificant, en soms negatief, voor Versie B. In het latere onderzoek van Sperling (2012) werd de verklarende kracht onderzocht van de SMQ en de Jr-MAI voor natuurwetenschap en algehele academische prestatie. Bij gelijktijdige invoer van beide maten in een regression model, waren beide maten significante voorspellers voor het gemiddeld cijfer natuurwetenschap GPA en het totale cijfergemiddelde. Deze beide predictoeren verklaarden 10% van de variantie in het totale cijfergemiddelde (R2 = .10, significant). De SMQ ( = .21, p = .05) toonde significante effecten op de prestatiescores terwijl de Jr. MAI verdeling beperkt was ( = .18, p = .08). In het tweede model, verklaarden de SMQ en de Jr. MAI 17% of the variantie in het cijfergemiddelde voor natuurwetenschap: de SMQ ( = .29, p = .005) en de Jr. MAI ( = .23, p = .02) hadden een significante bijdrage aan het model. In beide modellen was de SMQ een betere voorspeller dan de Jr-MAI. 84

Geschiktheid Het instrument zou vertaald moeten worden. Verkrijgbaarheid Versies A en B in appendix A en B afgedrukt. Metacognitive Awareness Listening Questionnaire (MALQ) Bronnen Vandergrift, L., Goh, C. C. M., Mareschal, C. J., & Tafaghodtari, M. H. (2006). The Metacognitive Awareness Listening Questionnaire: Development and Validation. Language Learning, 56(3), 431-462. Meetpretentie Zelfrapportagevragenlijst bestaande uit 21 items om metacognitief bewustzijn en gebruik van strategieën (regulatie) bij het begrijpen van gesproken tekst bij tweede-taalleerders te meten: voor bewustzijn van het luisterprocess en voor reflectie op strategiegebruik. Bruikbaar voor de student en ook voor de docent als indicator voor bewustzijn van en reflectie op strategiegebruik tijdens uitvoering van tweede taal luistertaken. Competenties (beschrijving: concepten en operationalisaties) De vragenlijst bestaat uit 21 uitspraken waarop een reactie op een 6-punts Likertschaal gegeven wordt, lopend van geheel mee eens tot geheel mee oneens. De items van de vragenlijst vormen 5 schalen: probleem oplossing (strategieën voor het afleiden van betekenis); planning en evaluatie (voorbereiden en evalueren van de resultaten van het beluisteren van de tekst); mentale translatie (voorkomen van inefficiënte strategieën); zelfkennis (perceptie van waargenomen moeilijkheidsgraad en zelf-effectiviteit); gerichte aandacht (taakconcentratie). Doelgroep (typering populatie) Studenten en anderen die een tweede taal leren Wijze van afnemen Individueel of groepsgewijs

85

Wijze van scoring, interpretatie en rapportage Niet beschreven. Psychometrische kwaliteit Exploratieve factoranalyse op de oorspronkelijke vragenlijst wees op 5 factoren die 44,5% van de variantie verklaren. Betrouwbaarheid per schaal varieert tussen .68 en .79. Op bijgestelde vragenlijst werd na afname een confirmatieve factoranalyse uitgevoerd (N=512). Ook hieruit kwamen de 5 factoren naar voren als beter dan een model met 4 of een model met 6 factoren. De correlatie tussen MALQ en luisterprestatie (N=341) bedraagt .36 en is significant. Uit regressieanalyse van de luisterprestatie op de MALQ-scores bleek dat R2=.129, waaruit blijkt dat 13% van de prestatievariantie verklaard kan worden uit metacognitie. Geschiktheid Het instrument is exclusief gericht op metacognitieve strategieën bij het beluisteren van een tekst in een tweede taal. Verkrijgbaarheid Vragenlijst in appendix. Measurement of Young Pupils' Metacognitive Abilities in Mathematics Bronnen Panaoura, A., & Philippou, G. (2003). The Construct Validity of an Inventory for the Measurement of Young Pupils' Metacognitive Abilities in Mathematics. [Reports - Research Speeches/Meeting Papers]. International Group for the Psychology of Mathematics Education. Paper presented at the 27th International Group for the Psychology of Mathematics Education Conference Held Jointly with the 25th PME NA Conference, 3, 437-444. Meetpretentie Meten van het zelfbeeld m.b.t. wiskundige probleemoplossing en zelfbeoordeling inzake het oplossen van wiskundige opgaven. Competenties (beschrijving: concepten en operationalisaties) De zelfrapportagevragenlijst bestaat uit twee delen. Het eerste deel meet metacognitieve vaardigheden bij wiskunde. Leerlingen krijgen 30 items 86

gepresenteerd en voor elk item kiezen ze het antwoord dat hun gedachte tijdens het oplossen van een wiskundig probleem het best weergeeft (1=nooit, 2= zelden, 3=soms, 4=vaak, 5=altijd). Het tweede deel gaat over hun cognitieve capaciteit tot het oplossen van wiskundige problemen. Eerst lezen de leerlingen een wiskundig/ruimtelijke-opgave en ze beantwoorden zowel voor als na het oplossen van de opgave de vragen. Doelgroep (typering populatie) Leerlingen in het PO; leeftijd 8-11 jaar Wijze van afnemen Klassikale afname Wijze van scoring, interpretatie en rapportage Niet beschreven Psychometrische kwaliteit Validiteit gebaseerd op factorstructuur: een eerste orde factor bevat items voor kennis van cognitie en een andere eerste orde factor betreft items voor regulatie van cognitie .Deze beide factoren laden hoog op een tweede orde factor (0,98 and 0,78). Geschiktheid Het instrument is expliciet gericht op metacognitieve vaardigheid bij het maken van wiskundeopgaven. Verkrijgbaarheid De vragenlijst bestaande uit 30 items staat in appendix A; de gebruikte wiskunde opgaven in appendix B. Meten van metacognitieve activiteiten Bronnen Schellings, G. L. M., Van Hout Wolters, B. H. A. M., Veenman, M. V. J., & Meijer, J. (ter perse). Assessing metacognitive activities: The in-depth comparison of a task-specific questionnaire with think-aloud protocols. European Journal of Psychology of Education, DOI 10.1007/s10212-012-0149-y

87

Meetpretentie Metacognitie, zelfregulatie. Competenties (beschrijving: concepten en operationalisaties) Vier hoofdcategorieën van metacognitieve activiteit bij het lezen van een geschiedenistekst: oriëntatie en planning, uitvoeren (cognitief), monitoren, evaluatie en elaboratie. De activiteiten worden zo concreet mogelijk bevraagd zodat ze kunnen worden vergeleken met een objectievere maat, te weten hardopdenkprotocollen. Doelgroep (typering populatie) Leerlingen in het voortgezet onderwijs. Wijze van afnemen Vragenlijst kan klassikaal worden afgenomen, maar hardopdenkprotocol vereist individuele afname. Wijze van scoring, interpretatie en rapportage Vragenlijst eenvoudig scoorbaar; tellen van activiteiten binnen elke hoofdcategorie. Interpretatie hardopdenkprotocol moet gedaan worden door expert of getrainde studenten in het wetenschappelijk onderwijs. Psychometrische kwaliteit Betrouwbaarheid van de totale vragenlijst (Cronbach’s α) was .87. Betrouwbaarheid schaal voor evaluatie en elaboratie was ook goed (.83), maar de betrouwbaarheden van de overige schalen waren onvoldoende (.45, .15 en .36). De correlatie tussen de vragenlijstmethode en de hardopdenkmethode bedroeg .63. Het instrument moet vooral worden gezien als een onderzoeksinstrument. Geschiktheid De vragenlijst is mogelijk geschikt voor gebruik in het onderwijs, maar de afname en interpretatie van een hardopdenkprotocol vereist veel tijdsinspanning en onderzoeksexpertise.

88

Verkrijgbaarheid Instituut voor de Lerarenopleiding, afdeling pedagogiek, onderwijskunde en lerarenopleiding, Universiteit van Amsterdam, Nieuwe Prinsengracht 131, Amsterdam. PISA digitale leesvaardigheid Bronnen OECD. (2011). PISA 2009 results: Students on line: Digital technologies and performance (volume VI), Paris: OECD. http://dx.doi.org/10.1787/9789264112995-en Meetpretentie Digitale leesvaardigheid. Kwaliteit van navigeren op het internet. Competenties (beschrijving: concepten en operationalisaties) Drie clusters taken, maar één schaal voor digitale leesvaardigheid. Doelgroep (typering populatie) 15-jarigen. Wijze van afnemen Per computer. Wijze van scoring, interpretatie en rapportage Vaardigheidsscores worden afgeleid van het aantal goede antwoorden. Moeilijkheid items en vaardigheid leerlingen worden op een en dezelfde dimensie geschaald. Psychometrische kwaliteit Kalibratie van items is uitgevoerd op grond van item-response theorie. Eén parameter logistisch model of Rasch-model. Verder geen gegevens. Geschiktheid De procedure is mogelijk geschikt maar de opgaven zelf worden waarschijnlijk niet vrijgegeven (PISA).

89

Verkrijgbaarheid Waarschijnlijk niet verkrijgbaar omdat de items zijn gebruikt voor internationale vergelijking. Sociaal Cognitieve Vaardigheden Test (SCVT) Bronnen Manen, T. G. v., Prins, P. J. M., & Emmelkamp, P. M. G. (2009). Sociaal Cognitieve Vaardigheden Test (SCVT). Meetpretentie Meet sociaal-cognitieve vaardigheden in de school- en thuissituatie. Met de SCVT kan bepaald worden of kinderen in de leeftijd van 4 t/m 12 jaar zich de sociaal cognitieve vaardigheden hebben eigen gemaakt die passen bij hun leeftijd. Kinderen met problemen op dit gebied hebben vaak een (oppositioneel-opstandige) gedragsstoornis, ADHD of een aan autisme verwante stoornis. De test geeft aan welke eventuele tekorten in sociaal cognitieve vaardigheden er zijn. Competenties (beschrijving: concepten en operationalisaties) Methode bestaande uit zeven plaatjes met acht bijbehorende vragen. Elke vraag vertegenwoordigt een sociaal-cognitieve vaardigheid. De verhalen gaan over een sociale situatie waarin een kind geconfronteerd wordt met een probleem. Er zijn tevens twee verkorte parallelversies (A- en B-versie) bestaande uit drie verhaaltjes in plaats van zeven. Het instrument is gebaseerd op de sociaalcognitieve ontwikkelingstheorie van Selman (1980, 2003). Dit model bestaat uit vier sociaal-cognitieve niveaus, waarbij bepaalde vaardigheden horen. 1. Egocentrisch niveau: op circa vierjarige leeftijd zijn de vaardigheden ‘identificeren' en ‘discrimineren'; 2. Subjectief perspectief nemen: op circa zesjarige leeftijd zijn de vaardigheden ‘differentiëren' en ‘vergelijken'; 3. Zelfreflectieve niveau: op circa achtjarige leeftijd zijn de vaardigheden ‘zich verplaatsen' en ‘relativeren'; 4. Wederzijds perspectief nemen: op circa tienjarige leeftijd zijn de vaardigheden ‘coördineren' en ‘verdisconteren'. Gerris (1981) heeft de niveaus van Selman getransformeerd naar de acht sociaalcognitieve vaardigheden (schalen) waar de SCVT op is gebaseerd. Deze schalen zijn: 1. Identificeren: het kind is zich bewust van het bestaan van perspectief. Het identificeren wordt onderverdeeld in onderkennen, herkennen en benoemen van perspectieven; 2. Discrimineren: het kind kan beoordelen of 90

perspectieven hetzelfde zijn of niet; 3. Differentiëren: het begrip dat twee of meer personen in gelijke of verschillende situaties niet noodzakelijk hetzelfde perspectief hebben; 4. Vergelijken: uitbreiding van de vaardigheid ‘differentiëren', het kind beseft dat er zowel overeenkomsten als verschillen kunnen zijn tussen perspectieven; 5. Zich verplaatsen: het kind kan zich verplaatsen in het perspectief van een ander; 6. Relateren: het leggen van causale relaties tussen perspectieven; 7. Coördineren: het kind is in staat de derde persoonspositie in te nemen; 8. Verdisconteren: het kind is zich bewust van de mogelijkheid het perspectief van de ander te beïnvloeden. Het instrument wordt gebruikt voor (1) screening van leeftijdsadequate ontwikkeling van sociaal-cognitieve vaardigheden, (2) diagnose van eventuele tekorten in de sociale informatieverwerking en (3) evaluatie van een interventie om het effect van de behandeling te meten. Doelgroep (typering populatie) Kinderen in de leeftijd van 4-12 jaar Wijze van afnemen Door professional, diagnostisch bevoegd. Duur afname: ca. 30 min. Wijze van scoring, interpretatie en rapportage Professional, diagnostisch bevoegd. Wijze scoring en interpretatie papier & potlood: handmatig en software lokale computer. Duur scoring en interpretatie papier & potlood: 15 min. Voor elke vraag kunnen maximaal drie punten gegeven worden. Dit gebeurt als het kind de vraag in één keer goed heeft beantwoord. Als er een alternatieve vraag of hulpvraag gesteld moet worden en het antwoord is dan alsnog goed, dan wordt er één punt gegeven. De punten worden voor elke schaal bij elkaar opgeteld. Vervolgens wordt er een score berekend voor de vier sociaal-cognitieve niveaus. Omzetting van de ruwe score in standaardscores en percentielscores gebeurt met behulp van normtabellen. Scoring is tevens online mogelijk via testweb. Er zijn normtabellen voor jongens, meisjes en de totale groep per leeftijdscategorie. Psychometrische kwaliteit COTAN-beoordeling 2009. Uitgangspunten bij de testconstructie: voldoende. Kwaliteit van het testmateriaal: voldoende. Kwaliteit van de handleiding: goed. Normen: voldoende. Betrouwbaarheid: voldoende (deze beoordeling betreft de 91

totale schaal en de schalen voor de vier sociaal-cognitieve niveaus; de betrouwbaarheden van de schalen voor de acht vaardigheden en voor alle schalen van de verkorte A- en B-versies zijn ‘onvoldoende’). Begripsvaliditeit: voldoende. Criteriumvaliditeit: onvoldoende (geen onderzoek). Geschiktheid Het instrument is voornamelijk gericht op (ontwikkeld voor) klinisch gebruik. Niettemin behoort het tot het domein van de sociale competenties en lijkt toepasbaarheid voor alle leerlingen mogelijk (zie het gebruik in Kuhlemeijer e.a., 2012). Afname vergt echter speciale training. Verkrijgbaarheid Bohn Stafleu van Loghum, Postbus 246, 3990 GA Houten, tel. 030-6383736, fax 030-6383999, http://www.bsl.nl/klantenservice Strength and Difficulties Questionnaire (SDQ) Bronnen Van Widenfelt, B. M., Goedhart, A. W., Treffers, P. D. A., & Goodman, R. (2003). Dutch version of the strength and difficulties questionnaire (SDQ). European Child and Adolescent Psychiatry, (12), 281-289. Meetpretentie Psychosociale aanpassingsvermogen van kinderen en adolescenten. Competenties (beschrijving: concepten en operationalisaties) Emotionele symptomen, gedragsproblemen, hyperactiviteit en aandachtsproblemen, problemen in de omgang met anderen, prosociaal gedrag. Versies voor leraren, ouders en self-report voor kinderen. Doelgroep (typering populatie) Kinderen tussen 8 en 16 jaar. Wijze van afnemen Door testassistent. Kan klassikaal, eventueel ook door leerkracht..

92

Wijze van scoring, interpretatie en rapportage De vragenlijst bevat 25 items met drie antwoordcategorieën: niet waar, enigszins waar en zeker waar. Er wordt een totaalscore en een score voor elke subschaal bepaald. Psychometrische kwaliteit Betrouwbaarheden (Cronbach’s α) het hoogst voor leraren, dan ouders. Betrouwbaarheden subschalen self-reports onvoldoende (lager dan .70). Lage correlaties tussen versies voor ouders, leraren en self-reports (gemiddeld rond de .35). Validering aan de hand van samenhang met de CBCL (correlatie .35). Geschiktheid Het instrument is gericht op identificatie van probleemgedrag. De schaal prosociaal gedrag behoort echter wel tot het domein van sociale competenties. Verkrijgbaarheid Informatie bij Leids Universitair Medisch Centrum, afdeling kind- en adolescenten psychiatrie. Self-Efficacy and Metacognition Learning Inventory—Science (SEMLI-S) Bronnen Thomas, G., Anderson, D., & Nashon, S. (2008). Development of an Instrument Designed to Investigate Elements of Science Students' Metacognition, SelfEfficacy and Learning Processes: The SEMLI-S. [Journal Articles Reports Research]. International Journal of Science Education, 30(13), 1701-1724. Meetpretentie Meten van metacognitie, leerprocessen en zelfeffectiviteit t.a.v. het domein der natuurwetenschap (metacognitieve natuurwetenschappelijke leeroriëntatie). Competenties (beschrijving: concepten en operationalisaties) De SEMLI-S is een zelfrapportage instrument. De uiteindelijke versie van de SEMLI-S (Appendix) omvat 30 items verdeeld over 5 subschalen; het aanvankelijke instrument bestond uit 72 items. De 5 subschalen zijn: (1) Constructivist Connectivity (CC= construeren van verbanden tussen informatie en kennis over verschillend gelocaliseerde leerstof; (2) Monitoring, Evaluation & Planning (MEP= deze representeren belangrijke leerstrategieën); (3) Science 93

Learning Self-efficacy (SE= de perceptie van de student op zijn orientatie en uitvoering van activiteiten om leerdoelen te bereiken); (4) Learning Risks Awareness (AW= besef van situaties die het leren schade doen); (5) Control of Concentration (CO). Doelgroep (typering populatie) Leerlingen VO Wijze van afnemen Niet beschreven. Wijze van scoring, interpretatie en rapportage Niet beschreven. Psychometrische kwaliteit Betrouwbaarheid: Cronbach alpha wijst op een acceptabel niveau van interne consistentie tussen de items per subschaal (.68 -.84). De discriminante validiteit wijst uit dat, ondanks een zekere overlap, de subschalen afzonderlijke aspecten van metacognitieve leerorientatie vertegenwoordigen. Er is een relatief hoge correlatie tussen CC en MEP en tussen MEP and SE. Studenten die actief natuurwetenschappelijke kennis construeren en doen aan monitoring,evaluatie en planning succesvoller zijn en een hoger niveau van zelf-effectiviteit hebben. Samenvattend past het Rasch model goed voor de SEMLI-S en is deze eendimensionaal. Elk van de 30 items laadt meer dan 0.40 op de eigen subschaal en minder dan 0.40 op andere sub-schalen, hetgeen wijst op een valide factorstructuur. De Item Reliability is 0.97, hetgeen wijst op een hoge interne consistentie, en de Rasch betrouwbaarheid is 0.92. De puntbiseriële correlaties zijn hoog en dit wijst erop dat SEMLI-S items goede indicatoren zijn van één construct. Geschiktheid Het instrument lijkt geschikt voor het domein metacognitie, maar zou vertaald moeten worden. Verkrijgbaarheid Zie pag.1715-1716 voor de vragenlijstitems

94

Schaal voor Interpersoonlijke Waarden (SIW) Bronnen Drenth, P.J.D. & Kranendonk, L.J. (1973). Schaal voor interpersoonlijke waarden, Handleiding. Amsterdam: Swets & Zeitlinger. Meetpretentie Meet wat mensen belangrijk vinden in hun sociale verkeer en geeft inzicht in het relatieve belang van de interpersoonlijke waarden van een individu: waarden in het sociale verkeer. Competenties (beschrijving: concepten en operationalisaties) De schaal bestaat uit 30 series van drie uitspraken over dingen die mensen belangrijk vinden in hun leven. Van iedere triade moet de cliënt aangeven welke uitspraak voor hem het belangrijkste vertegenwoordigt en welke het minst belangrijke. De volgende zes waarden worden gemeten: Sociale steun (support), Erkenning (recognition), Altruïsme (benevolence), Conformiteit (conformity), Onafhankelijkheid (independence), Leiderschap (leadership). Bewerking van de Survey of Interpersonal Values van L.V. Gordon (1960) Doelgroep (typering populatie) Adolescenten vanaf 15 jaar, volwassenen. Wijze van afnemen Individueel / groepsgewijs / papier & potlood. Duur afname: ca. 20 min. Wijze van scoring, interpretatie en rapportage Wijze scoring en interpretatie papier & potlood: handmatig en software lokale computer. Duur scoring en interpretatie papier & potlood: variabel. Afname en interpretatie door psychologen en orthopedagogen. Afname: psycholoog. Interpretatie: psycholoog. Scoring m.b.v. sleutel van het relatieve belang van de interpersoonlijke waarden. Scorerange van 0 tot 32. Electronisch scoorbaar. Genormeerd op 678 mannen en 193 vrouwen. (1973). Jaar laatste normering: 1996.

95

Psychometrische kwaliteit COTAN-beoordeling 1999. Uitgangspunten bij de testconstructie: onvoldoende1). Kwaliteit van het testmateriaal: goed. Kwaliteit van de handleiding: voldoende. Normen: onvoldoende2) Betrouwbaarheid: Onvoldoende3). Begripsvaliditeit: voldoende. Criteriumvaliditeit: Onvoldoende4). 1) Geen verantwoording testinhoud. 2) De normen zijn verouderd. Normen niet representatief en/of de representativiteit is niet te beoordelen. 3) Coëfficiënten te laag. 4) Geen onderzoek. Geschiktheid Het instrument is gericht op het meten van waarden en valt daarmee eigenlijk buiten de selectiecriteria. De waarden hebben echter wel betrekking op interpersoonlijke contacten en zijn daarmee wel relevant voor sociale competenties. Verkrijgbaarheid Pearson Assessment and Information B.V., Postbus 78, 1000 AB Amsterdam, email [email protected], tel. 020-5815500, fax 020-5815555, http://www.pearson-nl.com Schaal voor Persoonlijke Waarden (SPW) Bronnen Drenth, P.J.D. & Cornelisse-Koksma, H.G.Y. (1970). Schaal voor Persoonlijke Waarden (SPW). Testformulier. Amsterdam: Swets & Zeitlinger Meetpretentie De persoonlijke waardenstructuur bij adolescenten en volwassenen vanaf 16 jaar; waarden m.b.t. werk, studie en vrije tijd. Meet waarden, interessen, behoeften, motivatie Competenties (beschrijving: concepten en operationalisaties) Vragenlijst met 30 items die zes subschalen omvatten: Zakelijkheid, Prestatiemotivatie, Variëteit, Besluitvaardigheid, Orde en netheid, Doelgerichtheid. Elk item bestaat uit drie uitspraken waarvan moet worden aangegeven welke het meest en welke het minst belangrijk is voor cliënt. De

96

vragenlijst is qua opzet vergelijkbaar met de Schaal voor Interpersoonlijke Waarden en kan gebruikt worden voor selectie en beroepskeuze doeleinden. Doelgroep (typering populatie) Volwassenen. Wijze van afnemen Individueel / groepsgewijs / papier & potlood. Duur afname: ca. 20 min. Wijze van scoring, interpretatie en rapportage Wijze scoring en interpretatie papier & potlood: handmatig of software lokale computer. Duur scoring en interpretatie papier & potlood: 10 min. Afname: psycholoog. Interpretatie: psycholoog. Scoring m.b.v. sleutel van het relatieve belang van de persoonlijke waarden. Scorerange van 0 tot 32. Electronisch scoorbaar. Jaar laatste normering: 1996. Psychometrische kwaliteit COTAN-beoordeling 1999. Uitgangspunten bij de testconstructie: onvoldoende1). Kwaliteit van het testmateriaal: goed. Kwaliteit van de handleiding: voldoende. Normen: onvoldoende2). Betrouwbaarheid: onvoldoende3). Begripsvaliditeit: onvoldoende4). Criteriumvaliditeit: onvoldoende5). 1) Geen beschrijving uitgangspunten. 2) De normen zijn verouderd. Normen niet representatief en/of de representativiteit is niet te beoordelen. 3) Geen onderzoek. 4) Te weinig onderzoek. 5) Geen onderzoek. Geschiktheid Het instrument is gericht op personen vanaf 16 jaar oud. Zakelijkheid, besluitvaardigheid en doelgerichtheid behoren echter wel tot het domein van advanced skills. Verkrijgbaarheid Pearson Assessment and Information B.V., Postbus 78, 1000 AB Amsterdam, email [email protected], tel. 020-5815500, fax 020-5815555, http://www.pearson-nl.com

97

Social Skills Rating System (SSRS), Social Skills Improvement System (SSIS-RS) Bronnen: Gresham, F. M., Elliott, S. N., Vance, M. J., & Cook, C. R. (2011). Comparability of the Social Skills Rating System to the Social Skills Improvement System: Content and psychometric comparisons across elementary and secondary age levels. School Psychology Quarterly, 26(1), 27-44. Crosby, J. W. (2011). Test Review: F. M. Gresham & S. N. Elliott "Social Skills Improvement System Rating Scales." Minneapolis, Minnesota--NCS Pearson, 2008. Journal of Psychoeducational Assessment, 29(3), 292-296. Meetpretentie De SSRS is een brede meting door meerdere beoordelaars van sociaal gedrag van een leerling en academische competentie (leerkrachtversie). Meting van sociale vaardigheden alsmede probleemgedrag. Tussen 2003–2008, is de SSRS als maat voor sociale vaardigheden gebruikt in talloze onderzoeken. De SSRS is in 2008 gereviseerd en hernoemd als Social Skills Improvement System (SSISRS; Gresham & Elliott, 2008). Competenties (beschrijving: concepten en operationalisaties) De SSRS omvat sociale vaardigheden op 7 subdomeinen: Communication, Cooperation, Assertion, Responsibility, Empathy, Engagement, and Self-Control. Het leerkracht en ouder formulier omvat probleemgedrag in vijf subdomeinen:: Externalizing, Bullying, Hyperactivity/ Inattention, Internalizing, and Autism Spectrum. Het leerkracht formulier omvat ook een Academische Competentieschaal waarmee prestaties in lezen, wiskunde, motivatie, ouderlijke steun, en algemeen cognitief functioneren worden gemeten. Doelgroep (typering populatie) Leerlingen voorschool, PO en VO. Wijze van afnemen Vragenlijst af te nemen aan leerkracht, leerling en ouder. Wijze van scoring, interpretatie en rapportage Niet beschreven.

98

Psychometrische kwaliteit Betrouwbaarheid als coefficient alfa van teacher formulier. Sociale vaardigheden: SSRS elementary form .94; secondary form .93. Probleemgedrag: SSRS elementary form .88; secondary form .86. Academische competentie: SSRS elementary form .95; secondary form .95. Total social skills: SSIS-RS elementary form .97; secondary form .97. Total problem behavior: SSIS-RS elementary form .95; secondary form .96. Academic competence: SSIS-RS elementary form .97; secondary form .96. Betrouwbaarheid als coefficient alfa van student formulier. Sociale vaardigheden: SSRS elementary form .83; secondary form .83. Sociale vaardigheden: SSIS-RS elementary form .94; secondary form .95. De SSRS heeft uitstekende psychometrische kenmerken wat betreft interne consistentie en test-hertest betrouwbaarheid, relaties met andere maten en factorstructuur (see Gresham & Elliott, 1990). Mediane schaalbetrouwbaarheden van de sociale vaardigheden en probleemgedragsschalen zijn rond .90 voor elke leeftijdsgroep. Coefficient alpha is ook rond .90 voor de Academiche Competentie schaal. Test-hertest indices voor sociale vaardigheden waren .82 for het leerkrachtformulier, .84 voor het ouderformulier, en .81 voor het leerlingformulier. Met een laagste coefficient alpha van .94, heeft de SSIS-RS schalen met een hogere interne consistentie dan de SSRS. Gebaseerd op de empirische gegevens kan er worden gesteld dat de SSIS-RS dezelfde constructen meet —sociale vaardigheden en probleem gedrag—als de SSRS en dat nog betrouwbaarder doet. Validiteit: Correlaties tussen Social Skills en Problem Behaviors scales van de SSIS-RS waren matig negatief (bereik = –.42 to –.65) across forms. Uit de correlatie met andere maten Behavior Assessment System for Children en de Vineland Adaptive Behavior Scales blijkt concurrente validiteit. De SSRS is genormeerd op 4,000 students van voorschool tot high school. The SSIS-RS is genormeerd op een steekproef van 4,700 kinderen en adolescenten van 3 tot 18 jaar verspreid over 115 plaatsen in 36 staten. Geschiktheid Het instrument is nogal klinisch gericht. De onderliggende factoren sociale initiatie, coöperatie en bekrachtiging van leeftijdgenoten vallen wel binnen sociale competentie.

99

Verkrijgbaarheid http://www.pearsonassessments.com/HAIWEB/Cultures/enus/Productdetail.htm?Pid=PAassrs&Mode=summary STUDEON Bronnen http://www.cito.nl/nl/onderwijs/voortgezet%20onderwijs/alle_producten/e50e ecd7b7aa487f9d5424d487199c61.aspx. Handleiding testafname STUDEON 2006. Meetpretentie Studeon is een signaleringsinstrument: een instrument dat een school eenvoudig kan afnemen bij alle leerlingen om een globaal beeld te krijgen van de sociaal-emotionele ontwikkeling en studiehouding. Naast zelfrapportage op basis van beweringen is sprake van rapportage door een ander (mentor). De scores van de leerlingen worden vergeleken met landelijke normgroepen van leerlingen. Zo wordt in één oogopslag duidelijk of de sociaal-emotionele ontwikkeling en/of studiehouding in het algemeen of op specifieke dimensies nadere analyse of begeleiding behoeft. Studeon - onderdeel van het Volg- en Adviessysteem (VAS) van Cito. Dit signaleringsinstrument geeft een beeld van de sociaal-emotionele ontwikkeling en studiehouding van leerlingen in voonderbouw. Het omvat vier testen: Persoonlijkheid, Welbevinden, Studiehouding en Studiehouding volgens de mentor. Competenties (beschrijving: concepten en operationalisaties) Studeon is een zelfrapportage en heterorapportage instrument dat bestaat uit vier korte testen: A. Een test die de persoonlijkheid van de leerling meet (zorgvuldigheid, vriendelijkheid, emotionele stabiliteit en extraversie); B. Een test die het welbevinden van de leerling meet (zelfvertrouwen, relatie met docenten, relatie met medeleerlingen: en algemeen schoolbeeld); C. Een test die de studiehouding van de leerling meet zoals de leerling deze zelf waarneemt (cognitieve vaardigheden, metacognitieve vaardigheden en resource management); D. Een test voor de studiehouding van de leerling zoals de mentor deze waarneemt. Bij studiehouding gaat het zowel om de cognitieve en metacognitieve studievaardigheden als om zaken als timemanagement en werkhouding. De dimensie metacognitieve vaardigheden betreft vaardigheden die de cognitieve vaardigheden actief reguleren en bewaken. Hierbij gaat het 100

om het plannen van de denkprocessen, onder controle houden en waar nodig aanpassen. Voorbeelden van metacognitieve vaardigheden zijn doelen stellen, vragen bedenken, de eigen voortgang in de gaten houden, en het werktempo aanpassen. Metacognitieve vaardigheden maken de leerling flexibel en zorgen ervoor dat hij/zij zijn/haar manier van studeren aan kan passen aan de leersituatie. Test A, B en C worden door de leerling ingevuld. Test D wordt door de mentor ingevuld. Elke test bestaat uit een aantal korte uitspraken. De leerling of de mentor moet per uitspraak aangeven in hoeverre deze op hem/haar van toepassing zijn. Hierbij worden vier antwoordmogelijkheden onderscheiden: 1. mee oneens; 2. beetje mee oneens; 3. beetje mee eens; 4. mee eens. Doelgroep (typering populatie) Studeon is geschikt voor leerlingen in de eerste en tweede klas vmbo, havo en vwo. Wijze van afnemen Het afnemen van Studeon neemt één lesuur in beslag. Wij adviseren u Studeon af te nemen in een mentorles. Nadat de leerlingen de test hebben gemaakt, vult u de test Studiehouding in. Dit kost ongeveer vijf minuten per leerling. De leerlingen en de mentoren vullen hun antwoorden in op een antwoordblad. Na de afname stuurt u alle antwoordbladen naar Cito voor verwerking. Wijze van scoring, interpretatie en rapportage Binnen tien werkdagen na ontvangst van de ingevulde antwoordbladen door Cito, ontvangt u de rapportage op papier. Deze rapportage bestaat uit een leerlingrapport voor iedere leerling in tweevoud. Daarnaast kunt u in de Internetrapportage ook digitale rapporten opvragen. In het leerlingrapport wordt uw leerling per test op een aantal dimensies vergeleken met drie landelijke vergelijkingsgroepen van leerlingen. Bij Persoonlijkheid maken we onderscheid in geslacht: jongens, meisjes en totaal. Bij Welbevinden onderscheiden we de afnamemomenten: begin eerste leerjaar, einde eerste leerjaar en einde tweede leerjaar. Bij Studiehouding wordt de leerling gescoord op drie niveaus: vmbo-BB, vmbo-KB/GT en havo/vwo. Psychometrische kwaliteit Niet in Cotan testdocumentatie. 101

Geschiktheid Het deel waarin metacognitieve vaardigheden en resource management worden gemeten, hoort binnen het domein metacognitie. Verkrijgbaarheid Niet meer leverbaar vanaf 1 augustus 2013. Informatie bij Cito, Nieuwe Oeverstraat 50, Postbus 1034, 6801 MG Arnhem, T (026) 352 11 11 Schoolvragenlijst (SVL-2008) Bronnen H.C.M. Vorst - m.m.v. J.A.E. Smits, F. J. O., M.E.A. Stouthart en S.A. David (2008 ). Schoolvragenlijst voor Basis- & Voortgezet Onderwijs (SVL 2008). http://www.cotandocumentatie.nl/test_details.php?id=141 Meetpretentie Meet sociaal-emotioneel functioneren en betrokkenheid bij school. De SVL kan worden gebruikt als signaleringsinstrument om leerlingen met een relatief negatieve houding op te sporen en zo nodig te begeleiden. Het kan tevens worden gebruikt als adviseringsinstrument bij beslissingen over of met leerlingen met betrekking tot school- en beroepsloopbaan. Tot slot kan de SVL worden gebruikt als evaluatie-instrument om het onderwijs- en leerproces te evalueren en zo nodig aan te passen. Vragenlijst bestaande uit twee versies: één voor leerlingen van groep 6, 7 en 8 van het basisonderwijs en één voor leerlingen uit klas 1, 2 en 3 van het voorgezet onderwijs, beide bestaande uit 160 items. De twee versies bestaan beide uit twee verkorte, parallelle vormen A en B. Deze verkorte vormen zijn af te nemen ten behoeve van signalering of evaluatie. Voor individuele advisering en indicatiestelling moet de volledige lijst (A en B) worden afgenomen. Competenties (beschrijving: concepten en operationalisaties) De vragenlijst geeft een score op tien basisschalen: 1. Leertaak Gerichtheid (LG): de mate waarin de leerling zich denkt in te zetten voor schoolwerk; 2. Concentratie in de klas (CK): de mate waarin de leerling zich meent te kunnen concentreren op schooltaken; 3. Huiswerk Attitude (HA): de mate waarin de leerling zich denkt in te zetten voor het huiswerk; 4. Plezier op School (PS): de mate waarin de leerling tevreden zegt te zijn met de school; 5. Sociaal Aanvaard voelen (SA): de mate waarin de leerling zegt zich aanvaard te voelen 102

door medeleerlingen; 6. Relatie met Leerkrachten (RL): de mate waarin de leerling zegt een functionele relatie te onderhouden met de leerkrachten; 7. UitdrukkingsVaardigheid (UV): de mate waarin de leerling zijn/haar gedachten onder woorden kan brengen; 8. Zelfvertrouwen bij Proefwerken (ZP): de mate waarin de leerling zegt zelfvertrouwen te hebben in situaties op school waarin een prestatie geleverd moet worden; 9. Sociale Vaardigheid (SV): de mate waarin de leerling moeilijke sociale situaties denkt aan te durven; 10. Sociale Wenselijkheid (SW): de mate waarin de leerling geneigd is zichzelf in een gunstig daglicht te stellen bij zelfbeschrijving. Deze tien basisschalen worden gerepresenteerd door acht stellingen of uitspraken in zowel de A- als de Bversie (totaal 160 items). De items hebben drie antwoordmogelijkheden: ‘dat is zo', ‘dat is niet zo' en ‘dat weet ik niet'. Er zijn drie hoofdschalen die elk bestaan uit drie basisschalen: 1. Werkhouding (schaal 1, 2 en 3); 2. Welbevinden (schaal 4, 5 en 6); 3. Zelfvertrouwen (schaal 7, 8 en 9). Deze negen basisschalen vormen samen de SVL-totaalschaal. Deze schaal geeft een indicatie van de globale houding van een leerling ten aanzien van de school en zichzelf voor zover van belang voor het onderwijsleerproces. Naast de negen inhoudelijke basisschalen en de drie hoofdschalen zijn er drie controleschalen: 1. Sociale Wenselijkheid (SW), basisschaal 10: antwoordneiging in de sociaal wenselijke richting kan leiden tot overschatting van de opvattingen; 2. Weet Niet (WN): relatief veel gebruik maken van de antwoordcategorie ‘dat weet ik niet', kan leiden tot onderschatting van de opvattingen; 3. Geen Antwoord (GA): relatief veel vragen onbeantwoord laten kan leiden tot onderschatting van de opvattingen. Doelgroep (typering populatie) Leerlingen uit bovenbouw PO en onderbouw VO Wijze van afnemen Schriftelijk of digitaal (SVL-digitaal). Duur afname: 30-50 min. Afname: leerkracht of o.l.v. leerkracht bij digitale afname Wijze van scoring, interpretatie en rapportage Wijze scoring en interpretatie papier & potlood: handmatig door leerkracht. Duur scoring en interpretatie papier & potlood: 10 min. Bij afname van SVLdigitaal verloopt scoring en rapportage automatisch.

103

Psychometrische kwaliteit Volgens de Cotanbeoordeling zijn de uitgangspunten bij de testconstructie voldoende, is de kwaliteit van het testmateriaal goed, de kwaliteit van de handleiding goed, de normen goed, de betrouwbaarheid voldoende (Deze beoordeling betreft de basisschalen, de betrouwbaarheid van de drie samengestelde schalen is ‘goed’, die van de schaal SW is ‘onvoldoende’), de begripsvaliditeit goed en de criteriumvaliditeit onvoldoende (geen onderzoek). Geschiktheid Het deel werkhouding, met name leertaakgerichtheid en concentratie in de klas, maken deel uit van metacognitie. Verkrijgbaarheid Schriftelijke SVL-2008: Pearson Assessment and Information B.V., Postbus 78, 1000 AB Amsterdam, e-mail [email protected], tel. 020-5815500, fax 0205815555, http://www.pearson-nl.com SVL-digitaal: http://www.svldigitaal.nl/ uitgever Libbe Mulder ZIEN! Bronnen Broer, N. A., Haverhals, B., & Maaswaal, G. M. van (2011). Verantwoording Pedagogisch Expertsysteem ZIEN! Voor het Primair Onderwijs. Ridderkerk: Driestar Onderwijsadvies. Meetpretentie Attitude, interpersoonlijk, intrapersoonlijk, sociale competentie, vaardigheden. Competenties (beschrijving: concepten en operationalisaties) Vragenlijst bestaande uit 28 stellingen, waarbij vijf sociale vaardigheden (effectvariabelen) en twee graadmeters (procesvariabelen) met vier stellingen worden onderzocht. Effectvariabelen zijn: Sociaal initiatief (SI), Sociale flexibiliteit (SF), Sociale autonomie (SA), Impulsbeheersing (IB) en Inlevingsvermogen (IL). De procesvariabelen zijn: Welbevinden en Betrokkenheid. De leerkracht geeft op een vierpuntsschaal lopend van ‘dit klopt niet' tot ‘dit klopt helemaal' aan in hoeverre de stelling van toepassing is op de leerling. Er is een aparte versie van de test voor groep 1 t/m 4 en groep 5 t/m 8. Het verschil tussen beide versies is dat voor beide groepen andere 104

handelingssuggesties worden gegeven, er is geen verschil in items. Het instrument is gebaseerd op het model van Laevers (1993-1995). Het instrument kan worden gebruikt voor het volgen van de sociaal-emotionele ontwikkeling door het observeren en analyseren van sociale vaardigheden van leerlingen en het daarop afstemmen van het pedagogisch handelen. Doelgroep (typering populatie) Basisschoolkinderen 4 t/m 12 jaar. Wijze van afnemen Individueel / groepsgewijs / digitaal. Duur afname: ca. 30 min. Wijze van scoring, interpretatie en rapportage Software online. Duur scoring en interpretatie digitaal: 10 min. Afname: leerkracht Interpretatie: leerkracht. Psychometrische kwaliteit COTAN-beoordeling 2012. Uitgangspunten bij de testconstructie: goed. Kwaliteit van het testmateriaal: goed. Kwaliteit van de handleiding: goed. Normen: voldoende. Betrouwbaarheid: voldoende. Begripsvaliditeit: voldoende. Criteriumvaliditeit: N.v.t. / Onvoldoende1). 1) Deze test is volgens de auteur(s)/uitgever niet bedoeld voor voor voorspellend gebruik, criteriumvaliditeit is derhalve 'niet van toepassing'. Wanneer de test wordt ingezet in situaties waarin voorspelling wel aan de orde is, geldt het oordeel 'onvoldoende', omdat er geen onderzoek naar de criteriumvaliditeit is verricht. Geschiktheid Bij het opstellen van dit rapport was de COTAN beoordeling 2011 nog van kracht, waarbij het instrument als onvoldoende werd gekwalificeerd op de kenmerken normen, betrouwbaarheid en begripsvaliditeit. Met uitzondering van de factoren welbevinden en impulsbeheersing past het instrument in het domein der sociale competenties.

105

Verkrijgbaarheid Driestar Onderwijsadvies, Postbus 433, 2980 AK Ridderkerk, tel. 0180-442600, http://www.driestar-onderwijsadvies.nl

5.3

Informatiebronnen over de (mogelijk) geschikte meetinstrumenten

Broer, N. A., Haverhals, B., & Maaswaal, G. M. van (2011). Verantwoording Pedagogisch Expertsysteem ZIEN! Voor het Primair Onderwijs. Ridderkerk: Driestar Onderwijsadvies. CED-groep. (2006). Sociale Competentie Observatie Lijst, SCOL, http://www.scol.nl/ Chen, C.C., Greene, P.G., & Crick, A., (), . (1998). Does entrepreneurial selfefficacy distinguish entrepreneurs from managers? Journal of Business Venturing(13), 295-316. Crosby, J.W. (2011). Test Review: F.M. Gresham & S.N. Elliott "Social Skills Improvement System Rating Scales." Minneapolis, Minnesota--NCS Pearson, 2008. [Journal Articles Reports - Evaluative]. Journal of Psychoeducational Assessment, 29(3), 292-296. Dam, G. ten., Geijsel, F., Reumerman, R., & Ledoux, G. (2010 ). Burgerschapscompetenties: de ontwikkeling van een meetinstrument Pedagogische studiën: tijdschrift voor onderwijskunde en opvoedkunde, 87 (5), 313-334. Doorn, F. van. (1998). ABC Werkhoudingslijst. Handleiding. Lisse: Harcourt Test Publishers. Doorn, F. van. (2000). ABC Gedragslijst. Handleiding. Amsterdam: ABC. Drenth, P.J.D. & Cornelisse-Koksma, H.G.Y. (1970). Schaal voor Persoonlijke Waarden (SPW). Testformulier. Amsterdam: Swets & Zeitlinger Drenth, P.J.D. & Kranendonk, L.J. (1973). Schaal voor interpersoonlijke waarden, Handleiding. Amsterdam: Swets & Zeitlinger. Duncan, T.G., & McKeachie, W. J. (2005). The Making of the Motivated Strategies for Learning Questionnaire. Educational Psychologist, 40(2), 117-128. EGGO gedragsleerlingvolgsysteem. http://www.pravoo.com/index.php?id=EGGO Elshout-Mohr, M., Meijer, J., Oostdam, R., & Van Gelderen, A. (1996). Toets algemene vaardigheden in de basisvorming (ALVABAVO). Amsterdam: SCO-Kohnstamm Instituut

106

Gresham, F.M., Elliott, S.N., Vance, M.J., & Cook, C.R. (2011). Comparability of the Social Skills Rating System to the Social Skills Improvement System: Content and psychometric comparisons across elementary and secondary age levels. School Psychology Quarterly, 26(1), 27-44. Joosten, F. (2007). Een maat om op te bouwen: sociale competentie meten voor het basisonderwijs. Amsterdam: academisch proefschrift, Universiteit van Amsterdam. KIJK! op Sociale Competentie. http://www.bazalt.nl/schoolontwikkeling/-kijkop-sociale-competentie.html Klinkenberg, S. (2004). Constructie en Validatie van een Algemene Computervaardigheid Vragenlijst (ACV). Amsterdam: doctoraalscriptie Universiteit van Amsterdam. Manen, T.G. v., Prins, P.J.M., & Emmelkamp, P.M.G. (2009). Sociaal Cognitieve Vaardigheden Test (SCVT). Houten: Bohn Stafleu van Loghum. Meijer, J. (2007). Leerlingvolgsysteem voor sociaal-emotionele ontwikkeling van Leefstijl (SEOL). Amsterdam: SCO-Kohnstamm Instituut. Merrell, K.W. (1993). Using behavioral rating scales to assess social skills and antisocial behavior in school settings: Development of the School Social Behavior Scales. School Psychology Review, 22(1), 115-133. OECD. (2011). PISA 2009 results: Students on line: Digital technologies and performance (volume VI). Paris: OECD. http://dx.doi.org/10.1787/9789264112995-en Panaoura, A., & Philippou, G. (2003). The Construct Validity of an Inventory for the Measurement of Young Pupils' Metacognitive Abilities in Mathematics. [Reports - Research Speeches/Meeting Papers]. International Group for the Psychology of Mathematics Education. Paper presented at the 27th International Group for the Psychology of Mathematics Education Conference Held Jointly with the 25th PME NA Conference, 3, 437-444. Pintrich, P.R., & Smith, D.A.F. (1993). Reliability and predictive validity of the motivated strategies for learning questionnaire (MSLQ). Educational and psychological measurement : a quarterly journal devoted to the development and application of measures of individual differences, 53 (3), 801-813.

107

Schellings, G.L.M., Van Hout Wolters, B.H.A.M., Veenman, M.V.J., & Meijer, J. (ter perse). Assessing metacognitive activities: The in-depth comparison of a task-specific questionnaire with think-aloud protocols. European Journal of Psychology of Education, DOI 10.1007/s10212-012-0149-y Schooten, N.M. v. (2009). Ondersteunen van planningsactiviteiten tijdens het zoeken van informatie op het web. Niet gepubliceerd manuscript. Schraw, G., & Dennison, R.S. (1994). Assessing metacognitive awareness. Contemporary Educational Psychology, 19(4), 460-475. Schulz, W., Ainley, J., & Fraillon, J. (2009). ICCS 2009 Technical Report. Rome: Universita degli studi Roma Tre. Smidts, D., & Huizinga, M. (2009) BRIEF – Executieve Functies Gedragsvragenlijst. Handleiding. Amsterdam: Hogrefe. Sperling, R.A., Howard, B.C., Miller, L.A., & Murphy, C. (2002). Measures of children’s knowledge and regulation of cognition. Contemporary Educational Psychology, 27(1), 51-79. Sperling, R.A., Richmond, A.S., Ramsay, C.M., & Klapp, M. (2012). The Measurement and Predictive Ability of Metacognition in Middle School Learners. Journal of Educational Research, 105(1), 1-7. Cito (2006). STUDEON. Arnhem: Cito. Thomas, G., Anderson, D., & Nashon, S. (2008). Development of an Instrument Designed to Investigate Elements of Science Students' Metacognition, Self-Efficacy and Learning Processes: The SEMLI-S. [Journal Articles Reports - Research]. International Journal of Science Education, 30(13), 1701-1724. Timmers, C.F., & Glas, C.A.W. (2010). Developing scales for information-seeking behaviour. Journal of Documentation, 66(1), 46-69. Treffers, Ph.D.A., Goedhart, A.W., Veerman, J.W., Bergh, B.R.H. van den, Ackaert, L. & Rycke, L. de (2002). Competentie Belevings-Schaal voor Adolescenten. Handleiding. Lisse: Swets Test Publishers Van Deursen, A.J.A.M., & Van Dijk, J.A.G.M. (2010). Measuring internet skills. International Journal of Human-Computer Interaction. 26(10), 891-916. Van Widenfelt, B.M., Goedhart, A.W., Treffers, P.D.A., & Goodman, R. (2003). Dutch version of the strength and difficulties questionnaire (SDQ). European Child and Adolescent Psychiatry, (12), 281-289. Vandergrift, L., Goh, C.C.M., Mareschal, C.J., & Tafaghodtari, M.H. (2006). The Metacognitive Awareness Listening Questionnaire: Development and Validation. Language Learning, 56(3), 431-462. 108

Veerman, J.W., Straathof, M.A.E., Treffers, Ph.D.A., Van den Bergh, B.R.H. & Brink, L.T. ten. (1997). De Competentiebelevingsschaal voor Kinderen, CBSK. Handleiding. Lisse: Swets & Zeitlinger Vorst, H.C.M. - m.m.v. J.A.E. Smits, F. J.O., M.E.A. Stouthart en S.A. David (2008). Schoolvragenlijst voor Basis- & Voortgezet Onderwijs (SVL 2008). Nijmegen: Berkhout. Vliek, L. (2009). Kanjervragenlijst. Almere: Instituut voor Kanjertrainingen Zhao, H., Seibert, S.E., & Hills, G.E. (2005). The mediating role of self-efficacy in the development of entrepreneurial intentions. Journal of Applied Psychology, 90(6), 1265-1272.

109

6

Conclusies en advies

Dit onderzoek was er op gericht drie vragen te beantwoorden: 1.

Welke instrumenten zijn in het Nederlandse taalgebied beschikbaar voor meting van sociale competenties (vooral de interpersoonlijke en maatschappelijke component daarvan), metacognitie en de zogenaamde ‘advanced skills’ van leerlingen in de bovenbouw van de basisschool en in het voortgezet onderwijs, die voldoen aan criteria die (op schoolniveau) valide en betrouwbare uitspraken over het competentieniveau mogelijk maken?

2.

Voor zover daarvan onvoldoende sprake is: welke instrumenten in andere landen voldoen aan die criteria en zouden voor afname in het Nederlandse taalgebied geschikt gemaakt kunnen worden?

3.

Indien het resultaat daarvan beperkt is: wat is een effectieve strategie om, met maximale gebruikmaking van beschikbare aanzetten of materialen, en in aansluiting bij beschikbare theorievorming, empirische kennis en toetsontwikkeling, te komen tot ontwikkeling van aanvullende toetsen op korte termijn?

In dit slothoofdstuk gaan we eerst kort op elk van deze vragen in. Vervolgens reflecteren we in een nabeschouwing nog op enkele meer specifieke uitkomsten en op enkele beperkingen van het onderzoek.

6.1

Beschikbare Nederlandse instrumenten

Een eenvoudig antwoord op de eerste onderzoeksvraag is: de direct voor Nederland geschikte instrumenten zijn in het vorige hoofdstuk genoemd en beschreven als categorie A instrumenten (zie tabel 1 in hoofdstuk 5). Al deze 111

instrumenten zijn in het Nederlands beschikbaar, zijn voldoende psychometrisch onderbouwd en passen bij de domeinen sociale competenties, metacognitie en advanced skills zoals beschreven in hoofdstuk 2. Ze zijn bovendien (in potentie) afneembaar door docenten en vragen geen ingewikkelde training. Sommige instrumenten, uitsluitend voor het gebied van de sociale competenties, zijn ook al goed toegankelijk gemaakt voor gebruik door scholen (Meetinstrument Burgerschapscompetenties, SCOL, SEOL). Echter, niet al deze categorie A instrumenten voldoen aan alle wensen. Zo is de Alvabavo toets niet bij een uitgever verkrijgbaar. Deze toets zou dus eerst ‘in de markt moeten worden gezet’. Verder zijn de instrumenten die ICTvaardigheden meten (ACV, Measuring internet skills, Scales for Informationseeking behaviour) alle ontwikkeld voor jong-volwassenen, vanaf 18 jaar, en met name getest bij studenten. De leeftijd van 18 jaar is in dit onderzoek (dat gericht is op primair en voortgezet onderwijs) de bovengrens. De betreffende instrumenten zijn dus wellicht wel geschikt voor de bovenbouw van havo en vwo, maar vermoedelijk niet voor lagere leeftijdsgroepen of andere onderwijstypen. Hetzelfde geldt voor de Scales for Information-seeking behaviour, een van de categorie A instrumenten voor meten van metacognitie. De MSLQ, ook een categorie A instrument voor het meten van metacognitie (althans een deel van de subschalen), is ook alleen beschikbaar voor het voortgezet onderwijs. Bezien we het bereik van deze instrumenten, vanuit de in hoofdstuk 2 geschetste theoretische kaders, dan constateren we dat voor sociale competenties behoorlijk brede A-instrumenten beschikbaar zijn: ze beslaan elk een combinatie van voor het domein relevante aspecten. Dat geldt echter in mindere mate voor metacognitie, en het geldt nog minder voor het gebied van de advanced skills. Specifiek voor advanced skills zijn eigenlijk alleen de instrumenten die ICT-vaardigheden meten, en daarmee wordt het terrein dus maar zeer gedeeltelijk gedekt. We gaan daar in paragraaf 6.3 meer in detail op in. Naast de A-instrumenten hebben we de B-instrumenten onderscheiden (zie tabel 2 in hoofdstuk 5). Dit zijn instrumenten die niet zonder meer geschikt zijn bevonden. Een substantieel deel van deze instrumenten is wel voor Nederland beschikbaar en voldoet vaak ook wel aan de eisen psychometrisch onderbouwd, geschikt voor de leeftijdsgroep en afneembaar door docenten. Ze hebben echter als gemeenschappelijk nadeel dat ze niet in hun geheel gericht zijn op het meten van sociale competenties, metacognitie of advanced skills. 112

Vaak passen slechts een of enkele subschalen bij een van deze domeinen; daardoor meten ze meestal maar één bepaald deelaspect van een domein. Combinatie van deze instrumenten zou wel voor een breder beeld van de bedoelde competenties kunnen zorgen6, maar dat is uiteraard voor toepasbaarheid door scholen een probleem. Een specifieke beperking van een deel van de B-instrumenten voor het meten van metacognitie is dat ze alleen één bepaald vak als toepassingsgebied hebben. Daarnaast is er een andere specifieke beperking van een deel van de Binstrumenten voor sociale competenties. Er is geen psychometrische informatie beschikbaar, of de psychometrische kwaliteit is vooralsnog onvoldoende. Andere redenen waarom de B-instrumenten als niet zonder meer geschikt beoordeeld zijn de volgende. Zij zijn (nog) niet in het Nederlands beschikbaar; ontwikkeld voor een leeftijdsgroep ouder dan 18 jaar of niet of moeilijk te gebruiken door scholen vanwege specifieke afname-eisen.

6.2

Elders ontwikkelde instrumenten die voor Nederland toepasbaar zouden kunnen zijn

De in dit onderzoek uitgevoerde literatuursearch was gericht op zowel in Nederland als elders ontwikkelde instrumenten (zie bijlage 1 voor de zoekstrategie). Van de elders ontwikkelde en geschikt bevonden instrumenten zijn de meeste al wel bruikbaar voor de Nederlandse situatie en vaak ook al in Nederlands onderzoek benut. Er bestaan dan dus al vertalingen en soms ook een Nederlandse normering. De toegankelijkheid voor scholen is voor deze niet-Nederlandse instrumenten echter vaak gering, ze zijn niet gemakkelijk op de markt verkrijgbaar. Een specifiek instrument dat geschikt is voor het meten van metacognitie, en bovendien in de juiste leeftijdsgroep, is de MAI-Jr. Hiermee bestaat echter in Nederlands onderzoek nog geen ervaring en er is ook nog geen vertaling beschikbaar. Er is ook een categorie elders ontwikkelde instrumenten die niet zonder meer in Nederland gebruikt kunnen worden. Dat zijn de instrumenten die geconstrueerd zijn voor en gebruikt worden in internationale onderzoeksprojecten waaraan meerdere landen deelnemen. Het gebruik van

6

Dit is bijvoorbeeld gebeurd in het onderzoek naar sociale opbrengsten van onderwijs door het Cito, Zie Kuhlemeijer e.a., 2012.

113

deze instrumenten is aan strikte regels onderworpen, om er voor te zorgen dat onafhankelijke internationale metingen mogelijk zijn. We hebben deze projecten beschreven in hoofdstuk 2. Omdat het Ministerie van OCW in verschillende van deze projecten participeert, is het wellicht denkbaar dat er in het kader van welomschreven onderzoeksprojecten in Nederland verder mee geëxperimenteerd wordt. Daarvoor is dan overleg met de betreffende projectorganisaties nodig. Gebruik door scholen van deze instrumenten zal echter voorlopig niet mogelijk zijn.

6.3

Witte vlekken en mogelijkheden om aanvullende instrumenten te ontwikkelen

Sociale competenties Op het gebied van sociale competenties zijn er zoals eerder vermeld enkele instrumenten op de markt, in Nederland ontwikkeld, die voldoen aan technische kwaliteitseisen, meerdere aspecten van het domein dekken, geschikt zijn voor de leeftijdsgroep van 8-18 jaar en bruikbaar en toegankelijk zijn voor scholen. Ze maken qua meetmethoden gebruik van observaties (door leerkrachten, in een enkel geval ook door ouders) en vragenlijsten voor leerlingen. Ze meten houdingen, vaardigheden en gedrag. Slechts één van deze instrumenten meet ook kennis. Een kennistoets voor kinderen jonger dan 11 jaar bestaat nog niet. Ook voor oudere leerlingen (ouder dan 15 jaar) lijkt de bewuste kennistoets niet geheel geschikt. Binnenkort start echter een onderzoeksproject waarin het kennisonderdeel van dit instrument verder wordt uitgebreid. Bij de B-instrumenten voor sociale competenties bevinden zich nog enkele brede instrumenten die meerdere aspecten van het domein omvatten en goed toegankelijk zijn voor scholen. Deze instrumenten zijn psychometrisch gezien echter (nog) niet aan de maat en het is daarom onzeker of aan de meetpretenties kan worden voldaan. Verder onderzoek zou eerst moeten aantonen dat deze instrumenten aan psychometrische eisen voldoen. De smallere instrumenten, die maar één of enkele aspecten van sociale competenties omvatten (veelal subschalen van algemeen gebruikte gedragsschalen), voegen inhoudelijk niet zoveel toe aan de bredere instrumenten. Een uitzondering is de Sociaal Cognitieve Vaardigheden Test. Deze op vignetten gebaseerde test meet in hoeverre leerlingen onderscheid kunnen maken tussen eigen en andermans perspectief en zich in anderen 114

kunnen verplaatsen. Dit is niet alleen een interessant en belangrijk aspect van sociale competenties, maar de meetmethode maakt het ook mogelijk om authentieke, concrete situaties aan te bieden, waardoor de kans op zelfoverschatting of sociaal wenselijke antwoorden kleiner is dan bij zelfrapportage-instrumenten. In de huidige vorm vergt afname van het instrument echter veel tijd (individuele afname) en specifieke training van de testleiders. Dat maakt het instrument in de huidige vorm ongeschikt voor gebruik door scholen. Het zou de moeite waard zijn om verder te onderzoeken of er eenvoudiger vormen van afname mogelijk zijn (bijvoorbeeld vignetten en bijbehorende vragen schriftelijk aanbieden), en eenvoudiger vormen van scoring. Ook zou nagedacht kunnen worden over de mogelijkheid om de vignettenmethode ook voor andere aspecten van sociale competenties in te zetten. Te denken valt aan dialoog aangaan/conflicten oplossen, verantwoordelijkheid nemen, inzicht hebben in het effect van het eigen handelen op anderen, en inzicht in beweegredenen van anderen. Metacognitie De instrumentinventarisatie heeft diverse instrumenten voor het meten van metacognitie opgeleverd. Meer dan bij sociale competenties zijn er hier echter tekorten of knelpunten voor toepassing in het onderwijs. Een eerste punt is dat er vrijwel geen instrumenten zijn gevonden voor leerlingen in het primair onderwijs. Een mogelijke verklaring daarvoor is dat leerlingen in deze leeftijdsfase minder goed in staat zijn om op de eigen metacognitieve vaardigheden te reflecteren. Dat maakt de inzet van vragenlijsten wellicht minder goed mogelijk. Toch zou het nuttig kunnen zijn om bijvoorbeeld een algemeen gebruikt instrument als de MSLQ nog eens te onderzoeken op de mogelijkheid van toepassing in de bovenbouw van het basisonderwijs, eventueel na bewerking. Een tweede probleem bij het meten van metacognitie is het relatieve gebrek aan convergentie van resultaten bij het gebruik van vragenlijsten en het gebruik van andere methoden, zoals de afname en interpretatie van hardopdenkprotocollen (Veenman, 2005). Schellings en collega’s vonden hogere correlaties dan Veenman (Schellings, Van Hout Wolters, Veenman, & Meijer, 2012). Waarschijnlijk was dit het gevolg van het direct vragen naar specifieke metacognitieve activiteiten tijdens taakuitvoering tegenover het stellen van algemene vragen betreffende globale metacognitieve vaardigheden. Daarbij waren de specifieke vragen ook nog in overeenstemming met de 115

categorieën in het interpretatiekader voor de protocollen. Het is evident dat vragenlijsten qua efficiëntie van afname de voorkeur genieten, maar het is ook duidelijk dat hardopdenkprotocollen qua validiteit in het algemeen superieur zijn aan vragenlijsten (Prins, Busato, Elshout, & Hamaker, 1998). Hardopdenkprotocollen zijn echter voor gebruik door scholen nauwelijks denkbaar. Verdere investeringen daarin zijn vanuit dit oogpunt dan ook nauwelijks voor de hand liggend. Een derde probleem is dat metacognitie-instrumenten nogal eens vakspecifiek zijn. Dat is op zichzelf logisch, inzet van leerstrategieën kan immers per vak verschillen. Maar voor een algemeen oordeel over de metacognitieve kennis, vaardigheden, regulatie en ervaring van leerlingen verdienen vakonafhankelijke instrumenten natuurlijk de voorkeur. Voorbeelden daarvan zijn de MSLQ, de Scales for information-seeking behavior en de MAI-Jr (Metacognitive Awareness Inventory Junior). Het laatste instrument is ook voor jongere leerlingen geschikt. Het zou echter vertaald moeten worden en getest en genormeerd op een Nederlandse populatie. Behalve via zelfrapportage en hardopdenkprotocollen kunnen metacognitieve kennis en vaardigheid ook worden gemeten met een toets. Elshout-Mohr et al. maakten zo’n toets voor vakoverstijgende vaardigheden of cross-curricular skills (Elshout-Mohr & Meijer, 1996; Meijer, Elshout-Mohr, & Van Hout-Wolters, 2001), de Alvabavo. De toets bestaat uit meerkeuze-items, waarvan sommige metacognitie beogen te meten. Deze metacognitieve items “geven leerlingen de kans om te tonen dat zij hun kennis over een principe kunnen gebruiken om een antwoordalternatief te kiezen waarin het principe wordt genoemd als verklaring voor het gedrag of de gebeurtenissen waar het item over handelt” (Elshout-Mohr et al., 1996, pg. 47). Een voorbeeld is een item waarin een jongen nietsvermoedend rozen uit een park plukt om ze aan twee vriendinnen te geven, die daarop woedend reageren. Het juiste antwoordalternatief is het alternatief dat deze woede adequaat verklaart. Het lijkt dus wel mogelijk om metacognitieve vaardigheden met behulp van meerkeuze-items te meten. De Alvabavo is ontwikkeld voor het voortgezet onderwijs en incidenteel ook toegepast in het primair onderwijs (hoogste leeftijdsgroep, zie Ledoux & Overmaat, 2002). Hoewel de toets door leerlingen in het basisonderwijs wel moeilijk wordt gevonden, doen de schalen het daar ook in psychometrische zin goed. Verder onderzoek naar gebruik van deze toets in het basisonderwijs, gericht op normering en eventueel constructie van een eenvoudiger versie, achten we de moeite waard. Een andere optie is om een variant van de 116

Alvabavo te construeren met een selectie van uitsluitend de op metacognitie gerichte items. Advanced skills In hoofdstuk 2 hebben we laten zien dat het niet eenvoudig is om advanced skills goed af te bakenen. Er is ten dele overlap tussen de competenties die tot advanced skills gerekend worden en sociale competenties en metacognitie. De witte vlekken op dit gebied hebben we hierboven al aangeduid. Voor de nietoverlappende competenties zijn er wel enkele instrumenten aangetroffen. Zo pretendeert het instrument ZIEN! initiatief, flexibiliteit en autonomie op sociaal gebied te meten. En de Schaal voor Persoonlijke Waarden (SPW) pretendeert onder meer zakelijkheid, besluitvaardigheid en doelgerichtheid te meten. Verder zijn er enkele instrumenten die internetvaardigheden meten en is een test aangetroffen die aspecten van ondernemerschap meet. Deze laatste instrumenten zijn echter allemaal voor jong-volwassenen en niet voor kinderen of jongeren ontwikkeld. Er zou nader bestudeerd moeten worden of bewerking voor een jongere leeftijdsgroep mogelijk is. Helemaal geen instrumenten zijn gevonden voor de skills “omgaan met onzekerheden” en “creativiteit”. Het zal echter niet eenvoudig zijn om in deze lacune te voorzien. Het ontwerpen van methoden om advanced skills te meten is wel volop in ontwikkeling, zo hebben we in hoofdstuk 2 laten zien. Kenmerken van dergelijke methoden zijn in het algemeen complexiteit, authenticiteit, en contextgebondenheid. Inherent daaraan zijn ingewikkelde vormen van beoordelen van resultaten. Als de toetsitems stuk voor stuk bestaan uit complexe taken, zijn er immers ook complexe scoringsvoorschriften nodig. De OECD constateerde in 2009 op grond van een enquête onder alle lidstaten (waarvan er overigens slechts 17 respondeerden) dat er slechts drie landen waren die aangaven er geen geïnstitutionaliseerde toetspraktijk voor advanced skills op na te houden, waaronder Nederland (Ananiadou & Claro, 2009). Maar in de landen die dat wel deden, bleek dat dit vaak geschiedde in de context van de toetspraktijk bij andere vakken of door de Inspectie van het Onderwijs bij hun algehele evaluatie van scholen. De OECD concludeert in haar rapport dat er geen duidelijk beleid is ten aanzien van formatieve of summatieve toetsing van deze vaardigheden. Het blijkt dus nogal moeilijk te zijn om een gestandaardiseerd toetsprogramma voor deze competenties op te stellen,

117

onder andere omdat ze in het algemeen zijn ingebed in andere delen van het curriculum. Een ander probleem bij het ontwikkelen van meetinstrumenten voor advanced skills is dat er nog geen of te weinig aansluiting is met een staande onderwijspraktijk. Dat is bijvoorbeeld gebleken in het Microsoft Innovative schools program, dat is beschreven in hoofdstuk 2. Daarin werd een aantal scholen gevolgd bij hun pogingen hun onderwijs te moderniseren en aan te passen aan deze eeuw (Shear, Means, Gorges, Toyama, Gallagher, Estrella et al., 2009). Uitgangspunt was dat het voor het bereiken van hogere orde leerdoelen noodzakelijk is innovatieve leeromgevingen aan te bieden. Lang niet alle scholen bleken dat voldoende te doen. Wanneer leerlingen die niet onderwezen zijn in de bewuste ‘skills’ er wel op getoetst worden, is de kans groot dat scores die die leerlingen behalen alleen iets zeggen over bijvoorbeeld hun intelligentie, opvoeding of persoonlijkheid.

6.4

Nabeschouwing

Complexiteit De opdracht om het antwoord te geven op de drie gestelde onderzoeksvragen bleek niet eenvoudig. De drie domeinen waarop instrumenten gezocht moesten worden zijn breed en de inhoudelijke afbakening is lastig. Daarnaast is het begrip competenties op zichzelf ook meervoudig. Over de vraag: ‘wat hoort er wel en niet bij?’ kan derhalve verschillend gedacht worden en de gesprekken hierover in de begeleidingscommissie getuigden daar ook van. Er moesten allerlei selectiebeslissingen worden genomen, niet alleen op grond van de theoretische kaders maar ook op grond van de aangetroffen instrumenten en op grond van de beschikbare tijd. We hebben die beslissingen zo goed mogelijk verantwoord in de hoofdstukken 2 en 3. Sommigen zullen vinden dat we hierbij te streng zijn geweest. Een belangrijk discussiepunt was de vraag ‘wat is beïnvloedbaar door onderwijs en wat behoort tot de doelen van het onderwijs’. Daarmee verbonden discussiepunten waren het al dan niet meenemen van instrumenten voor het interpersoonlijke gebied, voor signalering van gedragsproblemen en voor het meten van persoonlijkheidskenmerken.. We hebben deze instrumenten allemaal buiten beschouwing gelaten, in eerste instantie om conceptuele redenen maar ook omdat het opnemen ervan de tijd en de ruimte die voor het onderzoek beschikbaar was ver te boven zou zijn gegaan. De aparte search die we hebben uitgevoerd op het onderwerp self118

efficacy, op verzoek van de opdrachtgever (zie bijlage 3) getuigt hier ook van. Niettemin leveren dergelijke specifieke searches ook wel weer wat op. In vervolgonderzoek zou er verder gezocht kunnen worden naar instrumenten op het interpersoonlijke domein. Eenvoudige antwoorden zullen echter ook daar niet gevonden worden. Het gaat nu eenmaal om ingewikkelde concepten waarover allerlei ‘begrippenstrijd’ gevoerd kan worden, zeker als onderzoekstradities uit verschillende wetenschappelijke disciplines in het geding zijn. Geen keurmerk Het onderzoek heeft uiteindelijk geresulteerd in instrumenten die we de classificaties A (geschikt), B (deels geschikt of geschikt te maken) en C (ongeschikt) hebben gegeven. Dat zijn classificaties die voortvloeien uit de gehanteerde criteria. We hebben daarmee niet bedoeld de instrumenten van een soort ‘keurmerk’ te voorzien waar scholen op zouden kunnen letten bij de keuze van instrumenten. Het doel van het onderzoek was niet om een keuzegids voor scholen te maken, maar om te inventariseren wat er beschikbaar is en op welke terreinen verdere instrumentontwikkeling wenselijk zou kunnen zijn. Welke instrumenten scholen willen gebruiken, en welke instrumenten door de Inspectie worden geaccepteerd als geschikt voor het meten van verschillende soorten competenties, is uiteindelijk aan de beoordeling van scholen en de Inspectie zelf. Soorten meetinstrumenten De aangetroffen instrumenten hebben voor het grootste deel het karakter van vragenlijsten voor leerlingen of voor leerkrachten, soms ook voor ouders. Leerkracht- en oudervragenlijsten bestaan over het algemeen uit beoordeling van gedrag van jongeren, gebaseerd op eigen observatie van de respondent (op school of thuis). De vragenlijsten voor leerlingen betreffen zelfoordelen over houdingen, vaardigheden of gedrag, in een enkel geval ook reflectie. Deze instrumenten zijn meer of minder breed, wat betreft gemeten (deel)concepten, maar steeds is er sprake van afzonderlijke meting van verschillende componenten (gebruik van subschalen). Echt integrale metingen, bijvoorbeeld via observatie van gedrag in authentieke of gesimuleerd authentieke situaties, zijn vrijwel niet aangetroffen, wellicht met uitzondering van de evaluatiemethode met rubrieken, zoals beschreven in het hoofdstuk over advanced skills. Dergelijke instrumenten zijn zeldzaam en worden alleen in specifiek 119

onderzoek ingezet, vaak nog experimenteel. Gezien de beperkingen van vragenlijstonderzoek (zie hiervoor hoofdstuk 4) zou het wetenschappelijk gezien zeer interessant zijn om in deze richting verder te zoeken naar goede meetinstrumenten. Dat zal echter wellicht nooit, maar zeker niet op korte termijn instrumenten opleveren die ook bruikbaar zijn voor scholen. Daarvoor is de wijze van afnemen en scoren te complex en tijdrovend. Maar voor andere doeleinden, zoals het uitvoeren van peilingsonderzoek, is verder onderzoek naar en eventueel ontwikkelen van dergelijke instrumenten wel heel interessant. We hebben ook nauwelijks portfolio-instrumenten gevonden in onze search. Dit komt wellicht doordat het gebruik van dit type instrumenten, zeker voor de onderzochte leeftijdsgroep, nauwelijks geprotocolleerd is. Maar er zijn al wel scholen die van dergelijke (zelf geconstrueerde) instrumenten gebruik maken, bijvoorbeeld ter ondersteuning van persoonlijke ontwikkelingsgesprekken. Een aparte verkenning en analyse van deze instrumenten zou ook de moeite waard kunnen zijn, en zeker praktijkrelevant. Is alles gevonden? We hebben de search naar instrumenten breed opgezet. Echter, er is alleen literatuur bestudeerd die expliciet over instrumenten en instrumentontwikkeling gaat. Publicaties waarin gebruikte instrumenten wel genoemd zijn maar niet nader gedocumenteerd hebben we, indien aangetroffen, niet verder bestudeerd. Dat zou het onderzoeksterrein veel te uitgebreid hebben gemaakt. Het is heel goed mogelijk dat we hierdoor mogelijk interessante instrumenten toch hebben gemist. Met name voor het terrein van de advanced skills, waarvoor we weinig specifieke instrumenten hebben aangetroffen, is misschien nog wel meer in ontwikkeling dan we in dit onderzoek hebben kunnen vinden.

120

Literatuur

Alexander, J.C., & Schwanenflugel, P.J. (1994). Strategy regulation: the role of intelligence, metacognitive attributions, and knowledge base. Developmental Psychology, 30(5), 709-723. Allen, J. & Van der Velden, R. (2011). Skills for the 21st Century: Implications for Education. Maastricht: Research Centre for Education and the Labour Market, Maastricht University. Allon, M., Gutkin, T.B., & Bruning, R. (1994). The relationship between metacognition and intelligence in normal adolescents: some tentative but surprising findings. Psychology in the Schools, 31, 93-97. Ananiadou, K., & Claro, M. (2009). 21st century skills and competences for new millenium learners in OECD countries. (OECD Education working papers No. 41). Paris: OECD Publishing. Bandura, A. (1977). Self-efficacy. toward a unifying theory of behavioral change. Psychological Review, (84), 191-215. Barry, C.L., & Finney, S.J. (2009). Can we feel confident in how we measure college confidence? A psychometric investigation of the college self-efficacy inventory. Measurement and Evaluation in Counseling and Development, 42(3), 197-222. Baumeister, R.F., & Tierney, J. (2011). Willpower. New York: Penguin Press. Binkley, M., Erstad, O., Herman, J., Raizen, S., Ripley, M., & Rumble, M. (2010). Draft White Paper 1. Defining 21st century skills. Melbourne: University of Melbourne. Blaikie, F., Schonau, D., & Steers, J. (2004). Preparing for portfolio assessment in art and design: A study of the opinions and experiences of exiting secondary school students in canada, england and the netherlands. International Journal of Art & Design Education, 23(3), 302-315. Blok, H., & Gelderen, A. v. (1994). Het verbeteren van een geschreven tekst door leerlingen uit de bovenbouw van het basisonderwijs. Pedagogische Studiën, 71(1), 4-15. Bonnet, G., Svecnik, E., Hautamäki, J., Trosseille, B., Fischer, C., Meijer, J., et al. (2006). Final report of the Learning to Learn Expert Group to The European Commission. Paris, Brussels, Ispra: DG EAC A6, Joint Research Centre. Cassidy, S., & Eachus, P. (2002). Developing the computer user self-efficacy (cuse) scale: Investigating the relationship between computer self-efficacy, gender and experience with computers. Journal of Educational Computer Research, 26(2), 133-153. Chen, C.C., Greene, P.G., & Crick, A. (1998). Does entrepreneurial self-efficacy distinguish entrepreneurs from managers? Journal of Business Venturing, (13), 295-316. Dam, G.. ten, M. Volman, K. Westerbeek, P. Wolfgram, G. Ledoux (2003). Sociale competentie langs de meetlat. Het evalueren en meten van sociale competentie. Den Haag: Transferpunt Onderwijsachterstanden.

121

Dam, G. ten & Volman, M. (2007). Educating for Adulthood or for Citizenship: social competence as an educational goal. European Journal of Education, Vol. 42, No. 2, 281-298. Dam, G. ten, Geijsel, F., Reumerman, R., & Ledoux, G. (2010). Burgerschapscompetenties: de ontwikkeling van een meetinstrument. Pedagogische Studiën, 2010, (87), 313333. Driessen, G., Mulder, L., Ledoux, G., Roeleveld, J. & Van der Veen, I. (2009). Cohortonderzoek COOL5-18. Technisch rapport basisonderwijs, eerste meting 2007/08. Nijmegen/Amsterdam: ITS/Kohnstamm Instituut. Dijkstra, A.B. (2012) Sociale opbrengsten van onderwijs. Rede. Amsterdam: Vossiuspers UvA. Eck, E. van, Daalen, M. van, Heemskerk, I. (2011). Soft skills en sociale competenties in het secundair onderwijs. Amsterdam: Kohnstamm Instituut. Efklides, A. (2006). Metacognitive Experiences: The Missing Link in the Self-Regulated Learning Process. Educational Psychology Review, 18(3), 287-291. Elshout-Mohr, M., & Meijer, J. (1996). Instrumentconstructie voor de meting van algemene vaardigheden VOCL '93. Amsterdam: SCO-Kohnstamm Instituut. Elshout-Mohr, M., Daalen-Kapteijns, M. van, Meijer, J., m.m.v. Kösters, J. (2004). Functies van een elektronisch portfolio in een constructivistische leeromgeving: Eindrapport. Amsterdam: SCO-Kohnstamm Instituut, Universiteit van Amsterdam. Flavell, J.H. (1979). Metacognition and Cognitive Monitoring. A New Area of CognitiveDevelopmental Inquiry. American Psychologist, 34(10), 906-911. Geijsel, F., Ten Dam, G., Meijer, J., & Ledoux, G. (submitted) Citizenship of students and social desirability: living apart together. Geboers, E. Geijsel, F., Admiraal, W. & Ten Dam, G. (submitted). Review of the Effects of Citizenship Education. Hilton, M. (2010). Exploring the Intersection of Science Education and 21st Century Skills. A Workshop Summary. National Research Council (US) Board on Science Education. Washington (DC): National Academic Press (US). Hofstee, W.K.B. (1994). Will the true trait theorist please stand up? Psychological Inquiry, 5(2), 134-136. Hoskins, B., & Fredriksson, U. (2008). Learning to learn: what is it and can it be measured? Ispra: Joint Research Centre. Hoskins, B., & Deakin Crick, R. (2008). Learning to learn and civic competencies: different currencies or two sides of the same coin? Ispra: Joint Research Centre. Key competences for lifelong learning (2007). European Reference Framework. Luxembourg: Office for Official Publications of the European Communities. Kohnstamm, G.A. (1992). Development in personality psychology: Growing support for the five factor model. Pedagogische Studiën, 69, 3-11. Kuhlemeier, H., Bergh, H. v. d., & Teunisse, F. (1990). Interne structuur en constructvaliditeit van belevingsschalen voor wiskunde en engels. Tijdschrift Voor Onderwijsresearch, 15(2), 110-122.

122

Kuhlemeier, H., Van Boxtel, H., & Van Til, A. (2012). Balans van de sociale opbrengsten in het basisonderwijs. Arnhem: Cito. Ledoux, G. & Overmaat, M. (2002). Op zoek naar succes. Een onderzoek naar basisscholen die meer en minder succesvol zijn voor autochtone en allochtone leerlingen uit achterstandgroepen. Amsterdam: SCO-Kohnstamm Instituut. Martinot, M.J., Kuhlemeier, H.B., & Feenstra, H.J.M. (1988). Het meten van affectieve doelen: De validering en normering van de belevingsschaal voor wiskunde (BSW). Tijdschrift Voor Onderwijsresearch, 13(2), 65-76. Meijer, J., & Elshout-Mohr, M. (1999). Validering van AlvaBavo: een toets voor Algemene Vaardigheden in de BasisVorming. Amsterdam: SCO-Kohnstamm Instituut. Meijer, J., Elshout-Mohr, M.E., & Van Hout-Wolters, B.H.A.M. (2001). An instrument for the assessment of cross curricular skills. Educational Research and Evaluation, 7(1), 79-108. Meijer, J., Veenman, M. V. J., & Van Hout Wolters, B. (2006). Metacognitive Activities in Text-Studying and Problem Solving: Development of a Taxonomy. Educational Research and Evaluation, 12(3), 209-237. Meijer, J., Fossen, M.W.E.B., Putten, C.M. v., & Leij, A. v. d. (2006). Social-emotional characteristics and special educational needs. European Journal of Psychology of Education, 21(4), 385-400. Meijer, J., Elshout-Mohr, M., Van Daalen-Kapteijns, M., Meeus, W., & Tempelaar, D. (2006). Construction and Validation of a Questionnaire on Metacognition. Paper presented at the Second bi-annual conference of the special interest group on Metacognition of EARLI, Cambridge. Meijer, J. (2007). Cross-curricular skills testing in the Netherlands. The Curriculum Journal, 18(2), 155-173. Meijer, J., Veenman, M.V.J., & Van Hout-Wolters, B.H.A.M. (2012). Multi-domain, multimethod measures of metacognitive activity. what is all the fuss about metacognition … indeed? Research Papers in Education, 27(5), 597-627. Nelson, T.O. (1997). The meta-level versus object-level distinction (and other issues) in formulations of metacognition. American Psychologist, 52(2), 179-180 Paris, S.G., & Jacobs, J.E. (1987). The benefits of informed instruction for children's reading awareness and skills. Child development, 55, 2083-2093. Peschar, J., Hooghoff, H., Dijkstra, A.B. & Ten Dam, G. (red) (2010). Scholen voor burgerschap. Naar een kennis basis voor burgerschapsonderwijs. Antwerpen/Apeldoorn: Garant (OOMO reeks). Pintrich, P.R., & Smith, D.A.F. (1993). Reliability and predictive validity of the motivated strategies for learning questionnaire (MSLQ). Educational & Psychological Measurement, 53(3), 801-814. Prins, F. J. (2002). Search & see. The roles of metacognitive skillfulness and intellectual ability during novice inductive learning in a complex computer-simulated environment. Leiden university, Leiden.

123

Prins, F.J., Busato, V.V., Elshout, J.J., & Hamaker, C. (1998). A new contribution to the validation of the (meta)cognitive part of the inventory learning styles. Pedagogische Studiën, (75), 73-93. Ruiz-Primo, M.A. (2009). Towards a framework for assessing 21st century science skills. Paper prepared for the Workshop on Exploring the Intersection of Science Education and the Development of 21st Century Skills, National Research Council. Available: http://www7.nationalacademies.org/bose/RuizPrimo.pdf. Roede, E., Derriks, M., ism Ledoux, G. en Dam, G. ten (2007). De effecten van het C&SCOtraject (2001-2005). Amsterdam: SCO-Kohnstamm Instituut, Universiteit van Amsterdam. Rychen, D.S., & Salganik, L.H. (2003). Key competencies for a successful life and wellfunctioning society. Göttingen: Hogrefe & Huber Publishers. Schellings, G.L.M., Van Hout Wolters, B.H.A.M., Veenman, M.V.J., & Meijer, J. (2012). Assessing metacognitive activities: The in-depth comparison of a task-specific questionnaire with think-aloud protocols. European Journal of Psychology of Education, DOI 10.1007/s10212-012-0149-y Schoenfeld, A.H. (1987). Cognitive Science and Mathematics Education. Hillsdale, N.J.: Erlbaum. Schraw, G., & Dennison, R. S. (1994). Assessing Metacognitive Awareness. Contemporary Educational Psychology, 19, 460-475. Schwarzer, R., Bäßler, J., Kwiatek, P., Schröder, K., & Zhang, J.X. (1997). The assessment of optimistic self-beliefs: Comparison of the german, spanish and chinese versions of the general self-efficacy scale. Applied Psychology: An International Review, 46(1), 69-88. Shear, L., Means, B., Gorges, T., Toyama, Y., Gallagher, L., Estrella, G., et al. (2009). The microsoft innovative schools program year 1 evaluation report. Arlington, VA: SRI International. Spielberger, C.D. (1975). Anxiety: State-trait-process. In C.D. Spielberger, & I.W. Sarason (Eds.), Stress and anxiety (pp. 115-144). Washington, D.C.: Hemisphere. Stankov, L. (2000). Complexity, Metacognition and Fluid Intelligence. Intelligence, 28(2), 121-143. Swanson, H.L. (1990). Influence of metacognitive knowledge and aptitude on problem solving. Journal of Educational Psychology, 82(2), 306-314. Timmers, C.F., & Glas, C.A.W. (2010). Developing scales for information-seeking behaviour. Journal of Documentation, 66(1), `46-69. Van Deursen, A.J.A.M., & Van Dijk, J.A.G.M. (2010). Measuring internet skills. International Journal of Human-Computer Interaction, 26(10), 891-916. Veenman, M.V.J., & Elshout, J.J. (1999). Changes in the relation between cognitive and metacognitive skills during the acquisition of expertise. European Journal of Psychology of Education, 14(4), 509-523. Veenman, M.V.J., Elshout, J.J., & Meijer, J. (1997). The generality vs domain-specificity of metacognitive skills in novice learning across domains. Learning and Instruction, 7(2), 187-209.

124

Veenman, M.V.J., Wilhelm, P., & Beishuizen, J. J. (2004). The relation between intellectual and metacognitive skills from a developmental perspective. Learning and Instruction, 14(1), 89-109. Veenman, M.V.J. (2005). The assessment of metacognitive skills: What can be learned from multi-method designs? In B. Moschner, & C. Artelt (Eds.), Lernstrategien und metakognition: Implikationen für forschung und praxis. (pp. 77-99). Berlin: Waxmann. Voogt, J., & Pareja Roblin, N. (2010). 21st Century Skills: Discussienota. Enschede: Universiteit Twente. Walraven, A., Brand-Gruwel, S., & Boshuizen, H.P.A. (2010). Fostering transfer of websearchers' evaluation skills: A field test of two transfer theories. Computers in Human Behavior, (26), 716-728. Wit, J. de, Veer, G. van der, & Slot, N.W. (2002). Psychologie van de adolescentie. Baarn: HB uitgevers. Wood, R.E., & Locke, E.A. (1987). The relation of self-efficacy and grade goals to academic performance. Educational and Psychological Measurement, (47), 10131024. Zhao, H., Seibert, S.E., & Hills, G.E. (2005). The mediating role of self-efficacy in the development of entrepreneurial intentions. Journal of Applied Psychology, 90(6), 1265-1272.

125

Bijlagen

Bijlage 1 Het zoekproces Aanvankelijk zou worden gezocht naar instrumentarium voor het meten van sociale competenties, metacognitieve competenties en 21e eeuw vaardigheden casu quo advanced skills. De term metacognitieve competenties maakte deel uit van het offerteverzoek en de uiteindelijke offerte. Later is deze term niet langer gebezigd en vervangen door metacognitie in het algemeen, omdat metacognitie op zichzelf al een competentie behelst. Eerst is er ook van uit gegaan dat de instrumenten moesten zijn bedoeld voor de bovenbouw van het primair onderwijs en/of het voortgezet onderwijs en in principe beschikbaar in het Nederlandstalig gebied. Later is ook Engelstalig instrumentarium bij de search betrokken. Er is gezocht in verschillende bronnen, zoals de literatuurbestanden PSYCINFO, OvidSP, Academic Search Premier, Web of Science, ERIC, Picarta, Pubmed, het Digital Academic Repository van de Universiteit van Amsterdam, de testdatabase van de Commissie Testaangelegenheden Nederland (COTAN), en de testdatabase van de Educational Test Service (ETS) in de Verenigde Staten. Het Cito is tevens benaderd. Daarnaast zijn uitgevers benaderd zoals Hogrefe, Psychologische Instrumenten, Tests en Services (PITS), en Harcourt. Tenslotte zijn testotheken doorzocht zoals die van de afdelingen psychologie en pedagogiek en onderwijskunde van de Faculteit Maatschappij en Gedragswetenschappen van de Universiteit van Amsterdam. Hierbij zijn de volgende zoektermen gebruikt: -

Sociale competentie

-

Sociale cognitie

-

Sociaal inzicht

-

Maatschappelijke competentie

-

Burgerschap(svaardigheden)

-

Omgaan met verschillen

-

Zelfinzicht

-

Zelfregulatie

-

Betrokkenheid

-

Verantwoordelijkheid

-

Perspectiefwisseling 127

-

Metacognitie(ve vaardigheden)

-

Advanced skills

-

21e eeuw competenties

-

Digitale competentie

-

Ondernemerschap

Voor de Engelstalige search zijn deze zoektermen vertaald. Er zijn vooraf geen unieke combinaties van zoektermen met Booleaanse operatoren opgesteld, ten einde het zoekproces gedurende het onderzoek bij te kunnen stellen. Daarnaast maakten de verschillen tussen de databases het noodzakelijk om met aangepaste zoekprofielen te werken, afhankelijk van het interface. De gevonden instrumenten zijn vervolgens getypeerd naar bronnen (beschrijvingen, handleidingen, URL’s en wetenschappelijke artikelen), meetpretentie, competenties (beschrijvingen van concepten en operationalisaties), doelgroep, wijze van afnemen, wijze van scoring, interpretatie en rapportage, psychometrische kwaliteit (betrouwbaarheid, validiteit, normen, kwaliteit van het testmateriaal en de handeleiding) en verkrijgbaarheid. Als een instrument werd gevonden in een wetenschappelijk artikel, werden de betreffende typeringen aan dat artikel ontleend. De beschrijvingen zijn opgenomen in een Endnotebestand met de hierboven gegeven typeringen als velden. Alle instrumenten werden vervolgens door twee onderzoekers gescreend op hun geschiktheid. Dat gebeurde aan de hand van de criteria die in hoofdstuk 3 zijn beschreven. Daarbij werd een driedeling gehanteerd van instrumenten die geschikt lijken voor gebruik in het onderwijs, instrumenten die hiervoor mogelijk geschikt zijn en instrumenten die hiervoor ongeschikt lijken. Alleen de eerste twee categorieën zijn uitgebreid beschreven in hoofdstuk 5. De ongeschikte instrumenten zijn alleen kort beschreven in het overzicht in bijlage 2. Tenslotte is op verzoek van de begeleidingscommissie nog een aparte search verricht op cognitief zelfvertrouwen casu quo selfefficacy (zie bijlage 1).

128

Bijlage 2 Self-efficacy Vanuit de begeleidingscommissie is het verzoek gekomen toch ook meer aandacht te schenken aan instrumenten in het intrapersoonlijke domein. Als voorbeeld van een relevant aspect in dit domein is een paar keer self-efficacy naar voren gekomen. In overleg met de vertegenwoordigers van OCW in de commissie is afgesproken dat wij een extra search zouden uitvoeren met selfefficacy als zoekterm, om te bezien wat dat oplevert en of het inderdaad zo is (zoals gevreesd door de onderzoekers) dat dat een veel te grote stapel literatuur/instrumenten oplevert om te kunnen behappen in het onderzoek. Er zijn daarom enkele searches verricht op daarvoor geschikte bestanden. Het begrip self-efficacy is door Albert Bandura geïntroduceerd (Bandura, 1977). Het verwijst voornamelijk naar het vertrouwen in eigen kunnen. Ten eerste is gezocht in de database van de Commissie Testaangelegenheden Nederland (COTAN). De zoekterm hier was cognitief zelfvertrouwen, de meest gangbare Nederlandse vertaling van het Engelse begrip self-efficacy. Dit leverde zeven titels op.Eén instrument bevat een subschaal die schools zelfvertrouwen meet. Het betreft de Leermotivatietest (LMT), uitgegeven door Boom in 2009. De schaal Zelfvertrouwen bevat 18 items en betreft in hoeverre een leerling ‘overeind' blijft in schoolse situaties, die met gevoelens van spanning gepaard kunnen gaan. De overige schalen zijn Leermotivatie, Doorzettingsvermogen en Sociale Wenselijkheid. De andere hits hebben niets met zelfvertrouwen te maken, het gaat hier om tests voor cognitieve capaciteiten, zoals de Kaufman neuropsychologische screening en de Leertest voor etnische minderheden, of om tests die interferentiegevoeligheid meten, zoals de Stroop kleur-woord test of de Matching Familiar Figures Test. Voor de zekerheid is in de COTAN database ook nog gezocht op self-efficacy. Dat leverde één titel op, een bewerking van het Youth Self Report van Achenbach. Dit is echter een instrument binnen het jeugdpsychiatrische domein. Ten tweede is binnen Academic Search Premier gezocht op “(selfefficacy)and(test or questionnaire))”. Dit leverde 8741 titels op, die vanwege het aantal niet nader zijn bekeken. Door verdere specificatie kon de werkset verkleind worden tot 1082 titels, maar dat is nog steeds te veel. Hetzelfde geldt 129

voor Psycinfo; zoeken met een soortgelijke searchstring in dit bestand levert 30851 titels op. In OvidSP werd aan de searchstring de term education toegevoegd. Dit leverde één titel op, maar die gaat over “physical education teacher self-efficacy”, dus over vertrouwen in eigen kunnen bij (gymnastiek)leerkrachten. Enig verder speurwerk leverde een artikel op over “academic confidence”, waarin een instrument voor het meten van dit concept wordt beschreven, dat verscheen in Psychology Learning and Teaching. Dit tijdschrift is helaas niet online beschikbaar. Voorts is gezocht in de database van het Amerikaanse Buros Institute, daarbij als zoekterm alleen self-efficacy gebruikend. Dat leverde twee self-efficacy schalen op, één voor wiskunde en één voor carrièrebeslissingen. In Nederland is overigens ook een specifiek instrument voor wiskundemotivatie beschikbaar, de Wiskunde Belevingsschaal (BSW, (Martinot, Kuhlemeier, & Feenstra, 1988). Een analoog instrument is er ook voor het vak Engels.(Kuhlemeier, Bergh, & Teunisse, 1990). Wanneer de zoekterm wordt gesplitst in self en efficacy levert de Buros database 65 titels, waarvan er drie relevant lijken: 1.

Behavioral Academic Self-Esteem

2.

Leadership and Self-Development Scale

3.

Self-concept and Motivation Inventory: What Face Would You Wear?

De reviews van deze instrumenten zijn (nog) niet aangeschaft, zodat er op dit moment geen uitgebreidere informatie over kan worden verschaft. Ten slotte is gezocht in de database van de Educational Testing Service van de Verenigde Staten. Dat leverde vier mogelijk geschikte instrumenten op: 1.

Academic self-efficacy (ASE, (Wood & Locke, 1987)

2.

General self-efficacy scale (Schwarzer, Bäßler, Kwiatek, Schröder, & Zhang, 1997)

3.

College self-efficacy inventory (Barry & Finney, 2009)

4.

Computer user self-efficacy scale (CUSE, (Cassidy & Eachus, 2002)

Academic self-efficacy De ASE bestaat uit een zevental domeinen waarvan er vijf elk drie items omvatten en twee domeinen bestaan uit elk twee items. Het gaat om de volgende domeinen:

130

1.

Concentratie in de klas

2.

Memoriseren

3.

Concentratie bij examens

4.

Begrip

5.

Uitleggen van begrippen

6.

Onderscheid maken tussen begrippen

7.

Aantekeningen maken

In het artikel worden de items niet gegeven. Het format van de items is als volgt. Een uitspraak over bijvoorbeeld hoeveel feiten en begrippen die onthouden worden dient met ‘ja’ of ‘nee’ te worden beantwoord. Daarnaast moet de respondent door middel van een percentage aangeven hoezeer hij of zij zeker is van het aangegeven prestatieniveau. General self-efficacy scale De algemene self-efficacy schaal richt zich op een brede en stabiele overtuiging van persoonlijke competentie om verschillende stressvolle situaties effectief aan te pakken. De vragenlijst bestaat uit tien items en is beschikbaar in de talen Duits, Spaans, Chinees en Engels. Een voorbeeld van een item is: “Ik ben altijd in staat om moeilijke problemen op te lossen als ik maar genoeg mijn best doe”. Het antwoordformaat is een vierpunts Likert schaal. Een instrument met soortgelijke items wordt in Nederland gebruikt in het cohortonderzoek COOL5-18, daar toegespitst op de schoolse context en onder de noemer cognitief zelfvertrouwen.. College self-efficacy inventory Dit is een vragenlijst met 20 items. Er wordt een drietal dimensies onderscheiden, te weten self-efficacy ten aanzien van het curriculum (course), self-efficacy ten aanzien van kamergenoten en sociale self-efficacy. De laatste dimensie was eerder opgedeeld in sociale self-efficacy and self-efficacy ten aanzien van sociale integratie. Voorbeelditems zijn respectievelijk: “een docent vragen stellen”, “socialiseren met anderen waar je mee samenwoont”, en “lid worden van een studentenorganisatie”. Op een tienpuntsschaal moet worden aangegeven in hoeverre de respondent helemaal niet zeker is of extreem zeker is.

131

Computer user self-efficacy scale Deze vragenlijst is gericht op self-efficacy bij het gebruik van informatietechnologie. De auteurs stellen dat deze vorm van self-efficacy van steeds meer belang is gezien het toenemend gebruik van computers. Zij richten zich met name op studenten in het hoger onderwijs. Het gaat om de rol van computer self-efficacy bij het leren in het hoger onderwijs, in het bijzonder universiteiten. Een aanvankelijke verzameling van 47 items werd verkort tot 30 items. Er werd ook onderzoek gedaan naar de validiteit van het instrument door de gemiddelde scores in verschillende beroepsgroepen te vergelijken. Software-ontwerpers scoorden hoger dan internet gebruikers, die op hun beurt weer hoger scoorden dan radiologen. Fysiotherapeuten en ziekenverzorgers scoorden het laagst. De vragen worden op een Likert zespuntsschaal beantwoord, van sterk mee oneens tot sterk mee eens. Voorbeelden van items zijn: “ik vind het werken met computers erg gemakkelijk”, “soms vind ik het werken met computers verwarrend”, en: “gebruik maken van computers maakt leren interessanter”. De vragenlijst zou mogelijk interessant kunnen zijn in het kader van instrumentarium voor het meten van advanced skills. Conclusie Het zoeken in de COTAN database heeft weinig opgeleverd. Zoekopdrachten naar self-efficacy in combinatie met andere trefwoorden in internationale literatuurbestanden leveren in het algemeen te veel treffers op. Gerichte searches in bestanden die specifiek bestaan uit testmaterialen en vragenlijsten leveren treffers op, die duidelijk verband houden met het bedoelde materiaal voor self-efficacy. Er is in de COTAN database één schaal voor zelfvertrouwen in het Nederlands aangetroffen; de overige instrumenten zouden uit het Engels vertaald moeten worden. In COOL5-18 wordt een bewerkt en vertaald instrument gebruikt voor cognitief zelfvertrouwen met 6 items.

132

Bijlage 3 Overzicht alle instrumenten In deze bijlage is een onderscheid aangebracht tussen de volgende categorieën instrumenten: A. Het instrument is geschikt voor gebruik in het onderwijs; B.

Het instrument kan na aanpassing zeer waarschijnlijk in het onderwijs gebruikt worden;

C.

Het instrument lijkt ongeschikt voor gebruik in het onderwijs.

Daarnaast wordt onderscheid gemaakt tussen instrumentarium dat door de COTAN is beoordeeld en overig instrumentarium. Van elk instrument wordt de meetpretentie aangegeven en de argumenten (indien een B- of C-instrument) waarom minder of niet geschikt. Daarbij wordt gebruik gemaakt van onderstaande lijst met selectie- en beoordelingscriteria: 1.

tijdsperiode: hoewel geen strikte tijdgrens is aangehouden, zijn al te gedateerde instrumenten niet opgenomen;

2.

geen instrumenten die persoonlijkheid meten;

3.

geen instrumenten die alleen intrapersoonlijke zaken meten;

4.

geen diagnostische instrumenten/voor klinisch gebruik;

5.

geen motivatie instrumenten;

6.

geen instrumenten die waarden meten;

7.

geen instrumenten die niet vrij beschikbaar zijn/kunnen komen; geen instrumenten waarover te weinig informatie beschikbaar is;

8.

geen instrumenten voor kinderen jonger dan 8 en ouder dan 18

9.

geen instrumenten die school- of klasklimaat meten

Cotan beoordeeld, categorie A SCOL, Sociale Competentie Observatie Lijst (CED-groep/Rovict, 2006). Meetpretentie: sociale competentie in de context van de school. Subschalen: ervaringen delen, aardig doen, samen spelen en werken, een taak uitvoeren, jezelf presenteren, een keuze maken, opkomen voor jezelf en omgaan met ruzie. Primair bedoeld als hulpmiddel bij onderwijs in sociale competentie. Secundaire functie identificeren van leerlingen die extra aandacht behoeven. Af te nemen door leerkrachten. Beslissing: geschikt 133

Cotan beoordeeld, categorie B Competentie Belevingsschaal voor Kinderen (CBSK, Veerman e.a., 1997). Meetpretentie: zelfwaardering. Op 6 domeinen, een daarvan is Sociale Acceptatie. Bedoeld voor diagnostisch gebruik. Overigens wordt de CBSK ook voor onderzoeksdoeleinden gebruikt. Beslissing: overall niet geschikt, argument 4, eventueel sociale acceptatie wel geschikt.. Sociaal Cognitieve Vaardigheden Test, (SCVT, Manen e.a., 2009). Meetpretentie: meet het niveau van sociaal cognitieve vaardigheden bij kinderen van 4-12, gebaseerd op ontwikkelingstheorie. Gaat vooral over vermogen perspectief van anderen te begrijpen. Kan diagnostisch gebruikt worden, maar meet ook ‘normale’ ontwikkeling. De vorm is een semigestructureerd interview. Beslissing: geschikt, maar wijze van afnemen (individueel, door testleiders) is complex. Schoolvragenlijst (SVL, Vorst e.a., 2008). Meetpretentie: sociaal-emotioneel functioneren en betrokkenheid bij school. Bevat 10 subschalen, drie hoofdschalen. Twee van de hoofdschalen (welbevinden en zelfvertrouwen) meten geen competentie. De derde, werkhouding, is een punt van twijfel. Omvat de subschalen leertaakgerichtheid, concentratie in de klas en huiswerkattitude. Concentratie is op te vatten als een metacognitieve competentie. Beslissing: subschaal werkhouding wellicht geschikt, argumenten 3 en 5 (werkhouding opgevat als aspect van motivatie). ABC Werkhoudinglijst Meetpretentie: werkhouding, subschalen concentratie, motivatie/interesse, houding ten opzichte van eigen prestaties, resultaat van de taak, werkhouding in relatie tot type taak. Beslissing: werkhouding is deel van motivatie, daarom minder geschikt, criterium 5. De schaal werkhouding is mogelijk wel geschikt. ABC Gedragslijst Meetpretentie: grensoverschrijdend gedrag, teruggetrokken gedrag, aandachtsproblemen en emotionele stabiliteit. Lijkt er op dat er drie van de Big 134

Five worden gemeten plus aandachtsproblemen. Beslissing: minder geschikt op grond van argument 2, maar aandachtsproblemen vormen een discussiepunt, omdat het richten van de aandacht een metacognitieve vaardigheid is. ZIEN! Meetpretentie: vragenlijst bestaande uit 28 stellingen, waarbij vijf sociale vaardigheden (effectvariabelen) en twee graadmeters (procesvariabelen) met vier stellingen worden onderzocht. Effectvariabelen zijn: Sociaal initiatief (SI), Sociale flexibiliteit (SF), Sociale autonomie (SA), Impulsbeheersing (IB) en Inlevingsvermogen (IL). De procesvariabelen zijn: Welbevinden en Betrokkenheid. Cotan beoordeling 2011 geeft een onvoldoende voor normen, betrouwbaarheid, begrips- en criteriumvaliditeit. Behoort bij leerlingvolgsysteem ParnasSys. Beslissing: minder geschikt wegens onvoldoende Cotan beoordeling. Schaal voor interpersoonlijke waarden (SIW) Meetpretentie: sociale steun, erkenning, altruïsme, conformiteit, onafhankelijkheid en leiderschap. Beslissing: minder geschikt, criterium 6. De schaal leiderschap is mogelijk bruikbaar. Schaal voor persoonlijke waarden (SPW) Meetpretentie: zakelijkheid, prestatiemotivatie, variëteit, besluitvaardigheid, orde en netheid, doelgerichtheid. Geschikt voor selectie en beroepskeuze. Cotan beoordeling: normen, betrouwbaarheid, begrips- en criteriumvaliditeit onvoldoende. Beslissing: minder geschikt, criterium 6. Met name de schalen besluitvaardigheid en doelgericht zijn wellicht bruikbaar. Sociaal-cognitieve vaardigheden test (SCVT) Meetpretentie: sociaal-cognitieve vaardigheden. Gebaseerd op sociaalcognitieve ontwikkelingstheorie. Niveaus: egocentrisch niveau, subjectief perspectief, zelfreflectief en wederzijds perspectief. Afnamemethode: plaatjes met bijbehorende vragen. Subschalen: identificeren, discrimineren, differentiëren, vergelijken, zich verplaatsen, relateren, coördineren en verdisconteren. Beslissing: mogelijk geschikt, maar afname door diagnosticus is nadeel. 135

Competentiebelevingsschaal voor adolescenten (CBSA) Meetpretentie: competentiebeleving. Subschalen: Schoolvaardigheden, Sociale acceptatie, Sportieve vaardigheden, Fysieke verschijning, Gedragshouding, Hechte vriendschap en Gevoel van eigenwaarde. Berust op hetzelfde motivatiemodel als de CBSK. Geschikt voor diagnostiek bij adolescenten met emotionele- of gedragsproblemen en wetenschappelijk onderzoek. Beslissing: minder geschikt, criterium 4. Wellicht valt de schaal sociale acceptatie binnen het domein sociale competenties. Kanjervragenlijst Meetpretentie: sociaal functioneren in de klas. Subschalen: Gevoelens van waardeloosheid, Positief sociaal gedrag, Ongelukkig in de klas, Storend gedrag in de klas, en Negatieve intenties. Geschikt voor het signaleren van problemen die kinderen ervaren bij sociaal functioneren in de klas. Beslissing: wellicht geschikt, met name positief sociaal gedrag, maar Cotan beoordeelt normen, betrouwbaarheid, begripsvaliditeit en criteriumvaliditeit als onvoldoende. Cotan beoordeeld, categorie C Schaal voor interpersoonlijk gedrag, versie voor adolescenten (Arrindell e.a., 1995). Meetpretentie: sociale vaardigheden. Meet in feite echter alleen sociale angst (spanning en vermijdingsgedrag). Toepassing: indicering voor sociale vaardigheids trainingen. Af te nemen door psycholoog. Beslissing: niet geschikt, argumenten 2, 4, 9. CCC-2-NL, The Children’s Communication Checklist (Bishop, 2007, bewerking Geurts). Meetpretentie: communicatievaardigheden met accent op pragmatiek. Bedoeld voor screening van kinderen met spraak- en taalmoeilijkheden of andere communicatieproblemen, bijvoorbeeld vanwege autismespectrum stoornis. Beslissing: niet geschikt, argumenten 4, 9. Inventarisatielijst Omgaan met Anderen (IOA, Dam-Baggen e.a., 1987). Meetpretentie: spanning (sociale angst). Spanning en frequentie van gedrag afzonderlijk bevraagd. Subschalen kritiek geven, aandacht vragen voor eigen mening, waardering uitspreken voor de ander, initiatief nemen tot contact, 136

jezelf waarderen. Kritiek geven en aandacht vragen voor eigen mening behoren wel tot het sociale domein. Bedoeld voor selectie voor behandeling of training, afname door professionals. Beslissing: niet geschikt, argumenten 4, 9. De meetpretentie geeft aan dat het instrument buiten het domein valt. Prestatiemotivatietest voor Kinderen (PMT-K, Hermans e.a., 2011). Meetpretentie: prestatiemotivatie en faalangst. Zit dicht tegen persoonlijkheidskenmerken aan. Beslissing: niet geschikt, argument 2. Nederlandse Differentiatie Test, Sociaal-Emotioneel Functioneren (NDT-SEF, Hoorn e.a., 2005). Meetpretentie: sociaal-emotioneel functioneren. Diagnostische functie, bedoeld voor indicering voor lwoo. Beslissing: niet geschikt, argument 4. Vragenlijst Sociale Vaardigheden van Jongeren (VSVJ, Hulsteijn e.a., 2006). Meetpretentie: relationeel functioneren en storend gedrag ten aanzien van anderen. Bedoeld voor gebruik bij indicatiestelling en in klinische settings. Beslissing: niet geschikt, argument 4. Zelfevaluatie en Zelfbeeld (ZEZ, Meijer, 2002). Meetpretentie: meet faalangst in testsituaties. Beslissing: niet geschikt, argument 2. SCHOBL-R (Bleichrodt e.a., 1993). Meetpretentie: sociaal-emotioneel functioneren in de schoolklas. Gebaseerd op de ‘Big Five’, omvat vier van de centrale persoonlijkheidskenmerken. Beslissing: niet geschikt, argument 2. Viseon (Cito) Meetpretentie: sociaal-emotionele ontwikkeling, basisonderwijs. Gebaseerd op “Big Five’. Beslissing: niet geschikt, argument 2.

137

Testserie voor plaatsing in het voortgezet onderwijs - leerlingen vragenlijst (tpvo-lvl) Meetpretentie: gedrag en sociaal-emotioneel functioneren. Sociabiliteit, egocentrisme, taakgerichtheid en sociale wenselijkheid. Geeft indicatie voor sociaal-emotionele problematiek. Afname door diagnostisch geschoold persoon. Beslissing: niet geschikt, criteria 4 en 9. Instrumenten voor indicatiestelling vallen in het algemeen buiten het domein. Attitudeschaal sociale limieten (ASL) Meetpretentie: houding t.o.v. sociale limieten: wetten, regels, normen en verwachtingen in de leefomgeving. Items zijn situatiebeschrijvingen van sociale limieten. Doelgroep: (probleem)jongeren. Afname door diagnosticus. Beslissing: minder geschikt, criterium 9. Lijkt ook een instrument voor indicatiestelling. Overige instrumenten, categorie A Meetinstrument Burgerschap (Ten Dam e.a./Rovict, 2010). Meetpretentie: burgerschapscompetenties, vier sociale taken. Leerlingenversie en docentenversie. Bedoeld voor evaluatie van onderwijs, benchmarking. Af te nemen door leerkrachten. Beslissing: geschikt, selecteren voor nadere beschrijving en onderbrenging in het schema. Alvabavo (Elshout-Mohr, Meijer, Oostdam en Van Gelderen, 1996). Meetpretentie: algemene, vakoverstijgende vaardigheden. Oorspronkelijk bedoeld voor de basisvorming. Veel onderzoek, afnamen in verschillende schooltypen en leeftijdsgroepen. Valideringsonderzoek. Beslissing: geschikt, selecteren voor nadere beschrijving en onderbrenging in het schema. IEA burgerschap: International Civic and Citizenship Education Study (ICCS) Meetpretentie: Knowledge assessment in content and cognitive domain. The four content domains are:• Civic society and systems;• Civic principles;• Civic participation;• Civic identities. The two cognitive domains are:• Knowing; • Reasoning and analyzing. Questionnaire with questions about aspects of 138

democracy and citizenship behavior, views of their own relationship with different aspects of society, attitudes toward equal rights for gender groups, ethnic/racial groups, and immigrants, students’ self-confidence with regard to active participation. Beslissing: geschikt, meet burgerschap, maar twijfels omtrent beschikbaarheid items. MSLQ (Pintrich & Smith, 1993) Meetpretentie: motivatie en strategieën. Beslissing: motivatiedeel ongeschikt (argument 5), delen van strategieën wel geschikt, met name cognitieve en metacognitieve strategieën. Leefstijl Leerlingvolgsysteem (SEOL) Meetpretentie: sociaal emotionele ontwikkeling. Het instrument bevat 9 schalen: Externe factoren (EF), Praten en luisteren (PL), Zelfvertrouwen (ZV), Gevoelens uiten (GU), Omgaan met conflicten (OC), Contact met anderen (CA), Rekenen houden met anderen (RA), Opkomen voor zichzelf (OZ) en Keuzes maken en een doel bereiken (KB). Beslissing: eventueel geschikt, want SEOL meet geen stabiele persoonskenmerken Constructie en Validatie van een Algemene Computervaardigheid Vragenlijst (ACV) Meetpretentie: algemene computervaardigheid. Subschalen OS= besturingssysteem, IN= internet, EM= email, TV= tekstverwerker, SP= spreadsheet, PR= presentatie, WD= webdesign. Unidimensionaliteit werd verwacht, maar bleef uit. Beslissing: geschikt als instrument voor advanced skill. Developing scales for information-seeking behaviour Artikel in Journal of Documentation (Timmers & Glas, 2010). Aanvankelijk zes schalen: 1) het definiëren van het probleem, waarvoor informatie moet worden ingewonnen; 2) gebruik van bronnen; 3) toepassen van zoekstrategieën; 4) evaluatie van informatie; 5) verwijzen naar informatie; en 6) regulatieactiviteiten. De eerste schaal werd verwijderd na een soort Delphi-ronde. Na factoranalyse en analyses met behulp van item-response modellen bleven alleen items voor de laatste vier componenten over. NB: het gaat niet alleen 139

over het opzoeken van informatie op het internet; ook informatie inwinnen met behulp van boeken, leraren en medeleerlingen enzovoorts, komen aan bod. Beslissing: geschikt voor het meten van aspecten van informatie opzoeken. Measuring internet skills Artikel in Journal of Human-Computer Interaction (Van Deursen & Van Dijk, 2010). Bevat een lijst van taken voor het meten van operationele-, formele-, informatie- en strategische internet-vaardigheden. De taken bestaan uit opdrachten voor het opzoeken van informatie op websites. Operationele taken zijn bijvoorbeeld het downloaden van files of het invullen van een elektronisch formulier. Een formele taken is bijvoorbeeld het uitvoeren van een zoekopdracht. Een informatie-taak is bijvoorbeeld het vinden van een parkeerlocatie via internet. Een strategische taak is bijvoorbeeld het invullen van de stemwijzer aan de hand van een paar vooraf gegeven voorkeuren casu quo stellingen. Beslissing: geschikt, met name door het toetskarakter van het instrument. Ook vrij makkelijk scoorbaar in verband met gesloten opdrachten. Overige instrumenten, categorie B Social Skills Rating System (Gresham & Elliot, 1990) Meetpretentie: sociale vaardigheden, probleemgedrag en schoolse competentie. Vorm voor ouders, leraren en kinderen. Ondergeschikte schalen Empathy (.74), Cooperation (.68), Self-Control (.63), and Assertion. Met uitzondering van empathie lijkt doelgedrag onderwijsbaar maar het instrument is nogal klinisch gericht, vergelijk validering onder andere aan de hand van samenhang met CBCL. Beslissing: wellicht 3 schalen van leraarversie geschikt, verder uitzoeken SDQ, subschaal prosociaal gedrag (Goedhart e.a., 2003) Meetpretentie: aanwezigheid van psychosociale problemen, sterke kanten van het kind en de invloed van psychosociale problemen op het dagelijks functioneren. Subschalen: Hyperactiviteit / aandachtstekort, emotionele problemen, problemen met leeftijdsgenoten’, gedragsproblemen en pro-sociaal gedrag. Is gericht op de identificatie van probleemleerlingen. Verschillende versies. Beslissing: minder geschikt, klinisch diagnostisch gericht (argument 4). Eventueel wel subschaal prosociaal gedrag. 140

KIJK! Op Sociale Competentie Meetpretentie: intrapersoonlijke ontwikkeling (vrij van emotionele belemmeringen, nieuwsgierig en ondernemend, zelfvertrouwen, zelfstandigheid, taak-werkhouding), interpersoonlijke ontwikkeling (teamspeler, voor zichzelf opkomen, contact met leerkracht, contact met groepsgenoten, rekening houden met anderen, omgaan met conflicten) en maatschappelijke betrokkenheid (thuisvoelen in groep, omgaan met autoriteit, anderen met respect behandelen). Elke subschaal bevat een aantal items die op een driepuntsschaal kunnen worden beantwoord. Beslissing: eventueel geschikt, lijkt sterk op SEOL EGGO gedragsleerlingvolgsysteem (eerste genormeerde gedragsobservatiekaart) Meetpretentie: werkhouding (werkmotivatie, werktempo, taakgerichtheid, diepteconcentratie, zelfstandig werken, zelfvertrouwen bij het werken) en het sociaal-emotionele domein (contact-initiatief met medeleerlingen, samenwerken, samenspelen, conflictfrequentie, assertiviteit, beweeglijkheid, regelgedrag, welbevinden, persoonlijke aanspreekbaarheid, contact-initiatief met de leerkracht). Is een volledig leerlingvolgsysteem voor gedrag, bevat ook mogelijkheid voor invoeren van handelingsplannen et cetera. Beslissing: in principe geschikt, maar is een commercieel produkt, niet in het publieke domein. STUDEON Meetpretentie: Persoonlijkheid, Welbevinden, Studiehouding en Studiehouding volgens de mentor. Persoonlijkheid wordt gemeten op grond van vier van de Big Five, welbevinden: zelfvertrouwen, relatie met docenten en medeleerlingen, algemeen schoolbeeld, studiehouding omvat cognitieve vaardigheden, metacognitieve vaardigheden en resource management. Voor leerlingen in 1e en 2e leerjaar vo. Beslissing, Studiehouding mogelijk geschikt, voornamelijk vanwege metacognitieve vaardigheden en resource management. "Social Skills Improvement System Rating Scales." (F. M. Gresham & S. N. Elliott Minneapolis, Minnesota--NCS Pearson, 2008) Meetpretentie: sociale vaardigheden, bestaande uit de componenten schoolprestaties, sociale initiatieven, samenwerking en bekrachtiging van medeleerlingen (peer reinforcement). Bestaat uit checklist met vragen in te 141

vullen door leerkracht (artikel in Journal of Special Education 21(2), 1987. Beslissing: met name laatste drie factoren mogelijk geschikt. Multidimensional Self-Concepts and Perceptions of Control: Construct Validation of Responses by Children Artikel in Journal of Educational Psychology. Beschrijft een onderzoek naar de Perceived Competence Scale for Children (PCS) en de Self Description Questionnaire I (SDQI). Meetpretentie PCS: fysiek, sociaal, algemeen en cognitief, meetpretentie SDQI: fysiek, relatie met leeftijdgenoten, algemeen, school, lezen, rekenen-wiskunde, relatie met ouders en fysiek voorkomen. De PCS is vertaald in het Nederlands (CBSK). Beslissing: minder geschikt, want items worden in artikel niet gegeven. Zie ook de CBSK. PISA 2009 Results: Students on Line: Digital Technologies and Performance (Volume VI) Meetpretentie: digitale leesvaardigheid. In essentie gaat het om het efficiënt opzoeken van informatie op het world wide web om vragen te beantwoorden, doelmatige navigatie. Psychometrie: één parameter logistisch model, dus moeilijkheid items en vaardigheid participanten op dezelfde dimensie geschaald. Beslissing: procedure geschikt, maar items zijn niet openbaar. The Construct Validity of an Inventory for the Measurement of Young Pupils' Metacognitive Abilities in Mathematics Paper presented at the 27th International Group for the Psychology of Mathematics Education Conference. Meetpretentie: metacognitieve kennis en metacognitieve regulatie bij wiskunde. Toetsing van een hiërarchisch model voor metacognitieve bekwaamheid. Items gegeven als bijlage bij paper. Beslissing: geschikt, ook geschikt te maken voor andere vakken. Er zijn overigens ook in Nederland veel instrumenten op dit gebied die onderzoeksmatig zijn gebruikt. Metacognitieve activiteiten meten: Een vragenlijst vergeleken met de hardopdenkmethode In: Licht op leren. Proceedings van de 35e Onderwijs Research Dagen. Meetpretentie: metacognitieve activiteiten tijdens het lezen van een 142

geschiedenistekst. Bestaat uit dezelfde categorieën als het interpretatiekader voor hardopdenkprotocollen tijdens dezelfde taak. Beslissing: in principe bruikbaar, eventueel ook aanpassen voor andere vakken. In eerder onderzoek is ook een versie voor het lezen van een tekst over natuurkunde gemaakt. Ondersteunen van planningsactiviteiten tijdens het zoeken van informatie op het web Doctoraalscriptie. Er is gebruik gemaakt van een aangepaste versie van de Metacognitive Awareness Inventory (MAI: Schraw & Dennison, 1994). De meetpretentie van de MAI is metacognitieve kennis en regulatie van cognitie. Subschalen: declaratieve kennis, procedurele kennis, voorwaardelijke kennis, planning, strategieën voor management van informatie, begripsmonitoring, debugging strategieën en evaluatie. De MAI wordt hoofdzakelijk voor onderzoeksdoeleinden gebruikt. De auteurs vinden het instrument geschikt voor de identificatie van leerlingen en studenten met metacognitieve begaafdheid. Beslissing: eventueel geschikt, maar geen normen en dergelijke. Measures of children’s knowledge and regulation of cognition. Artikel in Contemporary Educational Psychology. Junior versie van de MAI. Meetpretentie: metacognitieve kennis (declaratief, procedureel en conditioneel) en regulatie van cognitie (planning, monitoring en evaluatie). Beslissing: geschikt, items in artikel gegeven. Vereist wel vertaling. Development of an Instrument Designed to Investigate Elements of Science Students' Metacognition, Self-Efficacy and Learning Processes: The SEMLI-S Artikel in International Journal of Science Education. Meetpretentie: gepercipieerde metacognitieve science leeroriëntatie. Subschalen: constructivistische connectiviteit (aansluiten bij reeds beschikbare kennis), monitoring, evaluatie en planning, self-efficacy bij science, bewustzijn van risico’s, en aandachtscontrole. Uiteindelijke versie bestaat uit 30 items. Flinke correlaties tussen subschalen (tussen .29 en .58). Beslissing: geschikt, items in artikel gegeven, vereist wel vertaling.

143

The Metacognitive Awareness Listening Questionnaire: Development and Validation Artikel in Language Learning. Meetpretentie: metacognitie bij het luisteren naar voorgelezen teksten. Vijf factoren ten grondslag aan 21 items: probleemoplossen, planning en evaluatie, mentale translatie, zelfkennis en gerichte aandacht. Items in appendix bij artikel gepubliceerd. Beslissing: geschikt, interessant voor het toetsen van begrip bij luistertoetsen. Daar is tot nu toe nog weinig voor. BRIEF Executieve Functies Gedragsvragenlijst Nederlandse vertaling van Amerikaanse gedragsbeoordelingslijst. Versies voor ouders en leerkrachten. Schalen voor inhibitie, cognitieve flexibiliteit, emotieregulatie, initiatief nemen, werkgeheugen, plannen en organiseren, ordelijkheid en netheid en gedragsevaluatie. Overkoepelende schalen gedragsregulatie (eerste drie schalen) en metacognitie (overige schalen). Schalen worden expliciet “klinisch” genoemd. Validering aan de hand van de CBCL en de Vragenlijst voor Gedragsproblemen bij Kinderen (VvGK). Beslissing: in principe niet geschikt wegens klinische gerichtheid, maar subschalen voor metacognitie wellicht interessant. Uitgegeven door Hogrefe, vrij duur in aanschaf. Entrepreneurial self-efficacy (ESE) Vragenlijst die ondernemerschap beoogt te meten. Eerste, langere versie gepubliceerd in Journal of Business Venturing (Chen, Greene & Crick, 1998). Items voor vijf factoren: marketing, innovatie, management, risico nemen en financiële controle. Aanwijzingen voor redelijke convergente en discriminante validiteit. Kortere versie gebruikt in onderzoek van Zhao, Seibert & Hills (Journal of Applied Psychology, 2005). Beslissing: lange versie mogelijk geschikt, maar alleen voor oudere leerlingen (items betreffen vrij complexe activiteiten. Overige instrumenten, categorie C AILI (Elshout-Mohr, Van Daalen-Kapteijns en Meijer, 2004). Meetpretentie: metacognitieve kennis, metacognitieve regulatie en metacognitieve ervaring. Ontwikkeld in het kader van een portfolioproject in de tweedegraads lerarenopleiding. Afgenomen in verschillende steekproeven, waaronder studenten Vrije Universiteit Brussel en Maastricht. Validering aan de 144

hand van samenhang met MSLQ. Beslissing: niet geschikt, argument 8, het instrument is expliciet gericht op het hoger onderwijs. LICOR lijst Meetpretentie: 1.anti-sociaal gedrag ten opzichte van de leerkracht; 2.antisociaal gedrag ten opzichte van de medeleerlingen; 3.hyperactief en ongeconcentreerd gedrag; 4.ongemotiveerdheid voor school en leren; 5.op positieve wijze aandacht vragen; 6.op negatieve wijze aandacht vragen; 7.afhankelijk gedrag; 8.teruggetrokkenheid. Meet in feite 4 van de Big Five (zie {{1318 Meijer,J. 2006}}). Beslissing: niet geschikt, zie criterium 2. Observatielijst voor het beschrijven van de sociaal-emotionele ontwikkeling (OVSO) Meetpretentie: 1.relatie met de leerkracht; 2.omgang met andere kinderen; 3.motivatie; 4.zelfcontrole. Is gericht op kleuters. Beslissing, ongeschikt, zie criterium 8. Observatielijst VISEON voor kleuters Meetpretentie: sociaal gedrag, welbevinden, speelwerkhouding. Beslissing: ongeschikt, alleen voor groepen 1 en 2. Bovendien liggen aan VISEON 4 factoren van de Big Five ten grondslag. Assessing Citizenship Behavior in Educational Contexts : The Role of Personality, motivation and culture Artikel in: Journal of Psychoeducational Assessment. Meetpretentie: burgerschap, in de zin van zelf-regulatie of gewetensvolheid (zijn echter geen identieke begrippen), en altruïsme. Populatie: universitaire studenten in Hong Kong. Beslissing: ongeschikt, criteria 2 en 8 Het gebruik van logfile-data voor het meten van metacognitieve activiteiten In: Samen kennis ontwikkelen. Proceedings 33e Onderwijs Research Dagen 2006. Meetpretentie: metacognitieve vaardigheid, in het bijzonder planning, monitoring, evaluatie en elaboratie.

145

Beslissing: niet geschikt op dit moment, want vereist ingewikkeld interpretatiekader zoals bij hardopdenkprotocol. Wel interessant in verband met ontwikkeling rondom serious gaming. Instrumenten waarover te weinig informatie beschikbaar is The Development and Validation of an Informal Rating Matrix to Measure Social Skills in Early Adolescents Artikel in: Educational Psychology: An International Journal of Experimental Educational Psychology. Presents results of a study developing an informal social skills teacher rating scale for use with early adolescents. Voorlopige beslissing, niet geschikt, want niet beschikbaar in UvA digitale bibliotheek. ZUS vragenlijst Nog niet besproken (subschalen van) ISM Nog niet besproken The Assessment of Children's Social Skills through Self-Report: A Potential Screening Instrument for Classroom Use Artikel in: Measurement and Evaluation in Counseling and Development. Meetpretentie: sociale regels, aardigheid, en argeloosheid (eerlijkheid, openhartigheid). Beslissing: voorlopig minder geschikt, artikel is niet elektronisch beschikbaar. Perceived Personal and Social Competence: Development of Valid and Reliable Measures Artikel in: Health Educator Beslissing: niet geschikt, criterium 1, niet digitaal verkrijgbaar. Multisource Assessment of Children’s Social Competence Artikel in: Educational and Psychological Measurement. Meetpretentie: prosociale en antisociale tendentie, respectievelijk onderverdeeld in samenwerkingsvaardigheden, empathie en impulsiviteit, storend gedrag. Beslissing: minder geschikt, vragenlijsten staan niet in artikel.

146

Recent uitgegeven rapporten Kohnstamm Instituut

901

Veen, A., Veen, I. van der, Karssen, A.M., Roeleveld, J.

897

Eck, E. van, Voncken, E., Glaudé, M., Roeleveld, J. Opwaarts, mars Roeleveld, J., Smeets, E., Ledoux, G., Wester, M., Koopman, P.N.J. Prestaties en loopbanen van zorgleerlingen. Pater, C.J., Veugelers, W., Karssen, A.M., Vergeer, M.M.

Deelname aan voor- en vroegschoolse educatie en de ontwikkeling van kinderen

896 895

De context van G/HVO in het openbaar onderwijs. 894

892

891 890

889 888 887 886

Karssen, A.M., Veen, I. van der, Veen, A., Daalen, M.M. van, Roeleveld, J. Effecten van deelname aan en kwaliteit van voor- en vroegschoolse educatie op de ontwikkeling van kinderen Veen, A., Karssen, A.M., Daalen, M.M. van, Roeleveld, J., Triesscheijn, B., Elshof, D. De aansluiting tussen voor- en vroegschoolse educatie en tussen vroegschoolse educatie en groep 3 Verbeek, F. De ontwikkeling van een itembank voor Wetenschapsoriëntatie. Blok, H., Elshof, D. Gebruik, waardering en leeropbrengsten bij Wizwijs, een rekenmethode voor het basisonderwijs. Vergeer, M.M. Jeugdmonitor Zeeland Vergeer, M.M. Goed op weg met de BLOS-klas. Breetvelt, I., Meijer, J., Koopman P.N.J. Effectonderzoek VWO-plus. Verbeek, F., Ledoux, G., Glaudé. Op weg naar opbrengstgericht leiderschap.

Deze rapporten zijn te bestellen via: [email protected] Voor meer informatie, zie; http://www.kohnstamminstituut.uva.nl

147

Kohnstamm Instituut UVA bv Postbus 94208 1090 GE Amsterdam T 020 5251226 www.kohnstamm instituut.uva.nl