Kieswijzer Toetsen taalniveau pedagogisch medewerkers in voorschoolse instellingen
Kieswijzer Toetsen taalniveau pedagogisch medewerkers in voorschoolse instellingen
In opdracht van: Ministerie van OCW, directie Primair Onderwijs
Mei 2012 IJsbrand Jepma en Olga Abell Utrecht, Sardes
Kieswijzer Toetsen van taalniveau, Sardes 2012
Inhoudsopgave Managementsamenvatting
2
1.
De gemeente en de keuze voor een taaltoets
5
2.
Kieswijzer
8
3.
Vijf stappen
9
Stap 1: aansluiten bij mogelijkheden en behoeften van voorschoolse instellingen en hun medewerkers 9 Stap 2: nagaan van de functie van de taaltoets
12
Stap 3: kijken naar de taaltoets zelf
13
Stap 4: bepalen van de kosten
20
Stap 5: de balans opmaken
20
Bijlage 1: Verantwoording van de Kieswijzer
22
Bijlage 2: Uitleg bij taalniveau 2F en 3F
23
Bijlage 3: Beschrijving van de taaltoetsen
26
1
Kieswijzer Toetsen van taalniveau, Sardes 2012
Managementsamenvatting Bestuurlijke afspraken over het verhogen van het taalniveau van pedagogisch medewerkers in de voorschoolse sector De G37 heeft bestuurlijke afspraken gemaakt met het Rijk om het taalniveau van pedagogisch medewerkers bij spreken, lezen en schrijven na te gaan en waar nodig te verhogen. Het is zowel in het belang van het kind als van de pedagogisch medewerker zelf om serieus werk te maken van het eigen taalniveau. Pedagogisch medewerkers die taalvaardig zijn, zijn beter in staan om (doelgroep)kinderen te ondersteunen in hun taalontwikkeling. Bovendien zorgt een voldoende eigen taalniveau voor meer werkplezier en arbeidsperspectief. Afgesproken is dat in 2015 gemiddeld 90 procent van de pedagogisch medewerkers in de VVE-sector in de G37 voor mondelinge en leesvaardigheden moet voldoen aan niveau 3F. Schriftelijke vaardigheden mogen worden beheerst op niveau 2F. 3F en 2F staan respectievelijk voor Fundamentele kwaliteit op niveau 3 en niveau 2 en zijn onderdeel van een schaal die loopt van 1 t/m 4. Deze indeling is ontleend aan de Referentieniveaus taal van Meijerink. Toetsen van het taalniveau Een eerste stap bij het verhogen van het taalniveau van pedagogisch medewerkers is het toetsen van het taalniveau. Daarvoor bestaan verschillende taaltoetsen. Deze Kieswijzer Toetsen taalniveau pedagogisch medewerkers in voorschoolse instellingen wil gemeenten helpen bij hun keuze voor een taaltoets, in overleg met het lokale voorschoolse veld. Met een taaltoets wordt nagegaan hoe het staat met het eigen taalniveau van de pedagogisch medewerkers. Op basis hiervan wordt bepaald hoe de scholing op taal inhoud en vorm kan worden gegeven. Wie komen er in aanmerking voor scholing? Op welke taaldomeinen moet er worden bijgeschoold? Hoe intensief moet die scholing zijn? Vijf stappen om een gefundeerde keuze te maken voor een taaltoets Om tot een beredeneerde keuze voor een taaltoets te komen, wordt voorgesteld om vijf stappen te doorlopen. Het spreekt voor zich dat de gemeente hierbij de regierol neemt. In stap 1 voert de gemeente overleg met het voorschoolse veld om tot afstemming in mogelijkheden en behoeften te komen. Het is aanbevelenswaardig om tot een gemeentebrede aanpak te komen voor het realiseren van de nieuwe taalnorm. De aanpak wordt ook besproken en afgestemd met het veld van de opleidingen (ROC’s) omdat zij een belangrijke rol hebben bij de toetsing en scholing van aankomend personeel en mogelijk ook bij zittend personeel. In stap 2 wordt bekeken op welke manier en met welk doel de taaltoets zal worden ingezet. De taaltoets is vooral bedoeld als kwalificatie-instrument (beschikken de pedagogisch medewerkers over het afgesproken taalniveau bij spreken, lezen en schrijven?), maar kan ook andere functies meekrijgen: selectie van de pedagogisch medewerkers die in aanmerking komen voor scholing, diagnose van het taalniveau van individuele medewerkers, verantwoording afleggen aan toezichthoudende instanties en evaluatie van de kwaliteit van de scholing. In stap 3 wordt gekeken naar de taaltoetsen zelf. De taaltoetsen zijn beschreven op grond van 15 kenmerken die gegroepeerd kunnen worden in a) algemene, b) inhoudelijke, c) meettechnische, d) procedurele en e) financiële kenmerken. Stap 4 gaat dieper in op de kosten die gepaard gaan met het afnemen van de taaltoets. Er worden een paar rekenvoorbeelden gegeven die inzicht geven in de kosten van het afnemen
2
Kieswijzer Toetsen van taalniveau, Sardes 2012
van de taaltoets. De conclusie is dat de kosten van het afnemen van de taaltoets betrekkelijk klein zijn en daardoor niet doorslaggevend mogen zijn bij de definitieve keuze. In stap 5, de laatste stap in het keuzeproces, wordt de balans opgemaakt. De taaltoetsen zijn vergeleken op een zestal kenmerken, dat we meer dan andere kenmerken belangrijk vinden. Dit zijn domein (welke domeinen van taal worden getoetst?), beroepspecificiteit (in hoeverre is de toets toegesneden op het werk in de voorschoolse sector?), niveau (welk niveau of welke niveaus meet de toets?), betrouwbaarheid en validering (wat is de meettechnische kwaliteit van de toets?), toetsprocedure (op welke manier wordt de toets afgenomen?) en rapportage (op welke wijze wordt over de uitslag van de taaltoets gerapporteerd?). Er zijn meer of minder sterren toegekend aan de kenmerken, al naar gelang de kwaliteit van het kenmerk. De laagste waardering bestaat uit één ster en de hoogste waardering uit vier sterren (loopt van ‘onvoldoende ontwikkeld’ t/m ‘goed ontwikkeld’). In tabel S.1 staat een samenvattend overzicht. Uiteindelijk komen we in deze Kieswijzer Toetsen taalniveau pedagogisch medewerkers in voorschoolse instellingen tot de conclusie dat de toetsen van twee aanbieders er met kop en schouders boven uitsteken. Dat zijn de taaltoetsen die ontwikkeld zijn door de UvA en Mister Dutch. Deze taaltoetsen zijn speciaal ontwikkeld voor het toetsen van het taalniveau van de pedagogisch medewerkers in de VVE-sector.
3
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel S.1: Kenmerken van taaltoetsen en hun waardering in sterren Toetsnaam (ontwikkelaar)
Domein
Beroepspecificiteit
Niveau
Betrouwbaarheid en validering
Toetsprocedure
Rapportage
Insight Taaltoets (AMN Systems)
***
**
***
***
***
****
TOA leesvaardigheden (Bureau ICE)
***
**
****
***
***
****
TOA spreekvaardigheden (Bureau ICE)
***
**
****
***
***
****
Staatsexamen NT2 (Bureau ICE en Cito)
****
**
***
****
***
***
Eindassessment (CINOP/ Mister Dutch)
***
****
**
***
****
****
Taalniveautest Nederlands (Deviant)
**
**
****
***
***
****
Taal op Niveau start- en eindassessments (Edu’Actief)
**
**
***
**
***
**
Taal de Baas (ITTA/Bureau ICE)
**
**
*
**
***
**
IVIO lezen en schrijven
**
**
****
***
****
****
Spreektoets (UvA)
****
****
****
****
***
***
Leestoets (UvA)
****
****
****
****
***
***
Schrijftoets (UvA)
****
****
****
****
***
***
Leestoets (digitaal) (UvA)
****
****
****
****
***
***
Schrijftoets (digitaal) (UvA)
****
****
****
****
***
***
Intake assessment spreken (Mister Dutch)
****
****
****
****
****
****
Intake assessment schrijven (Mister Dutch)
****
****
****
****
****
****
Begin- en eindtoets Allemaal Taal (ThiemeMeulenhoff)
****
****
**
**
***
onbekend
4
Kieswijzer Toetsen van taalniveau, Sardes 2012
1.
De gemeente en de keuze voor een taaltoets1
Naar een nieuwe taalnorm in de voorschoolse sector Pedagogisch medewerkers die binnen de G37 (de 37 grootste gemeenten van Nederland) werkzaam zijn in de voorschoolse instellingen met VVE (kinderdagverblijven, peuterspeelzalen en voorscholen) voldoen idealiter aan een taalnorm. Dit is nodig om bij jonge (doelgroep)kinderen op een voldoende niveau aan taalontwikkelingsstimulering te kunnen doen. Hierover zijn afspraken gemaakt in de bestuursafspraken tussen Rijk en G4 en G33. Het betreft zowel zittend als nieuw personeel in de voorschoolse sector. Voor het zittende personeel geldt dat de initiële opleiding soms al wat langer geleden is gevolgd. Beginnend personeel dat net klaar is met de opleiding, heeft taalonderwijs genoten dat anders is van inhoud, structuur en examinering (toetsing). Ook de opleidingseisen van de eigen taalvaardigheden in het Nederlands is door de jaren heen veranderd binnen de opleidingen die toeleiden tot de sector van ‘het jonge kind’. Dit maakt dat het vrij onduidelijk is wat het taalniveau is van het personeel in de voorschoolse sector. De diploma-eisen op het gebied van Nederlands zijn aan verandering onderhevig geweest. De aanname dat alle pedagogisch medewerkers het vereiste taalniveau bezitten is in elk geval niet reëel. Informatiebox 1: het belang van een hoog taalniveau Het voldoen aan een hoog taalniveau is in het belang van het kind én de pedagogisch medewerker zelf. Voor kinderen die thuis weinig Nederlands horen (zogeheten ‘taalarme gezinnen’) of alleen buitenshuis Nederlands horen is het ongelooflijk belangrijk dat het taalaanbod in voorschoolse instellingen van een hoog niveau is. Pedagogisch medewerkers spelen hierbij een grote rol, ze zijn bij de taalontwikkeling een voorbeeld voor de kinderen. Van een pedagogisch medewerker die taalcompetent is, leren kinderen een grote basiswoordenschat en zinsconstructies die hen helpen bij het stellen van vragen of het vertellen over eigen ervaringen. Ook voor de pedagogisch medewerkers zelf is het gunstig om vaardig te zijn met taal. Het geeft meer voldoening en arbeidsvreugde om te zien dat kinderen sprongen maken in taal omdat jij die spelenderwijs verrijkt. Bovendien verruimt een hoog eigen taalniveau de beroepsperspectieven. Bron: Kees Broekhof, ‘Je bent een voorbeeld voor de kinderen’. Taalstimulering in de kinderopvang. KIDDO, 3, 2012.
Op dit moment zijn de eisen voor diplomering als Pedagogisch Werker niveau 3 (vanuit het wettelijke kwalificatiedossier) dat alle vaardigheden op 2F worden beheerst. Dit is lager dan het streefniveau bij taal, zoals afgesproken binnen de G37. Bij sommige lichtingen wordt Nederlands niet eens meegewogen bij de zak-/slaagbeslissing. Zolang dit voortduurt, zal de voorschoolse sector te maken blijven krijgen met nieuwe pedagogisch medewerkers die getoetst en bijgeschoold zullen moeten worden om het vereiste taalniveau te beheersen. Met ingang van 1 augustus 2014 wordt het taalniveau 2F centraal geëxamineerd. Als gevolg hiervan voldoen de pedagogisch medewerkers die vanaf 2014 van de opleiding komen wel aan een ‘gegarandeerde’ taalnorm. Taal is opgebouwd uit drie domeinen Taal is opgebouwd uit verschillende domeinen. Er wordt onderscheid gemaakt tussen drie taaldomeinen, te weten: (a) mondelinge vaardigheden (luisteren, spreken en gesprekken voeren), (b) leesvaardigheden (tekstbegrip) en 1
Voor de totstandkoming van deze Kieswijzer is dankbaar gebruik gemaakt van de Partou Keuzewijzer VVE (2009) die Sardes samen met kinderopvangorganisatie Partou heeft ontwikkeld.
5
Kieswijzer Toetsen van taalniveau, Sardes 2012
(c) schriftelijke vaardigheden (schrijven en taalverzorging). Afgesproken is dat in 2015 gemiddeld 90 procent van de pedagogisch medewerkers in de VVE-sector in de G37 voor mondelinge en leesvaardigheden moet voldoen aan niveau 3F. Schriftelijke vaardigheden mogen worden beheerst op niveau 2F. 3F en 2F staan respectievelijk voor Fundamentele kwaliteit op niveau 3 en niveau 2 en zijn onderdeel van een schaal die loopt van 1 t/m 4. Deze indeling is ontleend aan de Referentieniveaus taal van Meijerink (in bijlage 2 staat meer informatie). Toetsen en scholen van pedagogisch medewerkers in de voorschoolse sector Het is de bedoeling dat in de gemeenten in het kader van de bestuursafspraken tussen Rijk en G4 en G33 pedagogisch medewerkers in de voorschoolse sector getoetst gaan worden op alle genoemde domeinen van de Nederlandse taal, om te zien welk taalniveau ze bezitten. Vervolgens is het de bedoeling dat het voorschoolse personeel dat onder de taalnorm scoort, wordt bijgeschoold. De voorschoolse instellingen zijn zelf verantwoordelijk voor het taalniveau van de pedagogisch medewerkers en dus ook voor bijscholing, indien nodig. Uiteindelijk zullen de voorschoolse instellingen, gefaseerd in 2013 en 2015, bij de GGD en/of Inspectie van het Onderwijs (de toezichthoudende instellingen) moeten kunnen aantonen dat hun pedagogisch medewerkers voldoen aan de gestelde taalnorm. Gemeenten hebben tussen- en einddoelen geformuleerd en budget uitgetrokken om het verhogen van het taalniveau van het voorschoolse personeel in praktijk te brengen. Het ligt daarom voor de hand dat de gemeente zich de regierol toe-eigent bij het werken aan de nieuwe taalnorm, maar bij de weg daar naartoe het lokale voorschoolse veld en de opleidingsinstituten intensief betrekt. Behoefte aan een Kieswijzer Om het keuzeproces voor een taaltoets vanuit verschillende vertrekpunten en criteria te structureren, heeft het ministerie van OCW/directie Primair Onderwijs een Kieswijzer laten ontwikkelen door Sardes. Later in de tijd wordt een Kieswijzer gepubliceerd over het scholingsaanbod waarmee het taalniveau van pedagogisch medewerkers kan worden verbeterd. Die Kieswijzer is een praktische handreiking om gemeenten te helpen bij het kiezen van een passend scholingsaanbod. Aan de hand van de voorliggende Kieswijzer kunnen gemeenten in overleg met voorschoolse voorzieningen een geschikte keuze maken voor een taaltoets. De Kieswijzer bevat stappen en overwegingen die van belang zijn bij de keuze van een taaltoets. Deze verwoordt ook de ruimte waarbinnen bewogen kan worden. De beslissing wordt uiteindelijk genomen door de gemeente, in samenspraak met de betrokken voorschoolse instellingen. Samen zullen zij de stappen doorlopen om tot een keuze te komen. Daarbij gaat het om:
Informatie verzamelen en afwegen
ꜜ Gesprek voeren tussen gemeente en betrokken voorschoolse instellingen
ꜜ Nemen van een gefundeerde beslissing Figuur 1: de handelingen die genomen worden voor een gefundeerde beslissing van de taaltoets
6
Kieswijzer Toetsen van taalniveau, Sardes 2012
Landelijk ondersteuningstraject Deze Kieswijzer wordt onderdeel gemaakt van het landelijke ondersteuningstraject bij de uitvoering van de bestuursakkoorden voor de G37 dat in de zomer van 2012 van start gaat. Bijlagen In deze Kieswijzer zijn drie bijlagen opgenomen. Bijlage 1 bevat de verantwoording van de totstandkoming van de Kieswijzer. In bijlage 2 wordt inzichtelijk gemaakt wat precies het verschil is tussen 2F en 3F en welke ontwikkeling voorschools personeel zal moeten doormaken. Bijlage 3 bevat de lijst van bestaande taaltoetsen waaruit gekozen kan worden.
7
Kieswijzer Toetsen van taalniveau, Sardes 2012
2.
Kieswijzer
Taaltoets is onderdeel van een taalverbeteringstraject Gemeenten staan voor de keuze om een taaltoets af te laten nemen om te bepalen hoe het is gesteld met het taalniveau (spreken, lezen en schrijven) van de pedagogisch medewerkers in de voorschoolse sector. Dit is een belangrijke beslissing, want de uitkomsten zullen de gemeente en voorschoolse instellingen in staat moeten stellen om een passend taalverbeteringstraject op te stellen en uit te voeren. Het is verstandig om het taalverbeteringstraject en de toetsing daarbinnen in nauw overleg met het voorschoolse werkveld af te stemmen. Wanneer gemeenten en voorschoolse instellingen samen afspraken kunnen maken, dan zal het eenvoudiger worden om de afgesproken doelen uit de bestuursafspraken op tijd te halen. Maak een beredeneerde keuze Bij het maken van de keuze voor een taaltoets spelen diverse factoren een rol. Aan de hand van diverse stappen komt een gemeente, uiteraard in overleg met de betrokken voorschoolse instellingen, tot een beredeneerde keuze. Soms kan snel een keuze worden gemaakt. Bijvoorbeeld omdat een gemeente de zorgvuldig afgewogen keuze van een andere gemeente bij toetsing en scholing één-op-één overneemt. Wanneer de stappen in het volgende hoofdstuk zijn doorlopen, is de kans groot dat gemeenten en betrokken voorschoolse instellingen een gefundeerde keuze hebben gemaakt. Niet gebaseerd op toevalligheden en irrationele argumenten, maar op basis van een realistisch en gedragen besluit.
8
Kieswijzer Toetsen van taalniveau, Sardes 2012
3.
Vijf stappen
Om tot een beredeneerde keuze te komen, worden ideaal gesproken de volgende stappen bewandeld. Informatiebox 2: de stappen bij het maken van een beredeneerde keuze voor taaltoets Stap Stap Stap Stap Stap
1: 2: 3: 4: 5:
aansluiten bij mogelijkheden en behoeften van voorschoolse instellingen en hun medewerkers nagaan van de functie van de taaltoets kijken naar de taaltoets zelf bepalen van de kosten de balans opmaken
Het kan zijn dat alle stappen nodig zijn om tot een keuze te komen, maar dat is geen wetmatigheid. Soms wordt al in een vroeg stadium een keuze gemaakt. Om alle stappen te doorlopen hoeft niet veel tijd uitgetrokken te worden. Binnen een maand zou er al een weloverwogen keuze kunnen worden gemaakt. Stap 1: aansluiten bij mogelijkheden en behoeften van voorschoolse instellingen en hun medewerkers Overleg met het voorschoolse veld De eerste stap bestaat eruit dat de gemeente peilt bij de veldpartijen binnen de lokale VVEsector hoe zij aankijken tegen de opdracht waar ze in gezamenlijkheid voor staan. De Lokale Educatieve Agenda, of een ander overleg waarbij de partners uit de voorschoolse sector (organisaties voor kinderopvang en peuterspeelzaalwerk) aan tafel zitten, leent zich hiervoor. Wanneer er geen dergelijke overlegstructuur is, dan zal deze er moeten komen. Er kan ook een speciale projectgroep of apart platform in het leven worden geroepen voor dit onderdeel van de bestuursakkoorden (zie ook informatiebox 3). Het spreekt voor zich dat de gemeente dit punt agendeert en vervolgens zorg draagt voor het hele proces naar het voldoen aan de nieuwe taalnorm. Een plan van aanpak met uitvoering en tijdpad waaraan de veldpartijen zich committeren, helpt hierbij. Rekening houden met verschillen in mogelijkheden en behoeften van het werkveld De VVE-sector kan divers zijn. De omvang en het aantal aanbieders van kinderopvang en peuterspeelzaalwerk is in enkele gemeenten groot, maar dat varieert naar gemeente. Mogelijk zijn er verschillen in mogelijkheden en behoeften tussen de kinderopvang enerzijds en het peuterspeelzaalwerk anderzijds. Ook binnen de kinderopvang en het peuterspeelzaalwerk afzonderlijk kan verschillend worden gedacht over het plan om het taalniveau van de pedagogisch medewerkers te verhogen. De gemeente doet er goed aan om, waar dat kan, aan te sluiten bij wat de voorschoolse sector zelf wil en ook ziet zitten, vanzelfsprekend met inachtneming van de centrale opdracht op het gebied van taal. De normen staan dus niet ter discussie, maar flexibiliteit en maatwerk zijn mogelijk in het tempo en de aanpak.
9
Kieswijzer Toetsen van taalniveau, Sardes 2012
Informatiebox 3: de regierol van de gemeente bij het werken aan de nieuwe taalnorm In 2008 kreeg de gemeente Amsterdam signalen van de Inspectie van het Onderwijs dat het taalgebruik van de pedagogisch medewerkers in de VVE-sector te wensen overliet. Toen heeft de gemeente het initiatief genomen om de Universiteit van Amsterdam (UvA) uit te laten zoeken wat het taalniveau van pedagogisch medewerkers zou moeten zijn om jonge kinderen met een taalachterstand in het Nederlands adequaat te kunnen begeleiden. Op verzoek van de gemeente is het Platform Taalnorm ingericht (inmiddels heet het Platform Opleidingen en nemen ook de schoolbesturen van het basisonderwijs deel). Naast de gemeente zelf wordt er zitting in genomen door een afvaardiging van de werkgevers (welzijnsorganisaties en kinderopvang), de ROC’s, de pabo’s en UvA Talen. Het platform heeft opdracht gegeven aan de UvA om de Amsterdamse taalnorm te laten ontwikkelen die nu landelijk wordt overgenomen. In 2009 is een convenant ondertekend door de wethouder onderwijs, alle directeuren van welzijnsorganisaties, kinderopvang en schoolbesturen die voorschoolse educatie aanbieden en het college van bestuur van de ROC’s. Afgesproken is dat per 1 januari 2012 alle pedagogisch medewerkers moeten voldoen aan de taalnorm (3F bij spreken en lezen en 2F bij schrijven). In 2013 zullen alle onderwijsassistenten die worden ingezet bij de vroegschoolse educatie bij spreken, lezen en schrijven moeten voldoen aan 3F. Het convenant geeft draagvlak en legitimering. Bij dit hele proces heeft de gemeente verschillende rollen gehad. Ze is onder meer initiatiefnemer, aanjager, opdrachtgever voor ontwikkeling en subsidieverstrekker geweest. En met resultaat: toen het werken aan de taalnorm begon haalde 50 procent de taalnorm niet, van deze eerste groep voldoet nu bijna 90 procent.
Streven naar één aanpak De gemeente komt ideaal gesproken in goed overleg met het voorschoolse veld tot één aanpak om de doelen met betrekking tot taal te bereiken. Wees voorzichtig met het bieden van maatwerk (ingaan op mogelijkheden en behoeften van de diverse aanbieders van kinderopvang en peuterspeelzaalwerk), want zoiets laat zich moeilijk vanuit de gemeente regisseren. Verschillen in aanpak en tempo vragen om meer organisatie en coördinatie vanuit de gemeente. Het brengt meer voordelen dan nadelen met zich mee om met alle betrokken veldpartijen tot een en dezelfde aanpak te komen in de tijd. Denk aan een betere onderlinge vergelijkbaarheid van gegevens en opbrengsten van de inspanningen op taalgebied, het beter kunnen bewaken van de kwaliteit van het traject, het gevoel van saamhorigheid en lagere inkoopkosten bij grootschaligheid (efficiënte middeleninzet). Het verdient aanbeveling om alleen ruimte te bieden aan het werkveld, mits dit op goede gronden gebeurt en met inachtneming van de bestuurlijke afspraken die afzonderlijke gemeenten met het Rijk hebben gemaakt. De voorschoolse sector is volop in beweging door onder meer geboortekrimp, vraaguitval en bezuinigingen, waardoor de timing van de toetsing en scholing niet onbelangrijk is. De extra kwaliteitseisen die aan het voorschoolse personeel worden gesteld vragen om aanpassing van het personeelsbeleid. Voorschoolse instellingen zullen dit met hun personeel en personeelsvertegenwoordiging goed moeten kunnen regelen. Dit vraagt tijd en energie, waarvoor in het proces ruimte geboden moet worden. Bespreken van aanpak met opleidingsinstituten Het is belangrijk dat bij het werken aan de nieuwe taalnorm ook de lokale opleidingen (ROC’s) worden betrokken, zoals bijvoorbeeld in Amsterdam is gedaan (zie hiervoor informatiebox 3). Zij zullen nieuwe pedagogisch medewerkers moeten gaan afleveren die aan de taalnorm tegemoetkomen. Bovendien kunnen de ROC’s ook een belangrijke rol krijgen bij het realiseren van de taalnorm (toetsen en scholen) van het zittend personeel in de voorschoolse sector (zie ook de Kieswijzer voor het scholingsaanbod daarvoor). Een deel
10
Kieswijzer Toetsen van taalniveau, Sardes 2012
van de taaltoetsen die in deze Kieswijzer worden besproken, wordt bovendien al afgenomen door de ROC’s. Werken in tranches Feit is dat er in verschillende tranches getoetst en ook geschoold zal moeten worden, want het is praktisch onmogelijk om onder werktijd alle pedagogisch medewerkers tegelijkertijd te toetsen en te scholen. Wie zou er dan aan taalontwikkelingsstimulering bij jonge kinderen moeten doen? Voorschoolse instellingen moeten in staat worden gesteld om vervanging van het uitvoerend personeel te verzorgen op het moment dat de pedagogisch medewerkers bezig zijn met toetsing en scholing. Afhankelijk van de CAO-bepalingen staat hier een passende vergoeding tegenover. Onderscheid maken tussen nieuw en zittend personeel Verder zal er aandacht moeten zijn voor zittende en nieuwe pedagogisch medewerkers. De taaltoets kan bij elk nieuw aan te stellen personeelslid als onderdeel van de sollicitatieprocedure worden afgenomen. Zittend personeel kan in grotere groepen worden getoetst en geschoold. Nieuw personeel kan natuurlijk ook meedoen met een van de uitgezette tranches. Zorgvuldigheid staat voorop Tot slot: het toetsen van het eigen taalniveau en al dan niet verplicht deelnemen aan scholing is voor het uitvoerend personeel in de voorschoolse sector een spannende aangelegenheid. In het meest extreme geval betekent dit het afscheid nemen van collega’s, hoewel alle inzet erop gericht moet zijn om ontslag tot een minimum te beperken. Er zijn goede alternatieven om personeel op een andere manier in te zetten (zie informatiebox 4 hiervoor). Dit vraagt om een zorgvuldige procedure en communicatie met de werkvloer over het taalverbeteringstraject. De voorschoolse instellingen zijn zelf verantwoordelijk voor goed personeelsbeleid en voor een goede afwikkeling of voor het vinden van een alternatief als pedagogisch medewerkers het taalniveau (na herhaalde bijscholing) niet halen. Daarbij hoort dat de voorschoolse instellingen de pedagogisch medewerkers goed voorbereiden op wat er gaat gebeuren en voldoende mogelijkheden bieden voor bijscholing en herkansing. Informatiebox 4: het stimuleren van het behalen van de taalnorm door alle pedagogisch medewerkers De gemeente Amsterdam biedt pedagogisch medewerkers meerdere kansen om de taalnorm te halen. Na de taaltoets krijgen pedagogisch medewerkers standaard de mogelijkheid om vier modules van 10 weken scholing te volgen en maximaal vijf keer de taaltoets af te leggen. Op advies van het ROC kan iemand een vijfde module krijgen, maar dat is het maximum. Als een pedagogisch medewerker niet slaagt voor de taalnorm dan worden geen verletkosten betaald door de gemeente (principe van ‘no cure, no pay’). Er is dus een eigen risico voor de voorschoolse instellingen. Naast het invoeren van de taalnorm investeren de voorschoolse instellingen in een talige werkomgeving en worden taalcoaches ingezet voor de begeleiding van pedagogisch medewerkers. Het is aan de werkgever om te bepalen wat te doen met pedagogisch medewerkers die zakken voor de taalnorm. In de meeste gevallen worden deze pedagogisch medewerkers herplaatst binnen de eigen organisatie. Denk aan overplaatsing naar een voorschoolse voorziening waar niet met VVE wordt gewerkt, of overplaatsing van een peuter- naar babygroep.
11
Kieswijzer Toetsen van taalniveau, Sardes 2012
Stap 2: nagaan van de functie van de taaltoets Taaltoets heeft verschillende functies Aan een toets kunnen verschillende functies worden toegeschreven. De taaltoets zal eerst en vooral inzichtelijk moeten maken wat de kwaliteit van de taalvaardigheden van de pedagogisch medewerkers is: voldoen zij bij mondelinge en leesvaardigheden aan niveau 3F en bij schriftelijke vaardigheden aan 2F? Daarnaast kunnen er andere functies aan de taaltoets worden toegekend. Hieronder gaan we daarop in. Hoe en op welk moment de taaltoets wordt ingezet, bepaalt mede welke functie de taaltoets meekrijgt. Overigens: binnen veel taalscholingstrajecten worden voor- en natoetsen afgenomen (zie ook de Kieswijzer scholingsaanbod taal hiervoor). Voor een deel betreft het vormen van zelfevaluaties, voor een ander deel betreft het taaltoetsen die in deze Kieswijzer worden besproken. Selectie – Wanneer de taaltoets aan het begin van het taalverbeteringstraject wordt ingezet, wordt inzichtelijk gemaakt welke pedagogisch medewerkers in aanmerking komen voor scholing. Daarmee is de taaltoets een selectie-instrument. Zij die onder de maat scoren, zullen vervolgens aan scholing moeten doen. Als de taaltoets aan het begin wordt afgenomen, zijn de uitkomsten behulpzaam bij het bepalen van de aard (bijv. schaal en intensiteit) van het taalverbeteringstraject. Zij die ver onder de norm scoren, kunnen in intensievere taalverbeteringstrajecten worden geplaatst dan zij die net onder de normscore vallen. Hierbij kan de kanttekening worden gemaakt dat een deel van de gemeenten niet precies weet hoe de nulsituatie eruit ziet. Er zijn aannames gemaakt ten aanzien van het aantal pedagogisch medewerkers dat nog niet voldoet aan de nieuwe taalnorm. Na toetsing kan blijken dat de gemeente te pessimistisch of te optimistisch is geweest. Er kunnen meer of minder voorschoolse personeelsleden onder, op of boven de taalnorm scoren. Diagnose – Een taaltoets kan op individueel niveau verfijnde informatie leveren om te bepalen op welke specifieke onderdelen van de taal scholing geboden is. Op deze manier wordt de taaltoets aanvullend als een diagnose-instrument gezien. Het taalverbeteringstraject kan dan op maat worden gesneden voor individuele of (sub)groepjes pedagogisch medewerkers. Kwalificatie/certificering – Als de taaltoets aan het einde (na een scholingstraject) wordt afgenomen, geeft dit inzicht in wie er aan de taalnorm voldoen. De taaltoets wordt als een kwalificatie- of certificeringsinstrument ingezet. Verantwoording – De taaltoets kan aan het einde van het taalverbeteringstraject ook als verantwoordingsinstrument dienen. De opbrengsten kunnen worden gebruikt om aan toezichthoudende instanties (GGD en Onderwijsinspectie) te tonen dat de pedagogisch medewerkers over de vereiste taalnorm beschikken, zoals vastgelegd in de Wet OKE. De Onderwijsinspectie maakt een bestandsopname die deels wordt gebaseerd op gegevens uit het GGD-toezicht op de VVE.
12
Kieswijzer Toetsen van taalniveau, Sardes 2012
Informatiebox 5: het afleggen van verantwoording aan de toezichthouder De VVE kent twee wettelijke kaders: het Toetsingskader voorschoolse educatie van de GGD Nederland en het Toezichtkader VVE van de Inspectie van het Onderwijs. Voor de VVE-sector in Amsterdam geldt in aanvulling op de wettelijke kaders een gemeentelijk toetsingskader waarin hogere kwaliteitseisen zijn vastgelegd. Deze eisen, waaronder de taalnorm, zijn opgenomen in het Kwaliteitskader VVE 2010-2014 en vastgesteld in de Lokale Educatieve Agenda (LEA). Op basis hiervan is een verordening opgesteld op grond waarvan de subsidie aan de voorschoolse instellingen is geregeld. De GGD controleert jaarlijks of de pedagogisch medewerkers in de VVE-sector aan de taalnorm voldoen. Dit betekent dat de GGDinspecteur de betreffende certificaten wil zien van alle pedagogisch medewerkers. De GGD geeft vier mogelijkheden: 1. ik voldoe niet aan de taalnorm, 2. ik ben nog in scholing, 3. ik beheers de taalnorm en 4. ik heb een hoger taalniveau. De informatie over de taalnorm staat in de inspectierapporten van de locatie.
Evaluatie – Uiteraard kan en wordt de taaltoets ook aan het begin, tussentijds en aan het einde van een taalverbeteringstraject ingezet. Na elk scholingsmoment kan worden getoetst of het deelnemende personeel aan de taalnorm voldoet. Op deze manier wordt de taaltoets als evaluatie-instrument gebruikt. Heeft de scholing zin gehad? Als na een aantal scholingsen toetsmomenten een deel van het voorschools personeel hardnekkig onder de taalnorm blijft scoren, kunnen er ook kritische vraagtekens worden geplaatst bij de kwaliteit van de scholing. Stap 3: kijken naar de taaltoets zelf Kenmerken van de taaltoets Om te weten of pedagogisch medewerkers, werkzaam in de VVE-sector, tegemoet komen aan de taalnorm, kunnen verschillende toetsen worden ingezet. De taaltoetsen zijn beschreven aan de hand van een serie (objectiveerbare) kenmerken, die in informatiebox 6 staan. De genoemde kenmerken kunnen worden geclusterd. Er zijn a) algemene, b) inhoudelijke, c) meettechnische, d) procedurele en e) financiële kenmerken meegenomen in de beschrijving van de taaltoetsen. Bij elk van het cluster kenmerken maken we enkele opmerkingen om de keuze van de taaltoets te vergemakkelijken. Bestudering van de taaltoetsen leert dat er overeenkomsten, maar ook verschillen zijn. Gemeenten kunnen, in overleg met het voorschoolse veld, sommige kenmerken meer waarderen dan andere. Ook op basis van meer objectief-inhoudelijke gronden kan aan bepaalde kenmerken meer gewicht worden toegekend dan aan andere. Op die manier kan een voorkeur worden ontwikkeld voor de een of andere toets. Bij stap 5 staan we daar uitvoeriger bij stil. Voorop wordt gesteld dat er eigenlijk geen slechte toetsen zijn. Alle toetsen bevatten maatregelen om de kwaliteit van de toets te garanderen. In Bijlage 3 is een overzicht opgenomen van de taaltoetsen die kunnen worden ingezet.
13
Kieswijzer Toetsen van taalniveau, Sardes 2012
Informatiebox 6: kenmerken van de taaltoets 1) 2) 3) 4)
Ontwikkelaar: dit beschrijft de ontwikkelaar en/of eigenaar van de toetsen. Jaar van uitgave: dit beschrijft het jaar waarin de toets is ontwikkeld en/of gepubliceerd. Domein: dit beschrijft de specifieke taalinhoud waarop de toets betrekking heeft. Beroepspecificiteit: dit beschrijft of de toets algemeen/generiek (voor meerdere beroepen) is gemaakt, of dat de toets specifiek voor de beroepsgroep werkzaam in de VVE-sector is ontwikkeld. 5) Niveau: dit beschrijft de bandbreedte van de niveaus die worden getoetst. 6) Onderdelen: dit beschrijft de onderdelen (opdrachten en activiteiten) die de afnemer moet uitvoeren. 7) Score: dit beschrijft de manier waarop de score op de toets tot stand komt en in welke vorm deze wordt uitgedrukt. 8) Betrouwbaarheid: dit beschrijft de controle/ingebouwde garantie dat er bij herhaling (nagenoeg) eenzelfde score zou worden behaald. 9) Validering: dit beschrijft de inspanningen om ervoor te zorgen dat de toets meet waarvoor die is bedoeld. 10) Werkwijze: dit beschrijft het traject waarbinnen de toetsing plaatsvindt (bijv. inbedding in voor- en natraject met opdrachtgever). 11) Toetsprocedure: dit beschrijft de wijze waarop de toets wordt afgenomen. 12) Benodigdheden: dit beschrijft de condities, setting en materialen die nodig zijn voor de organisator en afnemer van de toets. 13) Rapportage: dit beschrijft hoe er aan de opdrachtgever/voorschoolse instelling wordt gerapporteerd. 14) Afnameduur: dit beschrijft hoeveel tijd nodig is om de toets af te nemen. 15) Kosten: dit beschrijft de afnamekosten van de toets, ofwel de kosten die de opdrachtgever/voorschoolse instelling kwijt is voor afname van de toets bij individuele of collectieve toetsing.
a) Algemene kenmerken Tot de algemene kenmerken behoren de ontwikkelaar/eigenaar en het jaar van uitgave. Ontwikkelaar – De beschreven toetsen zijn ontwikkeld door uiteenlopende (semi)commerciële en publieke instellingen (universiteit of een instelling die gelieerd is aan een universiteit). Een deel van de taaltoetsen is op basis van eigen initiatief gemaakt, terwijl een ander deel op verzoek van een opdrachtgever (bijv. een gemeente) is gemaakt. Jaar van uitgave – Een deel van de toetsen is al wat ouder (dateren uit 2009), andere toetsen zijn van meer recente datum (2011 of 2012) en worden herhaaldelijk herzien. Een enkele toets is kakelvers (Begin- en eindtoets Allemaal Taal van uitgeverij ThiemeMeulenhoff); er zijn nog geen ervaringen mee. Het is belangrijk dat er ervaring is met (de items van) een toets, want ervaring met afname ‘haalt de kinderziektes eruit’. Dit draagt eraan bij dat de kwaliteit van de toets beter is gegarandeerd. b) Inhoudelijke kenmerken De inhoudelijke kenmerken die zijn beschreven, betreffen: domein, beroepspecificiteit en niveau. Domein – De domeinen slaan op de taalinhoud van de toets. Onderscheid wordt gemaakt naar a) mondelinge vaardigheden, b) leesvaardigheden en c) schriftelijke vaardigheden. Er bestaan enkelvoudige toetsen (betrekking hebbende op één van de drie domeinen) en meervoudige/geïntegreerde toetsen (samenstelling van de drie verschillende domeinen). De taaltoetsen van de UvA bijvoorbeeld hebben nadrukkelijk betrekking op steeds een afzonderlijk domein. Vaak kunnen meervoudige taaltoetsen in afzonderlijke domeinen worden afgenomen. Daarbij zijn sommige toetsen meervoudig, maar niet dekkend voor alle drie de taaldomeinen. Zo
14
Kieswijzer Toetsen van taalniveau, Sardes 2012
heeft de Taalniveautest Nederlands van uitgeverij Deviant geen schrijfonderdeel, maar dat geldt voor meer samengestelde taaltoetsen. Consequentie hiervan is dat een gemeente in zo’n geval met meerdere toetsaanbieders in zee moet om het taalniveau in kaart te brengen. De taaltoetsen bestaan uit het maken van uiteenlopende opdrachten, taken en oefeningen. De aard hiervan varieert, maar ook het aantal items dat gemaakt moet worden. Dit kan van invloed zijn op de kwaliteit, duur en geschiktheid van de toets. Informatiebox 7: rekening houden met bijzondere groepen Van een klein deel van de toetsen is bekend dat er extra maatregelen worden getroffen voor bijzondere groepen deelnemers. Zo kan er rekening worden gehouden met dyslectische (bijv. groter lettertype) of faalangstige deelnemers (bijv. meer tijd voor het maken van de toets). De taaltoetsen van de UvA, Mister Dutch en CINOP/Mister Dutch doen dat bijvoorbeeld. Het is prettig voor pedagogisch medewerkers dat daarmee rekening wordt gehouden. Dit zorgt voor een ‘toetsvriendelijk’ karakter.
Beroepspecificiteit – De beroepspecificiteit is een zeer belangrijk inhoudelijk kenmerk. Veel toetsen zijn gemaakt voor het toetsen van het taalniveau van een baaierd aan beroepsgroepen en personen in het voortgezet onderwijs/middelbaar beroepsonderwijs; zogeheten algemene/ generieke toetsen. Daarnaast is er ook een klein gezelschap van beroepspecifieke toetsen die speciaal zijn gemaakt voor pedagogisch medewerkers uit de voorschoolse sector. De consequentie hiervan is, dat de opdrachten, taken en oefeningen dicht bij de belevingswereld en dagelijkse VVE-praktijk van de deelnemers staan. Het spreekt hen aan. Dit kan de motivatie voor het maken van de toets gunstig beïnvloeden. Er is veel voor te zeggen om een taaltoets te gebruiken die op de VVE-praktijk is gebaseerd. Een mogelijk nadeel van beroepspecifieke toetsen is dat de (uitgesproken) eigen (pedagogische) opvattingen ten aanzien van het werk interfereert met de vragen en antwoorden. Er zijn overigens maar een paar beroepspecifieke taaltoetsen op de markt (die van Mister Dutch en UvA Talen), waardoor de keuze zeer wordt ingeperkt. Niveau – Verreweg de meeste toetsen bestrijken een grote range aan niveaus (onder 1F, 1F t/m 4F). Een enkele toets meet slechts of een deelnemer het vereiste niveau 3F heeft (bijv. het eindassessment spreken, gesprekken voeren en schrijven van CINOP en Mister Dutch en ook de Begin- en eindtoets Allemaal Taal van uitgeverij ThiemeMeulenhoff), terwijl een enkele andere toets het taalniveau tot 2F meet (Taal de Baas van ITTA en Bureau ICE). De Staatsexamens NT2 van Bureau ICE en Cito behelsen niveau B1 en B2, wat respectievelijk staat voor 2F en 3F. Bij sommige toetsen, zoals die van de TOA van Bureau ICE, moet van te voren aangegeven worden op welk niveau getoetst moet worden. Het is belangrijk dat het plafond van de toets minimaal 3F bereikt, want dat is het streefniveau. Bepaald moet kunnen worden of pedagogisch medewerkers dit niveau beheersen. Toetsen met een groter bereik (meerdere niveaus) hebben als voordeel dat het taalniveau preciezer kan worden bepaald. Het kan bovendien motiverend werken voor deelnemers als blijkt dat ze een hoger niveau hebben dan het vereiste minimumniveau. Bij toetsen die maar één taalniveau bestrijken, kunnen personeelsleden niet laten zien wat ze in huis hebben. De taaltoets kan immers ook gebruikt worden bij een ‘route naar excellentie’. Goede pedagogisch medewerkers die over een bovengemiddeld taalniveau beschikken, kunnen worden aangemoedigd om een AD (Associate Degree, verkorte hbo-opleiding) of een volwaardige hbo-opleiding te gaan volgen. Dit vergroot hun carrièreperspectief. c) Meettechnische kenmerken De score, betrouwbaarheid en validiteit rekenen we tot de meettechnische kenmerken.
15
Kieswijzer Toetsen van taalniveau, Sardes 2012
Score – Nadat de toets is gemaakt rolt er een score uit die iets zegt over de kwaliteit van de taalvaardigheden van de deelnemer. Toetsen verschillen van elkaar in hoe de taalvaardigheid in een score wordt verpakt. Het is belangrijk dat op basis van de score gelezen kan worden hoe ver de deelnemer van de vereiste taalnorm presteert. Dit verhoogt de diagnostische informatie. Zo goed als alle taaltoetsen bieden hier voldoende informatie over. Bij het beoordelen van de scores voor spreken, lezen en/of schrijven worden soms ook (getrainde) assessoren/beoordelaars ingezet. Meestal wordt vrijwel meteen de uitslag van de taaltoets gepresenteerd. Het is prettig voor de deelnemers om niet lang in onzekerheid te blijven of ze wel of niet aan de taalnorm voldoen. Betrouwbaarheid en validiteit – Betrouwbaarheid en validiteit zijn belangrijke psychometrische begrippen. Als een toets betrouwbaar en valide is, dan mag men er gevoeglijk van uitgaan dat de toets geschikt voor afname is. Bij alle besproken taaltoetsen zijn garanties ingebouwd om de kwaliteit te waarborgen. Het is niet zo dat de ene toets duidelijk beter scoort op dit onderdeel dan de andere. Nagenoeg alle taaltoetsen grijpen terug op de referentieniveaus van Meijerink. Wel is het zo dat de beroepspecifieke taaltoetsen van Mister Dutch en UvA talen mede zijn gevalideerd aan de hand van theorie (bijv. het Pedagogisch kader 0-4 jarigen) en praktijk van het VVE-personeel, terwijl de validering van algemene toetsen meer berust bij experts op het gebied van onderwijs en docenten Nederlands. Bij de Begin- en eindtoets Allemaal Taal van uitgeverij ThiemeMeulenhof zijn de toetsen onderdeel van een scholingspakket, waarbij de docent/begeleider deels een dubbelrol heeft: naast docent/begeleider is deze tevens betrokken bij de beoordeling van het taalniveau van de pedagogisch medewerkers. Vanuit het oogpunt van objectieve beoordeling kan hier een kritische noot bij worden geplaatst. Het is van belang dat er meerdere versies van een toets zijn of dat er steeds andere versies van een toets kunnen worden aangemaakt op basis van een grootschalige itembank. Als toetsen in de openbaarheid komen, kan er getraind worden voor de toets. De kans hierop dient zo klein mogelijk te zijn. Het is overigens niet altijd even inzichtelijk of dit aspect is gegarandeerd bij alle taaltoetsen. d) Procedurele kenmerken De werkwijze, toetsprocedure, benodigdheden, rapportage en afnameduur kunnen tot de procedurele kenmerken worden gerekend. Werkwijze – Ook wat betreft de werkwijze bij de taaltoets zijn er verschillen tussen de aanbieders. Waar de ene aanbieder werkt met een licentie (bijv. de TOA van Bureau ICE), waarmee vervolgens grote aantallen deelnemers (tegen lage kosten) kunnen worden onderworpen aan toetsing, werken andere aanbieders volgens geheel andere werkwijzen. De taaltoets kan ook worden ingebed in een meer persoonlijke, assessmentachtige benadering (bijv. Taal op Niveau start- en eindassessments van uitgeverij Edu’Actief). Belangrijk is dat het voorschools personeel op een goede manier wordt ingelicht over de taaltoetsing en het eventuele vervolgtraject. Dit stelt hoge eisen aan de communicatie en de informatie die een aanbieder kan verstrekken over de taaltoets. Zo worden bij de toetsen van Mister Dutch altijd een kennismakingsgesprek gevoerd met de VVE-instelling. Het personeel wordt van tevoren ingelicht over de toetsprocedure. Toetsprocedure – Veruit de meeste taaltoetsen kunnen digitaal worden afgenomen, binnen de eigen voorschoolse instelling of een andere locatie. Er kan ook gebruik gemaakt worden van de toetsfaciliteiten van sommige ROC’s waar grote groepen deelnemers tegelijk kunnen worden getoetst, met surveillanten.
16
Kieswijzer Toetsen van taalniveau, Sardes 2012
Er zijn overigens ook toetsen die schriftelijk kunnen worden afgenomen (bijv. Taal op Niveau start- en eindassessments van uitgeverij Edu’Actief en IVIO). Bij sommige toetsen kan er voor worden gekozen om naar een extern testcentrum te gaan waar tegelijkertijd grote groepen deelnemers kunnen worden getoetst (bijv. de Insight Taaltoets van AMN Systems voor spreken en schrijven, de TOA van Bureau ICE, de Staatsexamens NT2 van Bureau ICE en Cito en de intake-assessments van Mister Dutch). Daar zijn reistijd en dus vervoerskosten mee gemoeid. Veel zal afhangen van de mogelijkheden en behoeften van de voorschoolse instellingen en hun personeel, maar ook van de praktische overwegingen. Niet veel voorschoolse instellingen zullen een geschikt lokaal (‘stille ruimte’) met meerdere pc’s met een internetverbinding hebben. Dit betekent dat er slechts in groepjes of individueel getoetst kan worden. Wie het toetsen binnen de eigen voorschoolse instelling doet, zal veel aandacht moeten hebben voor de logistiek (o.m. planning en toezicht). De setting moet waarborgen dat er niet van elkaar wordt afgekeken, dat er geen toetsen worden meegenomen en dat er geen foto’s worden gemaakt van de toetsopgaven. Bij sommige algemene toetsen wordt de toets onder toezicht van een examencommissie uitgevoerd en is een klachtenprocedure van kracht (bijv. IVIO voor lezen en schrijven). Bij calamiteiten kunnen deelnemers een klacht in behandeling geven. Benodigdheden – De benodigdheden voor het maken van een toets zijn over het algemeen beperkt. Een computer met internetverbinding volstaat in de meeste gevallen. Bij sommige toetsen is andere apparatuur nodig, zoals pen en papier of koptelefoons en opnameapparatuur (bijv. bij de onderdelen luisteren en spreken). Informatiebox 8: het inrichten van een examencommissie en commissie van beroep met een examenreglement Wat doe je als iemand tijdens het maken van de toets spiekt? Wat doe je als iemand ziek wordt tijdens het maken van de toets en voortijdig afhaakt? Wat doe je als iemand zich beklaagd over het lawaai tijdens de afname van de toets? Wat als iemand vrijstelling van de taaltoets wil omdat deze net het Staatsexamen heeft gehaald? Om het werken aan de taalnorm zorgvuldig aan te pakken, is onlangs in opdracht van de gemeente Amsterdam een onafhankelijke examencommissie ingesteld. Men kan in beroep gaan tegen de beslissing van de examencommissie. De commissie van beroep spreekt het laatste woord in deze. Indien geen examencommissie is ingesteld, kunnen deelnemers zich wenden tot de civiele rechter.
Rapportage – Na de toetsing is het belangrijk dat de rapportage bruikbare informatie biedt. Het is belangrijk dat er informatie vrijkomt over het huidige taalniveau (uitslag van de taaltoets), maar ook informatie over wat er nog moet gebeuren, op groeps- en individueel niveau. Sommige aanbieders bieden een uitgebreide analyse en rapportage met advies voor een vervolgtraject en ondersteuning. Het duurt meestal niet lang (soms direct, andere na twee weken) voordat er een rapportage beschikbaar is. Een deel van de toetsen wordt afgesloten met een certificaat of diploma met cijferlijst (bijv. het eindassessment van CINOP en Mister Dutch en de taaltoets van IVIO). Afnameduur – De tijd die een individuele deelnemer kwijt is aan het maken van een toets loopt uiteen. Toetsing van een domein varieert van 20 tot 60 minuten, met uitschieters naar boven (de onderdelen lezen en schrijven van de Staatsexamens NT2 van Bureau ICE en Cito duren 120 minuten). Het eindassessment spreken en gesprekken voeren van CINOP en Mister Dutch neemt per onderdeel 20 minuten in beslag. Het toetsen van schriftelijke vaardigheden is tijdrovender, duurt gemiddeld genomen wat langer. Zo duurt het
17
Kieswijzer Toetsen van taalniveau, Sardes 2012
eindassessment schrijven van CINOP en Mister Dutch 60 minuten, evenals de (digitale) schrijftoets van de UvA. Gemiddeld genomen duurt toetsing van één domein tussen de 30 en 45 minuten. Voor bijzondere groepen deelnemers (bijv. bij dyslexie) wordt bij bepaalde toetsen meer tijd geboden. e) Financiële kenmerken Kosten – De afname van de toets brengt kosten met zich mee. Alleen de toets Taal de Baas van ITTA/Bureau ICE is gratis, maar deze is ongeschikt omdat deze het taalniveau tot 2F meet. De kosten van de taaltoetsen variëren. Soms zijn er instapkosten, zoals in het geval van het kopen van een licentie. Vervolgens zijn de kosten per toets betrekkelijk laag. Deze vorm van toetsen is vooral geschikt bij grotere aantallen deelnemers. Anderzijds zijn er toetsen waarbij per deelnemer en per toets één bedrag wordt betaald (bijv. € 3,50 voor de Taalniveautest Nederlands van uitgeverij Deviant of € 5 – voor de Insight Taaltoets van AMN Systems). De Staatsexamens NT2 van Bureau ICE en Cito kosten € 22,50 per onderdeel (lezen, luisteren, spreken en schrijven). Doorgaans geldt: de toetsvormen waarbij veel menselijk contact is (bijv. intake of assessment door assessoren) zijn meestal duurder in afname. Zo kost het eindassessment spreken, gesprekken voeren en schrijven van CINOP en Mister Dutch per onderdeel € 75,-. De intakeassessments van Mister Dutch kosten € 215,- voor alle onderdelen. Volledig web-based en gedigitaliseerde toetsen zijn betrekkelijk goedkoop in afname. Bij veel aanbieders geldt dat er lagere kosten zijn verbonden aan toetsing als de groep deelnemers groter is (zogeheten ‘bulkkorting’). Afname van de taaltoets bij bijzondere groepen deelnemers zorgt voor hogere kosten, soms wel tot twee- tot driemaal zoveel als voor een reguliere deelnemer: de digitale Leestoets van de UvA kost € 95,- voor een reguliere deelnemer, maar € 250,- voor een deelnemer met dyslexie of faalangst. Naast de toetsen zelf zal er ook rekening moeten worden gehouden met aanvullende kosten. Denk aan de kosten die worden gemaakt voor het regelen van vervangend personeel op het moment dat pedagogisch medewerkers worden onderworpen aan toetsing. Afname binnen de eigen voorschoolse instelling is meestal goedkoper dan het laten toetsen in een toetscentrum vanwege de reiskosten die worden gemaakt door de pedagogisch medewerkers en vergoed zullen moeten worden.
18
Kieswijzer Toetsen van taalniveau, Sardes 2012
Informatiebox 9: twee rekenvoorbeelden van kosten van het afnemen van de taaltoets2 Rekenvoorbeeld 1. In dit rekenvoorbeeld gaan we voor het gemak uit van een gemeente die 100 zittende pedagogisch medewerkers steeds wil laten toetsen op alle domeinen (spreken, lezen en schrijven) bij Mister Dutch. De pedagogisch medewerkers worden getoetst in vijf groepen van 20 personen. Aangenomen wordt dat 70 pedagogisch medewerkers na één keer slagen voor de taaltoets (één toetsmoment), dat 20 pedagogisch medewerkers slagen na het volgen van één scholingsmodule (twee toetsmomenten) en dat vervolgens de laatste 10 pedagogisch medewerkers na twee scholingsmodules (drie toetsmomenten) de taalnorm halen. Natuurlijk kan het ook zo zijn dat een pedagogisch medewerker tussentijds voor één of twee domeinen slaagt, maar daar wordt hier niet van uitgegaan. Afname van de taaltoets kost € 215 (excl. 6% BTW) per persoon voor alle drie domeinen. Het aantal toetsmomenten bedraagt 70 maal één, 20 maal twee en 10 maar drie, wat neerkomt op 140 toetsmomenten. De toetskosten komen neer op ruim € 30.000 (excl. 6% BTW). Dit zijn de zogeheten brutokosten voor het afnemen van de taaltoets. De nettokosten vallen hoger uit. Er komen namelijk extra kosten bij in de vorm van onder meer vervangingskosten op het moment dat de pedagogisch medewerkers worden getoetst. We rekenen hier 1,5 uur voor per pedagogisch medewerker (inclusief de eventuele reistijd e.d.). We gaan uit van € 25 per uur per pedagogisch medewerker. Er zal voor 210 uren vervanging (140 toetsmomenten maal 1,5 uur) worden geregeld, wat de extra kosten voor dit onderdeel op € 5.250 (excl. 6% BTW) brengt. De totale kosten bedragen dus € 35.250 (excl. 6% BTW) en (afgerond) € 37.500 (incl. 6% BTW). In dit rekenvoorbeeld is niet opgenomen dat er pedagogisch medewerkers zijn die tussentijds gedeeltelijk slagen (bijv. wel bij spreken over 3F beschikken, maar geen 2F halen bij schrijven) en/of meer scholings- en toetskansen nodig hebben. Ook houdt het geen rekening met aangepaste toetscondities voor enkele pedagogisch medewerkers. Mister Dutch biedt extra diensten zoals voorlichting en advisering die niet zijn meegenomen in dit rekenvoorbeeld. Ook zijn er mogelijk reiskosten die vergoed zullen moeten worden. In werkelijkheid zullen de kosten dus waarschijnlijk hoger uitvallen. De vervangings- of verletkosten vormen de grootste extra kostenpost bij het toetsen. De kosten van de scholing om de pedagogisch medewerkers op het vereiste taalniveau te krijgen en de verletkosten die hiermee gepaard gaan vormen een nog grotere extra kostenpost. Rekenvoorbeeld 2. In dit rekenvoorbeeld wordt uitgegaan van het afnemen van de TOA van Bureau ICE via een ROC. Ook hier gaan we uit van het toetsen van vijf groepen van steeds 20 pedagogisch medewerkers uit de VVE-sector. Aangenomen wordt dat het ROC al een licentie heeft voor het toetsen van deelnemers/studenten, waardoor er geen kosten worden gemaakt voor het inkopen van een licentie. De kosten betreffen dan zo’n € 3 (excl. 6% BTW) per toets per domein/onderdeel. Toetsen voor alle drie domeinen komt dan uit op € 9 (excl. 6% BTW) per pedagogisch medewerker per toetsmoment. Houden we dezelfde slaagpercentages aan als bij rekenvoorbeeld 1, dan komen de brutokosten op € 1.260 (excl. 6% BTW). Ook hier nemen we vervangingskosten mee ter grootte van € 5.250 (excl. 6% BTW). Het totaal komt dan neer op (afgerond) € 6.900 (incl. 6% BTW). In dit rekenvoorbeeld krijgt het ROC een vooruitgeschoven post. Er zal dus zaalhuur en gebruik van computervoorzieningen betaald moeten worden, inclusief inzet van ICT-deskundigheid en coördinatie vanuit het ROC. Er zijn bovendien surveillanten nodig voor het toezicht bij het maken van de taaltoets. Het is lastig om dit alles om te zetten in bedragen, maar de kosten hiervan mogen niet worden onderschat. Per toetsmoment zou het wel eens kunnen gaan om zo’n € 1.000 tot € 1.500 (incl. BTW) voor het hele pakket. Bij het toetsen in drie tranches zijn de extra kosten dus naar verhouding hoog.
2
Het betreft hier sterk vereenvoudigde rekensommen. In de Kieswijzer over het scholingsaanbod zal nader worden ingegaan op de scholingskosten en de hiermee samenhangende verletkosten.
19
Kieswijzer Toetsen van taalniveau, Sardes 2012
Stap 4: bepalen van de kosten Betrekkelijk kleine kostenpost Hiervoor is al het nodige gezegd over de kosten. Bij deze stap staan we hier nog eens bij stil. De G37 krijgt substantiële bedragen voor het verbeteren van het taalniveau van de pedagogisch medewerkers. Welke toets ook wordt gekozen, het afnemen ervan vraagt een fractie van dit budget. De scholing (en daarmee samenhangende vervangingskosten) neemt een veel grotere hap uit het budget. Alleen als grote groepen pedagogisch medewerkers hardnekkig onder de vereiste taalnorm blijven scoren, en veel toetsing (en ook bijscholing) wordt gevraagd, kunnen de kosten oplopen. Conclusie: de kosten van de taaltoets zijn relatief gering. Gezien het budget dat gemeenten krijgen in het kader van de bestuursafspraken, mag dit eigenlijk geen factor zijn bij de keuze van de taaltoets. De afname van de taaltoets is belangrijk bij de verantwoording van de resultaten van het taalverbeteringstraject richting de toezichthouder, dus in die zin kan er beter niet op beknibbeld worden. Stap 5: de balans opmaken Wegen van de belangrijkste kenmerken van de taaltoets Alle overwegingen overziend, kan de balans worden opgemaakt. Vrijwel elke taaltoets biedt mogelijkheden om in beeld te brengen of het personeel in de voorschoolse sector al dan niet aan de vereiste taalnorm voldoet, maar sommige taaltoetsen bieden bij bepaalde kenmerken duidelijk iets meer. Daarom selecteren we de belangrijkste toetskenmerken waarop gekozen zou kunnen worden. Daarbij beperken we ons vooral tot de inhoudelijke kwaliteit van de taaltoets. Per taaltoets en per kenmerk geven we een waardering, uitgedrukt in sterren. Eén ster staat voor ‘onvoldoende ontwikkeld’, twee sterren staat voor ‘matig ontwikkeld’, drie sterren staat voor ‘voldoende ontwikkeld’ en vier sterren staat voor ‘goed ontwikkeld’. De inhoudelijke beschrijvingen bij stap 3 (‘kijken naar de taaltoets zelf’) zijn hierbij steeds als basis gebruikt. Als voorbeeld: er zijn bijvoorbeeld twee sterren toebedeeld bij het ‘domein’ van een taaltoets, als deze niet volledig dekkend is voor de nieuwe taalnorm. Vaak gaat het om een geïntegreerde taaltoets, maar maken niet alle domeinen (spreken, lezen en schrijven) er onderdeel vanuit. Vier sterren daarentegen zijn toegekend als de (geïntegreerde) taaltoets dekkend is voor alle domeinen of dat een afzonderlijke taaltoets dekkend is voor het ene domein dat het toetst. Ander voorbeeld: er zijn minder dan vier sterren toegekend aan het ‘niveau’ van een taaltoets als deze niet de volle breedte (onder 1F, of 1F t/m 4F) van het taalniveau meet.
20
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel 1: Kenmerken van taaltoetsen en hun waardering in sterren Toetsnaam (ontwikkelaar)
Domein
Beroepspecificiteit
Niveau
Betrouwbaarheid en validering
Toetsprocedure
Rapportage
Insight Taaltoets (AMN Systems)
***
**
***
***
***
****
TOA leesvaardigheden (Bureau ICE)
***
**
****
***
***
****
TOA spreekvaardigheden (Bureau ICE)
***
**
****
***
***
****
Staatsexamen NT2 (Bureau ICE en Cito)
****
**
***
****
***
***
Eindassessment (CINOP/ Mister Dutch)
***
****
**
***
****
****
Taalniveautest Nederlands (Deviant)
**
**
****
***
***
****
Taal op Niveau start- en eindassessments (Edu’Actief)
**
**
***
**
***
**
Taal de Baas (ITTA/Bureau ICE)
**
**
*
**
***
**
IVIO lezen en schrijven
**
**
****
***
****
****
Spreektoets (UvA)
****
****
****
****
***
***
Leestoets (UvA)
****
****
****
****
***
***
Schrijftoets (UvA)
****
****
****
****
***
***
Leestoets (digitaal) (UvA)
****
****
****
****
***
***
Schrijftoets (digitaal) (UvA)
****
****
****
****
***
***
Intake assessment spreken (Mister Dutch)
****
****
****
****
****
****
Intake assessment schrijven (Mister Dutch)
****
****
****
****
****
****
Begin- en eindtoets Allemaal Taal (ThiemeMeulenhoff)
****
****
**
**
***
onbekend
Zoals gezegd: er zijn geen uitgesproken slechte taaltoetsen. Er zijn echter twee ontwikkelaars van taaltoetsen die er over de gehele linie in positieve zin uitspringen. Dat zijn de taaltoetsen die ontwikkeld zijn door de UvA en Mister Dutch. De toetsen die door hen zijn ontwikkeld, zijn dan ook speciaal ontworpen voor het toetsen van het taalniveau van het personeel in de VVE-sector.
21
Kieswijzer Toetsen van taalniveau, Sardes 2012
Bijlage 1: Verantwoording van de Kieswijzer Deze Kieswijzer is op een pragmatische manier tot stand gekomen. Daarbij zijn de volgende handelingen verricht: het raadplegen van (openbare) plannen van de gemeenten Amsterdam en Rotterdam om het taalniveau van pedagogisch medewerkers in de voorschoolse sector te verhogen; het benaderen van de aanbieders van taaltoetsen die actief zijn in Amsterdam en Rotterdam (o.m. UvA Talen, Mister Dutch); het benaderen van andere bekende aanbieders van toetsen (bijv. het Cito, Bureau ICE) het werken met het principe van de ‘sneeuwbalmethode’ (aanbieders van toetsen vragen of ze nog andere aanbieders kennen); het inschakelen van de beleidsmedewerkers van de G37 voor de gegevens van aanbieders van taaltoetsen die binnen hun gemeenten actief zijn (n.a.v. een bijeenkomst op 5 april 2012); het benaderen van de contactpersonen van www.steunpunttaalenrekenenmbo.nl en vragen welke aanbieders van taaltoetsen volgens hen benaderd zouden moeten worden en het beschrijven van de op die manier verzamelde taaltoetsen het interviewen van Jolande Pansier van de gemeente Amsterdam voor vulling van een deel van de informatieboxen en het meenemen van commentaarpunten van de klankbordgroep en een technische werkgroep op eerdere versies van deze Kieswijzer. In de klankbordgroep zitten naast OCW en Sardes, Anke Bruggink (ROC ter Aa), Ans Lips (Rijnstad) en Folkert Kuiken (UvA). In de technische werkgroep onder leiding van OCW wordt zitting genomen door Monique de Bos (gemeente Dordrecht), Jolande Pansier (gemeente Amsterdam), Elly Dekker (VNG), Carola Bodenstaff/Eveline Perdijk (Brancheorganisatie kinderopvang), Edwin Luttik/Ernst Radius (MOgroep) en Jessica van Ruitenburg (Abvakabo FNV). Voor de goede orde wordt opgemerkt dat we bij het maken van de Kieswijzer Toetsen taalniveau van pedagogisch medewerkers in voorschoolse instellingen zijn uitgegaan van het bestaande aanbod van toetsen. Naast de organisaties en bureaus die een aanbod hebben op het gebied van toetsen, zijn er talrijke organisaties en bureaus die naar eigen zeggen op basis van maatwerk een taaltoets voor de VVE-sector kunnen maken. Dit aanbod is niet meegenomen, omdat iets wat er niet is niet beschreven en beoordeeld kan worden. Bovendien is het moeilijk te beoordelen of de partijen die zeggen dat ze een taaltoets kunnen ontwikkelen dit ook daadwerkelijk kunnen. Het potentieel aan publieke en private toetsaanbieders is in theorie heel groot. Tot slot: de toetsbeschrijvingen in bijlage 3 zijn in nauw overleg met de ontwikkelaars/eigenaren tot stand gekomen. De verantwoordelijkheid voor de volledigheid en juistheid van de informatie over de taaltoets ligt uitdrukkelijk bij hen. Omdat de ontwikkelaars/eigenaren voor een groot deel zelf de informatie hebben aangeleverd, is deze niet altijd even gelijksoortig. Dit bemoeilijkt de onderlinge vergelijkbaarheid. Waar dat echter kan, is een vergelijking gemaakt op onderdelen van de taaltoets.
22
Kieswijzer Toetsen van taalniveau, Sardes 2012
Bijlage 2: Uitleg bij taalniveau 2F en 3F Deze bijlage is grotendeels overgenomen uit Over de verhoging van de taaleis in de kinderopvang (Bijloo, 2012). Het Referentiekader taal en rekenen geeft voor het hele onderwijs (basisschool tot en met hoger onderwijs) aan wat een deelnemer moeten kennen en kunnen op het gebied van de Nederlandse taal en rekenen. Het doel van het Referentiekader is een algehele niveauverhoging van de basisvaardigheden in het Nederlandse onderwijs. Voor taal onderscheidt het referentiekader vier verschillende niveaus (1F, 2F, 3F en 4F). Per niveau zijn er vier verschillende domeinen beschreven, die op hun beurt weer verschillende subdomeinen bevatten: 1) Mondelinge taalvaardigheid 1.1 Gespreksvaardigheid 1.2 Luistervaardigheid 1.3 Spreekvaardigheid 2) Lezen 2.1 Zakelijke teksten 2.2 Fictionele, narratieve en literaire teksten 3) Schrijven 4) Taalverzorging 4.1 Begrippenlijst 4.2 Taalverzorging 4.3 Niveaubeschrijvingen 4.4 Moeilijkheid Per domein – met uitzondering van het domein 4) taalverzorging – worden in het referentiekader de volgende onderdelen aangegeven: Een algemene omschrijving van het domein. Taken die een deelnemer op het betreffende niveau moet kunnen uitvoeren. Kenmerken van de taakuitvoering, die aangeven aan welke karakteristieken een taak op het betreffende niveau moet voldoen. Het vierde domein kent een andere structuur, waarbij wordt beschreven wat er van deelnemers verwacht moet worden als het gaat om grammatica en spelling en er staan begrippen in die deelnemers moeten kunnen gebruiken op verschillende niveaus. In het Referentiekader taal en rekenen staan gedetailleerd de inhoudelijke vereisten per referentieniveau beschreven. Er wordt een aantal punten aangehaald waarvan het verschil tussen niveau 2F en 3F belangrijk wordt geacht. Daarbij is het steeds van belang de vraag te stellen hoeveel tijd en inspanning het iemand kost om op een onderdeel van niveau 2F naar 3F te geraken en hoeveel winst dit uiteindelijk voor diegene oplevert voor zijn of haar werkzaamheden in de kinderopvang.
23
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B2.1: Algemene omschrijving mondelinge vaardigheden Niveau 1F
Niveau 2F
Niveau 3F
Niveau 4F
Kan in eenvoudige bewoordingen een beschrijving geven, informatie geven, verslag uitbrengen, uitleg en instructie geven in alledaagse situaties in en buiten school.
Kan redelijk vloeiend en helder ervaringen, gebeurtenissen, meningen, verwachtingen, gevoelens onder woorden brengen over onderwerpen uit de (beroeps)opleiding en van maatschappelijke aard.
Kan monologen en presentaties houden over onderwerpen uit de (beroeps)opleiding en van maatschappelijke aard, waarin ideeën worden uitgewerkt en voorzien van relevante voorbeelden.
Kan duidelijke, gedetailleerde monologen en presentaties houden over tal van onderwerpen uit de (beroeps) opleiding en van maatschappelijke aard. Kan daarbij subthema’s integreren, specifieke standpunten ontwikkelen en het geheel afronden met een passende conclusie.
Het verschil tussen niveau 2F en 3F van het domein mondelinge taalvaardigheid, is dat er bij niveau 3F wordt verwacht dat een deelnemer een verhaal kan vertellen met een inleiding, een kern en een slot. Vragen naar aanleiding van een presentatie kan een deelnemer vloeiend en spontaan beantwoorden en een deelnemer maakt niet alleen gebruik van korte zinnen, maar kan ook langere zinnen vormen met behulp van signaal- en verbindingswoorden. Tabel B2.2a: Algemene omschrijving leesvaardigheden (zakelijke teksten) Niveau 1F
Niveau 2F
Niveau 3F
Niveau 4F
Kan eenvoudige teksten lezen over alledaagse onderwerpen en over onderwerpen die aansluiten bij de leefwereld.
Kan teksten lezen over alledaagse onderwerpen, onderwerpen die aansluiten bij de leefwereld van de deelnemer en over onderwerpen die verder van de deelnemer afstaan.
Kan een grote variatie aan teksten over onderwerpen uit de (beroeps)opleiding en van maatschappelijke aard zelfstandig lezen. Leest met begrip voor geheel en details.
Kan een grote variatie aan teksten lezen over tal van onderwerpen uit de (beroeps)opleiding en van maatschappelijke aard en kan die in detail begrijpen.
Het verschil tussen de omschrijvingen bij 2F en bij 3F bij het subdomein zakelijke teksten van het domein lezen, is dat de teksten die een deelnemer moet kunnen begrijpen op niveau 3F relatief complex zijn en een hoge informatiedichtheid bevatten, terwijl de teksten op niveau 2F een heldere structuur hebben, een lage informatiedichtheid en niet te lang zijn. Niveau 3F vereist dus een hoger niveau van tekstbegrip; een deelnemer moet ook zakelijke correspondentie, ingewikkelde schema’s en rapporten over het eigen werkterrein kunnen begrijpen. De woordenschat biedt geen onderscheidend kenmerk meer tussen 2F en 3F. Tabel B2.2b: Algemene omschrijving leesvaardigheden (fictionele, narratieve en literaire teksten) Niveau 1F
Niveau 2F
Niveau 3F
Niveau 4F
Kan jeugdliteratuur lezen.
Kan eenvoudige adolescentenliteratuur herkennend lezen.
Kan adolescentenliteratuur en eenvoudige volwassenenliteratuur kritisch en reflecterend lezen.
Kan volwassenen literatuur interpreterend en esthetisch lezen.
Bij het subdomein fictionele, narratieve en literaire teksten van het domein lezen is het verschil tussen 2F en 3F dat de teksten die een deelnemer op 2F moet kunnen lezen, een heldere structuur hebben. Een verhaal heeft een dramatische verhaallijn waarin de spanning af en toe wordt onderbroken door gedachten of beschrijvingen. Poëzie en liedjes hebben meestal een verhalende inhoud en een emotionele lading. Op niveau 3F moeten deelnemers teksten kunnen lezen met literaire procedés, zoals perspectiefwisselingen en tijdsprongen.
24
Kieswijzer Toetsen van taalniveau, Sardes 2012
Naast de concrete betekenislaag is ook een sprake van een diepere laag. De teksten appelleren vooral aan persoonlijke en maatschappelijke vraagstukken. Tabel B2.3: Algemene omschrijving schrijfvaardigheden Niveau 1F
Niveau 2F
Niveau 3F
Niveau 4F
Kan korte, eenvoudige teksten schrijven over alledaagse onderwerpen of over onderwerpen uit de leefwereld.
Kan samenhangende teksten schrijven met een eenvoudige, lineaire opbouw over uiteenlopende vertrouwde onderwerpen uit de (beroeps)opleiding en van maatschappelijke aard.
Kan gedetailleerde teksten schrijven over onderwerpen uit de (beroeps)opleiding en van maatschappelijke aard, waarin informatie en argumenten uit verschillende bronnen bijeengevoegd en beoordeeld worden.
Kan goed gestructureerde teksten schrijven over allerlei onderwerpen uit de (beroeps)opleiding en van maatschappelijke aard. Kan relevante belangrijke kwesties benadrukken, standpunten uitgebreid uitwerken en ondersteunen met redenen en relevante voorbeelden.
Bij 2F moet een deelnemer verslagen en werkstukken kunnen schrijven met behulp van een stramien en informatie uit verscheidene bronnen, terwijl een deelnemer bij 3F uiteenzettende, beschouwende en betogende teksten moet kunnen schrijven.
25
Kieswijzer Toetsen van taalniveau, Sardes 2012
Bijlage 3: Beschrijving van de taaltoetsen De toetsen die in deze bijlage worden gepresenteerd staan in alfabetische volgorde, volgens de naam van de ontwikkelaar.
26
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.1: Beschrijving taaltoets voor pedagogisch medewerkers Toetsnaam
Insight Taaltoets
Ontwikkelaar
AMN Systems b.v. Arnhem
Jaar van uitgave
2011/2012
Domein
Grammatica, leesvaardigheid, luistervaardigheid, spelling, schrijven, spreken en woordenschat. Ook is er een voorschatter voor taal en voor rekenen. De toets is gemaakt voor deelnemers in het vo en mbo.
Beroepspecificiteit
Algemeen
Niveau
Elk onderdeel van de taaltoets is op drie niveaus (1F, 2F en 3F) beschikbaar.
Onderdelen
Bij de luistertoets krijgt de deelnemer bij elk onderdeel één of meer geluidsfragmenten te horen over een bepaald onderwerp. Na elk geluidsfragment moet de deelnemer meerdere meerkeuzevragen beantwoorden. De vragen worden zowel visueel als auditief aangeboden. De leestoets is verdeeld over zes onderdelen. Bij elk onderdeel krijgt de deelnemer een tekst (variërend in lengte en soort tekst) aangeboden. Na het lezen de tekst moet de deelnemer meerdere meerkeuzevragen beantwoorden. De spellingtoets is opgebouwd uit 35 verschillende spellingscategorieën. Per niveau worden er 13 spellingscategorieën getoetst. Per categorie zijn er twee open en twee meerkeuzevragen. Zodra een deelnemer meer dan 25% van de items binnen een categorie fout heeft beantwoord, wordt er automatisch een verdiepingsdictee aangeboden. De toets werkwoordspelling is opgebouwd uit drie verschillende spellingscategorieën: tijd van nu, tijd van toen en voltooid deelwoord. Binnen elke van de categorieën zijn er zes open vragen en zes meerkeuzevragen. Ook hier wordt automatisch een verdiepingsdictee gestart. De grammaticatoets is gebaseerd op de onderdelen ‘woordsoorten’ en ‘zinnen ontleden’. Het onderdeel ‘woordsoorten’ bestaat voor niveau 1F uit acht meerkeuzevragen, net als het onderdeel ‘zinnen ontleden’. Voor niveau 1F bestaat het onderdeel uit acht items. Voor niveau 2F komen de eerste acht vragen voor het onderdeel ‘zinnen ontleden’ overeen met de vragen van niveau 1F. Op niveau 3F worden dezelfde items aangeboden als op niveau 2F. De toets woordenschat is een voorschatter om het niveau van de te maken toets te bepalen. Per niveau zijn er 30 vragen. De voorschatter taal bestaat in zijn totaliteit dus uit 90 vragen. De toets schrijven is i.t.t. bovengenoemde toetsen niet digitaal af te nemen. De scores zijn wel digitaal te verwerken in het toetssysteem. Aan de hand van verschillende opdrachten kunnen diverse onderdelen (o.a. correspondentie) getoetst worden. In totaal zijn er voor elk niveau drie opdrachten. Elke schrijfopdracht is voorzien van een beoordelings-formulier. Bij de toets spreken zijn er voor elk niveau twee opdrachten. Elke spreekopdracht is voorzien van een beoordelingsformulier. Het beoordelingsformulier bestaat uit verschillende onderdelen. Deze onderdelen kunnen door de beoordelaar gescoord worden.
Score
De items voor lezen, luisteren, grammatica, spelling en woordenschat worden automatisch gescoord. Vervolgens wordt er een score berekend voor elk domein en voor elk onderdeel binnen een domein. Voor de toetsen schrijven en spreken zijn er formulieren met beoordelingscriteria beschikbaar.
Betrouwbaarheid
Er zijn duizenden afnames geweest op meerdere roc’s met deelnemers op niveau 1 t/m 4 en op voscholen. De betrouwbaarheid van de toets is .89 (Cronbach’s Alpha, n=2.845). Er wordt een nieuwe analyse eind april 2012 verwacht.
Validering
Voor elk onderdeel is gekeken wat een deelnemer volgens de cie Meijerink op de drie niveaus moet weten en kunnen. Op basis hiervan zijn er voor elk niveau opgaven ontwikkeld door een neerlandicus. Deze opgaven werden vervolgens beoordeeld door andere neerlandici. Elke opgave werd beoordeeld op inhoud en het niveau. N.a.v. deze beoordeling werden de opgaven zo nodig heringedeeld of aangepast.
Werkwijze
De Insight Taal- en Rekentoets: 1. bepaalt het instroomniveau op basis van de referentiekaders van de cie Meijerink, 2. is een goede voorbereiding op de centrale examens taal en rekenen, 3. is eenvoudig online af te nemen, 4. geeft direct na afname heldere online rapportages, 5. geeft richting aan beleidsbeslissingen door groepsrapportages per groep en per instelling.
Toetsprocedure
De toets wordt digitaal op locatie afgenomen, met uitzondering van de onderdelen spreken en schrijven.
Benodigdheden
Computer met internetaansluiting.
Rapportage
De resultaten van de deelnemer worden weergegeven in een gedetailleerde rapportage die direct beschikbaar is na toetsafname. Per domein wordt het percentage goed beantwoorde vragen weergegeven. Daarnaast wordt binnen elk domein per onderdeel het aantal en het percentage goed beantwoorde vragen weergegeven. Op deze manier kan heel gericht extra ondersteuning worden aangeboden. Daarnaast is er voor de onderdelen spelling en werkwoordspelling een detailrapportage.
Afnameduur
90 minuten
Kosten
€ 5,- per deelnemer (de toets kan per schooljaar per deelnemer onbeperkt afgenomen worden).
27
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.2: Beschrijving taaltoets voor pedagogisch medewerkers Toetsnaam
TOA (Toolkit Onderwijs en Arbeidsmarkt)
Ontwikkelaar
Bureau ICE i.s.m. zusterbedrijf STERK (gespecialiseerd in afnemen van testen en toetsen)
Jaar van uitgave
In 2007 is de TOA ontwikkeld. Er zijn toetsen sinds 2010. De nieuwste toetsen zijn van september 2011.
Domein
Leesvaardigheden en spreekvaardigheden (2 toetsen)
Beroepspecificiteit
Algemeen (toetsen sluiten wel aan bij de belevingswereld van de leeftijdsgroep; er zijn vijf varianten op leeftijd en thema)
Niveau
Alle niveaus (1F t/m 4F en A1 t/m C1)
Onderdelen
Bij de leestoets zijn er vijf tot zeven teksten met drie tot vijf vragen per onderdeel. Er komen meerkeuzevragen en multiresponsitems aan bod.
Score
De score bij de leestoets is op basis van het aantal goed beantwoorde vragen en er is een cesuur van 80% toegepast. Er komt direct nadat de toets gestopt is een niveau-uitslag (bijv. bij een combinatietoets 1F-2F van of onder 1F, 1F of 2F. Daarnaast een procentuele score van hoe ver iemand binnen dat niveau zit.
Betrouwbaarheid
De toetsen worden gepretest onder een grote groep kandidaten om de kwaliteit en betrouwbaarheid van de items en het niveau vast te stellen. De toetsen en items worden geijkt aan de norm. Voor de referentieniveaus is een ijking uitgevoerd met de centrale examinering (voorspellende waarde is 90%). De TOA is goedgekeurd door de Onderwijsinspectie als exameninstrument, inclusief alle toetsen.
Validering
De itemkwaliteit wordt voortdurend bewaakt met een toetsitemanalysemodule. Items worden geankerd om moeilijkheidsgraad van de toets te ijken.
Werkwijze
Er kan een licentie op de TOA worden genomen. Er worden vervolgens inlogaccounts verstrekt om aan de slag te gaan. Alle gebruikers kunnen bij alle functionaliteiten en alle 360 toetsen die nu in de TOA staan. Het gebruik is zeer eenvoudig. Er is een gratis helpdesk beschikbaar. De resultaten komen automatisch beschikbaar voor alle betrokkenen in de TOA en kan met een druk op de knop verkregen worden met diagnose.
Toetsprocedure
Zodra de tijd stopt is de toets afgesloten en wordt deze automatisch beoordeeld.
Benodigdheden
Nodig is een computer met internet en is alleen beperkt door de faciliteiten die de klant heeft om tegelijkertijd te toetsen. De toets kan afgenomen worden in het testcentrum van Culemborg maar ook op locatie (in een ruimte met pc’s en internetverbinding).
Rapportage
Alle uitslagen zijn direct in de TOA opvraagbaar inclusief diagnose op aspectniveau. Elke gewenste analyse kan gedraaid worden op basis van de achtergrondgegevens die bij de kandidaten zijn ingevoerd. Met een druk op de knop is een benchmark beschikbaar.
Afnameduur
De maximale toetstijd is 75 minuten voor combinatietoets (2 niveaus) of 54 minuten bij een niveautoets.
Kosten
Er zijn kosten verbonden aan een licentie (er zijn vier diverse licenties). Met een licentie van € 3.500,kost het vervolgens € 1,50 (excl. 6% BTW) per toets per kandidaat (licentie 1). Licentie 2 kost € 1.750 per jaar plus € 2,00 per toets. Licentie 3 kost € 650 per jaar plus € 2,50 per toets. Licentie 4 is € 200 per jaar plus € 5,50 per toets. Toetsen van lezen en spreken via STERK kost € 161,25 voor 10 kandidaten, in geval de toetsing in beschikbare ruimte (met pc’s en internetverbinding) van opdrachtgever plaatsvindt. Afname in het testcentrum is goedkoper, nl. € 95,50 voor 10 kandidaten. Hoe groter de groep, des te lager de kosten per kandidaat.
28
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.3: Beschrijving taaltoets voor pedagogisch medewerkers Toetsnaam
TOA (Toolkit Onderwijs en Arbeidsmarkt)
Ontwikkelaar
Bureau ICE i.s.m. zusterbedrijf STERK (gespecialiseerd in afnemen van testen en toetsen)
Jaar van uitgave
In 2007 is de TOA ontwikkeld. Er zijn toetsen sinds 2010. De nieuwste toetsen zijn van september 2011.
Domein
Spreekvaardigheden (er kunnen combinatietoetsen voor lezen en spreken worden ingezet)
Beroepspecificiteit
Algemeen (toetsen sluiten wel aan bij de belevingswereld van de leeftijdsgroep; er zijn vijf varianten op leeftijd en thema)
Niveau
Alle niveaus (ook 1F t/m 4F)
Onderdelen
Bij de spreektoets krijgt de beoordelaar een toetsboekje met een deel voor de kandidaat en de beoordelaar. Hierin zitten vijf spreekopdrachten inclusief instructies, voorbereidingstijd en voorbeelden.
Score
Bij spreken voert de assessor direct de beoordeling uit op 16 aspecten die binnen het referentieniveau zijn genoemd. De verwerking is digitaal volgens beoordelingsmodel. Hieruit volgt dan ook direct een niveau-uitslag zoals bij lezen en diagnose op basis van alle 16 aspecten die beoordeeld zijn. De beoordelaar heeft instructies hoe hij/zij de kandidaat moet instrueren en beoordelen.
Betrouwbaarheid
De toetsen worden gepretest onder een grote groep kandidaten om de kwaliteit en betrouwbaarheid van de items en het niveau vast te stellen. De toetsen en items worden geijkt aan de norm. Voor de referentieniveaus is een ijking uitgevoerd met de centrale examinering (voorspellende waarde is 90%). De TOA is goedgekeurd door de Onderwijsinspectie als exameninstrument, inclusief alle toetsen.
Validering
De itemkwaliteit wordt voortdurend bewaakt met een toetsitemanalysemodule. Items worden geankerd om moeilijkheidsgraad van de toets te ijken.
Werkwijze
Er kan een licentie op de TOA worden genomen. Er worden vervolgens inlogaccounts verstrekt om aan de slag te gaan. Alle gebruikers kunnen bij alle functionaliteiten en alle 360 toetsen die nu in de TOA staan. Het gebruik is zeer eenvoudig. Er is een gratis helpdesk beschikbaar. De resultaten komen automatisch beschikbaar voor alle betrokkenen in de TOA en kan met een druk op de knop verkregen worden met diagnose.
Toetsprocedure
Er is een één-op-één afname voor de spreektoetsen en die worden tijdens die afname beoordeeld. De registratie van die beoordeling vindt plaats in de TOA die dan ook per direct voor alle betrokkenen zichtbaar is.
Benodigdheden
De spreektoets is een één-op-één-afname van maximaal 30 minuten en met een beoordeling 45 minuten. Het toetsboekje is dekkend voor het materiaal wat benodigd is. De toets kan afgenomen worden in het testcentrum van Culemborg maar ook op locatie (in een ruimte met pc’s en internetverbinding).
Rapportage
Alle uitslagen na beoordeling van de spreektoets zijn direct in de TOA opvraagbaar inclusief diagnose op aspectniveau. Elke gewenste analyse kan gedraaid worden op basis van de achtergrondgegevens die bij de kandidaten zijn ingevoerd. Met een druk op de knop is een benchmark beschikbaar.
Afnameduur
De spreektoets duurt 30 minuten plus 10 minuten verwerking beoordeling.
Kosten
Er zijn kosten verbonden aan een licentie (er zijn vier diverse licenties). Met een licentie van € 3.500,kost het vervolgens € 1,50 (excl. 6% BTW) per toets per kandidaat (licentie 1). Licentie 2 kost € 1.750 per jaar plus € 2,00 per toets. Licentie 3 kost € 650 per jaar plus € 2,50 per toets. Licentie 4 is € 200 per jaar plus € 5,50 per toets. Toetsen van lezen en spreken via STERK kost € 161,25 voor 10 kandidaten, in geval de toetsing in beschikbare ruimte (met pc’s en internetverbinding) van opdrachtgever plaatsvindt. Afname in het testcentrum is goedkoper, nl. € 95,50 voor 10 kandidaten. Hoe groter de groep, des te lager de kosten per kandidaat.
29
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.4: Beschrijving taaltoets voor pedagogisch medewerkers Toetsnaam
Staatsexamens NT2
Ontwikkelaar
Bureau ICE en Cito
Jaar van uitgave
Ieder jaar wordt een nieuw examen uitgegeven.
Domein
Lezen, luisteren, spreken en schrijven.
Beroepspecificiteit
Algemeen
Niveau
Dit Taalexamen is op twee niveaus (B1 en B2 van het Raamwerk NT2) beschikbaar. De koppeling van het examen aan deze niveaus van het Raamwerk heeft plaatsgevonden volgens de richtlijnen van de Raad van Europa. De taaltoetsen bestaan uit vier onderdelen (lezen, luisteren, spreken en schrijven). Het B1-examen (ook wel Programma I genoemd) geeft toegang tot mbo-opleidingen of werk op dat niveau; het B2-examen (Programma II) tot het hbo of wo of functies op dat niveau. Programma I is het meest geschikt voor het toetsen van het taalniveau van de leidsters werkzaam in de voorschoolse sector.
Onderdelen
Het Leesexamen is ontwikkeld op niveau B1 en B2. De deelnemer krijgt 6 à 7 verschillende teksten voorgelegd verdeeld over de domeinen werk, opleiding en burgerschap. Verschillende tekstsoorten komen aan bod. Bij iedere tekst worden ongeveer 7 meerkeuzevragen gesteld (het totale examen bevat 40 tot 43 vragen). De teksten krijgt de deelnemer aangeboden op papier; de vragen op een computerscherm. Het examen Luisteren is ontwikkeld op niveau B1 en B2 en bestaat uit 3 onderdelen. In deze onderdelen komen verschillende luistersituaties voor. Dit zijn situaties die deelnemers tegen kunnen komen tijdens de opleiding, op het werk of in het dagelijks leven. Het examen bevat 40 meerkeuzevragen. De vragen en antwoorden staan op een computerscherm. De luisterfragmenten hoort de deelnemer via een koptelefoon. Het Spreekexamen is ontwikkeld op niveau B1 en B2. Een deelnemer moet laten zien dat hij/zij goed kan reageren in verschillende situaties (werk, opleiding en dagelijks leven). De spreekopdrachten zijn inhoudelijk verschillend. Deelnemers moeten bijvoorbeeld informatie geven, informatie vragen, instructies geven, iets weigeren, een mening geven, argumenten noemen of een advies geven. Het examen Spreken I bevat 12 korte en 9 middellange opdrachten. Spreken II bevat 6 korte opdrachten, 9 middellange opdrachten en 2 lange opdrachten. Het examen Schrijfvaardigheid is ontwikkeld op B1 en B2. Dit examen wordt op dit moment volledig op papier afgenomen, maar zal de komende jaren voor een steeds groter deel op de computer worden geëxamineerd. Een schrijfexamen op B1 bestaat uit ongeveer 15 opdrachten (losse zinnen aanvullen en tussenvoegen, deelschrijftaken en korte schrijftaken). Het B2examen bestaat uit 10 opdrachten (losse zinnen aanvullen en tussenvoegen, korte schrijftaken en lange schrijftaken). In beide examens worden verschillende type schrijfproducten geproduceerd door de deelnemer. Ter voorbereiding op alle examenonderdelen zijn voorbeeldexamens beschikbaar. Daarnaast zijn er tal van organisaties in het hele land die examentrainingen aanbieden en zijn er diverse methoden, etc. beschikbaar ter voorbereiding.
Score
De Lees- en Luisterexamens worden automatisch gescoord. Alle goede antwoorden worden bij elkaar opgeteld. De punten (aantal goede antwoorden) die behaald zijn, worden omgezet naar een score. Om te slagen moet een deelnemer minimaal een score van 500 hebben. Er wordt beoordeeld door gecertificeerde beoordelaars in dienst van het College voor Examens. Zij maken gebruik van beoordelingsmodellen. Iedere spreek- en schrijfopdracht wordt door minimaal 2 beoordelaars beoordeeld. Indien de gegeven scores te veel afwijken, wordt een derde beoordelaar ingezet. De scores van de beoordelingen worden bij elkaar opgeteld en omgezet naar een score. Om te slagen moet een deelnemer minimaal een score van 500 hebben.
Betrouwbaarheid
Er zijn duizenden afnames geweest met kandidaten van verschillende achtergronden. Ieder examen is psychometrisch gekoppeld aan een normexamen waardoor over de jaren heen de garantie afgegeven kan worden dat de examens vergelijkbaar zijn. Voor de examens van de vaardigheid Luisteren en Lezen ligt de betrouwbaarheid rondom .80 en voor Spreken en Schrijven rondom .90. Doordat iedere afzonderlijke schrijf- en spreekopdracht van een deelnemer door minimaal 2 beoordelaars wordt bekeken, en de beoordelaars per opdracht verschillen, wordt iedere kandidaat gemiddeld door 16 beoordelaars beoordeeld. Hiermee kan ook de betrouwbaarheid van de productieve vaardigheden worden gegarandeerd. Daarnaast wordt uitsluitend beoordeeld door gecertificeerde beoordelaars, die middels een training en halfjaarlijkse monitoring en feedback worden bijgeschoold.
30
Kieswijzer Toetsen van taalniveau, Sardes 2012
Validering
Alle opgaven worden op basis van een vooraf opgestelde toetsmatrijs ontwikkeld door taalkundigen van Bureau ICE en Cito. Deze opgaven worden na diverse screeningsrondes intern voorgelegd aan de onafhankelijke Commissie Staatsexamens NT2 (onderdeel van het College voor Examens) en voorzien van feedback op inhoud en niveau. Op basis hiervan worden de opgaven aangepast. Wanneer de opgaven de eerste keer in een examen voorkomen, worden deze gemonitord. De moeilijkheid van deze nieuwe opgaven wordt altijd gekoppeld aan ‘oude’ opgaven waardoor de relatieve moeilijkheid van ieder item bepaald kan worden.
Werkwijze
Wanneer een deelnemer een examen wil afleggen, meldt hij/zij zich aan bij DUO. De deelnemer kan dan zelf kiezen voor een examendatum per onderdeel. Vervolgens gaat de deelnemer naar een toetslocatie van DUO (Amsterdam, Utrecht, Rotterdam, Rijswijk, Zwolle, Breda en Eindhoven) om daar het examen af te leggen. Binnen 6 weken na afname van het examen krijgt de deelnemer de uitslag thuisgestuurd. Deze is ook beschikbaar op de website van DUO. Er zijn ook voorbeeldexamens beschikbaar. Oude voorbeeldexamens (2001 tot 2004) zijn te downloaden via de website van het College voor Examens (www.cve.nl); nieuwe voorbeeldexamens kunnen besteld worden via de website van Cito (www.cito.nl).
Toetsprocedure
Het examen wordt op de computer afgenomen op een DUO-locatie, behalve het onderdeel Schrijven dat op papier wordt afgenomen. De voorbeeldexamens kunnen op de toetsinstelling zelf afgenomen worden.
Benodigdheden
Niet van toepassing.
Rapportage
De deelnemer krijgt een uitslag in de vorm van een 500-score. Deze score is voldoende of onvoldoende.
Afnameduur
Lezen (120 minuten), Schrijven (120 minuten), Spreken (30 minuten) en Luisteren (70 minuten)
Kosten
€ 22.50 per onderdeel per deelnemer bij afname via DUO. De oude voorbeeldexamens zijn gratis, de nieuwe voorbeeldexamens kosten €67,30 voor een complete set, en €36,- per set van 10 stuks cursistmateriaal.
31
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.5: Beschrijving taaltoets voor pedagogisch medewerkers Toetsnaam
Eindassessment spreken, gesprekken voeren en schrijven op niveau 3F (mogelijk wordt het onderdeel schrijven geïntegreerd met de vaardigheid lezen)
Ontwikkelaar
CINOP in opdracht van en in samenwerking met Mister Dutch B.V.
Jaar van uitgave
2012
Domein
Taalvaardigheid in de context van VVE
Beroepspecificiteit
Beroepspecifiek (VVE)
Niveau
3F
Onderdelen
Uitvoeren van opdrachten op niveau 3F binnen de VVE-context. Op dit moment worden opdrachten ontwikkeld voor schrijven (duur 60 minuten), spreken (30 minuten) en gesprekken voeren (20 minuten). Als het onderdeel schrijven geïntegreerd wordt met lezen, is de verdeling van de tijd anders. Een deelnemer met dyslexie krijgt een vergrote toets in een duidelijk leesbaar lettertype en 15 minuten extra tijd. De onderdelen sluiten aan bij de kwalificatiedossiers van onderwijsassistent en pedagogisch werker (CREBO uitstroom: OA 93500 en PW 92630).
Score
Taalassessoren beoordelen de producten aan de hand van de beoordelingsmodellen en normbeoordelingen voor het instellingsexamen Nederlands in het mbo, ontwikkeld door CITO en CINOP. In dit model is een 3-puntsschaal het uitgangspunt. Per beoordelingsaspect krijgt de deelnemer 0 punten als de prestatie onvoldoende is, 1 punt als de prestatie voldoende is of 2 punten als de prestatie excellent is. Een excellente prestatie bevindt zich boven het niveau dat gevraagd wordt. De maximale score voor spreken en gesprekken voeren is … en voor schrijven 14.
Betrouwbaarheid
Twee taalassessoren beoordelen de producten van de VVE-leidster. Ze doen dit onafhankelijk van elkaar. De interbeoordelaarsbetrouwbaarheid is zeer hoog (90%). Bij verschil in beoordeling vindt overleg plaats tussen de 1e en 2e beoordelaar. Zo nodig raadplegen zij een 3e beoordelaar.
Validering
De opdrachten zijn authentiek en gebaseerd op de VVE-praktijk.
Werkwijze
Mister Dutch voert eerst een kennismakingsgesprek met de VVE-instelling. Hierin wordt de procedure van het eindassessment toegelicht. De instelling krijgt een toelichting op de taalniveaus, ondersteund met materiaal. De VVE-pedagogisch medewerkers ontvangen vooraf informatie over het eindassessment, de duur en een beschrijving van de inhoud.
Toetsprocedure
Het eindassessment taal kan in een of twee keer worden afgenomen. Spreken en gesprekken voeren kan in een keer afgenomen worden en schrijven en lezen ook. Beide onderdelen kunnen ook in een dagdeel worden afgenomen.
Benodigdheden
De afnameduur voor spreken is 30 minuten (inclusief 10 minuten voorbereiden), voor gesprekken 20 minuten en voor schrijven 60 minuten (bij een geïntegreerde toets voor lezen en schrijven verandert de afnameduur voor deze onderdelen). Het eindassessment kan op de locatie van de VVE- instelling worden afgenomen, maar ook op de toetslocaties van Mister Dutch B.V. in Rotterdam of Breda.
Rapportage
De opdrachtgever/de instelling en deelnemer ontvangen binnen twee weken na afname een uitslag van de resultaten. De deelnemer ontvangt een certificaat met een overzicht van de behaalde scores en niveaus.
Afnameduur
Spreken 20 minuten, gesprekken voeren 20 minuten en schrijven 60 minuten.
Kosten
Het eindassessment kost € 75,- (excl. BTW) per onderdeel.
32
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.6: Beschrijving taaltoets voor pedagogisch medewerkers Toetsnaam
TNT: Taalniveautest Nederlands
Ontwikkelaar
Uitgeverij Deviant
Jaar van uitgave
2009
Domein
Leesvaardigheid, luistervaardigheid, spelling/stijl, woordenschat, werkwoordspelling.
Beroepspecificiteit
Algemeen
Niveau
Onder 1F, 1F, 2F, 3F en 4F
Onderdelen
Leesvaardigheid, luistervaardigheid, spelling/stijl, woordenschat, werkwoordspelling.
Score
De scores worden weergegeven in referentieniveaus. Daarbij wordt een verdieping gemaakt in een .1 en een .2 score. Een deelnemer die bijvoorbeeld 2F.1 scoort, beheerst niveau 2F redelijk, maar nog niet volledig. Deze deelnemer heeft tussen de 50 en 75 procent van de vragen goed beantwoord. Een deelnemer die 2F.2 scoort, beheerst niveau 2F volledig. Hij heeft tussen de 75 en 100 procent van de vragen op niveau 2F goed beantwoord. Daarnaast heeft hij vragen op 3F niveau vrijgespeeld, maar heeft dat minder dan 50 procent van goed beantwoord. Wanneer een deelnemer onder niveau 1F scoort, kan hij een aparte 'Vooraf'-test maken, waarbij de scores worden uitgedrukt in behaalde percentages per onderdeel.
Betrouwbaarheid
De test wordt at random opgebouwd uit een database met gelijksoortige vragen van eenzelfde niveau.
Validering
Onze niveautests zijn in 2009 voor het eerst gebruikt. Sindsdien zijn ze door tienduizenden deelnemers gemaakt. De resultaten zijn geanalyseerd en waar nodig bijgesteld.
Werkwijze
Een docent geeft de test vrij voor een individuele deelnemer of voor een groep deelnemers. Een deelnemer logt in op onze methodesite Studiemeter.nl en start de test. Na het invullen van de laatste vraag is het resultaat direct beschikbaar voor de deelnemer en begeleidende docent.
Toetsprocedure
De toets wordt digitaal en onder toezicht afgenomen.
Benodigdheden
Computer met internetaansluiting en een koptelefoon voor het onderdeel luistervaardigheid.
Rapportage
De resultaten van de deelnemer worden weergegeven in een heldere en gedetailleerde rapportage. Deze rapportage is direct beschikbaar na afname van de toets. Per domein wordt het taalniveau in de referentieniveaus weergegeven, met een onderverdeling zoals bij het onderdeel 'Score' beschreven. De docent kan een Excelrapportage maken per deelnemer of per klas. De deelnemer en de docent kunnen een pdf-certificaat downloaden met het individuele resultaat. De docent kan op Studiemeter.nl de resultaten van zijn klas vergelijken met de resultaten van andere klassen of sectoren binnen zijn instelling en met het landelijke resultaat.
Afnameduur
Afhankelijk van het niveau van de deelnemer, maar gemiddeld tussen de 30 en 60 minuten. De test werkt adaptief: wanneer de deelnemer genoeg antwoorden goed beantwoordt, speelt hij vragen op een hoger niveau vrij.
Kosten
€ 3,50 per deelnemer
33
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.7: Beschrijving taaltoets voor pedagogisch medewerkers Toetsnaam
Taal op Niveau start- en eindassessments
Ontwikkelaar
ITTA, Amsterdam, eigenaar: Edu’Actief b.v. Meppel
Jaar van uitgave
Startassessments en eindassessments komen uit 2010, Eindtoetsen Lezen en Luisteren 2F en 3F uit 2011 en Eindtoetsen Lezen en Luisteren 1F uit 2012.
Domein
Startassessments: (1F), 2F en 3F voor Schrijven, Spreken en Gesprekken voeren. Eindassessments: 2F en 3F voor Schrijven, Spreken en Gesprekken voeren. Eindtoetsen Lezen en Luisteren 1F, 2F en 3F. De toets is gemaakt voor deelnemers in het middelbaar beroepsonderwijs.
Beroepspecificiteit
Algemeen
Niveau
De startassessments zijn op twee niveaus (2F en 3F) beschikbaar. Er kan echter ook vastgesteld worden of deelnemers wel of niet aan niveau 1F voldoen. De eindassessments Schrijven, Spreken en Gesprekken voeren zijn op twee niveaus beschikbaar: 2F en 3F. De Eindtoetsen Lezen en Luisteren zijn op drie niveaus beschikbaar: 1F, 2F en 3F.
Onderdelen
De startassessments zijn bedoeld om bij binnenkomst het niveau van de deelnemer vast te stellen voor de vaardigheden Schrijven, Spreken en Gesprekken voeren. Er zijn startassesments in meerdere contexten, waaronder Zorg en Welzijn. De afname vindt plaats in groepjes van 3 cursisten, met idealiter een begeleidende en een beoordelende docent. Elk assessment begint met een onderdeel Spreken, waaruit respectievelijk de onderdelen Gesprekken voeren en Schrijven voortvloeien. De opdrachten hebben duidelijke kaders en zijn dankzij heldere niveauwijzers goed te beoordelen. De eindassessments zijn bedoeld om voor de vaardigheden Schrijven, Spreken en Gesprekken voeren vast te stellen of een deelnemer niveau 2F, dan wel 3F beheerst. De eindassessments hebben een algemene context. Voor de rest is de afname identiek aan de startassessment. Bij de luistertoetsen krijgen de deelnemers krijgen een aantal geluidsfragmenten te horen en ze beantwoorden daarbij voornamelijk open vragen. Er komen onderwerpen voor die direct aansluiten bij de leefwereld van een deelnemer, maar ook onderwerpen die iets verder van de deelnemer af staan. De open vraagstelling geeft een beter beeld van de capaciteiten van een deelnemer dan multiplechoice vragen, omdat het de werkelijkheid dichter benadert. Dankzij een heldere nakijkinstructie gaat het verwerken van de toetsen vlot. Bij de leestoetsen krijgen de deelnemers een aantal teksten te lezen en ze beantwoorden daarbij voornamelijk open vragen. Ook hier onderwerpen die direct en iets minder direct aansluiten bij de leefwereld van een deelnemer. De open vraagstelling geeft een beter beeld van de capaciteiten van een deelnemer dan multiplechoice vragen, omdat het de werkelijkheid dichter benadert. Dankzij een heldere nakijkinstructie gaat het verwerken van de toetsen vlot.
Score
De items worden door de docent gescoord aan de hand van beoordelings/nakijkinstructies. In de handleidingen is een score/cijfertabel opgenomen.
Betrouwbaarheid
Voor de toetsen is er een pilot geweest op het Nova college in Haarlem. Verscheidene ROC’s werken met de toetsen.
Validering
Voor elk onderdeel is gekeken wat een deelnemer volgens het rapport van Meijerink op dat niveaus moet weten en kunnen. Op basis hiervan heeft het ITTA opgaven ontwikkeld. Deze opgaven zijn beoordeeld op inhoud en het niveau (is de vraag geschikt voor het beoogde niveau. N.a.v. deze beoordeling werden de opgaven zo nodig aangepast.
Werkwijze
Bepaal eerst het instapniveau van de deelnemer door middel van een startassessment. Om het startniveau voor de vaardigheden lezen en luisteren te bepalen kunt u via ons de AMN-toetsen afnemen. Ook de overige AMN-toetsen zijn via ons af te nemen. Aan de hand van deze uitkomsten gaat u aan de slag met uw deelnemers. Dit kan bijvoorbeeld met de methode Taal op Niveau Nederlands.
Toetsprocedure
Het start- en eindassessment wordt op locatie afgenomen, in groepjes van 3. Idealiter met een begeleidende en een beoordelende docent. De papieren Eindtoetsen Luisteren wordt op locatie afgenomen om de fragmenten te kunnen bekijken/beluisteren, is er een computer nodig met internetaansluiting. De papieren Eindtoets lezen wordt op locatie afgenomen.
Benodigdheden
Nodig voor start- en eindassessment en Eindtoetsen lezen zjn: de uitgeprinte toetsen, eventueel pen en papier voor aantekeningen. Voor de Eindtoetsen luisteren is nodig: de uitgeprinte toetsen, eventueel pen en papier voor aantekeningen en computer met internetaansluiting.
Rapportage
Omdat deze toetsen paper-based zijn, is er geen automatische, digitale rapportage.
Afnameduur
Startassessments maximaal 45 minuten, eindassessments maximaal 70 minuten en eindtoetsen maximaal 60 minuten.
Kosten
€ 10,- per deelnemer per jaar.
34
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.8: Beschrijving taaltoets voor pedagogisch medewerkers Toetsnaam
Taal de Baas
Ontwikkelaar
ITTA (UvA) en Bureau ICE, i.o.v. Steunpunt Taal & Rekenen mbo
Jaar van uitgave
2011
Domein
Lezen, luisteren en woordenschat
Beroepspecificiteit
Algemeen (meerdere maatschappelijke beroepen)
Niveau
Tussen 1F en 2F
Onderdelen
Opdrachten voor herkennend lezen, tekstbegrip, interpreterend luisteren en lezen, technisch luisteren, woordkennis (zowel diagnose als oefening).
Score
Percentage antwoorden bepaalt of deelnemer onderliggende taalvaardigheden lezen, luisteren en woordenschat voldoende beheerst.
Betrouwbaarheid
Betrouwbaar, onbetrouwbare items zijn na een proefronde eruit gehaald.
Validering
Geënt op referentiekader taal en proefgedraaid met studenten mbo (niveau 2-3 opleidingen).
Werkwijze
Diagnostisch instrument voor mbo-docent om taalachterstanden bij deelnemers weg te werken.
Toetsprocedure
Kan individueel en in grote groepen. Web-based. Toezicht om afkijken te voorkomen. Uitslagen digitaal in te zien door docent.
Benodigdheden
Computer met internetaansluiting.
Rapportage
Digitaal
Afnameduur
60 minuten per toets, drie diagnostische toetsen en 60 uur remediërend materiaal met voortgangs- en eindtoetsen.
Kosten
Gratis voor mbo-instellingen. Eigenaar is Steunpunt Taal & Rekenen mbo (gefinancierd door OCW).
35
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.9: Beschrijving taaltoetsen voor pedagogisch medewerkers Toetsnaam
IVIO
Ontwikkelaar
IVIO-Examenbureau B.V.
Jaar van uitgave
2010-2012
Domein
Lees- en schrijfvaardigheid
Beroepspecificiteit
Algemeen
Niveau
1F t/m 3F of KSE 1 t/m 4 (KwalificatieStructuur Educatie, SLO)
Onderdelen
De eindtermen worden gemeten aan de hand van zes opdrachten (met subopdrachten) waarmee in totaal 85 punten zijn te verdienen.
Score
Puntentotaal is bepalend voor het cijfer. Cesuur vastgelegd in toetsmatrijs.
Betrouwbaarheid
α > 0,9
Validering
Geënt op referentieniveau Meijerink, of KSE.
Werkwijze
Aanmelden d.m.v. centrale inschrijving, uitnodiging door IVIO, afname wordt op gewenste locatie georganiseerd. Verwerking, correctie, cijferadministratie door IVIO. Zowel groepsgewijze als individuele aanmelding mogelijk.
Toetsprocedure
Keuze tussen digitale en papieren afname. Onder toezicht van examencommissie IVIO. Onafhankelijke waarnemers aanwezig, correctie door correctoren van IVIO. Klachtenprocedure met onafhankelijke commissie.
Benodigdheden
Toetsruimte, tafel, stoel, pen, eventueel computer of tablet met internetverbinding.
Rapportage
Diploma met cijfer voor kandidaat. Desgewenst statistiek voor opdrachtgever.
Afnameduur
60-90 minuten
Kosten
Op aanvraag, afhankelijk van setting en groepsgrootte. Globaal zal een examen (schriftelijk, door IVIO nagekeken) rond de € 30,- tot € 60,- (assessment/mondeling) kosten.
36
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.10: Beschrijving taaltoets voor pedagogisch medewerkers Toetsnaam
Spreektoets (vijf versies)
Ontwikkelaar
Kuiken e.a. (UvA)
Jaar van uitgave
2009
Domein
Mondelinge taalvaardigheid (in de VVE-context)
Beroepspecificiteit
Beroepspecifiek (VVE)
Niveau
A1 t/m C1
Onderdelen
Nazeggen van 10 zinnen, passend reageren op zes situaties en langer spreken (2 minuten).
Score
Percentage goede antwoorden bepaalt niveau (A1 t/m C2), aparte normen voor PW3 en PW4.
Betrouwbaarheid
Beoordelaars zijn getraind in het bereiken van overeenstemming (minimaal 80%)
Validering
Geënt op VVE-praktijk (o.a. Pedagogisch kader)
Werkwijze
Toetsing heeft bij alle zittende pedagogisch medewerkers in Amsterdam plaatsgevonden en gebeurt bij nieuw aan te stellen pedagogisch medewerkers. Bij het niet behalen van de toets krijgen de pedagogisch medewerkers een (door DMO, Amsterdam betaald) remediëringstraject aangeboden van maximaal vijf modules.
Toetsprocedure
In groepen van maximaal 30 personen. Na afloop handtekening zetten en identiteitsbewijs tonen.
Benodigdheden
Toetsruimte, afspeelapparatuur, cabine, koptelefoon, opdrachtenboekje, pen en papier.
Rapportage
In termen van CEF-score (A1 t/m C1)
Afnameduur
17 minuten
Kosten
37
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.11: Beschrijving taaltoets voor pedagogisch medewerkers Toetsnaam
Leestoets (vijf versies)
Ontwikkelaar
Kuiken e.a. (UvA)
Jaar van uitgave
2009
Domein
Leesvaardigheid (versie A en B) (in de VVE-context)
Beroepspecificiteit
Beroepspecifiek (VVE)
Niveau
A1 t/m C2
Onderdelen
Zes teksten met 50 meerkeuzevragen en stellingen.
Score
Percentage goede antwoorden bepaalt niveau (A1 t/m C2), aparte normen voor PW3 en PW4
Betrouwbaarheid
Goed betrouwbaar, alfa van .79 (n=50)
Validering
Geënt op VVE-praktijk (o.a. Pedagogisch kader)
Werkwijze
Toetsing heeft bij alle zittende pedagogisch medewerkers in Amsterdam plaatsgevonden en gebeurt bij nieuw aan te stellen pedagogisch medewerkers. Bij het niet behalen van de toets krijgen de pedagogisch medewerkers een (door DMO, Amsterdam betaald) remediëringstraject aangeboden van maximaal vijf modules.
Toetsprocedure
Kan in grote groepen tot maximaal 400 personen tegelijk. Toezicht om afkijken te voorkomen. Na afloop handtekening zetten en identiteitsbewijs tonen.
Benodigdheden
Toetsruimte, pen.
Rapportage
In termen van CEF-score (A1 t/m C2)
Afnameduur
60 minuten
Kosten
38
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.12: Beschrijving taaltoets voor pedagogisch medewerkers Toetsnaam
Schrijftoets (vijf versies)
Ontwikkelaar
Kuiken e.a. (UvA)
Jaar van uitgave
2009
Domein
Schrijfvaardigheid en taalverzorging (versie A en B) in de VVE-context
Beroepspecificiteit
Beroepspecifiek (VVE)
Niveau
A1 t/m C2
Onderdelen
Briefje schrijven aan ouders/verzorgers en toetsing van grammaticale onderdelen o.g.v. zeven opdrachten (120 items)
Score
Percentage goede antwoorden bepaalt niveau (A1 t/m C2), aparte normen voor PW3 en PW4
Betrouwbaarheid
Zeer goed betrouwbaar, alfa van .93 (n=50)
Validering
Geënt op VVE-praktijk (o.a. Pedagogisch kader)
Werkwijze
Toetsing heeft bij alle zittende pedagogisch medewerkers in Amsterdam plaatsgevonden en gebeurt bij nieuw aan te stellen pedagogisch medewerkers. Bij het niet behalen van de toets krijgen de pedagogisch medewerkers een (door DMO, Amsterdam betaald) remediëringstraject aangeboden van maximaal vijf modules.
Toetsprocedure
Kan in grote groepen tot maximaal 400 personen tegelijk. Toezicht om afkijken te voorkomen. Na afloop handtekening zetten en identiteitsbewijs tonen.
Benodigdheden
Toetsruimte, pen
Rapportage
In termen van CEF-score (A1 t/m C2)
Afnameduur
75 minuten
Kosten
39
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.13: Beschrijving taaltoets voor pedagogisch medewerkers Toetsnaam
Leestoets (digitaal)
Ontwikkelaar
Kuiken & Schepers (UvA)
Jaar van uitgave
2011
Domein
Leesvaardigheid in de VVE-context
Beroepspecificiteit
Beroepspecifiek (VVE)
Niveau
A1 t/m C2
Onderdelen
Acht teksten met 50 meerkeuzevragen en stellingen.
Score
Percentage goede antwoorden bepaalt niveau (A1 t/m C2), aparte normen voor PW3 en PW4.
Betrouwbaarheid
Redelijk betrouwbaar, alfa van .54 (n=50)
Validering
Geënt op VVE-praktijk (o.a. Pedagogisch kader)
Werkwijze
Toetsing voor nieuw aan te stellen pedagogisch medewerkers.
Toetsprocedure
Individueel, aan de computer.
Benodigdheden
Toetsruimte, computer.
Rapportage
In termen van CEF-score (A1 t/m C2)
Afnameduur
60 minuten
Kosten
€ 95,- voor reguliere deelnemers (alle onderdelen) en € 250,- voor deelnemers met dyslexie of faalangst.
40
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.14: Beschrijving taaltoets voor pedagogisch medewerkers Toetsnaam
Schrijftoets (digitaal)
Ontwikkelaar
Kuiken & Schepers (UvA)
Jaar van uitgave
2011
Domein
Schrijfvaardigheid en taalverzorging in de VVE-context.
Beroepspecificiteit
Beroepspecifiek (VVE)
Niveau
A1 t/m C2
Onderdelen
Toetsing van grammaticale onderdelen o.g.v. negen opdrachten (100 items).
Score
Percentage goede antwoorden bepaalt niveau (A1 t/m C2), aparte normen voor PW3 en PW4.
Betrouwbaarheid
Goed betrouwbaar, alfa van .80 (n=50)
Validering
Geënt op VVE-praktijk (o.a. Pedagogisch kader)
Werkwijze
Toetsing voor nieuw aan te stellen pedagogisch medewerkers.
Toetsprocedure
Individueel, aan de computer.
Benodigdheden
Toetsruimte, computer.
Rapportage
In termen van CEF-score (A1 t/m C2)
Afnameduur
60 minuten
Kosten
€ 95,- voor reguliere deelnemers (alle onderdelen) en € 250,- voor deelnemers met dyslexie of faalangst.
41
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.15: Beschrijving taaltoets voor pedagogisch medewerkers Toetsnaam
Intakeassessment spreken
Ontwikkelaar
Mister Dutch B.V.
Jaar van uitgave
2012
Domein
Mondelinge taalvaardigheid in de context van VVE.
Beroepspecificiteit
Beroepspecifiek (VVE)
Niveau
(onder 1F) 1F t/m 4F
Onderdelen
Uitvoeren van een spreekopdracht binnen de VVE-context. Deelnemer krijgt 10 minuten voorbereiding. Opdracht wordt individueel uitgevoerd met een toetser, niet in een talenpracticum. Uitvoering wordt opgenomen op een memorecorder. Geluidsopname wordt later beluisterd door beoordelaar(s) voor taalniveaubepaling.
Score
Spreekproduct wordt beoordeeld a.d.h.v. beoordelingscriteria volgens referentieniveau: algemeen criteria, samenhang in spreekproduct, afstemming op doel en publiek, woordgebruik en woordenschat, vloeiendheid en verstaanbaarheid. Deze criteria zijn onderverdeeld in subcriteria.
Betrouwbaarheid
Twee getrainde beoordelaars beoordelen (onafhankelijk van elkaar) het spreekproduct van de VVEleidster. Interbeoordelaarsbetrouwbaarheid is zeer hoog: 90%. Bij verschil in beoordeling vindt overleg plaats tussen de 1e en 2e beoordelaar. Zo nodig overleg met 3e beoordelaar.
Validering
De spreekopdrachten zijn authentiek en gebaseerd op de VVE-praktijk.
Werkwijze
Mister Dutch voert eerst een kennismakingsgesprek met de VVE-instelling. Hierin wordt de toetsprocedure toegelicht. De instelling krijgt een toelichting op de taalniveaus, ondersteund met materiaal. De VVE-pedagogisch medewerkers ontvangen vooraf informatie over de toetsen, de duur en een beschrijving van de inhoud. Na afname en rapportage van de toetsen vindt een eindgesprek plaats met de instelling waarin de resultaten worden toegelicht. Er kan – op verzoek – ook een toelichting gegeven worden aan de pedagogisch medewerkers zelf over de toetsresultaten en de inhoud van de niveaus.
Toetsprocedure
De toets spreken maakt onderdeel uit van het intakeassessment taal voor VVE. Het onderdeel kan in het eerste of in het tweede dagdeel worden afgenomen. Alle onderdelen van het intakeassessment kunnen in een dagdeel (vier uur) of in twee dagdelen (ieder van twee uur) worden afgenomen. Geadviseerd wordt om het intakeassessment voor VVE-pedagogisch medewerkers in twee dagdelen af te leggen.
Benodigdheden
De toets wordt één-op-één afgenomen, waardoor een kleine toetsruimte volstaat, het liefst geluidsarm. De toets kan op locatie van de VVE-instelling worden afgenomen, maar ook op de toetslocaties van Mister Dutch in Rotterdam en Breda.
Rapportage
De opdrachtgever en deelnemer ontvangen binnen twee weken na afname een uitgebreide rapportage van de resultaten. De beoordelaar maakt van de spreekvaardigheden en analyse. De rapportage kan gebruikt worden als start van een taaltraject. De rapportage bevat ook een advisering voor een taaltraject. Afhankelijk van de resultaten zijn dit: geen taaltraject nodig, een taaltraject van 2F naar 3F voor alle vaardigheden, een modulair traject voor de taalvaardigheden onder 3F, een taaltraject niveauverhogend Nederlands (eventueel) gevolgd door een traject van 2F naar 3F De resultaten van een instelling worden verwerkt in een Exceltabel. Er wordt een analyse gemaakt met verschillende tabellen en grafieken waardoor de resultaten zichtbaar worden.
Afnameduur
Ongeveer 30 minuten.
Kosten
Het intakeassessment taal kost € 215,- (excl. BTW). In dit assessment worden de vaardigheden spreken, schrijven, taalverzorging, lezen en luisteren getoetst. Op verzoek kan er ook een toets leerbaarheid worden afgenomen.
42
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.16: Beschrijving taaltoets voor pedagogisch medewerkers Toetsnaam
Intake-assessment schrijven
Ontwikkelaar
Mister Dutch B.V.
Jaar van uitgave
2012
Domein
Schriftelijke taalvaardigheid in de context van VVE
Beroepspecificiteit
Beroepspecifiek (VVE)
Niveau
(onder 1F) 1F t/m 4F
Onderdelen
Uitvoeren van twee schrijfopdrachten binnen de VVE-context: een opdracht op niveau 2F en een op niveau 3F. De deelnemer krijgt 45 minuten voor de uitvoering van beide opdrachten. De deelnemer mag kladpapier gebruiken. Een deelnemer met dyslexie krijgt een vergrote toets in een duidelijk leesbaar lettertype en 15 minuten extra tijd.
Score
De schrijfproducten worden beoordeeld aan de hand van de beoordelingscriteria van de referentieniveaus Meijerink: algemene criteria, samenhang in de schrijfproducten, de afstemming op doel en publiek, het woordgebruik en woordenschat en de leesbaarheid. Deze criteria zijn weer onderverdeeld in subcriteria.
Betrouwbaarheid
Twee getrainde beoordelaars beoordelen de schrijfproducten van de VVE-leidster. Ze doen dit onafhankelijk van elkaar. De interbeoordelaarsbetrouwbaarheid is zeer hoog (90%). Bij verschil in beoordeling vindt overleg plaats tussen de 1 e en 2e beoordelaar. Zo nodig wordt een 3e beoordelaar geraadpleegd.
Validering
De schrijfopdrachten zijn authentiek en gebaseerd op de VVE-praktijk.
Werkwijze
Mister Dutch voert eerst een kennismakingsgesprek met de vve-instelling. Hierin wordt de toetsprocedure toegelicht. De instelling krijgt een toelichting op de taalniveaus, ondersteund met materiaal. De VVE-pedagogisch medewerkers ontvangen vooraf informatie over de toetsen, de duur en een beschrijving van de inhoud. Na afname en rapportage van de toetsen vindt een eindgesprek plaats met de instelling waarin de resultaten worden toegelicht. Er kan – op verzoek – ook een toelichting gegeven worden aan de pedagogisch medewerkers zelf over de toetsresultaten en de inhoud van de niveaus.
Toetsprocedure
De toets schrijven maakt onderdeel uit van het intakeassessment taal voor VVE. Het onderdeel kan in het eerste of in het tweede dagdeel worden afgenomen. Alle onderdelen van het intakeassessment kunnen in een dagdeel (vier uur) of in twee dagdelen (ieder van twee uur) worden afgenomen. Mister Dutch adviseert het intakeassessment voor VVE-pedagogisch medewerkers in twee dagdelen af te leggen.
Benodigdheden
De toets is niet individueel en kan worden afgenomen met meerdere pedagogisch medewerkers in een ruimte op een tijdstip. De toets kan op de locatie van de VVE-instelling worden afgenomen, maar ook op de toetslocatie van Mister Dutch B.V. in Rotterdam of Breda.
Rapportage
De opdrachtgever/de instelling en deelnemer ontvangen binnen twee weken na afname een uitgebreide rapportage van de resultaten. De beoordelaar maakt van de schrijfvaardigheid een analyse. De rapportage kan gebruikt worden als start van een taaltraject. De rapportage bevat ook een advisering voor een taaltraject. Afhankelijk van de resultaten kan dit zijn: geen traject nodig, een traject van 2F naar 3F voor alle vaardigheden, een modulair traject voor de taalvaardigheden onder 3F, een traject niveauverhogend Nederlands (eventueel) gevolgd door een traject van 2F naar 3F.
Afnameduur
45 minuten (of 60 minuten voor pedagogisch medewerkers met dyslexie)
Kosten
Het intakeassessment taal kost €215,- (excl. BTW). In dit assessment worden de vaardigheden spreken, schrijven, taalverzorging, lezen en luisteren getoetst. Op verzoek kan ook er ook een toets leerbaarheid worden afgenomen.
43
Kieswijzer Toetsen van taalniveau, Sardes 2012
Tabel B3.17: Beschrijving taaltoets voor pedagogisch medewerkers Toetsnaam
Begin- en eindtoets Allemaal Taal
Ontwikkelaar Jaar van uitgave Domein
Uitgeverij ThiemeMeulenhoff 2012 - Mondelinge taalvaardigheid: Gesprekken voeren - Lezen - Schrijven - Taalbeschouwing en Taalverzorging - Beroepsgerichte vaardigheden zoals taalstimulering Alle opdrachten en taaltaken zijn gerelateerd aan de beroepspraktijk en het talig kunnen functioneren in de beroepscontext. Begintoets tot 2F; eindtoets tot 3F. - Diagnostische begintoets - Tussentijdse beoordeling van praktijkopdrachten - Tussentijdse observatie en beoordeling van de beroepsgerichte taken - Eindbeoordeling portfolio met de gemaakte praktijkopdrachten - Criteriumgericht beoordelingsgesprek bij het portfolio - Assessment van de uitvoering van taaltaken binnen de beroepsgerichte context voor de verschillende vaardigheden Nader te bepalen. Bij alle toetsonderdelen wordt gewerkt met protocollen voor afname en beoordeling waardoor de betrouwbaarheid groot is. Door de mengvorm van diagnostische begintoets, portfolio, portfoliogesprek en assessment is de validiteit groot. Doelstelling is om met het lesmateriaal van Allemaal Taal en de bijbehorende toetsen zo dicht mogelijk op de beroepstaal en de beroepspraktijk te zitten. Deze verschilt per onderdeel. Diagnostische begintoets: cursusaanbieder neemt deze af en stelt individueel advies op. Tussentijdse observatie en beoordeling van praktijkopdrachten: hiervoor ligt de verantwoordelijkheid bij de docent/begeleider. Voor de observatie-onderdelen moeten afspraken met de werkgever gemaakt worden. De docent ziet toe op het vullen van het portfolio en beoordeelt de praktijkopdrachten in twee versies, de eerste, ongecorrigeerde versie en de tweede, na bespreking door de cursist verbeterde versie. Het assessment-onderdeel wordt afgenomen door de cursusaanbieder (docent). Criteriumgericht beoordelingsgesprek en assessment: de docent, eventueel aangevuld met een veldassessor, beoordelen de uitvoering van de taaltaken. Bij alle toetsonderdelen zijn uitgewerkte protocollen voor afname en beoordeling beschikbaar. Geen specifieke benodigdheden behalve de toetsen zelf. Rapportage per onderdeel. Vorm wordt nader bepaald. Nader te bepalen. Nader te bepalen.
Beroepspecificiteit Niveau Onderdelen
Score Betrouwbaarheid Validering
Werkwijze
Toetsprocedure Benodigdheden Rapportage Afnameduur Kosten
44
Kieswijzer Toetsen van taalniveau, Sardes 2012
Colofon Titel: Kieswijzer Toetsen taalniveau pedagogisch medewerkers in voorschoolse instellingen Auteurs: IJsbrand Jepma en Olga Abell Project: Vversterk III Taalniveau Sardes projectnummer: TR0825M2 Opdrachtgever: Ministerie van OCW, directie Primair Onderwijs Datum: mei 2012
45
Sint Jacobsstraat 63 3511 BP Utrecht (NL) Postbus 2357 3500 GJ Utrecht (NL) T .. 31 (0)30 23 26 200 F .. 31 (0)30 23 33 017. E-mail secretariaat @ sardes . nl