Het streefniveau voorbij
Bouwstenen voor succesvol taal- en rekenonderwijs
Bureau ICE De nieuwe generatie toetsen en examens
Voorwoord
Als je studenten iets laat doen wat ze allang kunnen, vervelen ze zich enorm. Daar worden de scores alleen maar lager van.
De data die Bureau ICE de afgelopen jaren met de TOA heeft verzameld, gekoppeld aan gegevens van scholen, zoals studentkenmerken, lesmethodes, het aantal lesuren en eigenschappen van docenten, hebben inzicht gegeven in de succesfactoren van taal- en rekenonderwijs in het mbo. Het onderzoek dat wij op basis van al deze gegevens hebben gedaan, biedt inzichten voor de toekomst. Zo blijkt dat het heel belangrijk is dat er stevig gestuurd wordt op taal en rekenen en dat de docent daarbij een essentiële rol speelt. Voor studenten die een achterstand hebben met taal of rekenen, blijkt remedial teaching meer vruchten af te werpen dan les in taal- en rekencentra. Ook blijkt dat taalonderwijs binnen de beroepscontext meer oplevert dan geïsoleerde, generiek gerichte taallessen. Motivatie blijkt eveneens een belangrijke indicator voor succes in reken- en taalonderwijs. Zodra een student het nut inziet van reken- en taallessen, bijvoorbeeld doordat het in een beroepscontext wordt aangeboden, gaan zijn scores voor een toets omhoog. Daarnaast werkt het veel beter wanneer het onderwijs aansluit bij het niveau van een student. Maatwerk als standaard dus. Mooie inzichten waarmee we een stap voorwaarts kunnen zetten naar goed taal- en rekenonderwijs. We danken de scholen die hebben meegedaan aan het onderzoek voor hun openheid, betrokkenheid en inzet. Karen Heij Directeur Bureau ICE Oktober 2013
2
3
Inleiding rekenvaardig’ moeilijk. Zo kon het gebeuren dat er een moment kwam dat met name de politiek de alarmbel luidde.
Het is nog maar 10 jaar geleden dat er taal- en rekenonderwijs was zonder niveaus. We deden ons best, spanden ons in maar hadden amper zicht op het resultaat. Zonder leerstofonafhankelijke doelen is het lastig om te zorgen dat we op peil blijven, of liever nog, vooruitgaan. Zonder niveauaanduiding is regie voeren op ‘voldoende taal- en
Er kwamen niveau-aanduidingen in de vorm van referentieniveaus, als piketpaaltjes voor de verschillende vormen van onderwijs.
Toewijzing aan sectoren:
1F 1S
Taal
2F
1F en 1S: primair en speciaal onderwijs
2S
2F: mbo 1, 2, 3, vmbo
1F: praktijkonderwijs
3F 3S
Algemeen maatschappelijk niveau Drempels
Bron: SLO
4
3F: mbo 4, havo
4F
4F: vwo
4S
Rekenen 1F en 1S: primair en speciaal onderwijs 1F: praktijkonderwijs 2F: mbo 1, 2, 3, vmbo 3F: mbo 4, havo, vwo
Vanaf het schooljaar 2011-2012 hebben we in het mbo-onderwijs een formele verplichting toe te werken naar deze referentieniveaus. Voor de niveau 1, 2 en 3 opleidingen is het doel te komen tot niveau 2F en voor de niveau 4 opleidingen is 3F het te behalen niveau. Ook moet taal en rekenen geëxamineerd worden met digitale, centraal ontwikkelde examens. Op termijn zijn de taal- en rekenexamens bepalend voor het al dan niet ontvangen van het diploma. De TOA is het webbased toetssysteem van Bureau ICE. Sinds 2007 worden in het beroepsonderwijs TOA-toetsen gebruikt voor het meten van taal- en rekenvaardigheid. Al voor de invoering van de verplichte referentieniveaus heeft Bureau ICE verslag gedaan van de stand van zaken van de taal- en rekenvaardigheid van de studenten die instroomden in het beroepsonderwijs (zie de verslagen daarvan uit 2010, 2011 en 2012). De uitkomsten van de diverse onderzoeken waren niet rooskleurig als je het niveau bij instroom afzet tegen de niveaus waarnaar gestreefd moet worden. Dit beeld wordt niet positiever als je bedenkt dat er in het beroepsonderwijs weinig ruimte is voor de ontwikkeling van de taal- en rekenvaardigheid naast het aanleren van het vak, zeker bij de kortere opleidingen en de BBL-opleidingen. Bovendien had taal- en rekenonderwijs weinig prioriteit in de jaren voor de invoering van de referentieniveaus, waardoor er nauwelijks docenten beschikbaar waren met de juiste opleiding en ervaring om de lessen goed te verzorgen.
Kortom, we moesten in het beroepsonderwijs van ver komen. Belangrijkste belemmering voor goed taal- en rekenonderwijs was dat niemand bij de invoering van de referentieniveaus de kaders voor de praktijk kon leveren. Het realiseren van goed taal- en rekenonderwijs is pionieren geworden, met vallen en opstaan. Dat past gelukkig wel bij het beroepsonderwijs. En met de instelling ‘leren door te doen’ zijn de mbo-instellingen de referentieniveaus gaan invoeren. Na drie jaar is het een goed moment om met een open mind terug te kijken, zodat we kunnen leren van het verleden en verder kunnen met de wetenschap van nu. Met 10 mbo-instellingen hebben we het taal- en rekenonderwijs kwalitatief én kwantitatief geëvalueerd. In Het streefniveau voorbij zetten we de belangrijkste uitkomsten van het onderzoek als ‘bouwstenen’ voor goed taal- en rekenonderwijs op een rij. Vervolgens beschrijven we in het laatste hoofdstuk het onderzoek op hoofdlijnen en kijken we naar de scores van taal en rekenen op basis van de data uit de TOA. Voor dit onderzoek zijn heel veel data verzameld. Toch kunnen we niet alle kwalitatieve uitkomsten met cijfers onderbouwen. Veel instellingen hebben in de TOA niet of niet compleet aangegeven in welk leerjaar en op welk niveau een student zit. Dit maakt het soms moeilijk om
5
‘harde’ uitspraken te kunnen doen. Of om goed te kunnen onderbouwen wat de echte oorzaak is van verschillen die we waarnemen tussen scholen of tussen groepen. Waar we ook achter kwamen is dat het beleid soms verschilt tot op het niveau van een individuele docent. Een belangrijke conclusie is dat binnen instellingen zeer heterogeen uitvoering wordt gegeven aan het beleid. Zelfs uniform, centraal geregisseerd beleid blijkt in de praktijk te kunnen leiden tot grote diversiteit.
De eerste bouwsteen voor succesvol taal- en rekenonderwijs ligt bij de scholen: leg zoveel mogelijk gegevens vast. Hoe meer we weten, hoe meer we kunnen vaststellen en verklaren. Alleen bij een goede en uitgebreide registratie is het mogelijk om over een aantal jaren nog meer en beter te weten hoe we taal- en rekenonderwijs moeten aanpakken.
Dit, gecombineerd met het gegeven dat niet altijd duidelijk is welke studentgegevens te koppelen zijn aan welk niveau, welke opleiding en welk beleid, maakt dat de conclusies op basis van de interviews niet altijd onderbouwd kunnen worden met kwantitatieve data.
6
7
‘Ons lesprogramma
Bouwstenen voor goed taal- en rekenonderwijs Het vormgeven van goed taal- en rekenonderwijs in het mbo is belangrijk. De diplomering van een nieuwe generatie mbo-studenten gaat voor een belangrijk deel bepaald worden door hun taalen rekenvaardigheid. Succesvol taal- en rekenonderwijs wordt steeds belangrijker. De 10 belangrijkste bouwstenen die we met dit onderzoek hebben achterhaald helpen om taalen rekenonderwijs stevig neer te zetten.
sturing en toezicht doen het goed, maar ook grote instellingen met verschillende scholen/locaties, met een sterke regie, goede organisatie, facilitering en goed georganiseerd toezicht boeken succes met taal en rekenen. Daar waar zowel beleid als regie wordt gevoerd en een focus is op het eindresultaat zijn de rendementen flink hoger dan bij instellingen waar een of meer elementen niet of nauwelijks zijn geborgd.
1 Stevige sturing op taal en rekenen leidt tot betere resultaten
Bij de invoering van de referentieniveaus stonden taal en rekenen veelal niet op de lessentabel van mboopleidingen. Alleen daar waar het relevant was voor het vakgebied was substantiële aandacht voor taal en rekenen. En dan vooral gericht op de beroepscontext en niet op het wegwerken van opgelopen achterstanden. Scholen beschikten dan ook zelden over docenten die waren opgeleid voor het geven van taal en rekenen. Voor het geven van rekenen bestaat niet eens een lerarenopleiding. In de praktijk wordt vooral gekeken naar welke docenten uren over hebben. In veel gevallen betekent dit dat lessen worden gegeven door docenten die daar niet voor zijn opgeleid en er soms zelfs geen affiniteit mee hebben. Vaak geven zij slechts enkele uurtjes rekenen en zijn ze amper voorbereid op hun taak. Dit kan een verklaring zijn voor de slechte resultaten die met name bij rekenen worden geboekt. Tegelijkertijd zien we in de onderzoeksdata opvallende voorbeelden van locaties en groepen die bijzondere resultaten boeken. Uit de
Binnen de 10 mbo-instellingen die aan het onderzoek hebben deelgenomen hebben we een breed scala aan manieren van sturing op taal en rekenen gezien: van instellingen die een stevige centrale regie voerden tot instellingen waar centrale regie vrijwel ontbrak. Maar ook decentraal zagen we afdelingen met een zeer sterke aansturing van en toezicht op het taal- en rekenonderwijs tot units waar nauwelijks sturing en toezicht was. Van regie alleen maar bestaand uit een beleidsplan taal en rekenen tot regie die zich niet alleen uitte in plannen, maar ook in aansturing, in daadwerkelijke organisatie en facilitering van mensen en middelen. En zagen we vaak wel beleid, maar dat kwam niet overeen met wat er in de praktijk gebeurde. Daar waar stevige regie zit op taal en rekenen, wat vertaald wordt naar concrete aansturing en facilitering, is het rendement hoger. Kleinschalige onderwijseenheden met
8
2 Een docent in zijn kracht boekt succes
interviews bleek dat daar waar groepen in rendement excelleren, de docent de bepalende factor is. Deze uitkomst komt overeen met die van grote internationale onderzoeken. Uit ons onderzoek blijkt dat docenten die affiniteit hebben met taal en rekenen en zijn getraind voor het geven van dit vak, die zich een groot deel van hun werkweek hierop toeleggen, die in staat zijn om te gaan met tempoverschillen van studenten en die zelf kunnen bepalen met welke methode ze werken en hoe hun les eruit ziet, betere resultaten boeken dan hun collega’s. Een competente, energieke docent die ruimte heeft om te kiezen en te handelen blijkt het verschil te kunnen maken. Het loont dan ook om de kwaliteit van de docent de doorslag te geven bij het samenstellen van een team en de docent een belangrijke rol te geven bij de keuze van lesmaterialen.
3 RT boven TR Moeten de taal- en rekenlessen apart worden georganiseerd of juist een integraal onderdeel vormen van de lessen? Laat je iedereen de taal- en rekenlessen volgen of bied je remedial teaching (RT) aan voor wie het nodig heeft? Moeten er aparte Taal- en Rekencentra (TR) komen of juist niet? Geïntegreerd? Generiek? Flankerend? Allemaal dilemma’s waar scholen voor staan sinds de invoering van de referentieniveaus. Bij de instroom in het mbo zijn er studenten die ver onder de norm scoren én studenten die al voldoende taal- en
is niet ingericht op getalenteerde studenten.’
rekenvaardig zijn. Beide groepen zijn lastig. Uit de data van dit onderzoek blijkt dat studenten met grote achterstand hun niveau nog wel redelijk weten te verhogen. Gek genoeg vormen de studenten die alleen maar ‘onderhoud’ nodig hebben een groter probleem. Uit de interviews blijkt dat scholen het vaak niet aandurven om taal- en/of rekenlessen voor deze studenten te skippen, uit angst voor de urennorm en voor de inspectie, maar ze vinden het ook vervelend studenten lessen aan te bieden waar ze niks aan hebben. Zoals een docent het treffend aangaf: “Sommige studenten kun je eigenlijk in één jaar 3F laten doen, maar daar is ons lesprogramma niet helemaal op ingericht. Als je
9
getalenteerd bent, heb je het eerste jaar een probleem, dan gaan we gewoon 2F overdoen. Maar als je ze laat doen wat ze allang kunnen, vervelen ze zich enorm en daar worden de scores alleen maar lager van.” Het mag duidelijk zijn dat studenten die hun niveau slechts hoeven te behouden om een ander onderwijsaanbod vragen dan studenten die een achterstand moeten wegwerken. Wel of niet integreren puzzelt veel instellingen. Integratie in de beroepsgerichte vakken blijkt bij technische opleidingen veel voor te komen en goed te kunnen. Net als dat de ontwikkeling van mondelinge taalvaardigheid prima samengaat met de beroepspraktijk van zorg- en welzijnsopleidingen.
Als het gaat om het wegwerken van substantiële achterstanden dan blijkt dat daar waar het taal- en rekenonderwijs dicht op het beroepsonderwijs wordt georganiseerd, het meeste rendement wordt geboekt. Studenten met taal- en/of rekenachterstanden generiek taal- en rekenonderwijs laten volgen aan een Taal- en Rekencentrum, vaak op een andere locatie, op het eind van de dag (soms zelfs op vrijdagmiddag) levert juist weinig rendement op. Kleinschalig onderwijsaanbod op de eigen afdeling, ingebed in het eigen rooster, met veel individuele aandacht op maat – een vorm van RT dus – werkt wel. Als taal- en rekenonderwijs in een Taal- en Rekencentrum wordt georganiseerd en gegeven in de vorm van RT, zien we ook successen.
‘Een taal leer je binnen de context, want binnen de context, daar leer je het meest.’
4 Beroepsgericht taalonderwijs als ambitie Het ontwikkelen van de taalvaardigheid in het mboonderwijs is een lastige opgave. De tijd is beperkt, zeker bij de niveau 1 en 2 opleidingen. En in die tijd moet ook nog een vak geleerd worden. Maar wat het vooral moeilijk maakt is dat het hier gaat om studenten die in het basisonderwijs en het voortgezet onderwijs vaak niet in staat zijn gebleken hun taalvaardigheid tot op het gewenste niveau te ontwikkelen. Hun leeftijd en hun ervaringen met taal in het verleden zullen hun motivatie niet positief beïnvloeden. Kortgezegd is het voor het mbo-onderwijs een grote opgave om studenten één en soms zelfs twee niveaus omhoog te helpen. Logisch dat deskundigen van het begin af aan hebben gepleit voor een gezamenlijke inspanning van de taaldocent met de vakdocent en de werkplek om achterstanden weg te werken1. Hoewel alle taaldocenten die we spraken dit standpunt onderschrijven, blijkt dit in de praktijk moeilijk van de grond te komen. Het meeste rendement wordt tot nu toe geboekt daar waar het taalonderwijs dat de taaldocent geeft, ondersteunend is aan de vakopleiding. Een taaldocent drukte het met passie als volgt uit: “Ik geloof dat je een taal leert binnen de context. Daar ben ik enorm voorstander van, omdat je daar het meest leert.” Om dit te kunnen realiseren moet de taaldocent echt deel zijn van het 1
10
team van de opleiding, weten wat er in de opleiding van studenten wordt gevraagd en daar dan op maat op aansluiten. Zoals een docent het uitlegde: “Mijn collega’s zeggen: ze moeten dát soort verslagen opleveren, leer ze dat alsjeblieft bij Nederlands.” Een andere taaldocent geeft aan dat ze studenten veel beter kan motiveren als ze hun kan laten zien waar ze een opdracht voor kunnen gebruiken. “Want dan hebben ze niet het gevoel dat ze extra werk doen, maar dat ze werk doen voor een ander vak waarbij Nederlands noodzakelijk is. En uiteindelijk levert dat het goede resultaat op.” Taalgericht beroepsonderwijs waarbij voor de taalontwikkeling een belangrijke rol is weggelegd voor de vakdocenten en de begeleiders op de werkplek is een doel waar taaldocenten naar blijven streven (veel van hen zijn opgeleid als taalcoach), maar de meesten realiseren zich dat het nu niet echt van de grond komt. Om op korte termijn stevig rendement in taalontwikkeling te realiseren, blijkt het effectiever om de weg van beroepsgericht taalonderwijs te kiezen.
Zie Drieslag Taal, praktijkboek taalbeleid in het mbo, 2009, ITTA en mbo 2010
11
5 Bij rekenen is nog veel te winnen
Het rekenonderwijs is nog zo pril, dat is nog lang niet op zijn eindpunt.
Uit de score-overzichten van de verschillende vaardigheden (zie bladzijde 25) blijkt het overduidelijk: de achterstand bij rekenen is groter dan bij taal. Bovendien zie je aan de scores dat de studenten in de zomerperiode terugvallen op het oude niveau en dat alle winst die voor de zomer is geboekt is verloren. Dit is zorgwekkend en om moedeloos van te worden. Over de haalbaarheid van de niveaus zijn de geïnterviewden verdeeld. Eén docent geeft zijn mening ongezouten weer: “Ik vind het eigenlijk misdadig wat er gebeurt ten aanzien van rekenen bij niveau 2. We weten echt dat deze studenten het niet kunnen en hun zelfvertrouwen gaat nu helemaal weg.” Hoewel niet iedereen zo uitgesproken is, wordt de zorg om rekenen breed gedragen. Men realiseert zich dat er maar één examen is. “Rekenen is ook het enige vak bij ons dat een cijfer oplevert waar je niet omheen kunt. Het is exact. Klaar. Je kunt er helemaal niets mee. Een groot deel zal het diploma niet halen, door het rekenen.” Anderen geven aan dat rekenen nog zo’n nieuw vak is, dat je het ook de tijd moet gunnen om te groeien. “Het kost gewoon tien jaar voordat je een goede doorlopende leerlijn hebt.” Weer een ander geeft aan: “We zijn constant bezig met het onderwijs te veranderen en te verbeteren en het rekenonderwijs is nog zo pril, dat is nog lang niet op zijn eindpunt.”
12
Uit het onderzoek komen naast al deze kritische geluiden ook lichtpuntjes naar voren. Sommige klassen boeken verbluffende resultaten met groepen studenten die door anderen als kansloos worden bestempeld. Maar het gaat niet vanzelf. Investeren in de competenties van rekendocenten loont. Ook affiniteit van de docent met rekenen betaalt zich terug. Geen versnippering van rekenuren over verschillende docenten. En geen uitstel van de invoering van de examens, want dat hebben veel docenten als fnuikend voor de motivatie van hun studenten ervaren.
6 Meer rendement door te toetsen Toetsen zijn een middel en geen doel. Van tevoren goed nadenken over wat je toetst, wanneer je toetst en waarom je toetst is van belang. Net als het overdenken van de stappen die je gaat zetten op basis van de uitkomsten. Veel mbo-instellingen hebben de afgelopen jaren getoetst omdat het ‘nu eenmaal moet’. Uit de interviews kwam regelmatig naar voren dat taal- en rekenvaardigheid bij de intake uitgebreid was gemeten, maar dat de docenten nauwelijks op de hoogte zijn van de behaalde resultaten. Op de vraag wat scholen doen met toetsresultaten gaf deze docent weer wat we vaker hoorden: “We doen veel te weinig. Dat is echt iets dat we moeten verbeteren. We doen er zeg maar niks mee.” Dan schiet toetsing zijn doel voorbij. Op basis van de toetsuitslag zou taal en rekenen ingericht moeten worden op maat van de student.
13
Op basis van de data kunnen we vaststellen dat daar waar studenten meerdere metingen krijgen, ze meer vooruitgang laten zien en betere COE-resultaten behalen. Scholen die serieus werk maken van toetsbeleid (van te voren bepalen hoe ze omgaan met de resultaten, afspraken maken over wat wanneer tussentijds gemeten wordt en grip houden op de eindresultaten) boeken meer rendement. Veel toetsen mag geen doel op zich zijn, maar regelmatig toetsen met de juiste keuze voor toetsinstrumenten blijkt goed uit te pakken2.
in alle regionen doorgaat, dan zouden we meer studenten al op 2F binnenkrijgen.” Door de invoering van examinering van taal en rekenen in het vmbo zal ook daar meer energie gestoken worden in taal en rekenen. Dat is gunstig voor het mbo. De data laat zien dat het mbo vooral in staat is de taal- en rekenvaardigheid te consolideren. Bij instroom vanuit het vmbo op niveau, kan het mbo waarmaken waar het voor bedoeld is: het leren van een vak met behoud van taal- en rekenvaardigheid.
den van het taal- en rekenbeleid in de opleidingsteams op zich een goede weg kan zijn. Het opent perspectieven voor de individuele docent om datgene te doen wat het beste bij hem past. Eén van de geïnterviewden vatte het passend samen: “Uiteindelijk is het wel het idee dat je als team verantwoordelijk bent voor de taal van je student. En dan moet je als team, als vakcollega’s, daarin getraind zijn en je daar bewust van zijn.” Toch zijn er ook aanwijzingen die pleiten voor het behouden van de regie door een expertteam Taal en Rekenen.
7 In het vmbo is winst te boeken
Maar zover is het nog niet. Het instroomniveau groeit, maar is nog lang niet op orde. Regionaal zijn er de nodige samenwerkingsverbanden tussen mbo-instellingen en toeleverende vmbo-scholen. De kennis en ervaring van het mbo op het gebied van taal- en rekenonderwijs delen met het vmbo kan helpen het invoeringsproces in het vmbo te versnellen.
Het al doende ontwikkelen van goed rekenonderwijs vraagt nog de nodige zorg: leren van best practices, investeren in de kwaliteit van docenten en het geven van ruimte aan docenten. Dit vraagt om afstemming en sturing van bovenaf. Daarnaast laat het onderzoek zien
Voor mbo-instellingen is het lastig om binnen de beperkte opleidingstijd en naast de aandacht die er moet zijn voor de ontwikkeling van de vakbekwaamheid, voldoende rendement te boeken op taal en rekenen. Tegelijkertijd onderschrijven alle geïnterviewden het belang van voldoende taal- en rekenvaardigheid, vooral gekoppeld aan dat wat nodig is voor de beroepspraktijk. De afgelopen jaren groeit de aandacht voor de ontwikkeling van taal- en rekenvaardigheid in het vmbo voorzichtig. Hierdoor stromen studenten vaardiger het mbo-onderwijs binnen. Docenten beamen dat: “Ik kan merken dat ze iets beter van het vmbo afkomen. Dus stel dat daar nog meer op ingezet wordt, en dat het inmiddels
Belangrijk is te vermelden dat deze conclusie geldt daar waar gebruikgemaakt wordt van een leerstofonafhankelijk toetssysteem, zoals de TOA.
2
14
8 Teams aan zet Op vrijwel alle mbo-instellingen is discussie over het belang van de teams Taal en Rekenen, zoals die bij de invoering van de referentieniveaus vrijwel overal zijn opgericht. Deze teams hebben vooral de functie gekregen het taal- en rekenonderwijs als een soort taskforce van de grond te tillen. Nu het taal- en rekenonderwijs is opgestart overwegen veel mbo-instellingen de aparte Taal- en Rekenteams op te heffen. Er zijn factoren in dit onderzoek die erop wijzen dat het inbed-
‘Uiteindelijk ben je als team verantwoordelijk voor de taalvaardigheid van je student.’
dat stevige sturing op organisatie, proces en resultaat van belang is voor het behalen van hoge rendementen. Als we taal- en rekenonderwijs inbedden in de opleidingsteams, vraagt dat om borging van die regie op teamniveau. En om als mbo-instelling goed zicht te kunnen houden op de totale rendementen is het belangrijk goede afspraken te maken over wanneer en wat getoetst wordt. Leerstofonafhankelijk toetsen maakt het mogelijk om de resultaten tussen teams binnen de instelling en tussen instellingen te vergelijken. Dat is heel belangrijk, want ook de komende tijd moeten we zicht houden op wat wel en niet werkt. En is het in het belang van de student dat de kans om te slagen zo groot mogelijk blijft.
9 Motivatie is de sleutel tot succes De student in het mbo zet zich niet gemakkelijk tot leren als hij ergens het nut niet van inziet. Niet voor niks is gekozen voor een nauwere aansluiting bij de beroepspraktijk middels de huidige generatie kwalificatiedossiers. Veel studenten zitten niet te wachten op taal en rekenen. Zeker als de relevantie voor het vak ver te zoeken is. Docenten Helpende Zorg en Welzijn bijvoorbeeld, ervaren een enorm gebrek aan motivatie voor rekenen. Studenten in niveau 1 en 2 zijn vaak blij dat ze het voortgezet onderwijs achter zich hebben kunnen laten en ‘eindelijk’ een vak gaan leren. Zij zijn moeilijk te motiveren voor taal en rekenen. De enige prikkel die er nu is, is dat er een examen komt. Uitstel van de invoering van de
15
verplichte examens was funest voor de motivatie, geven veel geïnterviewden aan. Docenten ervaren de beste motivatie als de taal- en rekenlessen nauw aansluiten bij wat de studenten nodig hebben of belangrijk vinden voor hun opleiding. “Je moet vooral laten zien wat de relatie is met de beroepspraktijk. Als je aandacht hebt voor de praktijk, van waarom leer je dit voor jouw vak, waarom is het belangrijk, waarom zijn we hiermee bezig, en dat je dat je het ook terug kan laten zien in opdrachten, dan motiveert het de student ontzettend.” Zo ervaren rekendocenten minder motivatieproblemen bij de technische opleidingen en taaldocenten minder problemen bij de opleidingen voor Zorg en Welzijn. Met uitzondering van Taalverzorging. Daarvoor ontbreekt in de volle breedte de motivatie. Een docent verwoordde het krachtig: “Het is zo uitzichtloos. Het interesseert ze niet. Echt, het interesseert ze geen biet. En toch moet het als je je diploma wilt halen. En dat is het probleem.”
Het geven van taal- en rekenonderwijs vraagt veel van de docent. Hij moet ervoor zorgen dat hij de studenten weet te motiveren en tegelijkertijd over voldoende expertise beschikt om achterstanden adequaat weg te werken. Alleen een docent die zelf gemotiveerd is en in zijn kracht staat kan deze taak aan.
‘Als de IQ’s uiteenlopen van 70 tot 170, dan wil je wel een scheiding aanbrengen.’
16
10 Maatwerk als standaard We zijn bij de laatste bouwsteen van succesvol taal- en rekenonderwijs aangekomen. Telkens weer blijkt dat maatwerk het toverwoord is. De docent die de studenten op maat weet te bedienen met een methode die bij hem past, boekt grotere successen. Van generiek onderwijs zien mbo-studenten het belang niet. Met maatwerk stijgt de motivatie. Daar waar de taal- en rekenlessen aansluiten op wat nodig is voor de opleiding - maatwerk dus - gaan de resultaten omhoog. De keuze van veel technische opleidingen om rekenen niet apart aan te bieden, omdat rekenvaardigheid al voldoende aan bod komt bij het vakonderwijs, is ook een vorm van maatwerk die werkt. Op het niveau van beleid is het belangrijk onderscheid te maken in beleid en aanpak.
Een docent van een entree-opleiding legt uit: “Als de IQ’s uiteenlopen van 70 tot 170, en dat zit er allemaal bij elkaar, dan wil je wel die scheiding aanbrengen. Een aantal studenten begon onder 1F en een aantal werkte meteen op 3F, omdat ze vrijwel meteen op het niveau van een niveau 4 opleiding zaten.” Differentiëren is niet makkelijk, maar loont wel. Daar waar docenten er goed in zijn, zien we indrukwekkende resultaten. Hetzelfde geldt voor instellingen waar in de logistieke organisatie meer maatwerk is en voor scholen waar beleid is afgestemd op wat past bij de opleidingen. Op alle vlakken is maatwerk het devies.
Wat het beste beleid en de beste aanpak is, kan per opleiding of sector verschillen. Juist geen onderwijs aanbieden omdat de student al op niveau is, is ook een vorm van maatwerk. Nu zien we met regelmaat studenten die toetsen niet serieus maken, omdat een goede score toch niet leidt tot vrijstelling. Ook hier leidt maatwerk tot meer rendement. En de student met een grote achterstand gaat vooruit in een kleinschalige beroepsgerichte taalles, ingebed in het vakonderwijs. Veel docenten geven aan het moeilijk te vinden te differentiëren in de lessen en houden vast aan klassikaal onderwijs. Veel docenten zien dat dit niet goed werkt.
17
Het onderzoek De opzet van het onderzoek Bureau ICE heeft in de afgelopen jaren met het digitaal toetssysteem TOA de resultaten van 3 miljoen toetsafnames van ruim 700.000 studenten verzameld. Dit levert inzicht in de taal- en rekenvaardigheid van de huidige mbo-populatie. Tien mbo-instellingen hebben niet alleen hun toetsdata ter beschikking gesteld, maar waren ook bereid mee te werken aan diepte-interviews. We hebben sleutelfiguren voor taal en rekenen geïnterviewd. In totaal hebben we 58 personen gesproken, verdeeld over 10 instellingen. Ook hebben wij een onlineenquête gehouden onder de docenten van deze instellingen. In totaal hebben 119 docenten de enquête ingevuld. Zo hebben we een goed en representatief beeld van hoe het eraan toe gaat in het taal- en rekenonderwijs in het mbo en hoe de studenten in het mbo presteren op taal- en rekenen. Aan de hand van de scores op de referentieniveautoetsen lezen, luisteren, rekenen en taalverzorging is gekeken naar het niveau van de deelnemers aan de start van hun opleiding (ingangsniveau), hun vooruitgang gedurende de opleiding en het rendement dat tussen toetsmomenten behaald wordt. Bij analyse van de data is gebleken dat de 10 deelnemende mbo’s samen een gelijk aan het landelijk gemiddelde instroomniveau hebben. De representativiteit van de scores is daarmee geborgd. Ook voor het uitstroomniveau geldt dat de deelnemende mbo-instellingen vergelijkbaar aan het landelijk gemiddelde scoren op de Centraal Ontwikkelde Examens (COE). We hebben
18
dit kunnen vaststellen, omdat een deel van de 10 instellingen ook hebben meegedaan aan de pilot voor het COE voor Nederlands en rekenen en bereid was deze data met Bureau ICE te delen.
Inhoud van de interviews Bij het kwalitatieve deel van het onderzoek is gefocust op factoren die vanuit de literatuur bezien van belang lijken te zijn bij het taal- en rekenonderwijs. Dit zijn zowel factoren op beleidsniveau als op uitvoeringsniveau. Aan de hand van deze factoren hebben we de belangrijkste sleutelfiguren voor taal en rekenen bevraagd. We hebben met hen gesproken over de volgende punten: • in welke (management)laag worden welke beslissingen genomen? • wat is er centraal geregeld (voorgeschreven) en wat op het niveau van de opleidingsteams? • hoeveel uur voor taal en rekenen staat er op de lessentabel, wat is de groepsgrootte? • hoeveel uren zelfstudie worden er voorgeschreven? • wordt bij de samenstelling van de klas rekening gehouden met het ingangsniveau (wordt er gedifferentieerd en zo ja, opleidingoverstijgend of niet)? • wat is de ‘kwaliteit’ van de docenten (ervaring, opleiding, professionalisering)? • welke methode(n) wordt gebruikt en aan wie is de keuze voor een methode? • in hoeverre vindt er integratie van het generieke vak met het beroepsgerichte vak plaats?
19
We hebben in de interviews achterhaald in hoeverre beslissingen en keuzes instellingsbreed zijn genomen en hebben dit gecontroleerd met de enquête-antwoorden van de docenten.
dit doel heeft Bureau ICE de reguliere niveau-uitslag uitgebreid met een zogenaamde ontwikkelscore. Met de ontwikkelscore wordt vooruitgang inzichtelijk gemaak zónder dat een student een referentieniveau vooruit hoeft te zijn gegaan; een verfijndere waarde dus. De ontwikkelscore geeft voor alle vaardigheden en voor alle toetsen een score weer op de lijn 0F-4F (3F voor rekenen).
Ontwikkelscores als basis voor vergelijkingen
We doen veel te weinig met de toetsresultaten. Dat is echt iets wat we moeten verbeteren.
Om het rendement dat een student boekt tijdens de opleiding te kunnen meten, moeten de toetsresultaten met elkaar vergeleken kunnen worden. Vooruitgang die de student heeft geboekt moet snel zichtbaar zijn. Met
OF
0
30
Tabel 1
20
1F
60
70
Het scoreverloop ziet er als volgt uit:
2F
80
90
3F
100
110
4F
120
130
140
Ontwikkelscores bij de referentieniveaus
21
De ontwikkelscore wordt berekend aan de hand van het niveau van de toets en de behaalde procentuele score. Per instelling hebben we alle toetsresultaten van de afgelopen twee schooljaren verzameld per vaardigheid. Ten behoeve van het onderzoek zijn deze twee schooljaren opgedeeld in vier periodes: de eerste helft van 2011-2012 t/m de tweede helft van 2012-2013. Per periode hebben we per student en per vaardigheid het toetsresultaat in het onderzoek meegenomen3.
Overzicht van afgenomen TOA-toetsen voor de referentieniveaus In de cirkeldiagrammen hiernaast is te zien hoeveel referentieniveautoetsen de afgelopen jaren in de TOA zijn gemaakt en hoe de afnames verdeeld zijn per vaardigheid over de verschillende niveaus van mbo-opleidingen.
Aantal afgenomen leestoetsen per niveau
Aantal afgenomen toetsen taalverzorging per niveau
[N=110.273]
[N=46.926]
4% 23%
14%
3%
20%
24% mbo 1 [n=4093]
21% 32%
mbo 2 [n=22543]
mbo 1 [n=1239] mbo 2 [n=11415]
36%
mbo 3 [n=22972]
23%
mbo 4 [n=35696]
We hebben alle toetsresultaten op de referentietoetsen Nederlands lezen, luisteren, taalverzorging en rekenen van de afgelopen jaren gebruikt om de gemiddelde score per niveau per periode vast te stellen. Vervolgens zijn op het niveau van een individuele mbo-instelling de scores per niveau per periode per vaardigheid vergeleken met dit landelijk gemiddelde. Zo kon inzichtelijk gemaakt worden hoe de mbo-instelling presteert ten opzichte van collega-instellingen. Maar ook welke scores een locatie binnen een mbo-instelling weet te behalen en hoe de ene opleiding presteert ten opzichte van de andere opleidingen.
onbekend [n=24969]
22
onbekend [n=6461]
Aantal afgenomen rekentoetsen per niveau
[N=95.361]
[N=102.212]
4% 24%
23% 20%
3% 21%
mbo 1 [n=3795]
32%
In de praktijk blijken studenten soms in een korte periode meerdere toetsen voor dezelfde vaardigheid voorgelegd te krijgen. In die situaties is ervoor gekozen de hoogste score mee te nemen in de berekeningen.
mbo 4 [n=17005]
Aantal afgenomen luistertoetsen per niveau
20%
3
mbo 3 [n=10806]
mbo 2 [n=19193] mbo 3 [n=19399] mbo 4 [n=30136] onbekend [n=22838]
mbo 1 [n=3148] mbo 2 [n=21093]
32% 21%
mbo 3 [n=21867] mbo 4 [n=32322] onbekend [n=23782]
23
Voor het vaststellen van het rendement van een student voor een vaardigheid moeten er minimaal twee meetmomenten zijn. In onderstaande tabel is aangegeven van hoeveel periodes (maximaal vier) er een toetsresultaat van een student voorhanden is. Deze gegevens zijn te vinden in tabel 3. Bijvoorbeeld, voor lezen is van 4895 studenten van drie periodes een resultaat beschikbaar. Uit de tabel blijkt dat van het overgrote deel van de mbo-studenten maar één resultaat op één toets beschikbaar is. Aan de data kunnen we zien dat het overgrote deel van hen bij de start van het onderwijs een toets heeft gemaakt.
Naast TOA-data heeft een deel van de deelnemende mbo-instellingen ook COE-gegevens van verschillende studenten aangeleverd. Deze gegevens zijn te vinden in tabel 4.
lezen
P1
P2
mbo-1 + AKA
62
63
mbo-2
72
74
P3
P4
P5
P6
P7
P8
overall data
12000
72
74
62804
mbo-3
81
82
81
83
85
87
69674
mbo-4
90
91
91
93
93
94
95
95
108883
luisteren
P1
P2
P3
P4
P5
P6
P7
P8
overall data
mbo-1 + AKA
71
72
11188
mbo-2
80
82
81
83
54318
mbo-3
88
89
89
91
95
96
58085
mbo-4
96
100
98
103
102
104
104
105
90549
Nederlands Nederlands Rekenen Rekenen 2F 3F 2F 3F
2011-2012 2012-2013
310 6627
940 7548
342 5968
947 5833
Tabel 3 COE-gegevens (N) Nederlands en rekenen 2011-2012 en 2012-2013
Lezen Luisteren Taal- Rekenen verzorging 1x
74245
71991
40871
76853
2x
30498
20534
5586
21601
3x
4895
2620
454
3325
4x
635
216
15
433
110273
95361
46926
102212
Totaal
In de tabel op de rechterpagina is per mbo-niveau per periode 4 zichtbaar hoe de studenten landelijk gemiddeld scoren op de referentietoetsen van de TOA, uitgedrukt in ontwikkelscores. Voor de hogere mbo-niveaus zijn data over meerdere periodes beschikbaar omdat deze opleidingen langer duren.
Tabel 2 Aantal afgenomen toetsen P1 is de eerste helft van het eerste leerjaar, P8 is de tweede helft van het vierde leerjaar. P staat voor periode.
rekenen
P1
P2
mbo-1 + AKA
60
63
mbo-2
68
72
mbo-3
73
77
mbo-4
79
82
P3
P4
P5
P6
P7
P8
overall data
5730
68
72
39599
73
77
72
77
41015
79
83
79
83
81
86
58888
taalverzorging
P1
P2
P3
P4
P5
P6
P7
P8
overall data
mbo-1 + AKA
70
71
3318
mbo-2
78
79
77
77
18774
mbo-3
84
85
84
84
84
84
18901
mbo-4
90
91
90
91
91
93
89
89
28831
4
24
Mbo 2 en mbo 3 moeten op niveau 2F zitten (score=80-100); mbo 4 op 3F (score=100-120).
5
Tabel 4 Ontwikkelscores per periode, vaardigheid en niveau5.
25
Een aantal zaken valt op in deze data. Ten eerste is heel duidelijk dat hoe hoger het opleidingsniveau, hoe groter de vaardigheid van de student op taal en rekenen is bij de instroom in het beroepsonderwijs. Niveau 4 is vaardiger bij binnenkomst dan niveau 3, niveau 3 vaardiger dan niveau 2 en niveau 2 vaardiger dan niveau 1. Dit geldt zowel bij taal als bij rekenen. Ten tweede is de progressie die gedurende het onderwijs wordt geboekt op taal en rekenen niet op alle onderdelen even groot. Gemiddeld genomen gaan de studenten er een kwartniveau op vooruit. Het mbo-onderwijs lijkt gemiddeld genomen vooral goed in het onderhouden van de taal- en rekenvaardigheid, en is niet zozeer in staat om achterstanden weg te werken tot op het doelniveau. Op taalverzorging wordt zelfs vrijwel geen progressie geboekt. Bij luisteren halen de studenten het eindniveau wel, met uitzondering van niveau 1. Dit lijkt niet zozeer toe te schrijven aan het onderwijs op het mbo, maar wordt vooral veroorzaakt door het feit dat ze grotendeels al instromen op het beoogde eindniveau. Bij rekenen zien we weer een heel ander fenomeen. Hier zien we studenten groeien gedurende het onderwijs en weer terugvallen in de zomervakantie. Dit zogenaamde ‘zaagtandmodel’ is zorgwekkend. Alleen aan het eind van niveau 4 zien we een substantiële vooruitgang. Ten slotte
blijkt dat alleen de mbo 3-studenten enigszins op alle generieke vaardigheden in de buurt komen van het vereiste eindniveau. Voor mbo 2 en 4 zijn de problemen voor wat betreft het behalen van het eindniveau groot, vooral bij rekenen.
Instroomniveau rekenen
55
We hebben ook analyses gemaakt van kenmerken van instellingen in relatie tot behaalde rendementen. Door te kijken naar het rendement en hierbij rekening te houden met zowel instroomniveau als sector kan er een rangvolgorde gemaakt worden tussen de verschillende instellingen. Vervolgens is aan de hand van die rangvolgorde bekeken welke overeenkomsten en verschillen er tussen de instellingen zijn qua grootte, ligging en sturing op beleid. Daaruit blijkt dat bijvoorbeeld de regionale ligging en grootte geen invloed hebben op het rendement (wel op het instroomniveau). De mate van sturing op beleid en rendement blijkt wel effect te hebben op de behaalde rendementen.
59
65
62
67
70
70
71
75
75
76
82
2010 2011 2012 mbo 1
mbo 2
mbo 3
mbo 4
Instroomniveau lezen
59
63
64
68
69
72
72
75
80
81
80
87
88
89
Bij nadere analyse van de data is nog een opvallende trend zichtbaar. Ieder jaar stromen de studenten gemiddeld vaardiger in. Zowel bij Rekenen als bij Lezen.
90
2009 2010 2011 2012 mbo 1
mbo 2
mbo 3
mbo 4
Tabel 5 Gemiddeld instroomniveau voor rekenen en lezen per jaar en mbo-niveau.
26
27
Het lijkt er zelfs op dat het rendement dat in het mbo gerealiseerd wordt minder groot is dan de winst die behaald wordt in het voortgezet onderwijs. Oftewel, het verschil tussen twee opeenvolgende cohorten is groter dan het rendement tijdens de mbo-opleiding. Dit zou betekenen dat ieder volgend cohort ook uitstroomt met dit aanvangsverschil. Dat blijkt niet zo te zijn. Hoe lager de instroom in het mbo, hoe groter het rendement daar. De ontwikkeling van de taal- en rekenvaardigheid lijkt groter bij de lagere niveaus of het rendement lijkt bij een hoger instroomniveau te worden geremd door een zekere mate van plafondwerking.
Verschillen tussen sectoren Zijn er verschillen in scores tussen de sectoren? Is de groei in de ene sector groter dan in de andere? En verschilt het nog per niveau, per sector? Om deze vragen te kunnen beantwoorden, hebben we een onderverdeling gemaakt naar sectoren. Hier zijn we pragmatisch te werk gegaan. We hebben de opleidingen toebedeeld aan een grove indeling in drie sectoren: alfa (Zorg en Welzijn), bèta (Techniek) en gamma (Economie en Handel). Op deze wijze zijn de rendementsdata van de afgelopen twee leerjaren van zeven deelnemende instellingen samengevoegd. We hebben de verschillen in jaarrendementen (2011-2012 en 2012-2013) onderzocht voor Lezen en Rekenen.
Aantal vervolgmetingen Lezen per niveau en sector [N=11.938] 2072 1750
1188 914
1188 737
614 101
1299 1019 719
sector alpha
337
sector beta sector gamma
mbo 1
mbo 2
mbo 3
mbo 4
Tabel 6 Verdeling totale data van 11938 metingen tussen twee momenten over niveaus en sector
28
29
sector
alpha
beta
gamma gemiddeld
mbo 1
3,3
3,3
5,1
3,9
mbo 2
1,2
3,2
4,1
3
mbo 3
4,4
0,1
3,3
3
mbo 4
1,2
2,6
3
2,1
gemiddeld
2,3
2,3
3,6
2,7
De verschillen tussen de sectoren blijken vrij klein te zijn, maar duidelijk zichtbaar is de trend dat er binnen de gammasector het meeste rendement op Lezen behaald wordt. Meer rendement kan vooral verband hebben met lagere instroom. Deze trend is duidelijk zichtbaar als de rendementen tussen 2011-2012 en 2012-2013 worden vergeleken. In het eerste jaar is het rendement aanzienlijk groter, maar het instroomniveau navenant lager. Het eindniveau tussen beide leerjaren is heel vergelijkbaar. Daarom hebben we ook gekeken naar het instroomniveau, oftewel het niveau van de eerste van de twee gemaakte toetsen, waartussen het rendement vervolgens is gemeten.
Tabel 7 Gemeten rendement in ontwikkelscorepunten
Gemiddelde ontwikkelscore 1e toets lezen per sector en niveau 100
Je kunt studenten veel beter motiveren als je ze laat zien waar ze een opdracht voor kunnen gebruiken.
90 80 70 60 50 40
mbo 1
30
mbo 2
20
mbo 3
10
mbo 4
0 alpha
beta
gamma
Tabel 8 Gemiddelde ontwikkelscore van de eerste toets
30
31
Rekenen Aantal vervolgmetingen Rekenen per niveau en sector
Gemiddelde ontwikkelscore 1e toets rekenen per sector en niveau
[N=7713]
100
1318
90 80
928 776
70
872 762
703
711
60
530
50
577
345
40 sector alpha
156
sector beta
35
sector gamma
mbo 1
mbo 2
mbo 3
mbo 4
Tabel 9 Totale data van 7713 metingen tussen twee momenten per sector en per niveau
sector
alpha
beta
gamma gemiddeld
mbo 1
7,2
6,8
6
6,8
mbo 2
7
5,3
5,5
5,9
mbo 3
6,7
5,1
4,2
5,3
mbo 4
4
5,7
5,5
5,1
gemiddeld
6
5,4
5,2
5,5
De verschillen tussen de sectoren blijken niet groot te zijn, maar duidelijk zichtbaar is de trend dat er binnen de alphasector het meeste rendement op rekenen behaald wordt.
mbo 1
30
mbo 2
20
mbo 3
10
mbo 4
0 alpha
beta
gamma
Tabel 11 Gemiddelde ontwikkelscore van de eerste toets
Als we vervolgens naar het beginniveau (tabel 11) kijken, blijkt dat het meeste rendement samengaat met het laagste instroomniveau. Over het geheel genomen blijkt dat studenten binnen de Technieksector de hoogste scores voor rekenen behalen, gevolgd door studenten van Economie en Handel. Het verschil tussen Economie en Handel enerzijds en Zorg en Welzijn anderzijds wordt vooral gemaakt door de leerlingen van niveau 2 en 3. Bij niveau 1 en 4 zijn de instroomscores voor de beide sectoren (alfa en gamma) nagenoeg hetzelfde.
Tabel 10 Gemeten rendement in ontwikkelscorepunten
32
33
We kunnen bouwen! Met de 10 bouwstenen voor succesvol taal- en rekenonderwijs kan iedere mbo-instelling nu aan de slag. Niet iedereen op dezelfde manier. De bouwstenen moeten ingepast worden in de eigen organisatie. Hoe je een stevige regie op taal en rekenen vormgeeft, kan op een grotere instelling anders uitpakken dan op een kleinere instelling. Maar zorg wel voor regie. En hou een vinger aan de pols door met regelmaat, zinvol en leerstofonafhankelijk te toetsen. Ga efficiënt om met de competenties van docenten. Zeker bij rekenen vraagt dit nog om inspanningen.
Breng het taal- en rekenonderwijs letterlijk en figuurlijk dicht bij de leerlingen en dicht bij de beroepspraktijk. Laat de inhoud van de lessen zoveel mogelijk aansluiten bij wat de opleiding van de leerlingen vraagt. Dit motiveert, en motivatie is essentieel voor succes. Maatwerk voor alles. En als we ook vmbo’s kunnen motiveren al actief en goed met taal en rekenen aan de slag te gaan, dan gaan we zeker rendementen boeken. Dan is streefniveau niet langer een onbereikbare ambitie, maar een haalbaar perspectief!
‘Ik kan merken dat studenten iets beter van het vmbo afkomen.’
34
35
Bouwstenen voor succesvol taal- en rekenonderwijs In het beroepsonderwijs is de afgelopen jaren gezocht naar de beste weg naar goed taal- en rekenonderwijs. In 2013 heeft Bureau ICE onderzoek gedaan naar welke factoren taal- en rekenonderwijs tot een succes maken. We analyseerden de data uit ons online toetssysteem TOA (ruim 3 miljoen gemaakte toetsen) en namen op 10 mbo-instellingen diepte-interviews af. Dankzij dit onderzoek weten we meer. Veel meer. Wat werkt en wat zou kúnnen werken in taal- en rekenonderwijs. Deze informatie delen wij graag met u, met deze brochure.
BUREAU ICE Postbus 189
T 0345 - 65 66 10
[Bank] 68.27.35.221
[Kvk] 11028.918
4100 AD CULEMBORG
F 0345 - 54 98 46
[IBAN] NL85INGB0682735221
[ISO] 9001-2008 gecertificeerd
M
[email protected]
[BTW] NL8035.69.683B01
Godfried Bomansstraat 4 4103 WR CULEMBORG
toets.nl
