toetsvisie Van toetsen naar toetsbeleid in het hbo Welkom in Portfoliowereld Citogroep en TCE ontwikkelen digitale checklist examens

Van toetsen naar toetsbeleid in het hbo Welkom in Portfoliowereld Citogroep en TCE ontwikkelen digitale checklist examens

toetsvisie

nummer 8 jaargang 3 maart 2003

3 3

Hoofdredactioneel

Willem Spee, directeur units BVE en HO

Op 18 februari 2003 had ik de eer als key note spreker te mogen optreden op een landelijk congres over het thema “Anders opleiden, anders toetsen”. Mijn rol was om enkele prikkelende opmerkingen te maken over wat zich op dit moment afspeelt in de

4

Van toetsen naar toetsbeleid in het hbo

Wil Knappers en Annemarie Broekman

wondere wereld van het competentiegericht opleiden en toetsen. Even afgezien van het feit dat er niet bepaald sprake is van een eenduidige definitie van het begrip, is het wel duidelijk dat er sprake is van een onomkeerbare ontwikkeling die instellingen voor BVE en HO niet alleen met praktische, maar ook met strategische vragen confronteert.

8

Welkom in Portfoliowereld

Deel 1 van een drieluik door Nelleke Louwerse

10

Energie besparen is geld besparen

door Anne-Marie Speijers en Imke Tegels

12

Kwaliteit examinering ROC’s nog niet optimaal

Henk Moelands en Jan van Weeren

14

Citogroep en TCE ontwikkelen digitale checklist examens

Willem Spee directeur units BVE en HO [email protected]

Toetsvisie in gesprek met Jan van weeren Zo wordt de relatie met de (beroeps)praktijk bij competentiegericht leren en beoordelen zeer veel belangrijker. En aan die relatie is nog veel te verbeteren en wel op alle niveaus. Voor ons als Citogroep kijken we dan natuurlijk in eerste instantie naar de beoordelingskant en dan zien we dat er nog heel wat werk verzet zal moeten worden om tot goede, dat wil zeggen valide en betrouwbare, beoordelingen van beroepspraktijksituaties te komen en om de samenwerking op dit punt tussen onderwijs en bedrijfsleven veel inniger te maken dan ze nu in veel gevallen is.

inhoudsopgave

hoofdredactioneel

Aan de onderwijskant merken we, zeker door het uitvoeren van de audits op basis van de Kwaliteitsmonitor® Examinering, hoe belangrijk het is dat er sprake is van integraal toetsbeleid waarin zowel de uitgangspunten als het toetsproces en de toetsproducten helder zijn gepositioneerd. Met een beleid dat aan deze eisen voldoet kan de opleiding veel beter de dialoog aan met de beroepspraktijk. Het betreft dan de plaats van de praktijk in de beoordeling van de student en de manier waarop de beroepspraktijk intensief bij het beoordelingsproces betrokken kan worden. Dat dat laatste aspect in de BVE-sector een van de standaarden is waarop de instellingen door het Kwaliteitscentrum Examinering zullen worden beoordeeld, is natuurlijk ook niet onbelangrijk. Maar ook het hoger onderwijs zal zich niet onbetuigd kunnen laten op het punt van toetsbeleid. Hoewel het Nationaal Accreditatie Orgaan nog nader zal moeten aangeven welke normen men hanteert bij de beoordeling, is de aanwezigheid van geëxpliciteerd en vastgelegd beleid zeker een kwaliteitskenmerk waarnaar gekeken zal worden.

In het artikel van Annemarie Broekman van de Hogeschool InHolland wordt ingegaan op de ontwikkeling van het toetsbeleid binnen deze hogeschool. Daarnaast blijft het natuurlijk belangrijk om niet alleen het beleid vorm te geven, maar ook de instellingen te voorzien van de goede instrumenten. Het “portfolio” blijft daarbij het toverwoord. In veel gevallen blijkt het vervolgens zeer moeilijk om zicht te krijgen op de techniek achter de tovertruc, met andere woorden op de precieze opzet van een portfolio, inclusief de organisatorische consequenties. Binnen de units BVE en HO is een groot innovatieproject gestart onder de naam “Portfoliowereld”. Daarin werkt de Citogroep samen met een aantal BVE-instellingen aan de praktische uitwerking van het portfolio. Gezien de grote aandacht voor dit onderwerp, zullen we er regelmatig in Toetsvisie over berichten. In dit nummer doen Emiel van Puffelen en Nelleke Louwerse de aftrap voor deze artikelenreeks.

taten van een nul-meting die de unit BVE in opdracht van de Bve Raad heeft uitgevoerd over de kwaliteit van de examinering in de BVE-sector. Tijdens de Bve Raadconferentie van 28 januari jongstleden werd breed de conclusie getrokken dat er vooruitgang is in de kwaliteit van de toetsproducten, maar dat met name de proces- en organisatiekant nog veel aandacht verdient. En dat is dan weer een belangrijke vingerwijzing voor de invulling van onze taak als ondersteuner. Met deze en de nadere bijdragen die hier niet de revue zijn gepasseerd, hopen wij u weer een nuttige en aangenaam leesbare Toetsvisie aan te bieden. En als altijd ontvang ik graag uw reacties en suggesties op het gebodene.

Tenslotte wijs ik u nog op het artikel van Jan van Weeren waarin hij ingaat op de resul-

Willem Spee, directeur units BVE en HO ✍ deskundigheid

van toetsen naar toetsbeleid

5 Toetsbeleid ook voor hbo Sosa (Sector Opleidingen Sociale Arbeid) verzorgt voor volwassenen zowel deeltijd mbo-opleidingen als deeltijd hbo-opleidingen in de sociaal agogische sector. Binnen Sosa geldt het uitgangspunt dat mbo en hbo vergelijkbare inrichtingen en gelijke kwaliteit dienen te hebben op het terrein van toetsing en examinering. Al snel waren Annemarie en Wil het er over eens dat de “hbo-poot” van de hogeschool de huidige ontwikkelingen binnen het mbo qua toetsing en toetsbeleid zou volgen, niet alleen vanwege het gezamenlijke uitgangspunt maar tevens vanuit de idee dat op die manier de beroepskolom mbo-hbo binnen Sosa beter tot z’n recht komt.

Van toetsen naar toetsbeleid in het hbo

Sosa vroeg Citogroep enerzijds enkele trainingen aan mbo- en hbo-docenten te verzorgen op het gebied van het construeren van toetsmatrijzen, schriftelijke toetsing en vaardigheidstoetsing. Anderzijds werd gevraagd om deelname in een projectgroep “Toetsbeleid hbo” om samen met een aantal docenten toetsbeleid te formuleren en zorg te dragen voor een (gedeeltelijke) implementatie ervan. Dit omvangrijke project heeft een looptijd van anderhalf tot twee jaar en zal medio 2003 worden afgerond.

Op weg naar competentiegericht opleiden Volgens een in februari 2002 opgesteld projectplan “ontbreekt een duidelijke visie op het ontwikkelen van hbo-toetsen; kwaliteit van de toetsen is nu onvoldoende te meten.” Beoogd resultaat is o.a. een conceptnotitie met daarin de uitgangspunten van het nieuwe toetsbeleid, een toetsplan per opleiding en randvoorwaarden en criteria voor een implementatieplan.

(inmiddels Sosa INHOLLAND geheten) om ondersteuning te bieden bij het schrijven

Een analyse van de situatie in 2002 leerde dat er nu veel (en voornamelijk goed overigens) wordt getoetst binnen het hbo, maar dat het hier vooral kennis- en vaardigheden-toetsen betreft. Sosa wil uitdrukkelijk competentiegericht gaan opleiden en dus ook competentiegericht meten en beoordelen. Belangrijke randvoorwaarde om dat doel te kunnen bereiken is een helder toetsbeleid. Daarnaast is in de trainingen hard gewerkt aan competentiegerichte beoordelingsinstrumenten.

van een Handboek Examinering voor de “mbo-poot” van Sosa. Als adviseur/trainer heeft

Projectgroep Toetsbeleid hbo

In 2001 werd Citogroep benaderd door de toenmalige Sosa Hogeschool Haarlem

Wil Knappers dit op zich genomen. Zo is hij in contact gekomen met het hoofd van het examenbureau Sosa, Annemarie Broekman.

Doelstelling van de projectgroep “Toetsbeleid hbo” is om samen met een aantal docenten toetsbeleid te formuleren en zorg te dragen voor een (gedeeltelijke) implementatie ervan.

De projectgroep die deze ‘klus’ mag klaren omvat, naast een projectleider (Annemarie Broekman) nog 11 personen vanuit drie verschillende opleidingen. Vanuit Citogroep participeert Wil Knappers bovendien als extern adviseur. De betrokken opleidingen zijn SPH (Sociaal Pedagogische Hulpverlening), MWD (Maatschappelijk Werk & Dienstverlening) en P&A (Personeel & Arbeid). Elke opleiding is evenredig vertegenwoordigd. In de praktijk blijkt de diversiteit van de samenstelling van de projectgroep een voordeel te zijn. Allerlei disciplines en verantwoordelijkheden, evenals persoonlijkheden, participeren en hebben een positieve invloed op elkaar door de grote bereidheid van allen om er iets moois van te maken. Bijzonder is de wijze van onderlinge communicatie: via een specifiek webbased platform (Quickplace) worden documenten uitgewisseld en van commentaren voorzien. Zo is iedereen goed bereikbaar. Afgesproken is dat iedereen naast een ‘haalplicht’ van informatie ook een ‘brengplicht’ heeft via dat platform.

Vorderingen van de projectgroep In eerste instantie zijn door de projectgroep de uitgangspunten en kaders van een hboToetsbeleid vastgesteld (begin 2002). Deze zijn voorgelegd aan de directie van Sosa en akkoord bevonden. Daarna zijn in het voorjaar van 2002 tijdens een tweedaagse voor de drie hbo-opleidingen competentiegerichte toetsplannen ontwikkeld. Deze zijn feitelijk gereed maar worden regelmatig geactualiseerd naar aanleiding van vernieuwde inzichten die ontstaan zijn in het laatste halfjaar van 2002. Een competentiegericht toetsplan heeft consequenties voor het curriculum. Vergelijking tussen toetsplannen en de curricula leidde tot de conclusie dat er in de huidige curricula een en ander ingrijpend zal moeten worden aangepast. Voor de zomervakantie in 2003 zal de projectgroep haar werkzaamheden afronden. Dan weten we ook precies welke werkzaamheden nog verricht moeten worden alvorens we kunnen spreken van een geïmplementeerd competentiegericht toetsbeleid. Ongetwijfeld vloeien uit het project nieuwe activiteiten voor Sosa voort in het kader van verdergaande implementatie. Samen opgaan in Toetsbeleid met het mbo is daartoe wellicht een eerste stap waardoor de beroepskolom expliciet aandacht krijgt.

door Wil Knappers en Annemarie Broekman



van toetsen naar toetsbeleid

Bijdrage Citogroep Vanuit de Citogroep hebben we op een aantal onderdelen aan het project bijgedragen. We hebben beleidsteksten gecontroleerd op validiteit, betrouwbaarheid en transparantie en adviezen gegeven op toetstechnisch terrein: hoe te toetsen en welke criteria daarbij te hanteren. Daarnaast hebben we de subgroepen binnen de projectgroep begeleid bij discussies over toetstechnische zaken. De leden van de projectgroep hebben we geïnformeerd over onder andere toetsontwikkelingen, competentiegericht beoordelen, matrijsformats, toetsplannen, normeringen/cesuur en beoordelingsmogelijkheden. Gedurende het hele traject zijn onderwijskundige inzichten gecombineerd met toetstechnische inzichten.

7

kort nieuws

Nieuwe

met tijdgebrek door de toenemende werkdruk en iedereen moet goed de eigen grenzen bewaken. Gelukkig is bij alle projectgroepleden de bereidheid groot om vooral te komen tot vernieuwende en creatieve (maar tevens haalbare) veranderingen. We zouden er allemaal veel meer aan willen werken want er ontstaat een mooi product, daarvan zijn wij overtuigd!

voorbeeldexamens Staatsexamen NT2 programma I en II Sinds 1 februari zijn de nieuwe voorbeeldexamens Staatsexamen NT2 (2002-2003) beschikbaar. De voorbeeldexamens bevatten oefenstof die cursisten vertrouwd maakt met de aard en inhoud van het Staatsexamen NT2.

Meer informatie Annemarie Broekman, Hogeschool Sosa INHOLLAND, tel. (023) 541 25 23 of per e-mail: [email protected] Wil Knappers, adviseur/trainer Citogroep unit BVE, tel. 06 - 54 798 688 of per e-mail: [email protected].

Een mooi product! Een voordeel van de wat langere looptijd van het project (anderhalf jaar) is dat zaken enerzijds de kans krijgen goed doordacht te worden en anderzijds ook kunnen worden uitgewerkt tot direct bruikbare producten; denk hierbij aan toetsplannen voor verschillende opleidingen en formats voor verschillende onderdelen zoals matrijzen. Eigenlijk is de enige negatieve factor de beperkte tijd die elk projectgroeplid tot zijn of haar beschikking heeft. Iedereen kampt

Nu we zo ongeveer een jaar met elkaar aan het werk zijn om een goed Toetsbeleid op te zetten, wordt het steeds duidelijker dat:

U kunt opgaven bestellen op twee niveaus: Programma I en Programma II. Programma I is bestemd voor degenen die een lagere functie ambiëren (boven het niveau van ongeschoold werk) of daarvoor een beroepsopleiding willen volgen. Programma II is bestemd voor wie een midden- of hogere (kader-) functie ambieert of daarvoor een opleiding wil volgen. Beide programma's bestaan uit de onderdelen Lezen, Schrijven, Luisteren en Spreken. Voor elk onderdeel dat een kandidaat met succes aflegt, ontvangt hij of zij een certificaat. Vier certificaten geven recht op het diploma Staatsexamen NT2. Een pakket voorbeeldexamens bestaat uit tekst- en opgavenboekjes, cd’s (voor Luisteren en Spreken), antwoordbladen, beoordelingsvoorschriften en een instructieboekje. Het standaardpakket kost per programma € 47,00. Een aanvulling (in combinatie met het standaardpakket) bestaat uit schriftelijk toetsmateriaal voor 10 cursisten en kost € 24,00. Per bestelling wordt € 7,50 administratiekosten in rekening gebracht. Surf voor meer informatie naar [email protected]

• onderwijsontwikkeling en toetsontwikkeling geïntegreerd moeten plaatsvinden; • competentiegericht toetsen vraagt om een competentiegericht curriculum (en vice versa); • toetsing geen hobbyverantwoordelijkheid moet zijn van een individu maar dat het een organisatie verantwoordelijkheid dient te zijn.



Nieuw op ToetsWijzer ToetsWijzer is de plaats op Kennisnet.nl voor iedereen in het onderwijs die betrokken is bij toetsing, examinering en evaluatie. ToetsWijzer bevat nieuws, internetlinks en achtergrondinformatie over toetsing in de breedste zin van het woord. De redactie van ToetsWijzer is in handen van het kenniscentrum van de Citogroep. Meer weten? Kijk dan op http://toetswijzer.kennisnet.nl

Examenverslag BVE 2002 In februari 2003 verscheen het jaarlijks onderzoek van de Inspectie van het Onderwijs naar de examens in de bve-sector. De conclusie van de Onderwijsinspectie luidt: de kwaliteit van de onderzochte mbo-examens is voldoende, maar de kwaliteitszorg rond de examens kan nog beter. http://www.owinsp.nl/ producten/rapporten/examenverslag_2002.pdf0

Het meten van docentcompetenties In het vakblad Profiel, uitgave van december 2002 / januari 2003, verscheen een artikel van Erik Roelofs van de Citogroep over het ontwikkelde beoordelingsmodel voor het meten van docentcompetenties. Belangstellenden kunnen het artikel inzien via ToetsWijzer. http://toetswijzer.kennisnet.nl/html/literatuur/ meten_docentcompetenties.pdf

Expertisecentrum NT2puntNL Iedereen die meer wil weten over het onderwerp Nederlands als tweede taal kan sinds kort terecht op de site van NT2puntNL. http://www.nt2puntnl.kennisnet.nl

Aanmelding staatsexamen NT2 In het Gele Katern van 5 februari 2003 is een overzicht gepubliceerd van examen- en aanmeldingsdata van het Staatsexamen Nederlands als tweede taal 2003/2004. http://cfi.kennisnet.nl/Images/2_13346.pdf

drieluik

9

Emiel van Puffelen is sinds 1988 vanuit verschillende organisaties verantwoordelijk voor beleid en uitvoering van (inter)nationale onderwijsondersteuning. Vanaf begin 2002 levert hij binnen de Citogroep units BVE en Hoger Onderwijs expertise en projectbegeleiding op het gebied van onderwijsinnovaties, zoals bij competentiegericht leren en de introductie van portfolio’s. Sinds oktober 2002 is hij in vaste dienst bij de Citogroep en verantwoordelijk voor het accountmanagement van het hoger onderwijs.

Welkom in Portfoliowereld!

De Citogroep ontvangt veel verzoeken om ondersteuning bij de invoering van portfolio’s als hulpmiddel voor leren, begeleiden en erkennen. Eind 2002 werd de wens geuit om afstemming te brengen in portfolioprojecten. Emiel van Puffelen kreeg de opdracht om de verschillende initiatieven te bundelen tot een helder dienstenaanbod van de Citogroep. Het eerste resultaat heet Portfoliowereld en bestaat onder andere uit een serie bijeenkomsten. In deze bijeenkomsten gaan deelnemers afkomstig van ROC’s en bedrijfstakgroepen gezamenlijk aan de slag met portfolio-ondersteuning van leren, begeleiden en erkennen. Het gaat dan om onderwijstrajecten gericht op (sleutel)competenties, zelfstandig leren en beroepspraktijkvorming. Een thema is ook de doorstroming vmbombo-hbo en binnen de Educatie is er aandacht voor (lage niveaus van) taalvaardigheid.

Trainer Ger:

In het eerste deel van dit drieluik ‘Welkom in Portfoliowereld’ leest u over de startbijeenkomst die plaatsvond op 28 januari 2003 op de thuisbasis van de Citogroep in Arnhem. In deel twee belichten we het verloop van de vervolgbijeenkomsten, waarna we in deel drie als afsluiting de resultaten van Portfoliowereld zullen presenteren.

te werk.”

“Tijdens de eerste bijeenkomst hebben we tijd besteed aan kennismaking, het uitwisselen van ervaringen en het formuleren van heldere uitgangspunten. Een zorgvuldige afstemming is in dit stadium essentieel, omdat de uitgangspunten de basis vormen voor een verdere uitwerking van het portfolioconcept. De plenaire presentaties over structuur en inzet van portfolio’s geven daarbij houvast. De nadruk lag tijdens deze bijeenkomst op de theorie. In de vervolgbijeenkomsten gaan we praktijkgerichter

Startbijeenkomst Ruim 60 deelnemers vanuit 12 ROC’s en 6 bedrijfstakgroepen kwamen op 28 januari in Arnhem bijeen voor de aftrap van Portfoliowereld. Na een warm welkom door Willem Spee volgde een plenaire instructie door Aranka Krechting en Emiel van Puffelen waarin de verschillende mogelijkheden voor inzet en opbouw van portfolio’s aan de orde kwamen. Daarna was het moment aangebroken om groepsgewijs de contouren van het nieuwe onderwijs en de plaats van portfolio’s daarin te gaan schetsen. In zeven groepen gingen de deelnemers in het Arnhem Building aan het werk, onder leiding van een trainer vanuit de units BVE of HO.

De onderwijswereld staat bol van ideeën voor onderwijsvernieuwing zoals competentiegericht leren, beroepspraktijkvorming, deelnemersturing van leren, doorlopende leerlijnen, e-Learning, constructivistisch leren en meer. De perspectieven

Voorafgaand aan de eerste bijeenkomst ontving een deel van de deelnemers de opdracht om zelf een portfolio te maken. De ervaringen die daarbij zijn opgedaan bleken een prima hulpmiddel om portfolio’s door de ogen van ROC-deelnemers te zien. Portfolio’s zijn best een bewerkelijk hulpmiddel en komen alleen tot meerwaarde in onderwijs waarin ze in een natuurlijke behoefte voorzien en redelijk frequent gebruikt worden.

van modern onderwijs lijken helder evenals de consequentie van het loslaten van beproefde onderwijsvormen. Helaas zijn de nieuwe ideeën vaak niet zo omschreven dat je er concreet onderwijs mee kunt invullen. Gelukkig is er voor de ondersteuning van veel soorten nieuw onderwijs een helder en krachtig hulpmiddel: het persoonlijk portfolio. Maar hoe richt je dat hulpmiddel nu in en vooral ook hoe plaats je het binnen

Wat opviel tijdens de eerste bijeenkomst was de aangename sfeer. De deelnemers waren erg enthousiast en betrokken. Er zijn veel positieve reacties binnengekomen en overal zijn plannen gemaakt voor het vervolg. Ook zijn er na de eerste bijeenkomst nog veel nieuwe aanmeldingen binnengekomen. Over de voortgang van Portfoliowereld leest u in deel twee van dit drieluik, dat verschijnt in de volgende Toetsvisie.

het onderwijs?

door Nelleke Louwerse



✍

milieueducatie

11

Milieueducatie

Maatschappelijke participatie concreet Maatschappelijke participatie krijgt naast het uitstroomperspectief arbeidsparticipatie steeds meer een zelfstandige plaats in het aanbod volwasseneneducatie. Niet in de laatste plaats omdat de gemeente ,als opdrachtgever voor educatie, steeds vaker aan ROC's vraagt een maatwerkaanbod te formuleren voor specifieke doelgroepen, die hoog op de lijst van de sociale beleidsagenda staan. Vrijwel elk ROC kent inmiddels een aanbod voor allochtone moeders, waarbij taalverwerving en opvoedingsondersteuning gecombineerd worden. Het ROC werkt nauw samen met de basisschool en het welzijnswerk om het aanbod zo praktisch mogelijk in te richten. Maar ook thema’s als bevorderen van buurtparticipatie, vrijwilligerswerk en schone woonomgeving hebben de aandacht van de lokale overheid.

een relevant thema? Competentiegericht leren in maatschappelijke trajecten

Concreet maatschappelijk traject Het is zaak de maatschappelijke trajecten zo concreet mogelijk in te vullen. Voor deelnemers moeten nut en noodzaak helder zijn. Het thema ’Duurzaam huishouden en schone woonomgeving’ heeft dat in zich, omdat het deelnemers uiteindelijk financiële winst oplevert en een aangenamere woonomgeving. Datzelfde thema leent zich ook uitstekend voor een competentiegerichte benadering, omdat taal en rekenen aan bod komen in vaardigheden als het opnemen van de meterstand, lezen van energie-etiketten enzovoorts.De discussie over duurzaam huishouden en uiteindelijk een schone leefomgeving zal leiden tot een andere houding ten opzichte van energie en het milieu.

Gemiddeld acht procent minder afval, acht procent minder waterverbruik, negen procent minder gasverbruik en ruim elf procent minder elektriciteitsverbruik: deze besparingsresultaten leverde een groep Turkse en Marokkaanse huishoudens op die vorig jaar deelnamen aan een EcoTeamprogramma1. Gemiddeld een jaarlijkse korting op hun energierekening van ongeveer € 100,-. Dit prachtige resultaat bracht

besparingsmogelijkheden te bedenken en uit te wisselen. De bijeenkomst wordt afgesloten met een ronde waarin iedere deelnemer vertelt welke tips hij of zij de komende weken gaat uitproberen. Zo ontstaat er commitment bij de deelnemer om de tips daadwerkelijk uit te voeren. Tijdens de volgende bijeenkomst vertelt iedereen of het gelukt is om met de tips aan de slag te gaan en wat de voor- en nadelen hiervan waren.

Anne-Marie Speijers (Citogroep) en Imke Tegels (SME MilieuAdviseurs) op de vraag of milieueducatie,een relevant thema is binnen de volwasseneneducatie. Hieronder leest u hun beschouwing, geplaatst in de context van competentiegericht leren. (zie kader) Duurzaam huishouden

1 Het EcoTeamprogramma bestaat al een aantal jaren en uit onderzoek van de Rijksuniversiteit Leiden is komen vast te staan dat het leidt tot een blijvende gedragsverandering

De EcoTeamactiviteiten maakten onderdeel uit van een landelijk initiatief van SME MilieuAdviseurs in het kader van het project Allochtonen en energiebesparing. Met financiële steun van Novem lukte het om 169 allochtone huishoudens uit Eindhoven, Helmond en op twee plaatsen in Amsterdam bij het project te betrekken. Via sleutelfiguren uit de lokale allochtone gemeenschappen kwam SME aan een lijst van potentiële milieu-coaches. Er is gekozen voor een netwerkbenadering. Met de potentiële coaches werd de opzet van het project en hun rol om als coach werkzaam te zijn in hun directe woonomgeving besproken. Reageerden zij daarop positief, dan volgden zij eerst samen met een begeleider van Global Action Plan het EcoTeam-programma, zodat ze kennis kregen van het programma dat ze later zelf zouden gaan begeleiden. Vervolgens kregen de aspirant coaches een tweedaagse training om in de toekomst zelf aan de slag te kunnen. Als EcoTeam coaches werven ze zelf hun deelnemers in hun eigen omgeving en werken ze samen met hen het tweetalige werkboek ‘Dat levert wat op’ door. Op een studiedag over competentiegericht

leren bekeek Imke Tegels in opdracht van de BveRaad de mogelijkheden om milieueducatie een plaats te geven in het uitstroomperspectief maatschappelijke participatie in de volwasseneneducatie.

Dat levert wat op

Opbouw van het programma ‘Dat levert wat op’

Om de deelnemers te stimuleren en te zien of er daadwerkelijk resultaat wordt geboekt, houden zij hun verbruiken bij. Iedere week werpen ze een blik in de meterkast en kijken ze op de water-, gas- en elektriciteitsmeter. Ook het afval wordt iedere week gewogen. Deze gegevens worden opgeschreven en vergeleken met de gegevens van de weken ervoor. Maar natuurlijk ook met de rest van de groep. Zo kunnen zij zelf zien of ze bespaard hebben.

De essentie van het programma is dat deelnemers in een kleine groep aan de slag gaan met milieuthema's die betrekking hebben op hun eigen huishouden. De deelnemers nemen in zes bijeenkomsten een werkboek door dat per thema tips behandelt die ze thuis kunnen toepassen waardoor het energie-, afval- en waterverbruik zal dalen. Iedere bijeenkomst, die begeleid wordt door een coach, start met een toelichting over de achtergrond van het thema van die avond. Zo leren de deelnemers niet alleen hoe ze moeten besparen maar ook waarom. Nadat het thema is toegelicht door de begeleider worden de mogelijke besparingstips in de groep besproken. De deelnemers vertellen aan elkaar welke tips zij al toepassen en hoe ze die in de praktijk uitvoeren. Zij worden uitgedaagd nog meer

Eerder verschenen in Les, nummer 121, 21e jaargang

✍

In het pilotprogramma 'Dat levert wat op' is gekozen voor vier thema's: afval, water, gas en elektriciteit. Desgewenst kan het aantal thema's uitgebreid of verminderd worden. Het traject kan bijvoorbeeld verlengd worden met thema's als inkoop, vervoer, leefbaarheid in de wijk enzovoorts. Ook lokale problematiek of lokale regels zoals de ophaalregels van grofvuil zijn goed te verwerken zodat er

Anne-Marie Speijers en Imke Tegels

uiteindelijk een programma op maat wordt geleverd dat door de deelnemers direct is toe te passen in hun eigen omgeving.

Kansen voor de volwasseneneducatie Het onderwerp Duurzaam huishouden of Milieueducatie biedt alle kansen om binnen competentiegerichte trajecten in de volwasseneneducatie uitgevoerd te worden. Immers, om rendement te halen uit het aanbod moeten deelnemers enig cijferinzicht hebben, kunnen rekenen en beschikken over enige kennis van de wereld over onderwerpen als milieu, energie en leefbaarheid. Daarnaast wordt van de deelnemers enige sleutelvaardigheid verwacht, bijvoorbeeld organiseren, plannen, samenwerken en presenteren. En… lang niet altijd is de inzet van een allochtone EcoTeam-coach mogelijk. In dat geval wordt de dimensie taal (NT2) belangrijk. Een voorlichtingsaanbod in de eigen taal is een manier, maar juist educatiedeelnemers hebben baat bij een onderwijstraject waarbij de informatie rondom milieu en energie wordt ingebed in het leertraject. Een leertraject, waarin allerlei mogelijke oefensituaties gecreëerd worden om taal-, reken-, en sleutelvaardigheden te verwerven in een functionele context. De directe link met het eigen huishouden en het financiële gewin moet deelnemers in hoge mate motiveren. Het onderwerp Duurzaam huishouden is heel concreet. En praktijksituaties die zo waardevol zijn binnen een competentiegericht aanbod liggen als het ware in huis of om de hoek: de meterkast, de keuken, huishoudelijke apparatuur, afvalverwerking, grofvuil ophaalschema. Van deelnemers wordt een grote eigen inbreng verwacht. Leren van elkaar is haast nog belangrijker dan leren uit een boekje of ‘van de juf’. Die aanpak versterkt het gevoel van eigen waarde en zelfvertrouwen (empowerment). Van daaruit is het vaak nog maar een klein stapje naar thema’s als leefbaarheid of zwerfafval in de buurt. Overheid en gemeenten hebben jarenlang geworsteld met zaken als milieubewustzijn en leefbaarheid in de buurt. Pakt educatie nu haar kans om een bijdrage te leveren aan dit maatschappelijke vraagstuk? Anne-Marie Speijers, adviseur BVE bij Citogroep Imke Tegels, milieuadviseur bij SME MilieuAdviseurs



kwaliteit examinering ROC ’s

13

De Citogroep heeft een quick scan uitgevoerd bij onderwijsinstellingen BVE om licht te werpen op de stand van zaken bij Enkele resultaten uit de quick scan

de examinering. Aangezien de KCE standaarden duidelijk meer vragen van ROC ‘s dan de externe legitimering, valt aan de

overal en altijd

in bijna alle gevallen

onbekend

soms wel

zelden of nooit

Worden de kandidaten geënquêteerd over de kwaliteit van de toetsen?

9%

7%

11%

43%

30%

Zijn er uitgeschreven procedures voor de controle van de kwaliteit van de opgaven die de instelling zelf vervaardigt?

30%

24%

2%

28%

15%

Worden de toetsen (buiten de exameninstelling) voorgelegd aan onafhankelijke deskundigen?

4%

4%

7%

37%

48%

kwaliteit van de examinering nog veel te verbeteren.

Kwaliteit examinering ROC’s nog niet optimaal In september en oktober heeft de Citogroep 52 onderwijsinstellingen BVE benaderd met de vraag mee te werken aan een korte digitale enquête (‘quick scan’) via Internet. Respondenten van 46 instellingen hebben vragen beantwoord over de onderdelen van de examencyclus: examenmanagement, professionaliteit, inkoop en uitbesteding, examenproces, toetsproducten en onderzoek, analyse, verbetering en verantwoording. Op basis van resultaten uit de enquête is het volgende beeld geschetst van de stand van zaken bij de examinering.

is voor kwaliteitsborging. Wat het examenmanagement betreft moet wellicht de discussie worden gevoerd in hoeverre de leden van examencommissies aan de wettelijke bepalingen voldoen. De Inspectie heeft erop gewezen dat er bij het management en het onderwijspersoneel conflicterende belangen kunnen ontstaan als het gaat om rendement en niveaubewaking. Niet alleen is het examenmanagement nog niet optimaal, ook ontbreekt nog de nodige aandacht voor (na)scholing, met name van degenen die de kwaliteit van de toetsing moeten bewaken. Slechts de helft van de instellingen doet in bijna alle gevallen aan (na)scholing in toetsconstructie, de andere helft doet dit soms. (Na)scholing in toetsbeoordeling en toetsvaststelling vindt in nog mindere mate plaats, in bijna een vijfde van de gevallen zelfs zelden of nooit. Het opnemen van deskundigheidsbevordering op dit punt in een meerjarig nascholingsplan kan (na)scholing bevorderen.

Momenteel is de wettelijke samenstelling van de examencommissie bij driekwart van de instellingen geregeld. Ruim de helft beschikt over door het bevoegd gezag vastgestelde procedureregels voor de gehele examencyclus. Nog niet in alle gevallen zijn er handboeken of procedurebeschrijvingen voor de examinering vastgesteld. Dit geldt ook voor de afstemming op de eindtermen, de kwaliteitscontrole van de opgaven en de aan te leggen toetstechnische criteria, en dat terwijl vastlegging van procedures en criteria voor examinering een van de eerste voorwaarden

Examenkandidaten en het bedrijfsleven worden nog nauwelijks bij kwaliteitsonderzoek betrokken. De kandidaten worden meestal niet gezien als serieus te nemen partij bij de evaluatie van de examinering. De Inspectie wijst erop dat zij als klant een belangrijke partij vormen bij kwaliteitszorg. Regelmatig tevredenheidsonderzoek onder de kandidaten is een wezenlijk onderdeel van kwaliteitszorg en zou moeten worden ingevoerd. Betrokkenheid van het bedrijfsleven is een kwaliteitsstandaard van KCE.

✍

Henk Moelands en Jan van Weeren

Nu worden toetsen in 85% van de gevallen soms, zelden of nooit voorgelegd aan onafhankelijke deskundigen. Er moet een weg worden gevonden om het bedrijfsleven daadwerkelijk bij de examinering te betrekken. Over het algemeen geldt dat systematische kwaliteitszorg rond de examinering in veel gevallen nog niet plaatsvindt. De meeste instellingen scoren onvoldoende op jaarlijkse evaluatie van het examen en verslaglegging

Op veel ROC’s zijn inmiddels tal van werkgroepen met de Kwaliteitsmonitor van de BVE Raad aan de slag om de examinering systematisch op een hoger plan te brengen. daarover. Hetzelfde geldt voor continue verbetering van de kwaliteit van de examens en voor verslaglegging van systematische kwaliteitszorg rond de examens. De cyclus ‘plan-do-check-adapt/act’ dient ook bij de kwaliteitsbeheersing van de examinering duidelijk gestalte te krijgen. Met de KCE standaarden in zicht valt aan de kwaliteit van de examinering nog het een en ander te verbeteren. Op veel ROC’s zijn inmiddels tal van werkgroepen met de Kwaliteitsmonitor van de BVE Raad aan de slag om de examinering systematisch op een hoger plan te brengen.



in gesprek met ...

15

Citogroep en Technisch College Ede ontwikkelen digitale checklist examens

Geef eens een voorbeeld. Goed, een eenvoudig voorbeeld. Als in de standaard staat dat de examencommissie moet zijn ingesteld door het bevoegd gezag, dan moet er een bewijsstuk zijn dat er daadwerkelijk een examencommissie is ingesteld door het bevoegd gezag. Nog een voorbeeld: als volgens een standaard de relatie tussen de eindtermen en toetsen inzichtelijk en herleidbaar moet zijn, en het Handboek bevat een model voor een toetsmatrijs, dan is de indicator dat er per toets zo’n matrijs moet zijn opgesteld. In de checklist kan de gebruiker dan aankruisen of zo’n indicator voorhanden is of niet, simpelweg door “Ja” of “Nee” aan te vinken. Maar dat is nog niet alles. Per standaard is er ook de mogelijkheid om actiepunten te formuleren. Als het antwoord “Nee” is bij een indicator, kan de invuller aangeven wat hij gaat ondernemen om alsnog aan de standaard te voldoen, met een datum erbij en een verantwoordelijke uitvoerder.

TO E T S V I S I E I N G E S P R E K M E T JA N VA N W E E R E N of de regels nog wel voldoen, of er geen bijstellingen nodig zijn om de kwaliteit te verbeteren. De inspectie constateert dat systematische kwaliteitsborging nog veel te wensen overlaat, dat wil zeggen dat er binnen de ROC’s nog nauwelijks sprake is van een stelselmatige toepassing van de reeks “Plan-Do-Check-Act” op diverse kwaliteitsterreinen.

Wat was de inbreng van de opdrachtgever bij het project? Er was een werkgroep geformeerd uit de verschillende afdelingen van het College. Ook de directeur en de medewerker kwaliteitszorg waren daarbij betrokken. Uit de werkgroep kwamen allerlei goede ideeën, bijvoorbeeld om de checklist per organisatorische eenheid in te laten vullen en niet alleen maar op afdelingsniveau. Verder hebben ze de indicatoren op doeltreffendheid en haalbaarheid gecontroleerd. Voor managementdoeleinden vond men het van belang dat de geformuleerde actiepunten op een verzamelstaat terecht zouden komen en ook dat de mate waarin voldaan werd aan de standaarden in een grafiek werd uitgedrukt. Op deze manier zou je in één oogopslag kunnen zien hoe de vlag er per organisatorische eenheid bij hangt en wat men allemaal denkt te gaan doen om de zaak te verbeteren. Dit betekende wel dat we de checklist moesten digitaliseren. Dat is met behulp van onze automatiseringsafdeling gedaan: de lijst kan geheel digitaal worden ingevuld, het programma telt de Ja- en Nee-antwoorden en drukt het resultaat in een radardiagram uit.

Hoe kwam het Technisch College bij de Citogroep terecht? Tja, op de eerste plaats is het vrijmaken van voldoende menskracht op scholen vaak een probleem. Het primaire proces gaat voor. Verder waren er al de nodige bijdragen van de Citogroep geweest, in de vorm van training en scholing. Ook hebben we in het beginstadium aan het Handboek Examinering A12 meegewerkt. We waren geen onbekende. En, last but not least, met het beschikbaar stellen van de Kwaliteitsmonitor® Examinering door de BVE Raad hebben we laten zien dat de kwaliteitszorg bij examens een specialisme van de Citogroep is.

De Citogroep is samen met ROC A12 een project gestart. Waar ging het om? Het Technisch College Ede, onderdeel van A12, had onder de regeling “Stimulans verbetering en vernieuwing van de examenpraktijk” een projectvoorstel ingediend en subsidie ontvangen. Doel van het project was kwaliteitsborging van de examinering op het College, zodat een audit door het Kwaliteitscentrum Examens kan worden doorstaan. A12 beschikte al over een gedegen examenhandboek. Maar er is een leven en een leer, om zo te zeggen. Het hebben van een handboek is iets anders dan je er altijd en overal aan houden, en zelfs als je je aan alle voorschriften en procedures houdt, is dat niet voldoende. Je zult telkens moeten nagaan

Hoe hebben jullie het project aangepakt? We zijn niet al te hard van stapel gelopen. Toen we begonnen, was het Kwaliteitscentrum Examinering nog volop bezig met het ontwikkelen van de zogenaamde generieke standaarden. Tussen april en november vorig jaar kwamen de versies 2, 3, 4 en 5 voorbij, en nu hebben we nog steeds te maken met conceptstandaarden. Deze zullen pas in maart aan de minister ter vaststelling worden aangeboden. Ik vind overigens wel dat de mensen van Cap Gemini, die de kar hebben getrokken, een behoorlijk stuk werk hebben geleverd. Met de conceptstandaarden valt best te leven. Voor het project zijn we uiteindelijk daarvan uitgegaan.

Een radardiagram? Ja, dat is een soort spinnenweb. De spaken van het web zijn de vijf clusters waarin de standaarden zijn ondergebracht. Als je heel vaak “Ja”: antwoordt, dus aangeeft dat je voldoet aan de indicatoren en daarmee kunt aantonen aan de standaard te voldoen, dan valt de uitslag als een rode lijn samen met de omtrek van het spinnenweb. Scoor je wat minder, dan zal de rode lijn een bepaald patroon binnen het spinnenweb vertonen en kun je zien aan welke cluster je nog moet werken. Wat je denkt te gaan doen, staat op de verzamelstaat, met naam en datum.

Hoe bedoel je? We hebben ons afgevraagd, hoe het Technisch College zou kunnen bewijzen dat het aan de 25 standaarden voldoet. Dus, om het geleerd te zeggen: met welke indicatoren kun je zo’n bewijs leveren. Vertrekpunt daarbij was, zoals gezegd, het Handboek Examinering van A12. Daarin waren allerlei procedures en voorschriften te vinden die met de standaarden te maken hadden. We hebben een soort checklist opgesteld: eerst de standaard, dan de pagina’s in het Handboek die daarmee te maken hadden, en vervolgens per standaard één of meer indicatoren.

Is die checklist alleen te gebruiken door het Technisch College? We noemen de digitale checklist de TCE-Monitor omdat hij in eerste instantie is ontwikkeld is voor en door deze school in Ede en toegesneden op het Handboek Examinering van A12. Er is echter zonder al te veel inspanning een neutrale variant van te maken, die dan weer voor een ander ROC kan worden verbijzonderd. Om een voorbeeld te geven: op het Technisch College spreekt men van een deelkwalificatie-

✍

Jan van Weeren

We noemen de digitale checklist de TCE-Monitor omdat hij in eerste instantie is ontwikkeld is voor en door deze school in Ede en toegesneden op het Handboek Examinering van A12. signalement, op andere scholen van een toetsplan. Het jargon moet worden aangepast. Om die reden is de beveiliging van de digitale checklist op te heffen; in plaats van alleen maar invullen, kun je ook de tekst aanpassen. Dat is ook nodig als bijvoorbeeld het Handboek wijzigt, of wanneer de conceptstandaarden worden omgezet in definitieve standaarden. De digitale checklist lijkt eigenlijk heel sterk op de beoordelingsgrondslag die het Kwaliteitscentrum Examinering naar de scholen heeft gezonden. Beide instrumenten hebben gemeen dat ze voor zelfevaluatie bedoeld zijn. De beoordelingsgrondslag lijkt heel sterk op de Kwaliteitsmonitor® Examinering die door de BVE Raad aan de scholen ter beschikking is gesteld. Zowel de beoordelingsgrondslag als de Kwaliteitsmonitor® hebben tot doel de kwaliteitsontwikkeling te stimuleren. De digitale checklist geeft echter eenduidig aan wat je moet doen om aan de standaarden te voldoen en is daardoor meer richtinggevend. Het antwoord op de vraag of je voldoet aan de indicatoren en daarmee aan de standaarden, is simpelweg ja of nee. Ik kan me voorstellen dat scholen liever werken met een instrument voor zelfevaluatie dat iedere unit, eenheid of afdeling klip en klaar zegt wat hen te doen staat. Na uitvoering van de vereiste actiepunten kun je met een gerust hart de visitatie van het Kwaliteitscentrum Examinering tegemoetzien. In het begin van dit gesprek was sprake van systematische kwaliteitsborging. In hoeverre kan de digitale checklist daaraan bijdragen? Met name de vijf standaarden van cluster vijf hebben betrekking op kwaliteitsborging. Voldoe je aan de indicatoren die wij daarvoor geformuleerd hebben, dan betekent dat dat je de kwaliteit van de examens stelselmatig bewaakt en verbetert. Zijn er nog nieuwe ontwikkelingen te melden? Op dit moment hebben we contact met een aantal ROC’s die ook met de checklist willen gaan werken. Dat is geheel in de geest van de regeling “Stimulans verbetering en vernieuwing van de examenpraktijk” waarin op publieke beschikbaarheid en verspreiding van ontwikkelde producten wordt aangedrongen. Eén school overweegt de systematiek ook op andere kwaliteitsterreinen te gaan toepassen. Een interessante propositie.



Citogroep Postbus 1034 6801 MG Arnhem T (026) 352 11 11 www.citogroep.nl Algemene informatie units BVE en HO T (026) 352 10 75 E [email protected]

Toetsvisie is een uitgave van de units BVE en HO van de Citogroep. Toetsvisie verschijnt driemaal per jaar in een oplage van 2500. De uitgave is bestemd voor management en docenten in het middelbaar en hoger beroepsonderwijs en de volwasseneneducatie Overname van artikelen of illustraties wordt in overleg met de eindredacteur toegestaan.

Colofon

Hoofdredactie Willem Spee Redactie Karin den Daas, Ger van der Kroft, Nelleke Louwerse (eindredacteur) Tekst medewerkers unit BVE Citogroep Foto’s Ron Steemers Fotografie (Arnhem), Vormgeving Criterium (Arnhem) Druk Tamminga Siegers (Duiven) Redactieadres Citogroep, Karin den Daas, Unit BVE, Postbus 1034, 6801 MG Arnhem, E [email protected] , T (026) 352 14 77