Plan van aanpak verbetering kwaliteit brandweerexamens

Plan van aanpak verbetering kwaliteit brandweerexamens in het kader van het Versterkingsplan Brandweeronderwijs Nederland

27 maart 2012 Auteurs : Harry Bovens Heide Gramser Chantal Ruijten Nanny Schoenmakers Krista Visscher

Verbeterplan kwaliteit brandweerexamens d.d. 27 maart 2012 1

Inhoud Managementsamenvatting

3

1.

Inleiding

5

1.1.

Achtergrond en aanleiding voor dit plan

5

1.2.

Verantwoording aanpak en werkwijze

5

1.3.

Leeswijzer

6

2.

Beschrijving huidig stelsel bandweerexamens

7

2.1.

Huidig stelsel van examinering in de brandweersector

7

2.2.

Nbbe transparant

9

3.

Schets kwaliteitsbeeld brandweerexamens

12

3.1.

Kwaliteitsmodel met kwaliteitstandaarden voor examinering

12

3.2.

Huidig kwaliteitsbeeld

13

4.

Herontwerp stelsel brandweerexamens

19

4.1.

Ontwikkelingen en inzichten in examinering

19

4.2.

Aanleiding en contouren voor herontwerp

21

5.

Kwaliteitsborging examens

27

5.1.

Systeem van interne kwaliteitsbewaking

27

5.2.

Intern toezicht op examenkwaliteit door de Commissie Toezicht examinering

27

6.

Aanpak kwaliteitsverbetering en verbetermaatregelen

29

6.1.

Quick wins

29

6.2.

Maatregelen die in het kader van de oprichting van het IFV in gang worden gezet

31

6.3.

Business onderzoek en pilots ilots voor herontwerp

32

6.4.

Planning en communicatie

33

Bijlage A:

Kerncijfers brandweerexamens

36

Bijlage B:

Benchmarkgegevens examinering

39

Bijlage C:

Gesprekspartners en werkwijze

42


Managementsamenvatting Het Nbbe werkt aan de kwaliteitsverbetering van brandweerexamens. Dit naar aanleiding van het IOOV onderzoek uit 2007 en het daarop volgende TNO onderzoek in 2010 en 2011 naar de psychometrische, toetstechnische kwaliteit van examens voor Manschap A en Bevelvoerder. Daarnaast is er sprake van een sterke teruggang in aantallen examens voor de Brandweer. Het Nbbe wil met het voorliggende plan van aanpak zicht geven op de gewenste kwaliteit van examinering, rekening houdend met de een veranderende behoefte aan examens; een plan dat geïntegreerd kan worden in het Versterkingsplan Brandweeronderwijs in Nederland en dat inspeelt op een herontwerp van het stelsel. Dit verbeterplan geeft aan dat: Nog in 2012 een verbeterslag kan worden gemaakt met een extra subsidie vanuit het ministerie van VenJ van € 423.885,- . Deze zogenoemde quick wins richten zich op de toetstechnische kwaliteitsverbetering om de beoordeling tijdens examinering meer objectief te laten verlopen (quick wins 1 t/m 4). Ook zijn deze gericht op het samen benoemen van standaarden en de gewenste ‘meetlat’ vanuit het brandweerveld (quick wins 5 en 6). Na inwerkingtreding van de Wet veiligheidsregio’s wordt het Nbbe onderdeel van het IFV. In het kader van de migratie moeten maatregelen genomen worden om voor examinering de bestuurlijke verantwoordelijkheid te regelen en om overleg in diverse groepen te stroom-lijnen. Verwacht mag worden dat de financiering opgepakt wordt binnen de oprichting en exploitatie van het IFV. Het gaat om € 48.000,- aan middelen voor overleg (commissies en ontwikkelgroepen) en besluitvorming structureel per jaar. Daarnaast wordt in de exploitatie van het IFV rekening gehouden met de inzet van een examenbureau om te faciliteren. Businessonderzoek met twee pilots en monitoring voor Manschap A en Bevelvoerder in twee regio’s moet leiden tot een herontwerp van het examenstelsel met examinering dichter bij de opleiding en met een beperktere groep gekwalificeerde examinatoren. Dit onderzoek moet ook uitwijzen of een nieuwe stelsel kosteneffectiever is. Hiervoor is een extra onderzoeksbudget voor de komende 2 jaar nodig van € 425.400 dat in het kader van het Versterkingsplan Brandweeronderwijs in Nederland moet worden meegenomen of deels vanuit de opleidingsinstituten door inzet van eigen mensen in de pilot opgevangen moet worden. De drie boven genoemde verbetermaatregelen effect moeten hebben op de reguliere exploitatie van de huidige Nbbe activiteiten in de nieuwe IFV constellatie. Het plan schetst ook de basisprincipes voor herontwerp, passend bij ontwikkelingen in het beroepsonderwijs en bij de wensen van het brandweerveld. Het plan geeft een schets van de inhoudelijke richting. Afhankelijk van besluitvorming en financiering worden voorstellen verder uitgewerkt. Kosten Besluitvorming 1. Quick wins € 423.885 Bestuur Nbbe met VenJ in Incidenteel april 2012 2. Maatregelen in het € 48.000 plus Stuurgroep IFV in april kader van Examenbureau 2012 oprichting IFV Structureel e 3. Businessonderzoek Vanaf 2 helft 2012 € 425.400 April 2012 als onderdeel en pilots afhankelijk van besluit Incidenteel van versterkingsplan Effecten vanuit de verandersporen op huidige activiteiten en exploitatie van examinering worden periodiek bekeken in IFV verband, waar scenario’s voor de overgangsperiode worden uitgewerkt en ter besluitvorming voorgelegd aan de stuurgroep / bestuur IFV.

Sporen

Planning Medio 2012 t/m medio 2013 e 2 helft 2012


De planning van de kwaliteitsverbetering is voor een groot deel ingegeven door de mogelijkheid om in de tweede helft van 2012 en begin 2013 de quick wins op te pakken binnen de huidige exploitatie en capaciteit van het Nbbe . Ook kan de inrichting van de diverse commissies bij de oprichting van het IFV in gang gezet en gefinancierd worden. Het onderzoek met de pilots voor het herontwerp kent een andere dynamiek. Het moet als integraal onderdeel meegenomen worden in het Versterkingsplan Brandweeronderwijs Nederland. In dat kader is draagvlak in het veld , een advies van de BOR, en is besluitvorming in de RRC en het Veiligheidsberaad nodig. Basisprincipes voor herontwerp van het examenstelsel De basisprincipes vertrekken bij een tweetal ambities voor een nieuw examenstelsel. Deze ambities zijn; betaalbare kwaliteit die geborgd is en de toets ter kritiek kan doorstaan; beter integreren van examineren in opleiden. Om deze ambities te bereiken wordt het volgende voorgesteld (het ‘hoe’) Saneren van certificering Differentiatie per functie mogelijk maken met een leergangportfolio van examinering Uitgaan van één opleidingsinstituut met een beperkt aantal decentrale uitvoerings-satellieten die zelf de examinering uitvoeren door accreditatie en een examenreglement. Centraal ontwikkelen van een leergangportfolio en toetsinstrumenten met ruimte voor regionale accenten. Werken met een beperkte pool van examinatoren met interne (binnen opleidingsinstituten) en externe beoordelaars (vanuit het IFV of andere decentrale opleidingsinstituten). Intern toezicht op kwaliteit van examinering organiseren met een systeem van auditing. De examenorganisatie inrichten met de volgende commissies: Commissie Toezicht Examinering voor intern toezicht, een Landelijke Examencommissie voor diplomaverstrekking, monitoring en klachtenafhandeling, een Lokale Examencommissie voor de afname van examens. Waarom een herontwerp Voor bijna alle brandweerfuncties, waar nodig, zijn nieuwe proeven van bekwaamheid (PvB) ontwikkeld. Daarbij is rekening gehouden met functie- en competentiegericht examineren, wat betekent dat er een mix is gezocht in proeve-onderdelen om zowel kennis en inzicht te toetsen als ook competenties en vaardigheden. Veel ontwikkelwerk is verzet voor functies met beperkte doelgroepen. De ontwikkeling ervan is door het ministerie van VenJ bekostigd. Afgelopen jaar is gebleken dat door de omslag van rangschikt naar functie- en competentiegericht functiesysteem een daling van de examenafname is in ingezet. Vooral de modulaire ‘oude’ schriftelijke én praktijkexamens voor ranggeschikte functies worden in 2012 niet meer afgenomen. Ook de afname van nieuwe examens laat een dalende trend zien voor wettelijke warme functies van circa -10% en voor wettelijk koude functies van -15%. Examens voor wettelijke overige functies stijgen, maar blijven in omvang nog beperkt. Ook het brandweerveld geeft aan dat de examinering en bijkomende kosten anders moeten. Cruciaal is te bepalen wat een aanvaardbare kwaliteit omtrent brandweerexamens inhoud en wat daarbij qua kwaliteit én kosten acceptabele oplossingen zijn. Om te komen tot een herontwerp wordt in dit plan een samenhangend kwaliteitsmodel met kwaliteitsstandaarden voorgesteld, die aansluiten bij de methodiek van IOOV en de onderwijsinspectie met vijf processtappen. Een nadere analyse aan de hand van dat model laat zien dat de huidige kwaliteit deels op orde is en deels verbetering nodig heeft. De geschetste noodzaak van verbetering sluit aan bij de belangrijkste aanbevelingen van het TNO onderzoek. TNO pleit voor het inregelen van periodieke en structurele Verbeterplan kwaliteit brandweerexamens d.d. 27 maart 2012 4

kwaliteitscontroles en analyses en het verbeteren van de beoordelingsmethodiek en -taken bij praktijktoetsen. Ook adviseert TNO te komen tot de optimalisering van de algehele professionele consensus bij de brandweer over de algehele keten van praktijk-examens-opleidingen.


1

Inleiding

1.1

Achtergrond en aanleiding voor dit plan

De verbetering van het brandweeronderwijs heeft in de laatste jaren vele impulsen gekregen. Met de Regeling personeel veiligheidsregio’s is per 1 oktober 2010 het functie- en competentie-gerichte duaal onderwijssysteem ingevoerd. De implementatie hiervan is in de regio’s in volle gang. De inwerkingtreding van de Wet veiligheidsregio’s per medio 2012 en daarmee de inrichting van het Instituut Fysieke Veiligheid (IFV) als landelijk kennisinstituut staan voor de deur. Ook is op dit moment het ‘Versterkingsplan brandweeronderwijs in Nederland’ in bespreking waarin het lange termijn perspectief voor de versterking van de organisatie en kwaliteitsborging van het brandweeronderwijs in de meest brede zin worden geschetst. In lijn met dit versterkingsplan en de inrichting van het IFV staat ook het stelsel en de kwaliteit van examinering op de agenda. Het Nbbe dient geïntegreerd te worden in de nieuwe ondersteuningsorganisatie voor Fysieke Veiligheid. Hierbij komt dat het Nbbe na een IOOV onderzoek in 2007 naar het proces van examinering van het brandweeronderwijs aan de slag is gegaan om de kwaliteit van examinering te verbeteren. In 2010 en 2011 is door TNO een onderzoek uitgevoerd naar de psychometrische oftewel toetstechnische kwaliteit van examens voor Manschap A en Bevelvoerder. Ook het brandweerveld zelf geeft aan zorgen te hebben over de examinering en bijbehorende kosten. Men heeft het gevoel dat het stelsel nader bezien moet worden in het licht van de vele ontwikkelingen binnen zowel het onderwijs als het brandweerveld zelf. Voor de toekomst is het van groot belang dat de normstelling en het ambitieniveau voor de kwaliteit van examinering op draagvlak kan rekenen van de diverse betrokken partijen binnen het veld. Cruciaal is wat voor hen een aanvaardbare kwaliteit omtrent brandweerexamens inhoudt en wat daarbij qua kwaliteit én kosten acceptabele oplossingen zijn. Het Nbbe wil met het voorliggende plan van aanpak zicht geven op de gewenste kwaliteit van examinering; een plan dat geïntegreerd kan worden in het Versterkingsplan Brandweer-onderwijs in Nederland en dat inspeelt op de lopende discussie om te komen tot herziening van het stelsel. Dit verbeterplan beschrijft daarom niet alleen kwaliteitsverbeteringen die in het huidige examenstelsel op korte termijn tot stand gebracht kunnen worden (quick wins). Het plan schetst daarnaast ook de contouren voor een herontwerp van het stelsel van brandweerexamens, passend bij ontwikkelingen en verworven inzichten in het (reguliere) beroepsonderwijs, en bij de wensen van het brandweerveld. 1.2

Verantwoording aanpak en werkwijze

Dit verbeterplan is tot stand gekomen in een proces waarin betrokken partijen gehoord zijn om de oplossingsrichtingen voor een kwaliteitsverbeteringsprogramma voor de komende twee tot drie jaar te kunnen agenderen. Onderwijsadviseurs van Capgemini hebben een analyse gemaakt van de huidige kwaliteit van brandweerexamens, een voorzet gedaan voor een kwaliteitsmodel, inzichten en ontwikkelingen aangedragen voor een herontwerp van het stelsel en benchmarkgegevens aangedragen. Onderwijskundigen vanuit het Nbbe hebben gegevens aangedragen over het functioneren van het huidige stelsel en meegewerkt aan het uitwerken van verbetervoorstellen voor zowel de quick wins als het herontwerp van het stelsel. Vertegenwoordigers vanuit het NIFV en een onafhankelijke procesbegeleider hebben gezorgd voor de integratie van gegevens, de raadpleging met betrokken partijen (zie bijlage 3 voor de gesprekspartners) en voor een voorzet van een herontwerp van het examenstelsel. Samen met communicatieadviseurs en financiële capaciteit is gewerkt aan een Verbeterplan kwaliteit brandweerexamens d.d. 27 maart 2012 6

pragmatisch plan van aanpak als input voor een examen-verbeterprogramma voor de komende 3 jaar. 1.3

Leeswijzer

Dit verbeterplan geeft in hoofdstuk 2 een beknopte beschrijving van het huidige stelsel van brandweerexamens gevolgd door een schets van de huidige kwaliteit in hoofdstuk 3. Vervolgens worden in hoofdstuk 4, inspelend op de behoefte aan een herontwerp van het examenstelsel, de contouren voor een nieuw stelsel geschetst. In hoofdstuk 5 wordt ingegaan op de kwaliteitsborging en het toezicht dat vorm moet krijgen in het kader van de oprichting van het IFV. In hoofdstuk 6 worden de verbetermaatregelen geschetst die op korte termijn opgepakt kunnen worden en worden de maatregelen geschetst die in het kader van de oprichting van het IFV in gang worden gezet. Ook worden de veranderstappen benoemd die moeten leiden tot een herontwerp en de bijbehorende pilots voor de komende drie jaar. Afgesloten wordt met een globale planning en met de aandachtspunten voor de communicatie met het veld.


2

Beschrijving huidig stelsel brandweerexamens

In dit hoofdstuk wordt het huidige stelsel van brandweerexamens kort beschreven. Een overzicht van PvB’en per functie, afname, slagingspercentage en van trends in afname moet een schets geven over de stand van zaken binnen de huidige uitvoeringsorganisatie, het Nbbe. 2.1

Huidig stelsel van examinering in de brandweersector

Met de invoering van het functie- en competentiegerichte onderwijs ondergaat naast het brandweeronderwijs ook de examinering een ingrijpende verandering. De examinering dient dusdanig worden opgezet en uitgevoerd dat ondubbelzinnig antwoord gegeven kan worden op de vraag óf de deelnemer als beginnend beroepsbeoefenaar kan functioneren in de beroepspraktijk. Dit stelt nieuwe competentiegerichte eisen aan de ontwikkeling van examens, de voorbereiding erop, de examinering zelf en de beoordeling door de examinatoren. Zo zijn sinds 2010 nieuwe proeven van vakbekwaamheid ontwikkeld, toetswijzers en handleidingen voor organisator en beoordelaar en is een kwalificatiedossier opgesteld voor de beoordelaar. Hieronder wordt een overzicht gepresenteerd van functies met bijbehorende proeve-onderdelen, de afnames in 2011 en de stand van zaken. Het slagingspercentage is niet opgenomen omdat de huidige gepresenteerde ‘gecumuleerde’ slagingspercentages moeilijk te interpreteren zijn en daarmee tot ontevredenheid leiden bij opleidingsinstituten1. Niveau

Functie

Proeve-onderdelen

VMBO

Manschap a

3 online gvt2 3 simulaties

Afname in 2011 2429 2528

Chauffeur Voertuigbediener Gaspakdrager Brandweerduiker Verkenner gevaarlijke stoffen Duikploegleider

Manschap B

1 online gvt 1 simulatie 1 online gvt 2 simulaties 1 online gvt 1 simulatie 1 online gvt 1 authent. opdracht 2 simulaties 1 online gvt 1 simulatie

40 42 35 149 88 62 52 54 94 0

Stand van zaken ‘oud’ en ‘nieuw’ PvB sinds juni 2008 Pvb ontwikkeld, aanpassing nodig (advies programmaraad) Pvb ontwikkeld, aanpassing nodig (advies programmaraad) PvB sinds maart 2011 PvB sinds november 2008 PvB sinds april 2011 PvB sinds april 2011

In ontwikkeling, wordt heroverwogen

1 De gehanteerde slagingspercentages geven het aantal deelnemers weer die zijn geslaagd ongeacht het

aantal pogingen om te slagen . Het slagingspercentage dat de eerste keer slaagt kan in het huidige TestVision toetsservicesysteem niet getraceerd worden. Het is onduidelijk hoeveel deelnemer de eerste keer slagen en hoeveel er vaker over doen. Daarmee is voor opleiders geen inzicht gegeven in de effectiviteit van de opleiding. Een verbetermaatregel op de korte termijn moet dan ook zijn om deze gegevens boven tafel te kunnen krijgen (zie quick wins). Een indicatie vanuit het Nbbe is dat circa 30% van de deelnemers een examen één of meerdere keren moet doen. 2 gvt = geslotenvragentoetsen Verbeterplan kwaliteit brandweerexamens d.d. 27 maart 2012 8

MBO

Controleur brandpreventie Bevelvoerder Mdw. operationele voorbereiding Medewerker brandpreventie Medewerker opleiden en oefenen Instructeur Oefencoördinator Ploegchef Centralist meldkamer Docent

HBO

Specialist brandpreventie Specialist opleiden en oefenen Operationeel manager Tactisch manager Specialist risico's en veiligheid

Specialist operationele voorbereiding Officier van dienst Hoofdofficier van dienst Adviseur gevaarlijke stoffen Meetplanleider

WO

1 arbeidsproef 1 simulatie 3 online gvt 3 simulaties

1 online gvt 1 portfoliogesprek

0 689 493

53 22

1 online gvt 1 simulatie 1 portfoliogesprek

21 0 0

1 simulatie 1 online gvt 1 portfoliogesprek 2 arbeidsproeven 1 gesprek 2 arbeidsproeven 1 gesprek 2 arbeidsproeven 1 gesprek 2 arbeidsproeven 1 gesprek 1 open vragen toets 1 arbeidsproeve 1 gesprek 1 arbeidsproeve 1 gesprek 1 simulatie 1 open vragen toets 1 simulatie 1 open vragen toets 1 simulatie 1 open vragen toets 1 simulatie

7 31 48 30 29 36 12 32 13 41 7 16 17 13 9 6 63 0 16 0 4 27 34

Strategisch manager Manager veiligheid Regionaal commandant Commandant van dienst

PvB is in ontwikkeling. PvB sinds december 2009 Pvb wordt niet ontwikkeld, te weinig belangstelling PvB sinds juni 2010 Pvb wordt niet ontwikkeld, te weinig belangstelling PvB sinds april 2011 PvB sinds mei 2010 Pvb wordt pragmatisch ontwikkeld PvB sinds november 2011 PvB sinds mei 2009 PvB sinds juni 2006 PvB sinds februari 2006 PvB sinds juni 2006 PvB sinds september 2007 PvB sinds oktober 2006

PvB sinds september 2011 PvB sinds mei 2006 PvB sinds januari 2008 PvB sinds januari 2012 PvB sinds februari 2010 Wordt voorlopig niet ontwikkeld Wordt voorlopig niet ontwikkeld Wordt voorlopig niet ontwikkeld Wordt voorlopig niet ontwikkeld

Voor 21 brandweerfuncties zijn nieuwe proeven van bekwaamheid (PvB) opgesteld en afgenomen. Voor 4 brandweerfuncties (chauffeur, voertuigbediener, Manschap B, instructeur) zijn de ontwikkelde PvB’en in discussie die kan leiden tot aanpassingen. Voor twee functies worden de PvB’en niet ontwikkeld in verband met te weinig belangstelling. Voor vier functies worden deze voorlopig niet ontwikkeld. De PvB voor de functie Ploegchef wordt nog pragmatisch ontwikkeld. Voor alle functies met een nieuwe PvB is rekening gehouden met functie- en competentiegericht examineren, wat betekent dat er een mix is gezocht in proeve-onderdelen om zowel kennis en inzicht te toetsen als ook competenties en vaardigheden. Voor de functies Manschap A en Bevelvoerder zijn in 2011 de meeste examens met een nieuwe PvB afgenomen, namelijk in totaal ruim 6.000. Voor de overige brandweerfuncties zijn dat in


totaal circa 1.200. Veel ontwikkelwerk is verzet voor functies met beperkte doelgroepen. De ontwikkeling ervan is door het ministerie van VenJ bekostigd. Uit de gesprekken komen daarnaast enkele andere kanttekeningen naar voren: Bij opleiding tot meerdere functies wordt nog geen rekening houden met al opgedane competenties in verwante leergangen en een mogelijke vrijstelling hiervan. De praktijk is dat brandweerfunctionarissen meerdere leergangen hebben doorlopen. In de gesprekken komt naar voren dat het huidige systeem van eindtoetsing als het sluitstuk van opleiden en kwalificeren zonder tussentijdse toets-momenten en zonder het gebruik van toetskaarten als beoordelingsinstrument voor de sector minder wenselijk is en leidt tot te veel nadruk op examineren. Alleen bij de officiersleergangen wordt naast eindtoetsen ook gewerkt met meer opleidingsgebonden toetsen.

2.2.

Nbbe transparant

Ontwikkeling in het kader van functie- en competentiegericht opleiden en examineren Het Nbbe heeft in de afgelopen jaren hard gewerkt aan de ontwikkeling van PvB’en naast het reguliere werk van afname van examens en toezicht op de afname. Anno 2012 is de situatie veranderd. De ontwikkelingsgelden vanuit VenJ zijn stopgezet in verband met de nieuwe wet VR en de bezuinigingen. In 2009, 2010 en 2011 zijn de volgende subsidiebedragen voor de ontwikkeling van brandweerfuncties besteed. Ontwikkelposten Ontwikkeling 4 leergangen Ontwikkeling vt en oe Kwaliteitsprofielen functiehuis brandweer Implementatieplan bevelvoerder Kwaliteitsborging van examenproces Prof. beoordelaars /gegarandeerd vakbekwaam Stimulering EvC Ontwikkeling nieuwe regelingen Kostendekkende examentarieven Computersimulaties PvB 14 functies functiehuis brandweer Materiele ondersteuning prof beoordelaars Monitoring personeelsvoorziening BW Landelijk zicht op brandweerpersoneel Implementatie PvB dmv E-learning Jeugdbrandweer Professionalisering beeldmateriaal online ex Psychometrisch onderzoek Digitale beoordeling examens Totaal 2009, 2010 en 2011

Totale besteding 2009, 2010 en 2011 109.335 11.683 108.368 9.236 243.914 698.982 34.500 13.440 240.000 28.267 274.301 247.596 51.419 54.814 2.369 1,745 3.119 7.240 7.365 2.147.693

Besteding Vooral in 2010 In 2010 Vooral in 2010 2010 en 2011 2010 en 2011 Vooral in 2010 In 2010 2010 en 2011 In 2010 In 2010 en 2011 Vooral in 2010 In 2011 In 2010 en 2011 In 2011 In 2011 In 2011 In 2011 In 2011 In 2011

Daarmee is op hoofdlijnen voldaan aan het ontwikkelen van de toetsen in het kader van functie- en competentiegericht opleiden en examineren . Uitgaande van een 3 jaar cyclus moet nu worden bekeken welk structureel ontwikkelbudget nodig is voor evaluatie en doorontwikkeling aansluitend op het onderhoud van kwalificatiedossiers of na wijzigingen van weten regelgeving. Verbeterplan kwaliteit brandweerexamens d.d. 27 maart 2012 10

Afname van examens laat een dalende trend zien Voor 2012 wordt een daling van de afname van examens verwacht. In 2009 waren dat nog in totaal 23.000 en in 2011 circa 19.200. Op basis van een prognose van de eerste maanden van 2012 wordt een verdere daling naar circa 12.000 verwacht. Sleutelfiguren in het veld geven aan dat de dalende trend waarschijnlijk nog verder door zal zetten. Het gaat hierbij om alle examens die het Nbbe verzorgd, namelijk naast examens voor wettelijke warme en koude functies ook oude modulaire examens voor ranggeschikte functies en niet wettelijke functies. 3 Hieronder een overzicht van de afnames in 2011 en een prognose voor 2012 eerst per type examen. De prognose laat hierbij zien dat vooral de modulaire ‘oude’ schriftelijke én praktijkexamens voor ranggeschikte functies niet meer worden afgenomen in 2012. Dit veroorzaakt voor een grotendeels de dalende trend. PvB’en per type

Wettelijk warm schriftelijk Wettelijk koud schriftelijk Modulair ‘oud’ schriftelijk Totaal schriftelijk Wettelijk warm praktijk Wettelijk koud praktijk Modulair ‘oud’ praktijk Wettelijk warm computer Totaal praktijk

Afname in 2011

Omzet in 2011

4.738 107 4.839 9.684 3.411 208 3.812 382 7.813

333.940 7.490 337.610 679.040 694.036 69.524 651.805 138.780 1.554.145

Prognose Omzet in Afname 2012 2012 aantallen in % 3.980 378.100 -15% 140 13.300 +30% 890 84.550 -80% 5.010 475.950 -50% 3.475 791.750 0% 195 68.615 -7% 740 85.800 -80% 340 116.400 -10% 4.750 1.062.565 -35%

Zie voor een uitwerking van de gegevens per type examen en per functie bijlage A. De afname van nieuwe examens per type functie (zie overzicht hieronder) laat een dalende trend zien voor wettelijke warme functies van circa -10% en voor wettelijk koude functies van -15%. Examens voor wettelijke overige functies stijgen sterk, maar blijven in omvang nog beperkt. De functie- en competentiegerichte examinering staat daarmee in de stijgers en vraagt van de examineringsorganisatie om anticipatie daarop.

3 Wettelijk warm: hieronder vallen de functies van manschap A, bevelvoerder, voertuigbediener,

gaspakdrager, brandweerduiker, verkenner en adviseur gevaarlijke stoffen, duikploegleider, Officier van Dienst, Hoofdofficier van Dienst en meetplanleider Wettelijk koud: hieronder vallen de functies van medewerker brandpreventie, instructeur, docent, centralist Meldkamer, specialist, operationeel manager, tactisch manager Modulair ‘oud’: hieronder vallen de ranggerichte functies van instructeur, brandweerduiker, duikploegleider, e BW 1 klasse, HBT, OB, BM, brandweerchauffeur, brandwacht, commandeur Wettelijk overig: hieronder vallen functies voor BES Eilanden en Bedrijfsbrandweer Niet wettelijk: hieronder vallen examens voor de GHOR, multidisciplinair, GROOT, adviseur beleid en bestuur, specialist


Afname van examens 2011 en prognose 2012

Pvb'en Pvb'en per type functie Wettelijk warm Wettelijk koud Wettelijk overige Modulair Niet wettelijk Overige Totaal

Afname 2011

Omzet 2011

8.631 764 53 8.793 998 19.239

1.180.991 171.094 14.910 1.007.165 117.030 95.380 2.586.570

Prognose 2012

Omzet 2012

Daling in %

7.820 645 1.400 1.630 620

1.296.250 140.265 232.800 170.350 59.800

-9,4% -15,6% 2541,5% -81,5% -37,9%

12.115

1.899.465

-37,0%

Scenario’s voor de toekomst in verband met de dalende trend van afname De dalende trend geeft aan dat het Nbbe los van de kwaliteitsverbetering voor een financieel vraagstuk staat. Per examen zal het kostendekkende tarief voor de afname en organisatie van examens inzichtelijk moeten zijn. Daarnaast is inzicht nodig in toekomstige ontwikkelen toezichtkosten. Een toekomstig financieringsmodel moet met alle drie de kostenposten rekening moeten houden. Deze financiële uitwerking wordt in het kader van de migratie van het Nbbe naar het IFV opgepakt. Op dit moment wordt gewerkt aan meerdere scenario’s voor de overgang. 1. Doorgaan met huidige portfolio en capaciteit. Daarbij rekening houden met tarieffinanciering en efficiencymaatregelen (beperken overhead). 2. Nieuw financieringsmodel uitwerken waarbij vaste kosten voor organisatie en afname van examens betaald worden via een nader te bepalen structurele financiering. Variabele kosten worden tariefgestuurd vergoed bij afname (circa 1/3 van huidige examentarieven). 3. Portfolio van examenproducten beperken in het kader van de overgang naar examinering door opleidingsinstituten zelf in de toekomst. Daarnaast kan in het kader van het inrichten van de examinering nieuwe stijl gekeken worden naar de verdeling van kosten voor toezicht en ontwikkeling door het Nbbe nieuwe stijl en de kosten voor afname van examens die op termijn bij herontwerp door de opleidingsinstituten zelf wordt uitgevoerd. Indien ertoe wordt besloten, moet rekening worden gehouden met een overgangsperiode van 2-3 jaar. Voor eventuele ontwikkelkosten in de toekomst kan uit ervaring per examen gerekend worden met gemiddeld 300 uur met een uurtarief van € 90 (integrale kostprijs, prijspeil 2012). Een zorgvuldige afweging is nodig bij examenproducten voor beperkte doelgroepen.


3.

Schets kwaliteitsbeeld brandweerexamens

In dit hoofdstuk wordt de huidige kwaliteit van de brandweerexamens beschreven. Hiertoe is eerst een kwaliteitsmodel met kwaliteitstandaarden geïntroduceerd om vervolgens in 3.2. te bepalen op welke punten de kwaliteit voldoet en waar verbeteringen van de kwaliteit van de brandweerexamens wenselijk zijn. 3.1.

Kwaliteitsmodel met kwaliteitstandaarden examinering

Brandweerexaminering kent geen samenhangend kwaliteitsmodel. Wel heeft IOOV een algemeen toezichtkader met vijf processtappen. Ten behoeve van een verdere operationalisering en om de huidige kwaliteit van brandweerexamens concreter te kunnen beschrijven, is in dit verbeterplan gekozen om een kwaliteits-model te introduceren waarbij de kwaliteitsstandaarden zijn ontleend aan zowel de toezicht-kaders van de inspectie voor openbare orde en veiligheid (IOOV) als de inspectie van het onderwijs (IO). De IO heeft recent een nieuw toezichtkader voor het middelbaar beroepsonderwijs vastgesteld (toezichtkader BVE 2012) waarin de kwaliteitsstandaarden verder zijn geoperationaliseerd dan in het toezichtkader van IOOV. Daar waar de IO de kwaliteitsstandaarden meer heeft geoperationaliseerd in indicatoren dan IOOV, zijn die indicatoren gehanteerd. Deze operationalisering geeft houvast bij de beschrijving van de huidige kwaliteit. Aangenomen mag worden dat deze kwaliteitsstandaarden ook voor IOOV van toepassing kunnen zijn. Beide inspecties richten zich in deze op het beroepsonderwijs en kijken naar vergelijkbare kwaliteitsaspecten. Het geïntroduceerde kwaliteitsmodel met geoperationaliseerde kwaliteitsstandaarden dient uiteraard nog wel geverifieerd te worden bij de IOOV. IOOV heeft tot nu toe nog geen expliciete toezichttaak en houdt alleen ‘toezicht’ op examinering en indirect op de vakbekwaamheid pas in het geval van incidenten en het mis gaat in het werkelijke optreden. Dit kwaliteitsmodel dat uitgangspunt is voor de beschrijving van de huidige situatie verbindt de vijf processtappen vanuit IOOV voor de kwaliteit van examinering met een beschrijving van minimum kwaliteitsstandaarden, voor zo ver geoperationaliseerd met de indicatoren vanuit IO en IOOV. 5 aspecten kwaliteitsmodel IOOV processtappen 4. De totstandkoming van de examens 5. De vorm en inhoud van de exameninstrumenten

6. 7. 8.

De organisatie en afname van de examens Beoordeling en diplomering De kwaliteitsborging van de examens

Kwaliteitsstandaarden (en eventueel indicatoren) IOOV en IO Ontwikkelproces (met betrokkenen examens uitwerken) Onafhankelijke validatie (onafhankelijke examencie) Validiteit Dekkingsgraad (75%) Cesuur Beoordelingswijze Transparantie en verloop Authentieke en gestandaardiseerde afname Besluitvorming Betrouwbaarheid beoordeling Interne kwaliteitsbewaking Intern toezicht


Afweging kwaliteitsmodel Bovenstaande 5 aspecten zijn gekoppeld aan minimale kwaliteitsstandaarden en indicatoren. In het herontwerp van het stelsel dient het veld de discussie te voeren in hoeverre het minimummodel aanpassing nodig heeft. Twee richtingen zijn mogelijk: Extra randvoorwaarden, ontleend aan de beroepspraktijk: De brandweersector kan randvoorwaarden formuleren inzake de examens. Gedacht kan worden aan een standaard ‘praktische bruikbaarheid’ of een standaard die aangeeft dat de examens ‘zoveel mogelijk in de praktijk plaatsvinden‘ en dat examens effectief en efficiënt zijn ingericht. Hogere of lagere kwaliteitsnormen, passend bij het brandweerveld: De brandweer moet zich afvragen welk ambitieniveau men wenst te hanteren. Volgt men de bovenstaande standaarden/ normen van de inspectie of wenst men ‘de lat hoger of lager te leggen’? Ten aanzien van de dekkingsgraad van examens bijvoorbeeld hanteren de inspecties de norm dat de examens dekkend zijn voor 75% van het kwalificatiedossier. De sector kan hier een hoger of lager ambitieniveau kiezen. De benchmarkgegevens in bijlage B laten zien dat de verschillende sectoren in het beroepsonderwijs verschillend daarmee omgaan. Cruciaal hierbij is wat voor de brandweersector een aanvaardbare kwaliteit omtrent brandweerexamens inhoudt en wat daarbij qua kwaliteit én kosten acceptabele oplossingen zijn. 3.2.

Huidig kwaliteitsbeeld

In deze paragraaf wordt de huidige kwaliteit van het brandweerexamen op hoofdpunten in kaart gebracht. Per kwaliteitstandaard wordt een korte beschrijving van de huidige situatie gegeven. De beschrijvingen zijn gebaseerd op de volgende bronnen: - inspectieonderzoeken van IOOV naar de kwaliteit van de brandweerexamens; - onderzoek door TNO naar de kwaliteit van de exameninstrumenten die worden gehanteerd voor de functies manschap A en bevelvoerder; - bevindingen en ervaringen uit het veld die tijdens gesprekken naar voren zijn gekomen. 1. De totstandkoming van examens Kwaliteitsstandaarden en indicatoren Zorgvuldige ontwikkeling van examens Het ontwikkelproces is transparant ingericht waar relevante expertise/stakeholders zijn betrokken met heldere verantwoordelijkheden, zodat aansluiting op opleiding en praktijk is geborgd. Onafhankelijke vaststelling van examens Onderwijskundige en brandweerkundige validatie.

Huidige stand van zaken BW Inzet ontwikkelgroepen vertegenwoordiging vanuit het veld Vaststelling door bestuur Nbbe Onderwijskundige en brandweerkundige validatie is er niet

Toelichting huidige kwaliteit Het beroepenveld wordt intensief betrokken bij de totstandkoming van examens middels ontwikkelgroepen waarmee het Nbbe werkt voor het ontwikkelen van examens. Er is één ontwikkelgroep voor het kwalificatiedossier, opleidingsplan en PvB op hoofdlijnen. Er zijn ontwikkelgroepen die de verschillende PVB’en ontwikkelen. In de ontwikkelgroepen zitten, op voordracht van de branche, vertegenwoordigers uit de branche. Op basis van een IOOV aanbeveling heeft het Nbbe een profielschets en selectiecriteria voor de samenstelling van PvB ontwikkelgroepen opgesteld. De kwaliteit van de ontwikkelgroep heeft daarmee kaders gekregen. Echter, in het veld blijft er discussie over het naast elkaar bestaan van allerlei ontwikkelgroepen.


Men heeft de behoefte aan meer regie over een gestroomlijnde samenstelling van de diverse ontwikkelgroepen voor opleiden en examineren vanuit de NVBR. Het bestuur van het Nbbe stelt de examens inhoudelijk vast. De onderwijskundige en brandweerkundige validatie vindt plaats in de ontwikkelgroepen. In de huidige structuur is dan ook niet voorzien in een onafhankelijke onderwijskundige en brandweerkundige validatie. Dat doen de ontwikkelgroepen zelf. Quick wins binnen huidig stelsel Profielschets en selectiecriteria ontwikkelgroep aanscherpen met het oog op actuele kennis en doeltreffendheid

Verbeteracties voor herontwerp Inrichten validatie door middel van jaarlijkse overzichten van wijzigingen (opgesteld door ontwikkelgroepen) aan landelijke examencommissie en door een 2-jaarlijkse check op de procedure bij accreditatie Afbakening met Commissie Toezicht Examinering gericht op intern toezicht

2. Vorm en inhoud van exameninstrumenten Kwaliteitsstandaarden en indicatoren Validiteit (meet het examen wat het moet meten?) De examens zijn qua inhoud en toetsvorm zodanig afgestemd op de kwalificatie vereisten dat kennis, vaardigheden en beroepshouding in een goede balans passend worden beoordeeld. Dekkingsgraad Examens zijn voor meer dan driekwart dekkend voor inhoud van de vastgestelde functies (volledigheid). Examens zijn dekkend voor niveau van de vastgestelde functies (moeilijkheidsgraad). Cesuur De cesuur ligt op een niveau waarop de deelnemer gemiddeld voldoet aan de vereisten die in de exameninstrumenten zijn verwerkt. De cesuur is dusdanig ingericht dat alle proeve-onderdelen die essentieel zijn voor de beroepsuitoefening met gunstig gevolg zijn afgelegd. Beoordelingswijze De beoordelaar kan uit de beoordelingsvoorschrift duidelijk opmaken op grond waarvan een antwoord of prestatie van een deelnemer met een bepaalde (deel)score moet worden gewaardeerd.

Huidige stand van zaken BW Gebruik geschikte meetinstrumenten voor kennis en vaardigheden Weinig differentiatie per functie

Geen expliciete check Check met toetsmatrijs voor gvt op makkelijk/moeilijk 4

70% voor online gvt, cesuurbepalingsmethode voor andere PvB’en Overal een voldoende halen Wel voorschriften, maar lastig te interpreteren en te hanteren

Toelichting huidige kwaliteit

4 Gvt = online geslotenvragentoets Verbeterplan kwaliteit brandweerexamens d.d. 27 maart 2012 15

Het Nbbe werkt met online-geslotenvragentoetsen om kennis en inzicht te toetsen en met praktijk/computersimulaties om vooral vaardigheden/competenties te toetsen. Door de vernieuwing van de praktijkexamens en het werken met proeve van bekwaamheid (PVB’s) is er sprake van een meer geïntegreerde beoordeling van (vak)kennis, inzicht, vaardigheden en attitude. Het examenstelsel kan daarmee in het algemeen als valide worden gezien om te meten of kandidaten het beoogde eindniveau hebben behaald om als beginnend beroepsbeoefenaar aan de slag te gaan. Meetinstrumenten passen bij dat wat zij moeten meten (online gesloten-vragentoetsen meten kennis, simulaties meten vaardigheden/competenties). Wel is er met name vanuit het veld behoefte aan een verdere differentiatie van examenopdrachten naar functieniveau. Men vraagt zich af of voor bepaalde functies de resultaten tijdens de opleiding niet meer moeten meetellen. De dekkingsgraad van de examens lijkt inhoudelijk te voldoen. De toetsmatrijs voor online geslotenvragentoetsen is zo georganiseerd dat alle kenniselementen uit het kwalificatiedossier inhoudelijk zijn gedekt. Maar voor de vaardigheden is de dekkingsgraad moeilijker vast te stellen omdat de essentiële vaardigheden in het kwalificatiedossier op een hoog abstractieniveau zijn beschreven. De dekkingsgraad is dan ook lastig precies vast te stellen en concretisering van vaardigheden laat interpretaties toe. In het werkveld speelt hier ook de discussie over het feit dat op diverse plekken (regio’s) niet altijd hetzelfde wordt geleerd en hoe dit aan moet sluiten bij de examinering. Het onderhoud van kwalificatiedossiers is hierin een belangrijke schakel, wat betreft het vaststellen van hetgeen vakbekwaamheid inhoudt en de te maken keuzes bij wijze van ‘eindtermen’ als input voor opleidingsprogramma’s en examinering. Een duiding hieromtrent in het brandweerveld is nodig: het ‘wat’ moet duidelijk zijn, het ‘hoe’ kan verschillen. Ten aanzien van de online-geslotenvragentoets vormen de moeilijkheidsgraad (dekkingsgraad qua niveau) en cesuur aandachtspunten. Uit het TNO-onderzoek is naar voren gekomen dat veel toetsvragen uit de online- geslotenvragentoets te makkelijk zijn. Ook is het de vraag of de juiste cesuur wordt gehanteerd. Voor de zak/slaaggrens wordt (vanuit de historie) een cesuur van 70 % gehanteerd voor alle functies. De vraag is of de cesuur op het juiste niveau ligt en ook is de vraag of differentiatie naar functieniveau gewenst is. Voor de praktijk/computersimulaties lijken de moeilijkheidsgraad en cesuur op orde. Het vaststellen van de cesuur verloopt volgens een bepaalde onderwijskundige methode en is per functie anders. In het TNO-onderzoek is opgemerkt dat vereenvoudiging wenselijk is. De beoordelingswijze vraagt aandacht. De kwaliteit van de beoordelingsformulieren is ontoereikend en er is een onvoldoende gedeeld begrip bij beoordelaars van de beoordelingscriteria. Dit heeft een negatieve invloed op de betrouwbaarheid. Verbetering is gewenst op dit punt. De beoordelingscriteria moeten worden geherformuleerd, de gehanteerde 2-puntschaal differentieert te weinig en de KO moet gekoppeld worden aan concrete veiligheidsfouten. Uit de gesprekken blijkt omtrent dit punt: Beoordeling lijkt subjectief, beginnend bij een algemeen oordeel en met pas achteraf het objectief doorlopen van het beoordelingsformulier Er volgt onvoldoende feedback naar de deelnemer, onvoldoende inzicht in de behaalde resultaten en in de onderdelen waar men een onvoldoende heeft behaald. Daarmee is het niet mogelijk om tijdens de beroepsuitoefening of de opleiding / herkansing gericht te werken aan de verdere professionalisering.

Quick wins binnen huidig stelsel Het verbeteren van de betrouwbaarheid van de online geslotenvragentoetsen door statistische

Verbeteracties voor herontwerp Het verhogen van de betrouwbaarheid van online geslotenvragentoetsen door


analyses Vereenvoudiging van de cesuur van simulaties Het verhogen van de interbeoordelaarsbetrouwbaarheid door beoordelingscriteria te operationaliseren en KO te koppelen met veiligheidsfouten Het standaardiseren van nakijkinstructies openwerk examens (support door voorbeeldantwoorden met voorbeeldbeoordelingen voor juist / onjuist / gedeeltelijk juist, inclusief duidelijke toelichting).

aanpassen van toetsitems Het bepalen van cesuur en wenselijkheid differentiatie van functieniveau Het verhogen van interbeoordelaarsbetrouwbaarheid door aanpassen van de 2 puntenschaal en meer aandacht voor reflectie en feedback tijdens de training van beoordelaars. Een en ander is afhankelijk van het herontwerp van praktijksimulaties.

3. Organisatie en afname van examens Kwaliteitsstandaarden en indicatoren

Huidige stand van zaken BW

Transparantie en verloop Deelnemers en beoordelaars hebben een helder beeld hoe het examen eruit ziet en hoe het wordt uitgevoerd en beoordeeld. Men is geïnformeerd over de beoordelingscriteria, afnamecondities en wijze van beoordeling.

Examenplanning- en reserveringssysteem

Authentieke en gestandaardiseerde afname Onderdelen van het examen vinden in een reële beroepspraktijk plaats (mate van realisme) Afname vindt onder gestandaardiseerde condities plaats (vergelijkbare examens/opdrachten)

Gebruik van praktijksimulaties

Gebruik van toetswijzers, handleiding beoordelaar en organisator en trainingen

Scenario’s: te weinig gestandaardiseerd

Toelichting huidige kwaliteit De invoering van het digitale examenplanning- en reserveringssysteem door het Nbbe heeft een belangrijke verbetering teweeg gebracht in de organisatie van de examens. TNO constateert dat de examens over het algemeen goed zijn georganiseerd en transparant verlopen. De organisatie is in principe duidelijk ingericht en betrokkenen zijn op de hoogte. In het kader van de oprichting van het IFV en het versterkingsplan Brandweeronderwijs Nederland is het voornemen om de organisatie en afname van examens te beleggen bij de opleidingsinstituten. Daarmee zal de organisatie van examens opnieuw moeten worden bekeken. De mate van authenticiteit (realisme) verschilt voor de praktijk- versus de computersimulaties. Vooral voor de praktijksimulaties geldt dat sprake is van een realistische praktijkoefening. Voor de computersimulaties is het lastiger om de examens maximaal praktijkgericht te maken. In de computersimulaties ligt de focus meer op het toepassen van procedures en regels, terwijl juist ook inzicht en competenties van belang zijn. Bij de praktijksimulaties is sprake van een zorgvuldige scenariokeuze, echter deze is niet gestandaardiseerd. Daardoor ontstaat het risico dat de zwaarte van examens onderling verschilt. Qick wins binnen huidig stelsel Standaardiseren van scenario’s om vergelijkbaarheid van examenopdrachten te borgen Toetsitems vervangen

Verbeteracties voor herontwerp Organisatie en afname leggen bij opleidingsinstituten via accreditatie en examenreglement



4. Diplomering Kwaliteitstandaarden en indicatoren


Diplomering De besluitvorming over diplomering is deugdelijk op grond van de oordelen op de examenonderdelen.

Bestuur Nbbe als examencommissie

Betrouwbaarheid beoordeling Examenopdrachten, afnamecondities en beoordelingen zijn zodanig opgezet en toegepast dat de betrouwbaarheid van de uitkomsten is geborgd. De beoordeling is zo objectief mogelijk (in gelijke gevallen wordt gelijk beoordeeld); interboordelaarsbetrouwbaarheid. Er is sprake van een deskundige beoordeling.

Norm is aanwezig, wordt nog niet voor alle proveonderdelen gehaald Beoordelingswijze niet uniform Selectie beoordelaars en opleiding

Toelichting huidige kwaliteit Het diploma geeft aan dat de kandidaat -op grond van de toetsen/examens- het bewijs heeft geleverd dat hij/zij in de beroepspraktijk vakbekwaam (competent) kan handelen. Het bestuur van het Nbbe besluit tot het verstrekken van diploma’s op basis van de examenresultaten en verleende vrijstellingen. Het is in onderwijsland goed gebruik om de besluit-vorming onafhankelijk te laten plaatsvinden door een examencommissie. Op basis van de examenresultaten aangeleverd door de lokale examencommissies en de verleende vrijstellingen neemt de landelijke examencommissie het besluit tot verstrekken van een diploma. Om vast te stellen of de diplomering adequaat verloopt zal de landelijke examencommissie periodiek slagingspercentages dienen te monitoren, na moeten gaan welke normen voor het aantal geslaagden wenselijk zijn en de uitgangspunten voor het beleid voor herkansingen e.d. aandragen. Dergelijke analyses en normen worden momenteel niet gehanteerd. Slagingspercentages worden nu niet structureel gemonitord, omdat onduidelijk is wat de normen zijn vanuit het veld. De betrouwbaarheid van de geslotenvragentoetsen van Manschap A en Bevelvoerder is door TNO onderzocht. Daarbij is de kwaliteit van de toetsitems beoordeeld op basis van de normen van Cito; deze normen zijn strenger dan de normen die in TestVision worden gehanteerd. Geconstateerd is dat de betrouwbaarheid van de toets (van vooral Manschap A en in mindere mate van Bevelvoerder) kan worden verhoogd door de toetsitems die niet voldoen aan de norm te vervangen. Voor de praktijk-/computersimulaties geldt dat de interbeoordelaarsbetrouwbaarheid een aandachtspunt vormt. Dit heeft met name te maken met de beoordelingswijze die zoals hiervoor is aangegeven verbetering behoeft. De beoordelaars worden zorgvuldig geselecteerd en opgeleid. De kwaliteit van de beoordelaars is geborgd voor de deskundigheid, maar nog niet voor de beoordelingswijze. Door TNO is de suggestie gedaan om voor Manschap A en Bevelvoerder s te werken met twee beoordelaars als een van de oplossingen om de interboordelaarsbetrouwbaarheid te verhogen. Het Nbbe heeft een toetskaart ontwikkeld om vast te stellen of de kandidaat voldoende opgeleid en voorbereid is om een praktijkexamen op een veilige wijze te kunnen afleggen. De toetskaarten bevatten géén beoordelingen. Op dit moment wordt met toetskaarten nog te vrijblijvend omgegaan zonder voldoende controle op juiste en volledige invulling. Ook kan worden overwogen


om de toetskaart als beoordelingsinstrument in te zetten om daarmee een portfolio van verworven competenties op te bouwen.

Quick wins binnen huidig stelsel Inzicht geven in slagingspercentage bij eerste afname

Verbeteracties voor herontwerp Inrichten landelijke en lokale examencommissies voor besluitvorming, klachtenafhandeling en monitoring Uniformering beoordelingswijze (bijv. hoe omgaan met regionale werkwijze) en bijscholing beoordelaars Toetskaarten als beoordelingsinstrument gebruiken Onderzoeken hoe interbeoordelaarsbetrouwbaaheid te verhogen

5. Kwaliteitsborging Kwaliteitstandaarden en indicatoren


Interne kwaliteitsbewaking De kwaliteit van de examinering wordt periodiek geëvalueerd en waar nodig bijgesteld/verbeterd. De expertise van betrokkenen is geborgd.

Geen interne bewaking, wel ISO gecertificeerde werkprocessen

Intern toezicht op de examenkwaliteit Er is een commissie ingericht die grondig en frequent toezicht houdt op de kwaliteit van het exameninstrumentarium, de afname, de beoordeling, de besluitvorming betreffende de diplomering en van de deskundigheid van bij examinering betrokken personen.

Discussie loopt in het kader van het versterkingsplan Procedure klachtenafhandeling is opgesteld

Toelichting huidige kwaliteit Kwaliteitsborging is in de huidige situatie onvoldoende geregeld en als speerpunt in het Versterkingsplan Brandweeronderwijs Nederland opgenomen. Een systeem voor intern toezicht binnen het stelsel moet in de komende jaren worden vormgegeven. TNO constateert dat toetsitems in Testvision niet periodiek (statistisch) gescreend worden en geen periodieke evaluatie van PVB voor bijstelling plaatsvindt.

Quick wins binnen huidig stelsel Statistische monitoring

Verbeteracties voor herontwerp Inrichten systeem voor intern toezicht onder verantwoordelijkheid van een onafhankelijke Commissie Toezicht Examinering.


4. Herontwerp stelsel brandweerexamens Binnen de brandweersector wordt gesproken over de behoefte aan een herontwerp van het examenstelsel. Men is van mening dat het huidige stelsel ‘te ver doorgeslagen is’ en onvoldoende past bij de beroepspraktijk en de visie op levenslang leren van vakbekwaam worden én blijven. Dit sluit aan bij de landelijke inzichten en ontwikkelingen op het gebied van examinering in het beroepsonderwijs. In dit hoofdstuk wordt eerst een beknopte schets van ontwikkelingen en inzichten in examinering gegeven. Van hieruit zijn uitgangspunten en basisprincipes gedestilleerd die als kader kunnen dienen voor het herontwerp. Tevens wordt aangesloten bij de aanleiding voor het herontwerp van het examenstelsel in de brandweersector. Vervolgens worden de contouren geschetst voor een herontwerp van het examenstelsel en wordt een voorstel gedaan hoe tot dit herontwerp te komen. 4.1. Ontwikkelingen en inzichten in examinering De afgelopen jaren is fors geïnvesteerd in de examinering in het (reguliere) beroepsonderwijs. De belangrijkste ontwikkelingen en verworven inzichten zijn: Toetsen meer integreren op leerwerkplek (gecontextualiseerd beoordelen) In de beroepsgerichte opleidingen is een ontwikkeling zichtbaar naar levensechtere leeromgevingen. In het reguliere mbo is sprake van een toename van ‘werkplekleren’. Met name voor de BBL (de beroepsbegeleidende leerweg) geldt dat een groot deel van het leren plaatsvindt in een werksituatie. Deze ontwikkeling heeft gevolgen voor de manier van beoordelen en examineren. Deze vinden eveneens in toenemende mate plaats in de beroeps-praktijk op de ‘leerwerkplek’. Er is hierdoor een toename van certificering op de leerwerkplek. Mix van interne en externe beoordelingen Door de toenemende beoordeling op de leerwerkplek, ontstaat steeds meer een mix van interne en externe beoordelingen. Bijvoorbeeld tussentijdse (deel)toetsen worden door interne beoordelaars (docenten en/of stagebegeleiders) beoordeeld en daarnaast zijn er externe beoordelaars voor specifieke (eind)examenopdrachten. Van eindtoetsing naar tussentijds (formatief-summatief toetsen) Examinering werd traditioneel altijd gezien als het sluitstuk in de keten van opleiden en kwalificeren. Afgelopen jaren is een tendens zichtbaar dat minder op het einde van de opleiding wordt geëxamineerd en dat meer tussentijds bepaalde competenties worden getoetst. Kandidaten kunnen in toenemende mate tussentijds deelcertificaten behalen en een portfolio opbouwen van verworven competenties (portfoliodiploma). Ook zijn er andere overwegingen (voorkomen uitval en zorgdragen voor beroepsperspectief) om niet pas aan het eind van een opleidingstraject uit een examen eventuele ongeschiktheid van een kandidaat voor een bepaald beroep te laten blijken/bepalen. Versterking relatie school-praktijk Steeds meer dringt het door dat praktijkbeoordelingen een structurelere plek verdienen in het geheel van beoordelingen. Integratieve beoordelingen van school en praktijk krijgen nu in sommige gevallen de voorkeur boven absolverende beoordelingen (op onderdelen). Het werkveld is bij de beoordelingen steeds meer ‘partner’ en niet alleen ‘afnemer’. Het inzicht is algemeen geworden in het beroepsonderwijs dat de praktijkervaringen meer benut moeten worden als systematische beoordelings- en portfoliosituaties.


Daarnaast is een veel gehoord geluid om ook de traditionele toetsen te behouden, maar die een andere plek te geven in het geheel (diagnostisch, ‘voorwaardelijk’ kennis toetsen). Kwaliteitsborging en centralisatie Er is ook een ontwikkeling gaande in het reguliere onderwijs naar meer afspraken en transparantie over examens. Er is een roep om vormen van standaardisering en meer centraal ontwikkelen van examens, dit iets in tegenstelling tot bovengenoemde ontwikkeling omtrent de relatie schoolpraktijk. Er zijn de laatste jaren twijfels geuit over de kwaliteit van de MBO-examens, waardoor de civiele waarde van het mbo-diploma onder druk staat. In het MBO is een landelijk examenprofiel ontwikkeld, welke vervolgens per sector en regio nader wordt ingevuld. Op deze manier worden kaders meegegeven aan de instellingen die examens ontwikkelen. Ook in de brandweersector was de behoefte aan een landelijke regie de aanleiding om de ontwikkeling van examens te beleggen bij een centrale organisatie: het Nbbe. De vraag is nu of deze centrale organisatie (regie) voldoende is of dat er ook niet inhoudelijke centrale beleidslijnen moeten komen. Voor de ontwikkeling van de brandweerexamens geldt namelijk dat de inhoudelijke kaderstelling aan de ontwikkelgroepen zeer beperkt is. Op dit moment worden voorstellen gemaakt over het inrichten van een zogenoemde Werkveld Adviescommissie voor het stroomlijnen van ontwikkelwerk/-groepen en in de BOR besproken. Standaardisatie versus differentiatie Per sector en regio kan opleiden en beoordelen (examineren) verschillen. Dit hoeft niet strijdig te zijn met landelijke kaders die voor examens geformuleerd kunnen worden. Centrale vraag is welke mate van standaardisatie versus differentiatie gewenst is naar bijvoorbeeld sector, functies en/of regio’s. Betaalbaarheid (kostenprijsmodel examinering MBO) Differentiatiemogelijkheden brengt met zich mee dat keuzes gemaakt kunnen worden. Deze keuzes worden bepaald door inhoudelijke overwegingen (kwaliteit), maar duidelijk is geworden dat ook de kosten een rol spelen. Binnen het MBO is een kostprijsmodel ontwikkeld. Het doel van dit kostprijsmodel is de kosten inzichtelijk te maken die zijn gemoeid met de mix van examenproducten en de inrichting van de examenprocessen. Dit maakt het mogelijk om afgewogen keuzes te maken, waarbij ook het perspectief van ‘betaalbaarheid’ is betrokken.


4.2. Aanleiding en contouren voor herontwerp examenstelsel in de brandweersector De gesprekken met vertegenwoordigers uit het brandweerveld geven een helder beeld. Men ziet in de integratie van het exameninstituut in het nieuwe Instituut voor Fysieke Veiligheid een uniek en voor de hand liggend moment om aan de gewenste kwaliteitsverbetering van de examinering vorm te geven. Hieronder zijn de wensen uit het praktijkveld samengevat in basisprincipes voor het herontwerp van het stelsel van brandweerexamens:

De Ambitie voor het nieuwe examenstelsel onderschrijven, het ‘wat’ van betaalbare kwaliteit: Uitgaan van een effectieve en efficiënte opzet van examinering en daarmee de betaalbaarheid van examinering bewaken met een goede balans voor kwaliteit en veiligheid: kwaliteit, goed geborgd om de toets ter kritiek te kunnen doorstaan en tegelijkertijd betaalbaar. Examineren beter integreren in opleiden en op de leerwerkplek: van eindtoetsing naar meer tussentijdse borgmomenten om de studievoortgang bij te houden. Het ‘Hoe’: Sanering van certificering met de centrale vragen: Voor welke brandweerfuncties zijn certificaten nodig? Welke taken mogen uitgevoerd worden zonder certificaat of diploma, met welke EVC’en en trainingen? Wat is eigenlijk bureaucratie? Wat zijn criteria die bepalen of certificering nodig is? Welk beleidskader hanteren we? Differentiatie per functie mogelijk maken om de portfolio van examinering aan te laten sluiten bij de impact van de functie en het mogelijke risico bij inzet. Uitgaan van één opleidingsinstituut voor de brandweer met een beperkt aantal decentrale uitvoeringssatellieten en deze in staat stellen om zelf de examinering uit te voeren door een vorm van accreditatie en een examenreglement (ER). Centraal ontwikkelen van een leergangportfolio en toetsinstrumenten met ruimte voor regionale accenten, beter in samenhang brengen met het ontwikkelen van les-, leer- en oefenstof en opleidingsproducten, passend binnen de landelijke kwaliteitsstandaarden en herkenbaar voor het beroepenveld (brandweerpraktijk). Werken met een beperkte pool van examinatoren waarbij er sprake is van een goede mix van interne (binnen het opleidingsinstituut) en externe beoordelaars (vanuit het IFV of andere decentrale opleidingsinstituten). Intern toezicht op kwaliteit van examinering organiseren met een systeem van auditing.

Contouren voor het herontwerp Voorgesteld wordt om een herontwerp van het examenstelsel gebaseerd op bovengenoemde basisprincipes als volgt te funderen: Organiseren van een adequate aansluiting op opleiden c.q. integratie van toetsmomenten in leergangen. Verder vormgeven aan de processtappen van examinering zoals door IOOV benoemd. Inrichten van een heldere governance voor examinering.

Hieronder volgt eerst een schets van een herontwerp dat vervolgens op onderdelen nader wordt beschreven. Verbeterplan kwaliteit brandweerexamens d.d. 27 maart 2012 23

Contouren herontwerp examenstelsel

Examinering

Opleiden

IOOV Extern toezicht op kwaliteit Cie Toezicht Examinering Intern toezicht op kwaliteit Landelijke examencie.

Check op regels en voorschriften

Beschrijven van functies en kwalificatiedossiers

Kwaliteitsborging van examens Totstandkoming van examens Vorm en inhoud van exameninstrumenten

Samen ontwikkelen

(Tussen)resultaat van opleidingen

Organisatie en afname van examens

Werkveld Adviescommissie

Werkgroepen functieclusters

Ontwerp van opleidingen en oefeningen

Ontwikkelgroepen

Diplomering

Accreditatie

Examenreglement

Verzorgen van opleidingen en oefeningen

Lokale examencie.

Opleidingsreglement

Portfolio voor vakbekwaam worden én blijven

5

De inzet is om een herontwerp van het examenstelsel te positioneren binnen de cyclus voor vakbekwaam worden én blijven. Om examinering beter te laten aansluiten bij het opleiden en oefenen in leergangen is het cruciaal om de verbinding te leggen tussen de ontwikkeling van opleidings- en de examenproducten. Samen ontwikkelen wordt het motto. Daarmee wordt de samenhang tussen de Werkveld Adviescommissie die ook de randvoorwaarden voor examinering voor haar rekening neemt, de Werkgroepen Functieclusters en de ontwikkelgroepen voor opleidingen en examinering adequaat vorm gegeven. Daarnaast moet integratie vorm krijgen door de examinering te laten uitvoeren in de opleidingsinstituten. Een vorm van accreditatie moet inhoud en procedure van examinering regelen middels een examenreglement en voorschriften voor de uitvoering.

5 Werkgroepen functieclusters zijn in het kader van de inrichting van het onderhoud van kwalificatiedossiers bedoeld om wijzigingsvoorstellen voor te dragen voor zowel examinering, opleidingsplannen, curricula, bijscholingsprogramma’s en de kwalificatiedossiers. Deze samenhang ontbrak tot nu toe. Lid van de werkgroepen zijn vaste vertegenwoordigers per cluster (repressie, vakbekwaamheid, risicobeheersing en preventie). Zij zijn gevraagd om wijzigingsvoorstellen voor examenproducten te doen aan de landelijke examencommissie en aan de Werkveld Adviescommissie voor de opleidingen. Ontwikkelgroepen leveren de input voor de wijzigingsvoorstellen op basis van signalen uit het veld, andere gremia of als gevolg van gewijzigde regelgeving. Het gaat om ontwikkelgroepen per functie waarin aangewezen docenten/beroepsbeoefenaren vanuit hun functie-uitoefening (bijvoorbeeld duikers) tekstvoorstellen aanleveren voor de gewenste wijziging. Ontwikkelgroepen worden voorgezeten door een lid van de bijbehorende werkgroep functiecluster. Verbeterplan kwaliteit brandweerexamens d.d. 27 maart 2012 24

Het borgen van het examineringsproces krijgt vorm door te werken met een examenorganisatie met lokale uitvoerende examencommissies binnen de opleidingsinstituten, een landelijke examencommissie voor vaststelling en de check op regels en voorschriften, alsmede een Commissie Toezicht Examinering voor het intern toezicht op kwaliteit en IOOV voor het externe toezicht. In het cyclus van opleiden, beginnend bij het beschrijven en bijhouden van kwalificatie-dossiers, zijn de voorwaarden voor de examinering vastgelegd. Gezien de schaalgrootte van de brandweer is het belangrijk om functionaliteiten te combineren en de organisatie eenvoudig en overzichtelijk te houden. Dit bevordert de doelmatigheid en beperkt het overlegcircuit. Het is cruciaal om te weten wat eenieders rol is en wat men moet doen. Deze contouren voor het herontwerp van het examenstelsel voor vakbekwaam worden moet vervolgens aansluiting krijgen met vakbekwaam blijven door de afsluiting van een leergang met inzicht in de resultaten. In deze contouren van het herontwerp is ervan uitgegaan dat leren op leerwerkplekken in de verschillende regio’s goed functioneert. Voor sommige regio’s geldt dat hier nog een slag te winnen is in het werken met leerwerkplekbegeleiders, opleidingscoördinatoren en trajectbegeleiders. In de meeste regio’s is het procesmatig geïmplementeerd. Op dit moment faciliteren de opleidingsinstituten de examinering door beschikking stellen van de locatie, de praktische uitvoering. In de nieuwe situatie moet gekeken worden naar de adequate inrichting van de lokale examinering door het inrichten van lokale examen-commissie, aanwijzen en leveren van beoordelaars aan collega opleidingsinstellingen over en weer, alsmede het opleiden en trainen van beoordelaars volgens goede richtlijnen en competenties.

Totstandkoming van examens De huidige selectie en samenstelling van de ontwikkelgroepen voor de examens/expertgroepen komen te vervallen en worden opnieuw vorm gegeven. De beoogde ontwikkelgroepen vanuit de opleidingskant die op voordracht vanuit de desbetreffende programmanetwerken (repressie, vakbekwaamheid, risicobeheersing en preventie) bezet worden, komen tevens met voostellen voor examenproducten. Daarmee is er een optimale afstemming gewaarborgd met kwalificatie-dossiers, opleidingsproducten en -programma’s. Daarmee is ook gezorgd voor draagvlak vanuit het veld en continuïteit in de nodige expertise. Zo ontstaan vaste ontwikkelgroep met functionarissen die het betreffende vakgebied ook kennen en wijzigingsvoorstellen zowel voor opleidings- als examenproducten kunnen leveren. In het nieuwe stelsel stelt de landelijke examencommissie de ontwikkelde examens vast.

Vorm en inhoud van exameninstrumenten Vorm en inhoud van de exameninstrumenten wordt in het nieuwe stelsel per functie bekeken op een goede mix tussen eindtoetsing en tussentijdse toets momenten (opbouw portfolio leergang), bijbehorende toetskaarten, de aansluiting op de persoonlijke portfolio vakbekwaam blijven, een nieuw deelnemer-volgsysteem. Gekeken wordt waar differentiatie per functie wenselijk is en hoe rekening moet worden gehouden met regionale verschillen en eerder opgedane competenties tijdens verwante leergangen. Kwaliteitsstandaarden rondom dekkingsgraad, cesuur en beoordelingswijze ten behoeve van het verhogen van een betere beoordeling, worden adequaat ingericht in samenspraak met het veld. De uitvoering van deze taken ligt bij het Team Onderwijskundigen van de Brandweeracademie/ IFV. Zij coördineren het nodige overleg met de ontwikkelgroepen en zorgen voor de totstandkoming Verbeterplan kwaliteit brandweerexamens d.d. 27 maart 2012 25

van de examenproducten, het nieuwe deelnemer-volgsysteem voor vakbekwaam worden en blijven. Zij zorgen voor de uitvoering van de eerder benoemde quick wins en verbeteracties in het kader van het herontwerp op dit onderdeel. Voor de inrichting van het nieuwe examenstelsel geldt een effectieve en efficiënte aanpak met een goede balans voor kwaliteit en veiligheid als vertrekpunt: Opbouw van een leergangportfolio per functie Zo veel mogelijk tussentijdse toetsmomenten voor vaardigheden/competenties. Uitwerken toetskaarten als beoordelingsinstrument per functie. Eindtoets praktijksimulatie op de laatste oefenmiddag organiseren en versterkt inzetten voor groepsinzet dan individuele beoordeling. Eindtoets af laten sluiten met inzicht in de behaalde resultaten (door een hierop ingericht beoordelingsformulier). Gebruik van een beperkte pool van externe examinatoren vanuit het IFV of de opleidingsinstituten over en weer in samenspel met de inzet van interne beoordelaars vanuit de opleidingsinstituten; verdieping van de bijscholing van beoordelaars gericht op feedback en reflectie. Heroverwegen voor welke functie eindtoetsen wenselijk zijn en voor welke een afgetekende toetskaart als portfolio van verworven kennis en competenties effectiever is. Rekening houden met eerder opgedane kennis en competenties in verwante leergangen en aftekening in toetskaart nieuwe leergang. Opbouw van een deelnemer-volgsysteem Leergangportfolio als portfolio voor vakbekwaam blijven inzichtelijk en op elkaar aansluitend laten zijn. Psychometrische of toetstechnische kwaliteit van exameninstrumenten Periodiek door statische analyse monitoren validiteit, dekkingsgraad, cesuur en beoordelingswijze op peil te houden. Opbouw van een competentie databank om de duidingsdiscussie te faciliteren en het proces van definiëren van professionele standaarden te stroomlijnen.

Organisatie en afname van examinering In het nieuwe stelsel zijn de opleidingsinstituten zelf de organisatoren en afnemers van examinering. Hiertoe wordt een vorm van accreditatie ingericht waarmee het examineringsproces wordt geborgd aan de hand van de volgende maatregelen: Hanteren van een handboek Examenorganisatie waarin alle procedures betreffende examinering zijn opgenomen zoals de wijze van administratie en registratie, de examenfaciliteiten, de beoordelingswijze en het werken met interne en externe beoordelaars. Vaststellen van een examenreglement (inclusief voorwaarden en training van interne beoordelaars, richtlijnen voor aftekenen en waardering van toetskaarten). Instellen van een lokale examencommissie met een eigen huishoudelijk reglement. Gebruik van het digitale examenplanning- en reserveringssysteem en afspraken over centrale geregisseerde inzet van beoordelaars uit en van de regio’s. Implementatie van de procedure uit het handboek Examenorganisatie en jaarlijkse zelfevaluatie door het opleidingsinstituut volgens landelijke standaarden, vastgesteld door de Commissie Toezicht Examinering. Verbeterplan kwaliteit brandweerexamens d.d. 27 maart 2012 26

Om de organisatie en afname van examinering goed te laten verlopen in de opleidingsinstituten worden de eerder genoemde quick wins en verbeteracties voor herontwerp centraal opgepakt om een gestandaardiseerde afname mogelijk te maken en de betrouwbaarheid van beoordeling op orde te hebben. Ook bij deze processtap geldt een efficiënte en effectieve aanpak met een goede balans voor kwaliteit en veiligheid als vertrekpunt, maar vooral ook meer transparantie: Opleidingsinstituten kunnen de decentrale kosten voor organisatie en afname van examinering zelf efficiënt inrichten en beheersen. Onderzoek naar kosten en daadwerkelijke efficiency is in de pilotfase nodig. De landelijke kosten hebben alleen betrekking op de ontwikkeling en actualisatie van examens, op intern toezicht op de integrale kwaliteit en op de vaststelling van examens, diplomaverstrekking en monitoring, alsmede de support van de daarvoor in leven geroepen commissies door een examenbureau. Onderzoek naar de kosten hieromtrent loopt.

Diplomering Ten behoeve van diplomering wordt de examenorganisatie ingericht met meerdere commissies. De examenorganisatie en daarmee de borging van het examineringsproces krijgt op onderstaande manier vorm. Examenorganisatie Bestuur IFV

• Intern toezicht op integrale kwaliteit van examinering

• Vaststellen examens • Verstrekken diploma’s namens VB • Bewaken afname • Monitoren normstelling • Afhandelen klachten 2e instantie

• Afname en organisatie examens • Bewaken ordelijk verloop • Afhandelen klachten 1e instantie • Behandelen herkansingen

Commissie Toezicht Examinering: Intern toezicht op kwaliteit

Landelijke Examencommissie

Commissie voor Beroep

• Benoemd door bestuur IFV op voordracht van RRC De Commissie Toezicht Examinering, de Landelijke Examencommissie en de Commissie voor Beroep worden ondersteund door het Bureau Examinering van het IFV • Benoemd door RRC

• Uitgaande van één landelijke opleidingsorganisatie met enkele uitvoeringssatellieten Lokale examencommissies Uitvoering examinering

• Ingesteld door het bestuur van de opleidingsinstituten

Bestuur Opleidingsinstituut

Gewerkt wordt met vier commissies conform het reguliere onderwijs. Benadrukt wordt dat de Commissie Toezicht Examinering een toezichthoudende verantwoordelijkheid, een minimale vergaderfrequentie kent en daarmee niet leidt tot onnodige bureaucratie en verhoging van het kostenniveau. Een Commissie voor Beroep is nodig voor een onafhankelijke beroepsprocedure los van de opleidingsinstituten die examens afnemen. Het samenspel van landelijke en lokale examencommissies wordt geregeld in het examenreglement.


De landelijke examencommissie, commissie voor Beroep en de commissie Toezicht Examinering worden ondersteund door het Examenbureau van het IFV/ cluster BBO en werkt deels met inzet van onderwijskundigen van de Brandweeracademie.

Taken Commissie Toezicht Examinering Het bewaken en waarborgen van de integrale kwaliteit van examinering. Toezicht op de landelijke en lokale examencommissie, oftewel de ingerichte examenorganisatie. Intern toezicht op het stelsel van examinering. Intern toezicht op de kwaliteit van examenproducten en instrumenten en op de periodieke actualisatie van examens in aansluiting op het onderhoud van kwalificatiedossiers, evaluaties en wijzigingen van weten regelgeving. Samenstelling: voorzitter, lid voor de vakinhoud (vanuit programmaraad), lid met toetstechnische kennis, lid met certificierings- en auditdeskundigheid, secretaris landelijke examencommissie Taken landelijke examencommissie Verstrekken van certificaten en diploma’s Het inhoudelijk vaststellen van de examens ( examens worden centraal ontwikkeld door het Team Onderwijskundigen van de Brandweeracademie/IFV met ruimte voor regionale invulling). Het bewaken van de afname van examens volgens afgesproken voorschriften en procedures door audits (procescheck). Het monitoren van slagingspercentages, de normstelling en toetstechnische kwaliteit Het afhandelen van klachten in tweede instantie. Samenstelling: secretaris, lid van Werkveld adviescommissie, directielid IFV en manager decentrale opleidingsinstituten Taken lokale uitvoerende examencommissie binnen opleidingsinstituten Afname van examens en ontwikkelen regionale invulling van examens. Waken over het goede verloop van examens. Informatie aan de deelnemers, registratie van examens. Eerste afhandeling van klachten. Uitvoeren van steekproeven van het verloop van beoordelingen. Samenstelling: hoofd opleiding/examinering, directielid decentraal opleidingsinstituut, administratief medewerker, op afroep trajectbegeleider, docent of kandidaat Taken Commissie voor Beroep Vaststellen regels vast inzake fraude, klachtafhandeling, beroep en bezwaar. Afhandeling in tweede instantie. Indien nodig onderzoek naar fraude of andere onregelmatigheden en eventueel intrekken van diploma, certificaat, EVC-verklaring of vrijstelling dan wel de geldigheid opschorsen. Samenstelling: te bepalen door RRC


5. Kwaliteitsborging examens In dit hoofdstuk wordt op hoofdlijnen aangegeven hoe de interne kwaliteitsbewaking van de examenkwaliteit en het intern toezicht op de examenkwaliteit wordt vormgegeven. 5.1. Systeem van interne kwaliteitsbewaking Het Nbbe werkt met ISO gecertificeerde bedrijfsprocessen. In de komende periode wordt in het kader van de integratie in het IFV bekeken hoe deze zich verhouden tot het herontwerp van het stelsel en bijstelling mogelijk nodig is. Hieronder een schematische weergave:

Bekeken moet worden welke processen in welk bedrijfsonderdeel van het IFV geïntegreerd dienen te worden: Ontwikkelen proeve op hoofdlijnen en uitwerken van proeve-onderdelen bij het Team Onderwijskundigen van de Brandweeracademie. Benoemen van beoordelaars, voor zo ver nog nodig, bij de landelijke examencommissie, ondersteund door het Examenbureau / cluster BBO. Trainen van beoordelaars ligt bij de Brandweeracademie middels handleiding voor beoordelaars. Afname en beoordelen proeve bij de diverse lokale examencomissies/opleidingsinstituten. Vaststellen uitslag, afgifte diploma, vrijstellingen en rechtsbescherming bij de landelijke examencommissie, ondersteund door het Examenbureau / cluster BBO. Evaluatie proeve, c.q. het initieren van controle ligt tevens bij de landelijke examencmmisssie, ondersteund door het Examenbureau. Het systeem van interne kwaliteitsbewaking is in het nieuwe stelsel gebaseerd op de vijf IOOV processtappen van het geintroduceerde kwaliteitsmodel met bijbehorende kwaliteits-standaarden en indicatoren. Bovengenoemde en eventueel bijgestelde bedrijfsprocessen worden daarin geintegreerd en dienen als basis voor intern toezicht. 5.2. Intern toezicht op examenkwaliteit door inrichting van de Commissie Toezicht Examinering In het nieuwe examenstelsel wordt voorzien in intern toezicht door een apart in te richten commissie. Deze Commissie Toezicht Examinering is een onafhankelijk orgaan, dat zelfstandig opereert, zonder last en ruggespraak met het Dagelijks Bestuur van het Veiligheidsberaad en de directie en het management van het IFV. De commissie adviseert de voorzitter van het Dagelijks Bestuur van het Veiligheidsberaad gevraagd en ongevraagd over de integrale kwaliteit van de examinering. De Commissie Toezicht Examinering heeft als doel het bewaken en waarborgen van de integrale kwaliteit van de examinering en het waarborgen dat personen of instanties die een diploma of certificaat krijgen, voldoen aan de eisen die door het bevoegd gezag zijn opgesteld door toezicht op de landelijke en de lokale examencommissies. Verbeterplan kwaliteit brandweerexamens d.d. 27 maart 2012 29

De commissie geeft aan haar verantwoordelijkheid onder meer inhoud door toezicht op vastgestelde toetswijzers, handleidingen, certificeringprocedures, beoordelingssystemen en cesuurbepalingsmethoden op basis van welomschreven criteria, zodanig dat er garanties zijn van de afname van betrouwbare gevalideerde examens. De commissie houdt toezicht op het systeem van accrediteren van de examenorganisatie van opleidingsaanbieders en de geschiktheid van examenlocaties/objecten. De commissie houdt toezicht op de vastgestelde examinering- en certificeringeisen die zijn vastgelegd in de volgende documenten. Documenten Examenreglement brandweeronderwijs Toetswijzer Handleiding beoordelaar Handleiding organisator Regeling benoemingseisen examencommissieleden Regeling certificeringeisen toetslocaties Kwaliteitshandboek betrouwbaar examineren Cesuurbepalingsmethoden Handboeken

Toelichting ERBO ISO 17024 Per te examineren functie Per te examineren functie Per te examineren functie Bestemd voor beoordelaren / toezichthouders / controleurs Waarborgen van de betrouwbaarheid en uniformiteit van examenlocaties en examenomstandigheden Beschrijft de processen van het bureau examineren IFV, ISO 9001 Beschrijft de zak/slaag grensmethode Beschrijft te ontwikkelen toetsvormen

Toezicht op afnameproces en de resultaatbepaling Door het periodiek laten bezoeken van de afnamelocaties wordt inzicht verkregen in de gang van zaken aldaar, op basis van vooraf omschreven en aan de afnamelocatie en/of onderwijs-instelling verstrekte beoordelingscriteria . De commissie benoemt degene die in een toezichthoudende of controlerende rol richting opleidingsinstituten optreden. Toezicht op het verstrekken van diploma’s en certificaten en het verlenen van vrijstellingen. De commissie houdt toezicht op de landelijke examencommissie rondom het rechtmatig verstrekken van diploma’s namens de voorzitter van het Dagelijks Bestuur van het Veiligheidsberaad, certificaten, EVC-verklaringen en vrijstellingen, alsmede op de Commissie voor Beroep rondom een rechtmatige klachtenafhandeling. De commissie houdt toezicht op het opstellen van examenreglementen en huishoudelijke reglementen en aanwijzingsbesluit voor bepaalde examenlocaties. Toezicht op integrale kwaliteit en advies aan bevoegd gezag De commissie vergewist zich periodiek van voldoende mate van vertrouwen van het beroepenveld in de kwaliteit van de examinering door onder andere de betrokkenheid van het beroepenveld bij de opstelling van de exameneisen. Ook zorgt de commissie voor structureel psychometrische onderzoek. De commissie gevraagd en ongevraagd adviseert het bevoegd gezag van het IFV omtrent mogelijk aan te brengen verbetering in de examenprocedures. De adviezen, indien van toepassing, worden opgenomen in de jaarlijkse rapportage over het functioneren van het Examenbureau aan het bevoegd gezag van IFV. Benoeming van de commissieleden De leden worden benoemd door het Dagelijks Bestuur van het Veiligheidsberaad op voordracht van de RRC. De aanstellingsduur is vier jaar met mogelijkheid tot eenmalige getrapte verlenging. Voor de leden van de commissie geldt een vacatiegeldenregeling. Uitgegaan wordt van circa drie vergaderingen per jaar.


6. Aanpak kwaliteitsverbetering examenstelsel Voor de kwaliteitsverbetering van examens zijn verbetermaatregelen onderverdeeld in: Verbetermaatregelen die op korte termijn in het huidige stelsel gerealiseerd kunnen worden Maatregelen die in het kader van de oprichting van het IFV in gang worden gezet Pilots waarbinnen met de nieuwe manier van examineren ervaring kan worden opgedaan. De onderverdeling van maatregelen is ook ingegeven door de mogelijke manier van financiering. De stip op de horizon is om gaandeweg te komen tot de vernieuwing van examinering van alle brandweerfuncties, aansluitend op het vanaf dit jaar geplande onderhoud van kwalificatie-dossiers en passend bij een effectieve en efficiënte opzet van examinering. Wat snel binnen de aanwezige middelen en capaciteit goed kan, meteen oppakken, wat meer inzet en afstemming in het veld nodig heeft in de tijd uitzetten. Dit hoofdstuk wordt afgesloten met een globale planning en met een aandachtspunten voor de overgangsperiode.

6.1. Quick wins De verbetermaatregelen die binnen het huidige stelsel kunnen worden gerealiseerd en niet interfereren met het herontwerp hebben vooral betrekking op toetstechnische kwesties omtrent exameninstrumenten, op een integrale visie op examinering en op het zicht op de samenhang van het ‘bouwwerk’. Het gaat vooral om maatregelen voortkomend uit de belangrijkste aanbevelingen van het TNO onderzoek, namelijk het inregelen van periodieke en structurele kwaliteitscontroles en analyses, het verbeteren van de beoordelingsmethodiek en beoordelingstaken bij praktijktoetsen en de optimalisering van de algehele professionele consensus bij de brandweer over de algehele keten van praktijk-examens-opleidingen. De inzet is om de quick wins binnen de huidige capaciteit en exploitatie van het Nbbe te laten uitvoeren. Dit in verband ook met een subsidieaanvraag begin 2012 na een exploitatietekort. In 2012 valt capaciteit vrij vanwege de daling van examenafname en de afronding van de incidentele ontwikkeltaken voor de ontwikkeling van de nieuwe proeve-onderdelen voor de diverse functies, gefinancierd door het ministerie VenJ in het kader van functie- en competentiegericht opleiden en examineren. Hieronder wordt ingegaan op het wat van de verbetermaatregel, wie hierbij betrokken moet worden en wat de geschatte kosten zijn.

Quick wins voor de toetstechnische kwaliteit en het zicht op het herontwerp van het stelsel Wat met welke winst Wie Geschatte Wanneer kosten 1. Statistische analyse online IFV/Nbbe ; mdws Totaal ca. 1000 Structureel gelsotenvragentoetsen: TestVision (incl uur kosten per inhuur onder€ 95.633 Nbbe jaar Screenen statische output en wijskundige) € 26.343 extern onderwijskundig aanpassen vragen en experts (versies 4; 1x per kwartaal) Beleggen expertgroep voor inhoudelijke vragen Aanpassen en invoeren in TestVision Winst: continu verbeteren toetsitems en daarmee de betrouwbaarheid en monitoring op Verbeterplan kwaliteit brandweerexamens d.d. 27 maart 2012 31

normstelling en slagingspercentage. Het TNO onderzoek gaf aan dat het inregelen van periodieke en structurele kwaliteitscontroles en analyses nodig zijn om de betrouwbaarheid van de toetsen te verhogen. Data moeten digitaal beschikbaar zijn (ook van praktijk- en computersimulaties) en gemonitord worden. 2. Ontwikkelen standaard scenario’s: IFV/Nbbe en Totaal 855 uur 2e helft experts € 23.987 Nbbe 2012 Ontwikkelen raamwerk € 9.333 extern Bespreken zwaartepunten en scenario’s met experts Standaardiseren scenario’s Voorzitters en controleurs informeren en instrueren Winst: moeilijkheidsgraad uniform, minder ‘hobbyisme’. TNO geeft aan dat scenario’s gestandaardiseerd moeten zijn ten behoeve van vergelijkbaarheid, herhaalbaarheid en opbjectiviteit. 3. Beoordeling praktijksimulaties: IFV/Nbbe, experts Totaal 1080 uur 2e helft en beoordelaars € 95.424 Nbbe 2012 / 1e Ontwikkelen concept beoordelings€ 79.547 extern helft 2013 formulier (…functies, .. formulieren / beoordelingscriteria operationaliseren) Voorleggen concept aan experts Ontwikkelen definitief formulier Uitvoeren cesuurbepaling met experts Try-out nieuwe formulieren Aanpassen toestwijzers, handleidingen Invoeren in Exammanager Bijscholen beoordelaars Winst: verhogen betrouwbaarheid tussen diverse beoordelaars en koppelen KO aan veiligheidsfouten. TNO geeft aan een update van beoordelingsformulieren de kans op het maken van beoordelingsfouten kleiner wordt. 4. Algemene nakijkinstructies IFV/Nbbe Totaal 68 uur 2e helft openwerk examens: € 7.898 Nbbe 2012 Doorontwikkelen nakijkinstructies Intern afstemmen Ontwikkelen definitieve versie Informeren en instrueren beoordelaars / ontwikkelaars Winst: verhogen betrouwbaarheid door standaardiseren en minimaliseren beoordelaarseffecten 5. Concretiseren basisprincipes Werkveld Expertmeeting 2e helft herontwerp: Adviescommissie, en uitwerking 2012 werkgroepen totaal 80 uur Voorstel integrale visie op examinering: vanuit basisprincipes een functieclusters en € 13.000 nieuwe inschatting maken voor welke ontwikkelgroepen: brandweerfuncties certificaten nodig samenstelen geacht worden. Opzet criteria voor expertteams Expertmeeting certificering (zie PA) en uitwerking Voorzet herziene visie op examinering: Totaal 80 uur vanuit basisprincipes een inschatting € 13.000 maken van integratie examinering in 2 expertmeeting opleiden; plan van aanpak opstellen en uitwerking Voorstellen ontwikkelen voor 2 Verbeterplan kwaliteit brandweerexamens d.d. 27 maart 2012 32

gekozen functies, aansluitend bij Totaal 100 uur onderhoud kwalificatiedossiers € 16.520 Winst: komen tot gedeelde beelden, zicht op nieuw stelsel en op sanering van certificaten 6. Benoemen kwaliteitsstandaarden Cie Toezicht Totaal 480 uur 1e helft Examinering en € 43.200 2013 Uitwerken kwaliteitsmodel met land. examenvertegenwoordiging uit het veld (mix commissie in tussen eind- en tussentijdse toetsing, overleg met veld, kaders voor leergangportfolio, werkgroepen differentiatie naar functieniveau, functieclusters, normen voor interbeoordelaarsIFV traject betrouwbaarheid, cesuur, slagings%) Besluitvorming en plan voor uitwerking blijvende vakbekwaamheid BOR Winst: kwaliteitsmodel introduceren Totaal kosten quick wins 1 t/m 6: € 423.885 gefinancierd in het kader van exploitatiesubsidie van het ministerie VenJ voor 2012 Uitgegaan wordt dat met de uitvoering van de quick wins de toetstechnische kwaliteitsverbetering een impuls krijgt en de wijze en methodiek van beoordeling tijdens examinering meer objectief kan verlopen. De quick wins 5 en 6 zijn gericht op het benoemen van kwaliteitsstandaarden en de gewenste ‘meetlat’ vanuit het brandweerveld. Daarmee zijn de belangrijkste problemen in het huidige examenstelsel opgepakt. 6.2. Maatregelen die in het kader van de oprichting van het IFV in gang worden gezet De voorbereidingen voor de oprichting van het IFV zijn in volle gang en daarmee ook de migratie van het Nbbe naar de nieuwe organisatie. Het Nbbe als ZBO houdt op de bestaan en de examinering heeft nieuwe organen nodig voor een rechtmatige verstrekking van diploma’s. Hiertoe zijn de inrichting van de Commissie Toezicht Examinering en de landelijke examencommissie in voorbereiding. Ook wordt vanuit de Brandweeracademie en in samenwerking met de RRC en het veld de inrichting van het onderhoud van kwalificatiedossiers voorbereid. De Werkveld Adviescommissie, de werkgroepen functieclusters en de ontwikkelgroepen per functie worden voorbereid. De financiering van onderstaande verbetermaatregelen wordt dan ook meegenomen in de oprichting en de exploitatie van het IFV. Maatregelen in het kader van de oprichting van het IFV Wat met welke winst Wie Inrichten Commissie Toezicht 4 leden ingesteld Examinering door RRC Instellen commissie 3 vergaderingen per jaar Ondersteund door secretaris /Hoofd Examenbureau Winst: inrichten intern toezicht examinering Inrichten landelijke examencommissie 6 leden ingesteld door RRC Instellen commissie Ca. 10 vergaderingen per jaar

Geschatte kosten 3 vergaderingen x 3 uur / 4 leden € 100, incl. reiskosten € 3.600,- per jaar

Wanneer

8 vergaderingen x 3 uur / 6 leden € 100, incl. reisk € 14.400,- p.

2e helft 2012 8 x per jaar

Vanaf 2e helft 2012 3 x per jaar


jaar Winst: onafhankelijke validatie van exameninstrumenten, regelen vaststelling van diploma’s, monitoring en klachtenafhandeling Inrichten Werkveld adviescommissie 4 leden ingesteld 3 vergaderingen Vanaf 2e door RRC x 3 uur / 6 leden helft 2012 Instellen commissie € 100, incl. 3 x per jaar 3 vergaderingen per jaar reiskosten Ondersteund door secretaris /Hoofd € 5.400,- p. jaar Examenbureau Inrichten 4 Werkgroep functieclusters Ingesteld door 3 vergaderingen Vanaf 2e RRC x 3 uur / VZ helft 2012 Instellen werkgroep € 100, incl. reisk 3 x per jaar 3 vergaderingen per jaar voorafgaand € 3.600,- p.j. aan Werkveld Adviescommissie Inrichten nieuwe ontwikkelgroepen 4-5 leden 20 vergaderVanaf 2e ingen x 3 uur / 5 helft 2012 Instellen ontwikkelgroepen per functie? ingesteld door RRC leden In totaal Vergaderingen per jaar nader te € 70, incl. reisk. circa 20 bepalen € 21.000,- p. j. per jaar Winst: stroomlijnen inhoud en verminderen overlegcircuit Totale kosten voor de maatregelen in het kader van de oprichting van het IFV bedragen € 48.000,- voor overleg en besluitvorming structureel per jaar. Daarnaast wordt in de exploitatie van het IFV rekening gehouden met de inzet van een examenbureau om te faciliteren. Met deze maatregelen wordt de bestuurlijke verantwoordelijkheid voor examinering na inwerkingtreding van de Wet veiligheidsregio’s opnieuw ingericht en wordt overleg in de diverse groepen gestroomlijnd.

6.3.

Business onderzoek en pilots voor het herontwerp van het examenstelsel

Om het nieuwe examenstelsel ook daadwerkelijk te kunnen realiseren wordt voorgesteld om onderzoek te doen en eerst pilots uit te voeren voor de functies Manschap A en Bevelvoerder. De pilots helpen om daarna gericht aan de slag te kunnen gaan met de uitrol van het nieuwe stelsel en ervaringen op te doen voor het herinrichten van examinering voor de overige functies. Voor het draaien van een pilot komen opleidingsinstituten in aanmerking die het leerwerkplekleren procesmatig goed hebben geïmplementeerd en een eind op weg zijn in het goed functioneren ervan. De opleidingsinstituten faciliteren op dit moment de examinering door beschikking stellen van de locatie en de praktische uitvoering. Op dit moment levert het Nbbe de examinatoren en toetsinstrumenten. Uit eerste gesprekken komt naar voren dat, willen de opleidingsinstituten de organisatie en afname van examens in zijn geheel op zich nemen, dat in de nieuwe situatie meerdere zaken geregeld moet worden, zoals het inrichten van lokale examencommissie, het aanwijzen en leveren van interne beoordelaars en het opleiden en trainen van interne beoordelaars volgens goede richtlijnen en competenties. Om te komen tot de nieuwe situatie moet in het kader van het business onderzoek ook een verbeterde examinering uitgewerkt worden. Het gaat om de integratie van toetsmomenten, het ontwikkelen van adequate toetsinstrumenten daaromtrent en het herinrichten van de beoordelingsmethodiek. Het onderzoek moet leiden tot inzicht in de kosten voor uitvoering van examinering door de opleidingsinstituten en of dit al dan niet leidt tot een vermindering van de kosten bij eigen inzet van Verbeterplan kwaliteit brandweerexamens d.d. 27 maart 2012 34

beoordelaars. Daarnaast moet ook inzicht komen in de kosten voor de taken die blijven bij het Nbbe nieuwe stijl, de landelijke taken inzake toezicht en ontwikkeling binnen het IFV. Hieronder een eerste opzet van het onderzoek en de pilot.

Business onderzoek en pilots voor verbeterde examen opzet voor Manschap A en Bevelvoerder en uitgevoerd door opleidingsinstituten Wat met welke winst Wie Geschatte kosten Wanneer Voorbereiding Werkgroep RRC, 200 uur x € 97 2012 opleidings€ 19.400 Instellen werkgroep en opstellen instituten en IFV draaiboek met planning en taakverdeling Opzet verbeterde examinering Expertteam met Begeleiding IFV 80 2013 en onderwijsdagen voor 2 jaar 2014 Uitwerken integratie toetsmomenten kundigen en x uurtarief € 120,in opleiding vertegen€ 76.800,Ontwikkelen toetskaarten als beoorwoordiging Per pilot 0,5 fte delingsinstrument, handleidingen, etc. vanuit mdw. trajectbegeHerinrichten leergang opleidingsleider (2 pilots x € Trainen interne beoordelaars en instituten 67.900,- voor 2 informeren docenten, instructeurs jaar) Pilot draaien € 271.600 Evalueren en eventueel bijstellen Winst: examineren nieuwe stijl voor Manschap A en bevelvoerder Consequenties voor regio’s RRC in overleg Landelijke 2014 met opleidings- projectleider Onderzoek naar lokale organisaties en instituten en 2,5 dgn per week afname van examens IFV / 6 maanden Vaststellen lokale expertise en (480 uur x € 120) bijscholing € 57.600 Bepalen lokale kosten Inrichtingsplan Winst: helderheid over lokale inrichting en consequenties Landelijke uitrol RRC in overleg Op basis van 2015 met opleidings- inrichtingsplan Besluitvorming instituten en IFV Opzet landelijke uitrol Implementeren Winst: nieuw stelsel gaandeweg implementeren De kosten voor business onderzoek en pilots bedragen voor een periode van 2 jaar in totaal € 425.400,- gefinancierd in het kader van het Versterkingsplan Brandweeronderwijs Nederland. Overwogen kan worden om de pilot opleidingsinstituten te vragen om een deel van de inzet van eigen mensen in de pilot voor eigen rekening te nemen.

Met dit business onderzoek en de uitvoering van pilots voor Manschap A en Bevelvoerder bij twee opleidingsinstituten kan inzicht komen in hoe het stelsel opnieuw vorm kan krijgen en of dan de kosten voor examinering al dan niet gunstiger uitvallen.


6.4. Planning en communicatie Planning De planning van de kwaliteitsverbetering is voor een groot deel ingegeven door de mogelijkheid om in de tweede helft van 2012 en begin 2013 de zogenoemde quick wins op te pakken binnen de huidige exploitatie en capaciteit van het Nbbe in verband met de extra subsidie voor 2012 door het Ministerie van VenJ. Ook wordt de inrichting van de diverse commissies in het kader van de oprichting van het IFV in gang gezet en gefinancierd. Met deze activiteiten kan dan ook vanaf medio 2012 gestart worden. Het business onderzoek met de twee pilots voor het herontwerp kennen een andere dynamiek. Na besluitvorming in de diverse organen en in het kader van het versterkingsplan Brandweeronderwijs Nederland kan in de tweede helft van 2012 de voorbereiding van de pilots plaatsvinden, mits het overleg omtrent de financiering tussen veiligheidsregio’s, ministerie van VenJ en het IFV/Nbbe is afgerond. De pilots om voor Manschap A en Bevelvoerder de examinering te laten uitvoeren door twee pilot opleidingsinstituten kunnen na een goede voorbereiding in 2013 en 2014 gaan draaien. Eind 2014 kan dan gesproken worden over de ervaringen uit de pilots, de efficiencyverbeteringen en de consequenties voor uitrol in alle regio’s en voor andere functies. Hieronder de planning op hoofdlijnen. Verbetermaatregelen kwaliteit brandweerexamens

IFV

Quicks wins bekostigd binnen Nbbe exploitatie

Medio 2012 Statistische analyse toetsen Ontwikkelen standaard scenario’s

2013

Screenen / Checken / Aanpassen

2015



Ontwikkelen, bespreken, standaardiseren Ontwikkelen, aanpassen, bijscholen

Beoordeling praktijksimulaties

Ontwikkelen, informeren

Doorontwikkelen nakijkinstructies

Expertmeetings, opzet criteria

Concretiseren basisprincipes

Expertmeetings, opzet visie

Ontwikkelen functies -> kwalificatiedossiers

Kwaliteitsmodel: dekking, cesuur, slagings%, betrouwbaarheid

Benoemen kwaliteitsstandaarden Cie Toezicht Examinering

3 x per jaar

Land. Examencie.

8 x per jaar

Inrichten commissie Werkveld Aviescie.

VR’en & IFV

2014

3 x per jaar

Werkgroep functieclusters

3 x per jaar voorafgaand aan Werkveld Adviescie.

Ontwikkelgroepen

maximaal 20 x per jaar op verzoek

Pilots bij 2 opleidingsinstituten

Voorbereiden

Voorbereiden instrumenten

Trainen en draaien

Inrichting regio’s

Communicatie naar het veld In het kader van de uitwerking van dit verbeterplan is tevens gewerkt aan een plan voor een zorgvuldige communicatie met het veld. Redenen hiervoor liggen zowel in de deels technische aard van het onderwerp, maar ook in de consequenties die onvoldoende kwaliteit van examinering kan hebben. Informatie over de huidige stand van zaken moet helpen om begrip te kweken voor de noodzaak van herontwerp, maar ook om de beleefde onvoldoende transparantie in het veld te pareren. Men Verbeterplan kwaliteit brandweerexamens d.d. 27 maart 2012 36

wil meer transparantie in kosten. Men verzoekt om meer helderheid over slagings-percentages en de betekenis daarvan. Men wil inzicht in vergelijkingsgegevens vanuit andere beroepssectoren om verantwoorde keuzes te kunnen maken voor de eigen sector. Het Nbbe wil met een goede communicatie: 1. De juiste verwachtingen en beeldvorming creëren rond de kwaliteitsverbetering brandweerexamen, over de quick wins, het herontwerp, de voortgang en de mijlpalen; 2. Komen tot een gedeelde visie over examinering bij de betrokken organisaties in het veld; 3. De ontwikkelingen rondom risico’s en kansen voor de kwaliteitsverbetering onder de aandacht brengen. Uitgangspunt voor de communicatie is de overtuiging dat het essentieel is voor de kwaliteit van de brandweer dat er een kwalitatief hoog examenstelsel is. Deze kwaliteitsverbetering is in 2010 ingezet met het invoeren van competentiegericht onderwijs en examinering. Nu de sector een aantal jaren werkt met functie- en competentiegericht examineren, wordt met het voorliggende verbeterplan op basis van het uitgevoerde onderzoek en de gevoerde gesprekken de volgende kwaliteitsslag beoogd. De komst van het IFV en het versterkingsplan brandweeronderwijs bevestigen de beoogde koers. Met dit plan wil het Nbbe de sector informeren, meenemen en betrekken bij het herontwerp en de boogde kwaliteitsverbetering. Wij zijn ons ervan bewust dat het veld in beweging blijft en dat ook de examinering niet stil moet blijven staan, maar moet leiden tot betaalbare kwaliteit van examinering die goed geborgd is en de toets ter kritiek kan doorstaan.


Bijlage A: Kerncijfers brandweerexamens Afname van schriftelijke examens Afname van examens 2011 en prognose 2012

Pvb'en geslotenvragentoets Pvb'en geslotenvragentoets: wettelijk warm Manschap A Bevelvoerder Voertuigbediener Gaspakdrager Brandweerduiker Verkenner gevaarlijke stoffen Duikploegleider Subtotaal pvb'en geslotenvragentoets: wettelijk warm Pvb'en geslotenvragentoets: wettelijk koud Instructeur Docent Medewerker brandpreventie Subtotaal pvb'en geslotenvragenlijst: wettelijk koud Modulair 'oud' Instructeur Brandweerduiker Duikploegleider BW 1e klasse HBT OB BM Brandweerchaffeur Subtotaal modulair 'oud'

Afname 2011

Totaal geslotenvragentoets

Omzet 2011

Prognose 2012

Omzet 2012

2.429 689 813 40 437 88 242 4.738

169.960 48.160 55930 2.800 30.590 6.090 20.410 333.940

2.500 650 550 80 80 80 40 3.980

237.500 61.750 52.250 7.600 7.600 7.600 3.800 378.100

21 31 55 107

1.470 2.170 3.850 7.490

70 20 50 140

6.650 1.900 4.750 13.300

199 181 33 1.253 1.256 995 22 900 4.839

13.300 12.670 2.310 87.570 87.920 69.650 1.540 62.650 337.610

0 0 0 0 150 100 0 640 890

0 0 0 0 14.250 9.500 0 60.800 84.550

9.684

679.040

5.010

475.950

Afname praktijk examens



Pvb'en praktijk Pvb'en praktijk wettelijk warm Manschap A Bevelvoerder Voertuigbediener Gaspakdrager Brandweerduiker Verkenner gevaarlijke stoffen Duikploegleider Officier van Dienst Hoofd officier van dienst Adviseur gevaarlijke stoffen Meetplanleider Subtotaal pvb'en praktijk wettelijk warm Pvb'en praktijk wettelijk koud Instructeur Medewerker brandpreventie Docent Centralist meldkamer Subtotaal pvb'en praktijk wettelijk koud Modulair 'oud' Instructeur Duikploegleider Brandwacht BM Commandeur BW 1e klasse HBT OB Brandweerchaffeur Subtotaal modulair 'oud' Pvb'en computersimulaties wettelijk warm Bevelvoerder Duikploegleider Subtotaal computersimulaties wettelijk warm

Afname 2011

Totaal praktijk

Omzet 2011

Prognose 2012

Omzet 2012

2.528 160 318 42 159 62 45 63 0 0 34 3.411

473.816 71.400 66920 6.720 25.400 9.940 13.500 18.585 0 0 7.755 694.036

2.500 150 300 160 160 50 80 50 10 5 10 3.475

575.000 42.750 52.500 28.000 45.600 9.000 14.600 15.250 4.600 1.250 3.200 791.750

0 66 135 7 208

0 11.455 56.270 1.799 69.524

70 60 60 5 195

29.050 11.400 26.880 1.285 68.615

167 35 238 544 1 793 128 947 959 3.812

21.010 13.650 72.930 68.795 340 99.480 15.290 254.680 105.630 651.805

0 0 0 0 0 0 80 20 640 740

0 0 0 0 0 0 10.000 5.400 70400 85.800

333 49 382

115.840 22.940 138.780

300 40 340

102.000 14.400 116400

7.813

1.554.145

4.750

1.062.565

Overzicht examens geclusterd naar warme en koude functies en naar modulair ‘oud’ en wettelijk Examens voor warme functies



Pvb'en wettelijk warm Pvb'en geslotenvragentoets: Manschap A Bevelvoerder Voertuigbediener Gaspakdrager Brandweerduiker Verkenner gevaarlijke stoffen Duikploegleider Subtotaal pvb'en geslotenvragentoets Pvb'en praktijksimulatie: Manschap A Manschap Bedrijfsbrandweer Bevelvoerder Voertuigbediener Gaspakdrager Brandweerduiker Verkenner gevaarlijke stoffen Duikploegleider Officier van Dienst Hoofd officier van dienst Meetplanleider Subtotaal pvb'en praktijksimulatie Pvb'en computersimulatie: Bevelvoerder Duikploegleider Subtotaal pvb'en computersimulatie Pvb'en schriftelijke toets: Hoofd officier van dienst Meetplanleider Adviseur gevaarlijke stoffen Subtotaal pvb'en schriftelijke toets

Afname 2011

Totaal

Omzet 2011

Prognose 2012

Omzet 2012

2.429 689 813 40 437 88 242 4.738

169.960 48.160 55930 2.800 30.590 6.090 20.410 333.940

2.500 650 800 40 320 80 160 4.550

237.500 61.750 76.000 3.800 30.400 7.600 15.200 432.250

2.528 53 160 318 42 159 62 45 63 0 34 3.464

473.816 14.910 71.400 66920 6.720 25.400 9.940 13.500 18.585 0 7.755 708.946

2.500 100 150 300 40 160 50 40 50 10 10 3.410

575.000 25.000 42.750 52.500 7.000 45.600 9.000 7.300 15.250 4.600 3.200 787.200

333 49 382

115.840 22.940 138.780

300 40 340

102.000 14.400 116.400

16 27 4 47

8.160 4.455 1.620 14.235

10 10

4.600 2.900

20

7.500

8.631

1.195.901

8.320

1.343.350

Examens voor koude functies Afname van examens 2011 en prognose 2012

Pvb'en wettelijk koud Pvb'en geslotenvragentoets: Instructeur Docent Medewerker brandpreventie Subtotaal pvb'en geslotenvragentoets Pvb'en praktijksimulatie / arbeidsproef: Medewerker brandpreventie Docent Centralist meldkamer Subtotaal pvb'en praktijksimulatie Pvb'en opdrachten en gesprekken: Specialist Operationeel manager Tactisch manager Subtotaal pvb'en computersimulatie

Afname 2011

Omzet 2011

Prognose 2012

Omzet 2012

21 31 55 107

1.470 2.170 3.850 7.490

70 20 50 140

6.650 1.900 4.750 13.300

66 135 7 208

11.455 56.270 1.799 69.524

60 60 5 125

11.400 26.880 1.285 39.565

214 137 98 449

50.510 22.950 20.620 94.080

200 100 100 400

49.600 19.000 25.000 93.600

764

171.094

665

146.465

Modulaire ‘oude’ examens voor ranggeschikte functies



Pvb'en modulair Pvb'en geslotenvragentoets Instructeur Brandweerduiker Duikploegleider BW 1e klasse HBT OB BM Brandweerchaffeur Subtotaal pvb'en geslotenvragentoets Pvb'en praktijk praktijksimulatie Instructeur Duikploegleider Brandwacht BM Commandeur BW 1e klasse HBT OB Brandweerchaffeur Subtotaal pvb'en praktijksimulatie Pvb'en schriftelijke toets OB Subtotaal Niet wettelijk

Afname 2011

Totaal praktijk

Omzet 2011

199 181 33 1.253 1.256 995 22 900 4.839

13.300 12.670 2.310 87.570 87.920 69.650 1.540 62.650 337.610

167 35 238 544 1 793 128 947 959 3.812

21.010 13.650 72.930 68.795 340 99.480 15.290 254.680 105.630 651.805

142 142 8.793

Omzet 2012

Prognose 2012

20

1.900

20 300 20

1.900 28.500 1.900

640 1.000

60.800 95.000

20

2.700

300

40.500

20 200 20 640 1.200

2.500 25.000 5.400 70400 146.500

17.750 17.750

0

0

1.007.165

2.200

241.500

Examens voor overige wettelijke functies Afname van examens 2011 en prognose 2012

Pvb'en wettelijk warm Pvb'en geslotenvragentoets: BES Manschap A BES Bevelvoerder Bedrijfsbrandweer Manschap Bedrijfsbrandweer Bevelvoerder Subtotaal pvb'en geslotenvragentoets Pvb'en praktijksimulatie: BES Manschap A BES Bevelvoerder Bedrijfsbrandweer Manschap Bedrijfsbrandweer Bevelvoerder Subtotaal pvb'en praktijksimulatie Pvb'en computersimulatie: Bedrijfsbrandweer Bevelvoerder Subtotaal pvb'en computersimulatie Totaal

Afname 2011 Omzet 2011Prognose 2012Omzet 2012

500 240 740

0 0 47.500 22.800 70.300

112.500 22.800 135.300

0

0

53

14910

53

14.910

500 80 580

0

0

80 80

27.200 27.200

53

14.910

1.400

232.800

Examens voor niet wettelijke functies Afname van examens 2011 en prognose 2012

Pvb'en niet wettelijk Pvb'en: Niet wettelijk Adviseur Beleid en bestuur Niet wettelijk Adviseur Beleid en bestuur Niet wettelijk Specialist Niet wettelijk GHOR Niet wettelijk Multidisciplinair Niet wettelijk GROOT Niet wettelijk GHOR Niet wettelijk Risico en crisisbeheersing Niet wettelijk Specialist Totaal pvb'en niet wettelijk

Afname 2011 4 50 9 149 52 16 247 449 22 998

Omzet 2011

12.515 5.620 1.755 28.140 3.765 3.840 24.860 33.675 2.860 117.030

Prognose 2012

Omzet 2012

10 40 10 100

16800 11200 12200 11500

100 340 20 620

0 0 8100 59.800


Bijlage B: Benchmarkgegevens examinering In het kader van het herontwerp van het examenstelsel wordt een kwaliteitsmodel met kwaliteitstandaarden uitgewerkt en vastgesteld. Een centrale vraag bij het beoordelen van de kwaliteit van de brandweerexamens en bij het herontwerp van het examenstelsel is welke kwaliteitstandaarden gehanteerd dienen te worden. Benchmarkgegevens kunnen hierbij interessant zijn om te kijken hoe de brandweersector zich verhoudt tot andere sectoren. Telkens is wel de vraag wat de branche zelf als standaard nodig acht. Verschillende beroepssectoren zijn niet zonder meer vergelijkbaar en daardoor zullen de te hanteren kwaliteitstandaarden niet hetzelfde zijn. De brandweersector zal de lat hoger óf lager leggen, waar aspecten van examinering meer óf minder belangrijk zijn. Met dit in ogenschouw, worden in deze bijlage op een aantal aspecten van examinering beschikbare benchmarkgegevens uit andere sectoren opgenomen. Het betreft de aspecten: slagingspercentages, dekkingsgraad, cesuur en interbeoordelaarsbetrouwbaarheid. Slagingspercentages Uit beschikbare gegevens vanuit het Nbbe kan een schatting gemaakt worden voor het aantal geslaagden voor de functie manschap A, namelijk zo’n 85% bedraagt en voor de functie bevelvoerder, te weten zo’n 70-75%. In het toekomstige kwaliteitsmodel is het gewenst om binnen de brandweersector streefnormen te formuleren omtrent het slagingspercentage, eventueel gespecificeerd per functie. Vervolgens is het van belang om (per functie) het slagingspercentage te monitoren om een beeld te krijgen waar de doelen wel/niet worden gehaald, te analyseren wat hier de oorzaken van zijn en waar nodig verbeteracties te initiëren. Ook in andere beroepssectoren wordt het aantal geslaagden gemonitord. In het reguliere mboonderwijs ligt het slagingspercentage tussen 65% en 72%. Onderstaand zijn de slagings-percentages op jaarbasis weergegeven naar beroepssector, niveau en leerweg.


Geconstateerd kan worden dat de slagingspercentages in het reguliere middelbaar beroepsonderwijs beduidend lager liggen dan in de brandweersector. De vraag is echter of de brandweersector zich op dit aspect moet vergelijken met het reguliere mbo. Een vergelijking met de politiesector ligt meer voor de hand. Immers in beide sectoren heeft men te maken met een groep die ‘bewust heeft gekozen voor het (vrijwilligers)beroep’, terwijl het mboonderwijs te maken heeft met nog leerplichtige leerlingen die niet altijd in staat zijn op hun jonge leeftijd al een afgewogen beroepskeuze te maken. In het politieonderwijs bedraagt het slagingspercentage 82,5% voor de beroepsfunctionarissen. Wel zijn er grote regionale verschillen tussen de korpsen en naar type functie. Zo is het slagingspercentage voor de hogere opleiding van politiekundige master lager dan het slagingspercentage voor de politieopleidingen op mbo-niveau. Het slagingspercentage voor de vrijwillige politie ligt overigens fors lager en bedraagt tussen 55-60%.

Dekkingsgraad Ten aanzien van de dekkingsgraad hanteert de Inspectie van het Onderwijs in het reguliere mbo een norm van 75%. Uitgangspunt voor de beoordeling van dekkingsgraad is dat alle vereisten uit het kwalificatiedossier voor minimaal 75% onderdeel zijn van het examenprogramma. Er wordt over het geheel van het examen genomen geëxamineerd op het vereiste kwalificatieniveau. De IOOV hanteert -in lijn met de IO- voor de dekkingsgraad van de proeven van bekwaamheid eveneens een dekkingsgraad van minimaal 75%. Dit betekent dat 75% van de competenties van een kernopgave wat betreft vorm en inhoud op een passende wijze door de proeve van bekwaamheid wordt geëxamineerd. Voor het kwaliteitsmodel van de brandweersector geldt het percentage van 75% dus als minimumniveau waar tenminste aan moet worden voldaan. De vraag is vervolgens of er voor de brandweersector aanleiding bestaat om (voor bepaalde functies) een hoger percentage te hanteren qua dekkingsgraad. Dit zijn keuzes die door de sector gemaakt kunnen worden, waar ze het nodig acht om de lat hoger te leggen. Vanzelfsprekend is een lager percentages niet aan de orde, omdat de inspectienorm de ondergrens aangeeft waar minimaal aan moet worden voldaan.

Cesuur Van oudsher wordt voor de geslotenvragentoetsen een zak/slaaggrens (cesuur) van 70% gehanteerd. Onderstaand zijn gegevens opgenomen van de cesuur in andere sectoren: De cesuur voor het theorie-examen van rijinstructeurs ligt op 70%. In de binnenvaart wordt de cesuur van 70% naar 80% verhoogd. In het MBO ligt de cesuur voor Nederlands en moderne talen op 60%. Bij talen gelden 5 taalvaardigheden (spreken, gesprekken voeren, schrijven, luisteren, lezen) waarbij de zak/slaagregeling ligt op een voldoende voor 3 van de 5 taalvaardigheden (dus 60% moet voldoende zijn). Belangrijk is wat de branche zelf minimaal nodig acht om je voor verschillende functies te kwalificeren. Voor kritische functies kan de cesuur bijvoorbeeld hoger liggen dan voor minder kritische functies. Interbeoordelaarsbetrouwbaarheid (beoordelaarsovereenstemming) Verbeterplan kwaliteit brandweerexamens d.d. 27 maart 2012 43

De 'interbeoordelaarsbetrouwbaarheid' is de mate van overeenstemming tussen verschillende beoordelaars. Deze methode wordt veel gebruikt in onderzoek waarbij gebruikgemaakt wordt van observatie-instrumenten. Meerdere beoordelaars gebruiken hetzelfde instrument om dezelfde situatie te beoordelen. Als dat dezelfde uitkomsten oplevert, kan aangenomen worden dat het instrument ervoor zorgt dat persoonlijke kenmerken geen invloed hebben op het gebruik van het instrument - dan is de interbeoordelaarsbetrouwbaarheid hoog. Veelgebruikte maten voor de interbeoordelaarsbetrouwbaarheid zijn de Pearson r- correlatiecoëfficiënt en Cohens kappa. Soms wordt het percentage overeenkomst gebruikt. In het TNO onderzoek is aan de orde gekomen dat de interbeoordelaarsbetrouwbaarheid van de praktijksimulaties voor de functies manschap A en bevelvoerder aan de lage kant zijn. Daarbij moet worden opgemerkt dat bij de analyse de norm van de luchtvaart is gehanteerd van 97%. Dit is een erg hoog percentage en de vraag is dan ook of dit een reële norm is voor de brandweersector. Mogelijk dat eerder gedacht kan worden aan een verhouding van driekwart (dus zo’n 75%). Een dergelijke norm wordt (door de inspectie) vaker gehanteerd bij kwaliteitsonderzoeken om te bepalen of een bepaalde indicator voldoende is of niet, zoals bijvoorbeeld dekkingsgraad. Benchmarkgegevens zijn lastig te achterhalen. In het mbo zijn normen voor interbeoordelaarsbetrouwbaarheid (voorzover deze al worden gebruikt) niet openbaar op een te traceren plek. Er is geen landelijke databank o.i.d. Hooguit vind je van specifieke branches specifieke informatie. Bijvoorbeeld in een evaluatieonderzoek naar het praktisch examen in Transport en Logistiek wordt een norm gehanteerd van 80%, op grond van een richtlijn van Nunnaly & Bernstein (1994) voor gewenste beoordelaarsovereenstemming. Voorts is door TNO het advies gegeven met twee beoordelaars te werken. De onderwijsinspectie is duidelijk waar het gaat om de vraag: is het noodzakelijk altijd twee beoordelaars te hebben? Antwoord: ‘Het is aan de instelling om een situatie te creëren die het best past bij de specifieke omstandigheden van het examen. Afhankelijk van de specifieke situatie kan het wel noodzakelijk zijn om meer beoordelaars in te zetten. Dat is zeker het geval als er sprake is van een moeilijk te beoordelen, complexe situatie. De bedoelde complexiteit kan ook slaan op complexe vaardigheden die de kandidaat moet laten zien. Soms is één beoordelaar toereikend. In alle gevallen is de deskundigheid van de beoordelaar natuurlijk wel zwaarwegend.’ (bron: Inspectie FAQ).


Bijlage C: Gesprekken en werkwijze Geïnterviewde: W. (Wim) Beckmann MEd, manager Brandweeracademie, NIFV J. (John) Damen, MCDm, programmamanager Training, Accreditatie en Relatiebeheer, plaatsvervangend directeur Nbbe H. (Henri) Ester, directeur stichting Brandweeropleidingen BOGO Drs. R. (Roosmarijn) Hartkamp, beleidsadviseur brandweer Veiligheidsberaad J. (Joop) Huizing, Teamleider Opleiden, Oefenen, Grootschalig Optreden, Multi en GMK Brandweer Gooi en Vechtstreek, Voorzitter LOBO Ing. P.P.A. (Paul) Joosten, Veiligheids- en Gezondheidsregio Gelderland Midden, lid Regionale Raad Commandanten Drs. N. (Nino) Manzoli, beleidscoördinator ministerie van Veiligheid en Justitie, directie Nationale Veiligheid E.M. (Bert) Mos , P&O adviseur Brandweer Twente, lid Kernteam P&O van de NVBR Drs. B. (Bert) Roes, senior beleidsmedewerker VNG, College van Arbeidszaken Ing. A.F.J. (Ton) van der Vossen MCDm, bestuurslid van de Vakvereniging Brandweer Vrijwilligers, vertegenwoordigt ABVAKABO, CNV Publieke Zaak en CMHF Drs. J (Jos) van Zwieten MBA, secretaris Brandweeronderwijsraad

De klankbordgroep die op 19 maart en 26 maart bijeen is gekomen, kende de volgende samenstelling: W. (Wim) Beckmann MEd, Manager Brandweeracademie, NIFV Ing. P.P.A. (Paul) Joosten, Veiligheids- en Gezondheidsregio Gelderland Midden, lid Regionale Raad Commandanten Dr.ir. P (Paul) Verlaan, MCDm, Veiligheidsregio Midden-Brabant, lid Regionale Raad Commandanten J. (Joop) Huizing, Teamleider Opleiden, Oefenen, Grootschalig Optreden, Multi en GMK Brandweer Gooi en Vechtstreek, Voorzitter LOBO J. (Jill) Wilkinson, interim directeur Nbbe Projectteam Drs. H.F.M (Harry) Bovens, strategisch adviseur NIFV. Drs. H. (Heide) Gramser, organisatieadvies Gramser Consult Drs. C. (Chantal) Ruijten, onderwijskundige Nbbe Drs. A.M.D.C.(Nanny) Schoenmakers, onderwijs adviseur Capgemini Consulting Drs. K. (Krista) Visscher, onderwijsadviseur Capgemini Consulting


Plan van aanpak verbetering kwaliteit brandweerexamens

Recommend Documents