Het toezicht op de examinering van het brandweeronderwijs

Het toezicht op de examinering van het brandweeronderwijs

Inspectie Openbare Orde en Veiligheid Den Haag november 2003

INSPECTIE OPENBARE ORDE EN VEILIGHEID

Inspectie Openbare Orde en Veiligheid (Inspectie OOV) Bezoekadres: Juliana van Stolberglaan 148, 2595 CL Den Haag Postadres: Postbus 20011, 2500 EA Den Haag Telefoon: (070) 426 73 66 Telefax: (070) 426 69 90 Website: www.ioov.nl

COLOFON

Uitgave: Ministerie van Binnenlandse Zaken en Koninkrijksrelaties Inspectie Openbare Orde en Veiligheid Lay out: Grafisch Buro van Erkelens Fotografie cover: Fons Sluiter Fotografie Drukwerk: Hega Offset

november 2003

Inhoudsopgave S A M E N VAT T I N G

1. I N L E I D I N G Aanleiding voor het onderzoek Het onderzoek van de Inspectie OOV De kritische kwaliteitskenmerken De wijze van onderzoek Opbouw van de rapportage

2. HET WETTELIJK KADER: BELEID, TOEZICHT EN UIT VOERING BRANDWEEREXAMENS Beleid en toezicht Uitvoering(sbeleid) Het inspectieonderzoek

3 . S CH E TS VA N D E B R A N DW E E RO P L E I D I N G E N E N D E E X A M I N E R I N G De brandweeropleidingen De structuur van de brandweerexaminering Het Nbbe Korte schets van de examinering van de brandweeropleidingen

4 . K WA L I T E I T S Z O R G B I J H E T N B B E Inleiding Het kwaliteitshandboek De kwaliteitsbegeleiding / controle examens

7

13 13 15 15 17 17

19 19 19 20

21 21 22 22 23

25 25 26 27

5. BEVINDINGEN, BESCHOUWINGEN, CONCLUSIES EN AANBEVELINGEN

29

A. Het ontwikkelen van de examens Inleiding Bevindingen ten aanzien van de Examenadviescommissie (EAC) Bevindingen ten aanzien van de vragenproducenten Bevindingen ten aanzien van het ontwikkelen en samenstellen van de examens Nadere beschouwing ten aanzien van het ontwikkelen van de examens Conclusies ten aanzien van het ontwikkelen van de examens Aanbevelingen ten aanzien van het ontwikkelen van examens

30 30 30 31 32 35 37 37

B. Het organiseren van de examens Bevindingen ten aanzien van de organisatoren Bevindingen ten aanzien van de aanmeldingsprocedure Bevindingen ten aanzien van het verlenen van vrijstellingen Aanbevelingen ten aanzien van het organiseren van de examens

38 38 38 39 42

C. Het afnemen van de examens Inleiding Bevindingen ten aanzien van de examencommissies Bevindingen ten aanzien van de examenlocaties Bevindingen ten aanzien van het afnemen van de examens Bevindingen ten aanzien van de kwaliteitscontroles tijdens de examens Nadere beschouwingen ten aanzien de uitvoering van het afnemen van de examens Conclusies ten aanzien van de uitvoering van de afneming van de examens Aanbevelingen ten aanzien van de uitvoering van de afneming van de examens

43 43 43 45 46 47 48 49 50

D. De beoordeling van het examenwerk Inleiding Bevindingen ten aanzien van het beoordelen van de schriftelijke examens Bevindingen ten aanzien van het beoordelen van de praktijkexamens Nadere beschouwingen van het beoordelen van het examenwerk Conclusies ten aanzien van het beoordelen van het examenwerk Aanbevelingen ten aanzien van het beoordelen van het examenwerk

51 51 51 52 53 54 54

E. Het verstrekken van certificaten en diploma’s Nadere beschouwingen ten aanzien van het verstrekken van certificaten en diploma’s Conclusie ten aanzien van het verstrekken van certificaten en diploma’s Aanbeveling ten aanzien van het verstrekken van certificaten en diploma’s

55 55 56 56

F. Het behandelen van klachten en bezwaarschriften Nadere beschouwingen ten aanzien van het behandelen van klachten en bezwaarschriften Conclusie ten aanzien van het behandelen van klachten en bezwaren Aanbeveling ten aanzien van het behandelen van klachten en bezwaren

57 57 58 58

6. ONT WIKKELINGEN IN HET BRANDWEERONDERWIJS E N D E E X A M I N E R I N G VA N D E B R A N D W E E R O P L E I D I N G E N

59

Ontwikkelingen in het brandweeronderwijs en de examinering 59 Ontwikkelingen in de organisatie van het toezicht op de examens in het reguliere beroepsonderwijs; een vergelijk met het toezichtsysteem op de brandweerexamens 61 Vergelijking met toezicht op de brandweerexamens 61

7. S L O T B E S C H O U W I N G , E I N D C O N C L U S I E E N A A N B E V E L I N G E N

63

BIJL AGEN I II III IV V

Schema van de modulaire opleidingstructuur Schets van de examinering van het brandweeronderwijs Kritische Kwaliteitskenmerken (KKK’s) van het examenproces Geraadpleegde bronnen Interviews

67 69 78 78 79

Samenvatting AANLEIDING Jaarlijks worden bij het Nederlands bureau brandweerexamens ca 50.000 module-examens afgelegd door personen die een functie willen vervullen bij de brandweer. Per jaar worden daarvoor zo’n 1600 examenbijeenkomsten georganiseerd. Tot 1994 lag de verantwoordelijkheid voor het toezicht op de examinering van het brandweeronderwijs bij de districtsbrandweerinspecties. In 1994 werd het Algemeen brandweerexamenreglement 1994 vastgesteld door de minister van Binnenlandse Zaken. Terwijl de ontwikkeling, de organisatie en het afnemen van de examens werden opgedragen aan het Nederlands bureau brandweerexamens (Nbbe), werd het toezicht op de examinering in handen gelegd van rijksgecommitteerden 1. De Inspectie Brandweerzorg en Rampenbestrijding nam, zonder dat deze hiertoe een duidelijke opdracht had gekregen, de coördinatie t.a.v. de rijksgecommitteerden op zich. In 1999 zijn de rijksgecommitteerden, uit onvrede met hun positie en werkzaamheden, gestopt met het bezoeken en controleren van de examens. De Inspectie heeft toen de coördinatie van de werkzaamheden van de rijksgecommitteerden min of meer geruisloos beëindigd. De problematiek rond de rijksgecommitteerden was aanleiding voor overleg tussen de directie Brandweerzorg en Rampenbestrijding, de Inspectie Brandweerzorg en Rampenbestrijding en het Nederlands bureau brandweerexamens. Tegen de achtergrond van lopende discussies over mogelijke aanpassingen in het brandweeronderwijs en de examinering werden afspraken gemaakt over de rol van het Nbbe bij de borging van de kwaliteit van de examinering. Ook werd afgesproken dat de functie van rijksgecommitteerde voorlopig blijft gehandhaafd, maar dat wanneer het toezicht adequaat is geregeld kan worden besloten tot omvorming of opheffing van de functie van rijksgecommitteerde. Voor de Inspectie Brandweerzorg en Rampenbestrijding waren de gerezen problemen aanleiding om een onderzoek in te stellen naar het toezicht op de examinering van het brandweeronderwijs en een antwoord te krijgen op de vraag of de examens op een ordelijke en eerlijke manier plaatsvinden. Het onderhavige rapport is de weerslag van dit onderzoek.

WETTELIJK KADER De minister van Binnenlandse Zaken en Koninkrijksrelaties (BZK) is in hoofdlijnen verantwoordelijk voor het zelfstandige bestuursorgaan Nbbe. Er is geen hiërarchische relatie tussen BZK en het Nbbe. De ministeriële verantwoordelijkheid beperkt zich tot de uitoefening van de bevoegdheden zoals beschreven in de Brandweerwet 1985 en de daaruit voortvloeiende regelgeving. 1

Inspecteurs van de toenmalige Inspectie Brandweerzorg en Rampenbestrijding alsmede brandweerfunctionarissen met specifieke deskundigheden.

7

Het Nbbe is een zelfstandig bestuursorgaan. Het Nbbe is conform de Brandweerwet 1985, artikel 18g, lid 2, primair verantwoordelijk voor: • het ontwikkelen van de rijksexamens voor de brandweer, het afnemen van de rijksexamens en de daarbij behorende organisatie; • het afgeven van vrijstellingen en certificaten; • het vaststellen van de uitslag van een examen en het adviseren van de minister van BZK over het afgeven van rijksdiploma’s. Volgens artikel 18g, zevende lid, stelt het bestuur van het Nbbe regels met betrekking tot de uitvoering, de organisatie en de afneming van een rijksexamen. Het bestuur van het Nbbe heeft hieraan invulling gegeven door het opstellen van het Uitvoeringsreglement Brandweerexamens.

A F H A N K E L I J K VA N D E R D E N De aan het Nbbe opgedragen taken zijn door het Nbbe zelf in vergaande mate uitbesteed. Zo is een Examenadviescommissie belast met het produceren en beoordelen van de examenvragen en -opdrachten. Voor het produceren van vragen doet het Nbbe in de praktijk echter een beroep op een 80-tal vragenproducenten. Het organiseren van de 1600 examenbijeenkomsten gebeurt door opleidingsinstituten van regionale brandweerorganisaties en door commerciële brandweeropleidingen; dit zijn de organisatoren. Zij verzorgen de opleiding en organiseren het examen. Tijdens het examen zijn examencommissies verantwoordelijk voor de gang van zaken en zij bepalen (bij de praktijkexamens) of een kandidaat is geslaagd. Het Nbbe heeft een lijst met 1600 deskundigen die benoembaar zijn in een examencommissie. De organisator doet een voorstel voor de samenstelling van een examencommissie. Behalve bij multiplechoice-examens worden de examenopdrachten en -antwoorden nagekeken door zogenaamde nakijkers, door het Nbbe geselecteerde materiedeskundigen. Een groot aantal spelers dus. Naar het oordeel van de Inspectie Openbare Orde en Veiligheid (waarin de Inspectie Brandweerzorg en Rampenbestrijding met de Inspectie voor de politie is samengegaan) is door het grote aantal spelers het Nbbe niet in staat om voldoende regie of sturing te geven aan de organisaties en de processen. Daardoor kan het Nbbe thans onvoldoende garanties geven voor een goede, ordelijke en eerlijke uitvoering van de examens.

CONCLUSIES EN AANBEVELINGEN De conclusie ten aanzien van het ontwikkelen van de examens is dat het Nbbe hiervoor beschikt over de noodzakelijke reglementen en voorschriften. Het maken van de examenvragen en het samenstellen van de examens wordt grotendeels uitgevoerd door ‘derden’. Het Nbbe is in belangrijke mate afhankelijk van deze ‘derden’, die ze maar ten dele kan controleren. Aanbevolen wordt om de eisen ten aanzien van de leden van de

8

Examenadviescommissie vast te stellen, te voorkomen dat te veel bekende vragen in de examens worden opgenomen en regelmatig de relevantie van de vragen te toetsen aan de ontwikkelingen bij de brandweer. De conclusie ten aanzien van het organiseren van de examens is dat het Nbbe de voorbereiding en de organisatie van de examens in belangrijke mate heeft ondergebracht bij ‘derden’ te weten de organisatoren. Het Nbbe heeft slechts in beperkte mate zicht op de bedrijfsvoering en de organisatiegraad van deze organisatoren en is niet altijd in staat de organisatie van de examinering te controleren. Er is onvoldoende zicht op of een examenkandidaat voldoende is opgeleid en voorbereid om een praktijkexamen op een veilige wijze te kunnen afleggen. De onderzoekers bevelen aan dat het Nbbe meer inzicht krijgt en toezicht uitoefent op het functioneren van de organisatoren ten aanzien van het voorbereiden van de examens. De conclusie ten aanzien van het afnemen van de examens is dat het Nbbe niet in staat is alle eisen en voorwaarden en de juiste werkwijze van de examencommissies doeltreffend te controleren. Bij het afnemen van de examens wordt vaak afgeweken van de regels. De Inspectie OOV beveelt aan de examencommissies, onafhankelijk van de organisatoren, door het Nbbe te laten benoemen en de eisen ten aanzien van de examenlocaties strikt op te volgen. De conclusie ten aanzien van het beoordelen van het examenwerk is dat het Nbbe zich terdege bewust is van het risico van subjectiviteit. Ze ziet zich geplaatst in een situatie waarbij de beoordeling met name wordt uitgevoerd door ‘derden’. De indruk van de onderzoekers is dat het Nbbe voortdurend op zoek is naar methoden voor een zo goed mogelijke beoordeling van het examenwerk. De aanbeveling van de Inspectie is om reeds bij het opstellen van de schriftelijke vragen rekening te houden met een eenduidige beoordeling van de examens. Ten behoeve van de praktijkexamens is het gewenst dat de examinatoren worden bijgeschoold in beoordelingsvaardigheden. De conclusie ten aanzien van het verstrekken van certificaten en diploma’s is, dat dit plaatsvindt overeenkomstig de procedures van het kwaliteitshandboek. De controle op de juistheid van de gegevens op de diploma’s en de terechte verstrekking wordt door het Nbbe uitgevoerd. Het is aan te bevelen een geldigheidstermijn aan de diploma’s te verbinden. Hiermee kan worden bevorderd dat het brandweerpersoneel meer structureel wordt bijgeschoold in de ontwikkelingen van het brandweervak. De conclusie ten aanzien van het behandelen van klachten en bezwaren is dat één en ander wordt uitgevoerd door een medewerker van het Nbbe en dat er geen onafhankelijke commissie is ingesteld. Deze situatie draagt niet bij aan het beeld van het op onpartijdige wijze oplossen van conflicten tussen het Nbbe en examen-

9

kandidaten. Het is aan te bevelen de behandeling van klachten en bezwaren in eerste aanleg door het Nbbe en - zonodig - in tweede aanleg door een onafhankelijke klachtencommissie te laten behandelen.

AFWEGING De onderzoekers hebben het Nbbe leren kennen als een organisatie met grote ambities waar voortdurend wordt gezocht naar methoden om de examinering te verbeteren. Binnen de huidige organisatiestructuur van de examinering schakelt het Nbbe veel zgn. ‘derden’ in, die uit het gehele land afkomstig zijn. Deze personen vervullen taken in de Examenadvies-commissie en de examencommissies, de organisatie van de examens, of leveren een bijdrage als vragenproducenten en nakijkers van het examenwerk. Uit het onderzoek blijkt dat het aantal ‘derden’ zodanig groot is, circa 1700 personen, dat het voor het Nbbe niet mogelijk is hierover een doelmatige regie te voeren. De Inspectie heeft geconstateerd dat er regelmatig wordt afgeweken van de regels die het Nbbe in het Uitvoeringsreglement Brandweerexamens heeft vastgesteld. Hierbij doen zich situaties voor die risico’s kunnen inhouden waarbij de ordelijkheid en eerlijkheid van de examinering in het geding is. Hoewel het Nbbe, als ZBO op enige afstand geplaatst van het ministerie BZK, als eerste verantwoordelijkheid draagt, heeft de minister als systeemverantwoordelijke ook bemoeienis en verantwoordelijkheid voor de examinering. De veiligheidsrisico’s die bij een normale uitvoering van de brandweertaken reeds aanwezig zijn, kunnen worden vergroot indien er twijfels bestaan omtrent de juiste afwikkeling van de examinering van de opleidingen van brandweerfunctionarissen. De in dit rapport genoemde conclusies en aanbevelingen hebben betrekking op de huidige situatie van de examinering en dienen vrijwel uitsluitend ter verbetering van een aantal organisatorische- en uitvoeringsaspecten van de huidige examensystematiek. In de loop van het onderzoek is de Inspectie evenwel tot de overtuiging gekomen dat de bij de aanbevelingen genoemde aanpassingen van de examencondities, ontoereikend zullen zijn. De Inspectie is van mening dat een wijziging van de examensystematiek, en daarmee onlosmakelijk verbonden ook een wijziging van de systematiek voor de brandweeropleidingen, meer soelaas biedt en derhalve de hoogste prioriteit verdient. Hierbij zal aansluiting moeten worden gezocht bij de ontwikkelingen in het reguliere beroepsonderwijs waar het competentiegericht opleiden in de toekomst centraal zal komen te staan.

10

EINDOORDEEL Concluderend komt de Inspectie tot de volgende eindconclusies en aanbevelingen. • Het huidige opleidings- en examensysteem geeft het Nbbe onvoldoende mogelijkheden om in alle gevallen te kunnen garanderen dat er sprake is van een goede, ordelijke en eerlijke uitvoering van de examinering van het brandweeronderwijs. Het in ontwikkeling zijnde kwaliteitssysteem van het Nbbe zal naar verwachting van de Inspectie in onvoldoende mate bijdragen tot de gewenste kwaliteitsverbetering van de examinering. • De Inspectie dringt aan op een wijziging van de systematiek en organisatie van de examinering met daaraan onlosmakelijk verbonden het opleidingssysteem van de brandweer. Dit is noodzakelijk voor de gewenste verbetering van de ordelijkheid en eerlijkheid van de examinering. Ontwikkelingen bij de Directie Rampenbeheersing en Brandweer zoals het project Competentiegericht opleiden officieren en het nog te starten project Kwaliteitsborging brandweerpersoneel sluiten aan bij deze aanbeveling. Hierbij dient zorggedragen te worden voor een heldere verantwoordelijkheidsverdeling tussen de bij het brandweeronderwijs betrokken partijen. • De Inspectie beveelt aan dat niet alleen voor de structurele situatie maar ook voor de overgangsperiode een transparant en effectief toezichtbeleid wordt geformuleerd; één en ander conform de Kaderstellende visie op toezicht. Hiermee kunnen de geconstateerde onvolkomenheden met betrekking tot de examencondities voor zover mogelijk worden geminimaliseerd. Voorts is er op dit moment onvoldoende zicht op de kwaliteit van de kandidaten die opgaan voor de examens. Door het toezicht kan mogelijk worden voorkomen dat zich onaanvaardbare situaties voordoen die de veiligheid van de examenkandidaten raken.

11

12

Inleiding 1 In het traject van de opleidingen is het examen een belangrijk element. De zorg voor de rijksexamens in het kader van de brandweeropleidingen is bij wet 2 opgedragen aan het Nederlands bureau brandweerexamens (Nbbe). De wijze van uitvoering van de examens is aangegeven in een door de minister van Binnenlandse Zaken (BZK) vastgesteld examenreglement, dat bestaat uit een aantal ministeriële regelingen, te weten: het Algemeen brandweerexamenreglement (Aber), examenreglementen per brandweerrang, examenreglementen voor de aanvullende modules instructeur, brandweerduiker en brandweerchauffeur, de regeling benoemingseisen examencommissieleden en gelijkstellingsregeling (voor het laatst herzien in 2002) en in regels opgesteld door het Nbbe, zoals het Uitvoeringsreglement brandweerexamens en de richtlijnen voor examencommissies. De genoemde reglementen bevatten een aantal elementen gericht op het bevorderen van de kwaliteit van de examens. Met het Uitvoeringsreglement Brandweerexamens heeft het Nbbe een instrument voor een ordelijk en eerlijk verloop van de examinering. Op het wettelijk kader zal in hoofdstuk 2 nader worden ingegaan. Hoewel het Nbbe verantwoordelijk is voor het gehele examenproces (het organiseren en uitvoeren van de examens) richt het zich voornamelijk op de voorbereidende activiteiten (het opzetten van richtlijnen en procedures, alsmede het produceren van de examenvragen en examenopdrachten) en de afwerking (het namens de minister van BZK verstrekken van de diploma’s). De feitelijke uitvoering van de examens is door het Nbbe grotendeels overgedragen aan de zogenaamde organisatoren en de examencommissies. Organisatoren zijn veelal opleidingscentra van bijvoorbeeld regionale brandweerorganisaties, die op een bepaalde dag en locatie één of meer delen van moduleexamens organiseren. Ze voeren de aanmeldingsprocedures uit, bepalen overeenkomstig de richtlijnen van het Nbbe de examenlocaties en -objecten en organiseren en verzorgen de examens. De examencommissies worden, op voorspraak van de organisatoren, geformeerd uit (brandweer) deskundigen uit het land.

AANLEIDING VOOR HET ONDERZOEK Een dergelijke wijze van examinering, waarbij het Nbbe taken aan derden overdraagt, stelt hoge eisen aan de controle op een deugdelijke en kwalitatief goede uitvoering. In het Algemeen brandweer-examenreglement 1994 wordt de rijksgecommitteerde genoemd die namens de minister toezicht houdt op het afnemen van examens van het brandweeronderwijs door steekproefsgewijze bezoeken. 2

Brandweerwet 1985 art. 18g

13

De functie van rijksgecommitteerde wordt tot 1999 uitgeoefend door personen, veelal ervaren brandweerofficieren, die daartoe door de minister zijn benoemd. Als regel worden de brandweerofficieren van de voormalige Inspectie Brandweerzorg en Rampenbestrijding als rijksgecommitteerden aangesteld. De coördinatie van de activiteiten van de rijksgecommitteerden is door de toenmalige directeur Brandweer en Rampenbestrijding neergelegd bij de Inspectie OOV. Met uitzondering van ‘het steekproefsgewijze bezoeken van de examens’, is in de reglementen niet aangegeven welke taken de rijksgecommitteerden hebben en hoe de verantwoordelijkheden en bevoegdheden zijn geregeld. Gebleken is echter dat de rijksgecommitteerde, bij de gebruikelijke steekproefsgewijze bezoeken, niet op alle facetten van de examinering toezicht kan uitoefenen. Met name de activiteiten in het voortraject, zoals de aanmelding van kandidaten, de vrijstellingsverlening, de totstandkoming van de examenvragen en opdrachten, de bepaling van de examenlocaties en -objecten en de benoeming van de voorzitter en leden van de examencommissies onttrekken zich aan het zicht van de rijksgecommitteerden. Daarbij komt, dat de beoordeling van de situatie uitsluitend aan de opvattingen van de betreffende gecommitteerde wordt overgelaten. Gezien deze beperkingen is in de loop van de jaren bij de rijksgecommitteerden steeds meer onvrede ontstaan over hun toezichtstaak bij de examinering. Er is weinig animo voor de functie, die veelal niet aansluit bij het dagelijkse werk van brandweerofficieren, die als rijksgecommitteerde zijn aangesteld. Medio 1999 zijn de rijksgecommitteerden gestopt met het bezoeken van de examens en heeft de Inspectie Brandweerzorg en Rampenbestrijding 3 de coördinatie van de activiteiten, vrijwel geruisloos en zonder dat daartoe een besluit was genomen, beëindigd. Hierdoor werd er vanaf dat moment geen uitvoering meer gegeven aan het toezicht, namens de minister, op de kwaliteit van de examinering van de brandweeropleidingen. De problematiek rond de rijksgecommitteerden is aanleiding geweest tot overleg tussen de directie Brandweer en Rampenbestrijding 4, de toenmalige Inspectie Brandweerzorg en Rampenbestrijding en het Nbbe. Gezien mogelijke toekomstige aanpassingen in het brandweeronderwijs en de examinering heeft de directeur Brandweer en Rampenbestrijding ingestemd met de volgende voorstellen 5: • Het Nbbe heeft zelf een verantwoordelijkheid voor de borging van de kwaliteit van de examinering. • Het Nbbe zal zelf zorgdragen voor de interne controle op de kwaliteit van de afneming van de examens. • De functie van rijksgecommitteerde (in aangepaste vorm) wordt voorlopig gehandhaafd om invulling te kunnen blijven geven aan het toezicht op de kwaliteit van de examinering door de minister. 3 4 5

thans Inspectie Openbare Orde en Veiligheid (de Inspectie OOV) thans directie Rampenbeheersing en Brandweer notitie EB 2001/80188 dd. 8 augustus 2001

14

• Wanneer het toezicht van de minister op de uitvoering van de examinering in het geheel adequaat is georganiseerd, kan worden besloten tot omvorming of zelfs opheffing van de functie en de taken van de rijksgecommitteerde.

• • • • • •

H E T O N D E R Z O E K VA N D E I N S P E C T I E O O V Op basis van het bovenstaande heeft de Inspectie Openbare Orde en Veiligheid (Inspectie OOV) besloten een onderzoek in te stellen naar de brandweerexaminering. De centrale onderzoeksvragen zijn of de examens van het brandweeronderwijs ordelijk en eerlijk verlopen en in welke mate het Nbbe hierop controle uitoefent. Daarnaast is een aantal aspecten van het voor- en natraject van het examenproces, die bij het toezicht door de rijksgecommitteerden onderbelicht bleven, onderzocht. Het onderzoek is gericht op het verloop van de examinering bij de volgende processen: Het ontwikkelen van de examens. Het organiseren van de examens. Het afnemen van de examens. Het beoordelen van de examenresultaten. De afgifte van certificaten en diploma’s. Het behandelen van klachten en bezwaarschriften. D E K R I T I S C H E K WA L I T E I T S K E N M E R K E N Het IOOV-onderzoek naar de kwaliteit van de examinering is met name gericht op de vraag naar het ordelijke en eerlijke verloop van de examens en het toezicht hierop. Hierbij is niet alleen het feitelijk examineren zelf beschouwd, maar ook de randvoorwaarden en de activiteiten in het voor- en natraject, zoals de controle op de deugdelijkheid van de organisator van de examens en de productie van de examenvragen.

Het examenproces is in het onderzoek uiteengelegd in een zestal stappen of taken. Waar nuttig zijn die processtappen nader onderverdeeld. Voor elk van de onderdelen zijn onderzoeksvragen geformuleerd. Vragen die aan de orde komen zijn: • hoe is een aspect formeel geregeld? • hoe is het toezicht op dat aspect formeel geregeld en wie is verantwoordelijk voor het toezicht? • zijn er concrete aanwijzingen of bewijzen dat het toezicht ook daadwerkelijk heeft plaatsgevonden?

15

Op deze wijze zijn de meest kritische aspecten van het proces, de zogenaamde kritische kwaliteitskenmerken (KKK’s), geïdentificeerd. In bijlage 3 is een overzicht van de kritische kwaliteitskenmerken, met de bijbehorende onderzoeksvragen opgenomen. De onderscheiden processtappen zijn: A.

• • • • • B.

H E T O N T W I K K E L E N VA N D E E X A M E N S

Examenadviescommissie Vragenproducenten Examenvragen schriftelijke examens Schriftelijke examens Examenopdrachten praktijkexamens en projecten H E T O R G A N I S E R E N VA N D E E X A M E N S

• Organisatoren (bedrijfsvoering) • Aanmeldingsprocedure • Toelatingseisen / vrijstellingen C.

• • • • • D.

H E T U I T V O E R E N VA N D E A F N E M I N G VA N D E E X A M E N S

Examencommissie Locaties schriftelijke examens Locaties, objecten en voorzieningen praktijkexamens Uitvoering praktijkexamens en projectopdrachten Kwaliteitscontroles H E T B E O O R D E L E N VA N H E T E X A M E N W E R K

• Beoordeling schriftelijke examens • Beoordeling praktijkexamens en projectopdrachten E.

H E T V E R S T R E K K E N VA N C E R T I F I C AT E N E N D I P L O M A ’ S

F.

H E T B E H A N D E L E N VA N K L A C H T E N E N B E Z WA A R S C H R I F T E N

De kritische kwaliteitskenmerken zijn voor commentaar voorgelegd aan en besproken met de onderzochte instanties.

16

D E W I J Z E VA N O N D E R Z O E K Het onderzoek is uitgevoerd door de Inspectie OOV en heeft zich voornamelijk gericht op het Nbbe. Andere betrokken instanties, zoals het Nederlands Instituut voor Brandweer en Rampenbestrijding (Nibra) en de regionale opleidingsinstituten (de organisatoren van de examens) zijn tevens in het onderzoek geïnterviewd. De cluster Brandweer van de Directie Rampenbeheersing en Brandweer heeft informatie verstrekt ten aanzien van wettelijke regelingen voor de brandweerexaminering en de wijze waarop de verhouding en verantwoordelijkheden tussen de minister en het Nbbe zijn geregeld. Als onderzoeksmethoden zijn vooral document-analyses en interviews toegepast. Daarnaast zijn examens bezocht en zijn examenopgaven en de beoordelingen daarvan geanalyseerd. O P B O U W VA N D E R A P P O R TA G E Eerst wordt in hoofdstuk 2 het wettelijk kader van het brandweeronderwijs en de examinering uiteengezet. Hierbij is aangegeven wat het (rijks)beleid is ten aanzien van de uitvoering en het toezicht voor de brandweerexamens en hoe de verhoudingen en verantwoordelijkheden tussen de minister en het Nbbe zijn geregeld. In hoofdstuk 3 wordt een schets gegeven van de wijze waarop de brandweeropleidingen en de examinering thans worden uitgevoerd. Op basis hiervan zijn voor de examinering de kritische kwaliteitskenmerken geformuleerd, die de onderzoeksvragen ondersteunen. In hoofdstuk 4 wordt de kwaliteitszorg van het Nbbe aan de orde gesteld. In dat hoofdstuk wordt aangegeven wat de aanleiding is geweest voor het instellen van een kwaliteitszorgsysteem bij het Nbbe. Hoewel het systeem nog niet is afgerond wordt hiermee een indruk gegeven omtrent de wijze waarop het Nbbe voornemens is controle op de examinering uit te oefenen. Hoofdstuk 5 is het centrale onderdeel van het rapport. Na een korte inleiding van de inhoud worden eerst per hoofdonderdeel de feitelijke bevindingen beschreven, gevolgd door beschouwingen, conclusies en aanbevelingen. In hoofdstuk 6 komen de ontwikkelingen in het brandweeronderwijs en de examinering aan de orde. Een en ander is afgezet tegen de ontwikkelingen in het reguliere beroepsonderwijs en het politieonderwijs, die mogelijk een richtlijn kunnen zijn voor de opleidingen bij de brandweer. In de slotbeschouwing in hoofstuk 7 worden de belangrijkste conclusies en aanbevelingen in onderling verband beschouwd. Hieruit vloeit een eindconclusie voort die een antwoord geeft op de centrale onderzoeksvraag. Naar aanleiding van deze eindconclusie worden drie aanbevelingen gedaan.

17

18

Het wettelijk kader: beleid, toezicht en uitvoering brandweerexamens

2

BELEID EN TOEZICHT De minister van BZK is in hoofdlijnen verantwoordelijk voor het zelfstandige bestuursorgaan Nbbe. Er is geen hiërarchische relatie tussen BZK en het Nbbe. De ministeriële verantwoordelijkheid beperkt zich tot de uitoefening van de bevoegdheden zoals beschreven in de Brandweerwet 1985 en de daaruit voortvloeiende regelgeving. De volgende artikelen moeten in dit verband worden genoemd: Artikel 15 van de Brandweerwet 1985 bepaalt dat de minister van BZK het examenreglement vaststelt en de diploma’s afgeeft. ‘Het’ examenreglement bestaat uit een aantal ministeriële regelingen, te weten het Algemeen brandweerexamenreglement 1994 (Aber), examenreglementen per brandweerrang, examenreglementen voor de aanvullende modules instructeur, brandweerduiker en brandweerchauffeur, de regeling benoemingseisen examencommissieleden en gelijkstellingsregeling. Het Aber stelt onder meer een drietal instituties in, die een rol hebben bij de examinering en het regelt hun taken. Het betreft hier de examencommissie, de Examenadviescommissie en de rijksgecommitteerde. In het Aber zijn de tarieven voor de brandweerexamens vastgelegd. Volgens artikel 18g, lid 6, benoemt, schorst en ontslaat de minister van BZK de leden van het bestuur van het Nbbe. Artikel 18g, lid 9, geeft de minister van BZK de bevoegdheid beleidsregels te stellen over de uitvoering van de taken door het Nbbe. Van deze bevoegdheid is geen gebruik gemaakt. Artikel 18g, lid 12, bepaalt dat de begroting, meerjarenraming en jaarverslag de goedkeuring behoeven van de minister van BZK. UIT VOERING(SBELEID) Het Nederlands bureau brandweerexamens (Nbbe) is een zelfstandig bestuursorgaan. Het Nbbe is conform de Brandweerwet 1985, artikel 18g, lid 2, primair verantwoordelijk voor: • het ontwikkelen van de rijksexamens voor de brandweer, het afnemen van de rijksexamens en de daarbij behorende organisatie; • het afgeven van vrijstellingen en certificaten; • het vaststellen van de uitslag van een examen en het adviseren van de minister van BZK over het afgeven van rijksdiploma’s.

19

Het Nbbe is een uitvoeringsorganisatie. Volgens artikel 18g, zevende lid, stelt het bestuur van het Nbbe regels met betrekking tot de uitvoering, de organisatie en de afneming van een rijksexamen. Het bestuur van het Nbbe heeft hieraan invulling gegeven door het opstellen van het Uitvoeringsreglement Brandweerexamens. Het Nbbe heeft de interne procedures beschreven in het kwaliteitshandboek. Daarnaast heeft het Nbbe diverse handleidingen opgesteld waaronder die voor de organisatoren en examinatoren. Op basis van de door het Nbbe opgestelde regelingen zijn grotendeels derden, zoals de organisatoren, belast met de feitelijke uitvoering van het ontwikkelen, het afnemen en het organiseren van de brandweerexamens. Op grond van artikel 18g, lid 13, zijn bij Amvb nadere regels gesteld met betrekking tot de inrichting en de werkwijze van het Nbbe, de taak, de samenstelling en de openbaarheid van de vergaderingen van het bestuur en de controle op het financieel beheer. Deze Amvb is het Besluit Nederlands bureau brandweerexamens.

HET INSPECTIEONDERZOEK Teruggrijpend op het vorige hoofdstuk richt onderhavig onderzoek zich in het bijzonder op de uitvoering van de examinering zoals dat onder verantwoordelijkheid van het Nbbe gebeurt en op de controle daarop vanuit het Nbbe. Dit betekent dat de resultaten van het inspectieonderzoek in eerste instantie, gelet op de in dit hoofdstuk geschetste rol- respectievelijk verantwoordelijkheidsverdeling tussen de minister van BZK en (het bestuur van) het Nbbe, het Nbbe zullen raken. Hoewel het Nbbe, als ZBO op enige afstand geplaatst van het ministerie van BZK, als eerste verantwoordelijk is, heeft de minister als systeemverantwoordelijke ook bemoeienis en verantwoordelijkheid voor de examinering van het brandweeronderwijs. In het onderzoek zal ten aanzien van de door de Inspectie OOV onderzochte aspecten van het examenproces steeds zo goed mogelijk worden aangegeven welke regelgeving het betreft en welke partij daar consequenties uit zou moeten trekken.

20

Schets 3

van de brandweeropleidingen en de examinering

DE BRANDWEEROPLEIDINGEN Behoudens de officiersopleidingen heeft de minister van BZK geen bemoeienis met het reguleren van de wijze van opleiden voor functies bij de brandweer. In art. 18a van de Brandweerwet 1985 is aangegeven dat het Nibra de taak heeft het verzorgen van officiersopleidingen en andere door de minister aan te wijzen opleidingen die met een rijksexamen, als bedoeld in artikel 15, worden afgesloten. Het ontwikkelen van leerstof, instructiemethoden en -middelen voor de genoemde opleidingen is eveneens een taak van het Nibra. Het voorzien in opleidingen voor andere rangen en functies binnen de brandweer wordt uitgevoerd door circa 60 opleidingsinstituten die veelal onderdeel zijn van gemeentelijke of regionale brandweerorganisaties. Ook zijn er opleidingsinstituten die op commerciële basis brandweeropleidingen verzorgen. Er zijn circa 45 opleidingsinstituten die tevens examens organiseren. De wijze waarop de brandweeropleidingen worden uitgevoerd is een eigen verantwoordelijkheid van de betreffende instituten. Ze leiden op tot de verplichte modules tot en met het brandmeesterniveau. Het Nibra verzorgt de (voltijd en deeltijd) opleiding voor de modules op officiersniveau. Op basis van art. 15 van de Brandweerwet 1985 bepaalt de minister welke brandweeropleidingen met een rijksexamen moeten worden afgesloten. De minister stelt de examenreglementen vast en geeft de diploma’s af 6. Hiermee beïnvloedt de minister tegelijkertijd, maar indirect, in belangrijke mate de inhoud van het brandweeronderwijs. De opleidingsinstituten hebben namelijk de organisatie van de brandweeropleidingen laten aansluiten op de modulaire examenstructuur. Op basis van dezelfde examenregelgeving richten zij de opleidingen in, die eveneens in een modulaire structuur zijn ondergebracht (zie bijlage 1). De uniformiteit van de brandweeropleidingen wordt daarnaast bevorderd door het - op basis van de examenreglementen - ontwikkelen van de leerstof door het Nibra, waarvan de meeste opleidingsinstituten gebruikmaken. Toch zijn er ook verschillen in het verzorgen van de opleidingen te zien. Dit betreft onder andere de docenten en instructeurs die voor de opleidingen worden ingezet. Hoewel er een opleiding tot instructeur in de modulaire opleidingsstructuur is opgenomen die van rijkswege wordt geëxamineerd, zijn de opleidingsinstituten niet 6

Het daadwerkelijk verstrekken van de diploma’s is gemandateerd aan het Nbbe.

21

gehouden uitsluitend opgeleide instructeurs voor de theoretische en de praktische brandweeropleidingen in te zetten. Voorts zijn de instituten op geen enkele wijze gebonden wat betreft de vormgeving en organisatie van de door hen aangeboden opleidingen. Gezien de beperkte bemoeienis van de minister van BZK met het brandweeronderwijs is er (met uitzondering van de officiersopleidingen door het Nibra) geen toezicht van de minister op de brandweeropleidingen.

D E S T R U C T U U R VA N D E B R A N D W E E R E X A M I N E R I N G Bij de brandweerexaminering is gekozen voor een zogenaamde modulaire examenstructuur. Op basis van examenregelgeving zijn voor elke van de acht brandweerrangen en voor de aanvullende modules examenreglementen vastgesteld. Om een diploma te behalen moet een aantal module-examens met goed gevolg zijn afgelegd. Daarbij wordt onderscheid gemaakt in verplichte, keuze-, en aanvullende modules. De verplichte modules garanderen een bepaalde hoeveelheid basiskennis en vaardigheden. De keuzemodules zijn gericht op de specialistische functies die de brandweer vervult. De cursisten moeten voor meerdere module-examens slagen om in het bezit te komen van een diploma, dat hen in staat stelt in de betreffende rang werkzaamheden bij de brandweer uit te voeren. De genoemde aanvullende modules zijn niet rechtstreeks verbonden aan rangen. Voor elke rang is een examenreglement vastgesteld, waarin is aangegeven welke kennis en vaardigheden een kandidaat moet bezitten om voor een certificaat of een diploma in aanmerking te kunnen komen. Daarnaast wordt aangegeven wat de omvang van de examenmodules is, welke examenvormen (schriftelijk examen, praktijkexamen of projectopdracht) van toepassing zijn en eventueel welke toelatings- of diploma-eisen er gelden. De examenreglementen worden geactualiseerd indien er sprake is van veel of ingrijpende wijzigingen. HET NBBE De organisatie van het Nbbe bestaat uit een bestuur en een uitvoerend bureau. Het bestuur bestaat uit zeven leden, benoemd door de minister van BZK. Het bureau telt circa 18 formatieplaatsen verdeeld over een directeur, een juridisch medewerker en de afdelingen examenbeleid, organisatie, administratie en bedrijfsvoering. Elk jaar worden ongeveer 45.000 tot 50.000 examens bij het Nbbe afgelegd. Het aantal examenbijeenkomsten bedraagt ongeveer 1600 per jaar, waarvan circa 350 voor de schriftelijke examens, circa 250 voor de projectopdrachten en circa 1000 voor de praktijkexamens.

22

Uitgangspunt voor de organisatie van het Nbbe is dat een deel van de examenactiviteiten wordt uitgevoerd door derden, zoals een Examenadviescommissie, vragenproducenten, organisatoren, examencommissies en nakijkers. De eindverantwoordelijkheid blijft bij het Nbbe.

K O R T E S C H E T S VA N D E E X A M I N E R I N G VA N D E BRANDWEEROPLEIDINGEN Nadat een opleiding bij een van de opleidingsinstituten is afgerond kunnen de kandidaten voor het examen worden aangemeld. De aanmeldingen kunnen alleen plaatsvinden door de zogenaamde organisatoren, die zich daarbij tevens geheel of gedeeltelijk bereid verklaren, zich te belasten met de organisatie en de verzorging van het daadwerkelijk afnemen van het examen. Ze doen daarbij een voorstel voor de bemensing van de examencommissie(s), waarvan de personen door de betreffende organisatoren worden aangezocht. Nadat de aanmelding volgens de procedure is verlopen verzoekt het Nbbe de organisator de examinering voor te bereiden overeenkomstig de betreffende reglementen en handleidingen. Het Nbbe keurt de bezetting van de examencommissie goed. Afkeuring van een examencommissie vindt zelden plaats. Enige tijd voor het examen ontvangt de voorzitter van de examencommissie de examenopgaven, projectopdrachten en/of praktijkopdrachten. Deze opgaven en opdrachten zijn in een eerder stadium onder verantwoordelijkheid van het Nbbe ontwikkeld, waaraan de Examenadviescommissie een belangrijke bijdrage heeft geleverd. De organisator heeft zorggedragen voor de examenlocatie of het examenobject dat voldoet aan de eisen volgens de reglementen en de handleidingen. Gedurende het examen verleent de organisator facilitaire ondersteuning. Aan het begin van het examen opent de voorzitter in aanwezigheid van de overige leden van de examencommissie de enveloppe met examenopgaven en/of opdrachten. De kandidaten krijgen deze examenopgaven aangereikt en kunnen vervolgens aan het examen beginnen. De examens worden afgenomen door leden van de examencommissie onder verantwoordelijkheid van de voorzitter. Het schriftelijk examenwerk wordt door de voorzitter opgestuurd naar het Nbbe, waar het wordt nagekeken door een geautomatiseerd systeem (bij meerkeuze-examens) of door nakijkers (bij examens met open vragen en projectopdrachten) Bij een praktijkexamen beoordeelt de examencommissie de kennis en vaardigheden van de kandidaten en zij bepaalt het resultaat c.q. het cijfer. Het praktijkexamen wordt

23

besloten met het bekendmaken, door de voorzitter van de examencommissie, van de voorlopige uitslag. Tijdens het examen voert het Nbbe steekproefsgewijs kwaliteitscontroles uit. Na enige weken worden de examenresultaten via de organisatoren aan de kandidaten bekendgemaakt. Het Nbbe maakt vervolgens de certificaten en diploma’s die via de organisatoren aan de kandidaten worden uitgereikt c.q. toegezonden. Kandidaten kunnen desgewenst een klacht of een bezwaarschrift over het examen en/of het resultaat bij het Nbbe indienen.

24

Kwaliteitszorg bij het Nbbe 4

INLEIDING Nadat in 1999 de rijksgecommitteerden zijn gestopt met het bezoeken van de examens, is er vanaf dat moment geen structureel toezicht meer op het ordelijke en eerlijke verloop van de examinering van de brandweeropleidingen. Dit baarde zowel het Nbbe zélf als de toenmalige Inspectie Brandweerzorg en Rampenbestrijding en de Directie Brandweerzorg en Rampenbestrijding, die namens de minister toezicht houdt op het reilen en zeilen van het Nbbe, grote zorgen. In onderling overleg is besloten een kwaliteitssysteem voor het Nbbe te (laten) ontwikkelen, waarbij ministerieel toezicht op meta-niveau mogelijk blijft. Van groot belang voor de ontwikkeling van een kwaliteits- en toezichtsysteem voor het Nbbe is een tweetal rapporten die sinds 2000 zijn verschenen. Het organisatie adviesbureau Berenschot concludeert in het eindrapport ‘Evaluatie doelmatigheid en doeltreffendheid Nederlands Bureau Brandweerexamens’, (juni 2000) ten aanzien van de kwaliteit van de examinering “… dat het Nbbe in zijn huidige positie onvoldoende in staat is om een goede uitvoering van de examens te waarborgen. Dit omdat het Nbbe, als gevolg van de beperkte omvang en capaciteit niet goed in staat is om de onafhankelijkheid en de kwaliteit van de examinatoren te garanderen. Verder ontbreekt een adequate controle op de wijze waarop de examens worden afgenomen”. Ten aanzien van de controle bij het examineren stelt Berenschot voor “… dat het Nbbe, als professionele organisatie, zelf een systeem moet ontwikkelen dat de kwaliteit van de examens waarborgt. Een dergelijk systeem zou uit verschillende schakels moeten bestaan. Het bezoeken van examens zou één van de laatste schakels van dit systeem kunnen zijn. Hiertoe zou het Nbbe zelf een aantal mensen moeten inzetten”. “Het toezicht op het kwaliteitssysteem van het Nbbe zou dan namens de minister moeten worden ingevuld door één of twee inspecteurs van de Inspectie Brandweerzorg (…) Dit betekent een vorm van ministerieel meta-toezicht: op afstand toezicht houden op het kwaliteits- en toezichtsysteem van het Nbbe.” De materie van de kwaliteit van de examinering is verder uitgewerkt in het rapport ‘Ontwikkeling van een kwaliteitsborgingsysteem voor het Nederlands Bureau Brandweerexamens’ dat in opdracht van het Nbbe door Penta Scope is opgesteld en in januari 2001 is verschenen. In dit Penta Scope-rapport wordt een groot aantal knelpunten geformuleerd, welke onder meer zijn terug te voeren op een belangenverstrengeling tussen examinatoren en organisatoren, waardoor een onafhankelijke en objectieve toetsing in gevaar komt. Ook worden genoemd knelpunten bij benoemingen van examencommissieleden en het samenstellen van de commissies, alsmede het

25

gebrek aan kwaliteitscontrole op de commissies. Penta Scope concludeert dat het Nbbe, als kleine organisatie, genoodzaakt is te werken met teveel ‘derden’ zoals organisatoren, vragenproducenten, examencommissieleden en nakijkers, om een doelmatige regie te kunnen voeren. Naast de opmerkingen aangaande de kwaliteitscontrole gaat dit rapport uitvoerig in op een (eventuele) wijziging van de examenstructuur waarmee ten aanzien van een groot aantal knelpunten verbetering kan worden gebracht. Met name de consequenties voor de examinering als gevolg van het (eventueel) invoeren van competentiegericht opleiden worden in dit rapport uitvoerig uit de doeken gedaan. Het rapport blijft vaag over de reële kwaliteitsverbetering als gevolg van de aanbevolen aanpassingen in de examencondities en de veranderingen van de opleidingsstructuur. Onderbouwde aanwijzingen dat de voorgestelde maatregelen leiden tot een kwalitatief beter product ontbreken. Op basis van het Penta Scope rapport heeft het Nbbe voorstellen geformuleerd voor een gewijzigde opzet van de examenstructuur waarbij de opleidingen en examinering deels worden geïntegreerd. Deze voorstellen zijn (m.u.v. de officiersopleidingen) nog niet gehonoreerd door de Directie Rampenbeheersing en Brandweer, die namens de minister van BZK toezicht houdt op het functioneren van het Nbbe. Inmiddels wordt binnen de Directie Rampenbeheersing en Brandweer gewerkt aan een herijking van het brandweeronderwijs voor het manschappen- en bevelvoerdersniveau tot functiegerichte en zo mogelijk competentiegerichte opleidingen. Voor het brandweeronderwijs op het officiersniveau worden thans, in samenwerking tussen BZK/DR&B, Nibra en Nbbe de opleidingen competentiegericht omgevormd. Deze wijzigingen in de opleidingssystematiek zullen naar verwachting invloed hebben op de examinering. In aansluiting op de rapporten is in overleg met de Directie Rampenbeheersing en Brandweer besloten dat het Nbbe zelf verantwoordelijk is voor de kwaliteit van de examinering en dat zij per augustus 2001 hierop toezicht uitoefent. Het Nbbe zal zorgdragen voor de controle op de kwaliteit van de afneming van de examens. Hiertoe zal een kwaliteitshandboek worden samengesteld en zullen kwaliteitscontroles bij het daadwerkelijk afnemen van de examens worden gehouden.

H E T K WA L I T E I T S H A N D B O E K Ten behoeve van de kwaliteitszorg is in 2001 gestart met de invoering van een kwaliteitssysteem, dat - hoewel de eerder genoemde onderzoeken aangeven dat de problemen met name voortkomen uit de gecreëerde externe condities - gericht is op de interne procedures die het Nbbe vanuit haar wettelijke taak uitvoert. Het streven is om met het invoeren van het kwaliteitssysteem het ISO-9001:2000 certificaat te verkrijgen.

26

Het gehele kwaliteitssysteem is in het kwaliteitshandboek beschreven. Dit kwaliteitshandboek bestaat uit drie delen. In deel 1 worden, overeenkomstig de eisen die zijn gesteld op basis van de ISO-9001:2000 norm, de interne aspecten betreffende de organisatie, het beleid en de doelstelling van het kwaliteitssysteem en het personeelsbeleid en beheer beschreven. In dit deel worden eveneens de interne activiteiten ten aanzien van de producten en diensten aan derden aan de orde gesteld. Deel 2 bevat beschrijvingen van alle relevante en verplichte procedures. Deze beschrijvingen zijn voornamelijk gericht op de interne procedures van de Nbbe-organisatie. In deel 3 zijn de bijlagen opgenomen. Het kwaliteitssysteem voorziet in een beheerssysteem waarbij door middel van interne audits en managementinterviews over de stand van zaken van de kwaliteitszorg kan worden gerapporteerd. Tevens wordt voorzien in het formuleren van corrigerende en preventieve maatregelen en verbeteringsvoorstellen. Hoewel in deze rapportage veelvuldig wordt verwezen naar het kwaliteitshandboek, en het Nbbe reeds zoveel mogelijk volgens de procedures in het boek werkt, moet worden bedacht dat één en ander nog niet is vastgesteld. Bovendien is het van belang te weten dat het kwaliteitssysteem in eerste instantie is gericht op de interne Nbbe-organisatie. De wijze van functioneren van derden is niet in het kwaliteitshandboek opgenomen. De Inspectie is van oordeel dat het feit dat het kwaliteitshandboek niet van toepassing is op derden merkwaardig is, aangezien deze derden wezenlijke onderdelen van de taken van het Nbbe uitvoeren.

D E K WA L I T E I T S B E G E L E I D I N G / C O N T R O L E E X A M E N S Als onderdeel van het kwaliteitssysteem hebben sinds 1 november 2001 negen medewerkers van het Nbbe een (neven)taak gekregen als ‘Kwaliteitscontroleur examens’. Het doel is dat bij circa tien procent van de examens een bezoek wordt afgelegd om te controleren of het examen volgens de regels verloopt. Aan de hand van vragenformulieren die voor iedere module zijn opgesteld 7 worden diverse aspecten aan de orde gesteld. Ten tijde van het inspectieonderzoek bevond de kwaliteitscontrole zich nog in een fase van ontwikkeling. De strategie van het Nbbe is om in de aanloopfase meer begeleidend te zijn en na verloop van tijd de nadruk te leggen op de controles van de examens (zie verder in het hoofdstuk Bevindingen).

7

Vooralsnog alleen voor de praktijkexamens.

27

28

Bevindingen, beschouwingen, 5

conclusies en aanbevelingen

Zoals in hoofdstuk 1 is aangegeven is het onderzoek van de kwaliteit van de examinering met name gericht op het ordelijke en eerlijke verloop van de examens. Hierbij is niet alleen het feitelijk examineren zelf beschouwd, maar ook de randvoorwaarden en de activiteiten in het voor- en natraject, zoals de deugdelijkheid van de organisatie van de examens en de productie van de examenvragen. Teruggrijpend op hoofdstuk 2 waarin het wettelijk kader is geschetst, raakt dit met name de verantwoordelijkheid van het Nbbe dat verantwoordelijk is – en bij uitbesteding van activiteiten ook blijft – voor het totale uitvoeringsproces van examinering. Naast de inhoudelijke aspecten ten aanzien van het ordelijke en eerlijke verloop van de examens is tevens een kernpunt bij de interviews geweest om te onderzoeken in hoeverre het Nbbe controle uitoefent op de eigen processen en procedures als ook op die welke door derden worden uitgevoerd. Hoewel het onderzoek zich voornamelijk heeft gericht op het Nbbe, zijn in de bevindingen tevens meegenomen de resultaten van de documenten- en dossieronderzoeken, de interviews met een aantal organisatoren en de informatie van de Directie Rampenbeheersing en Brandweer van het ministerie BZK 8. Tijdens de interviews bij het Nbbe wordt herhaaldelijk verwezen naar hetgeen over de diverse aspecten is genoemd in het kwaliteitshandboek. Hoewel dit handboek nog niet officieel van kracht is, worden bij dit onderzoek, daar waar het betrekking heeft op staand beleid, de verwijzingen wel in beschouwing genomen. Gezien de conceptfase van het kwaliteitssysteem zijn er tot op heden nog geen interne en externe audits ten aanzien van de juiste toepassing van de processen en procedures volgens het kwaliteitshandboek uitgevoerd. Leeswijzer: In de volgende paragrafen (hoofdonderdelen A t/m F) zijn de bevindingen van de KKK’s beschreven. Daarnaast is voor elk hoofdonderdeel van het examenproces een beschouwing gegeven. Op basis hiervan zijn conclusies getrokken en aanbevelingen gedaan.

8

Bevraagd zijn de hoofden en/of functionarissen van de opleidingsinstituten van de regionale brandweren Amsterdam, Zuid Limburg, Zuid Oost Noord Brabant, het Nibra en de directeuren van de Stichting Brandweeropleidingen Noord en de Stichting Brandweeropleidingen Overijssel-Gelderland. Bij BZK hebben het hoofd en medewerkers van de afdeling Brandweerzorg informatie verstrekt.

29

A.

H E T O N T W I K K E L E N VA N D E E X A M E N S INLEIDING

Bij het ontwikkelen van de examens heeft het Nbbe een belangrijke taak neergelegd bij de Examenadviescommissie (EAC). Deze commissie beoordeelt de examenvragen die door de vragenproducenten zijn gemaakt. Tevens adviseert en controleert de commissie bij het samenstellen van de schriftelijke en praktijkexamens en projectopdrachten. De wijze van functioneren van de EAC en de vragenproducenten, alsmede het maken van examenvragen en het samenstellen van de schriftelijke en praktijkexamens en projectopdrachten worden door de onderzoekers beschouwd als een belangrijke Kritische Kwaliteitskenmerken (KKK) in de ontwikkelingsfase van de examinering. B E V I N D I N G E N T E N A A N Z I E N VA N D E E X A M E N A D V I E S C O M M I S S I E

De EAC is een commissie, bestaande uit (brandweer)deskundigen uit het land die, overeenkomstig het Algemeen brandweerexamenreglement art. 3, tot taak heeft ‘het produceren en beoordelen van examenvragen en -opdrachten’. Het bestuur van het Nbbe benoemt de leden indien ze, aldus het Nbbe, voldoen aan de door de minister te stellen regels. Ten aanzien van deze regels is bij het onderzoek echter gebleken dat de door het Nbbe opgestelde regels niet door de minister zijn vastgesteld. Het Nbbe heeft, in overeenstemming met de eisen in het Algemeen brandweerexamenreglement 1994, ten aanzien van de examencommissieleden aangegeven, dat de leden van de Examenadviescommissie per jaar moeten worden benoemd. Gebleken is dat deze benoemingen de laatste tijd niet meer elk jaar hebben plaatsgevonden. De leden blijven zonder nieuwe benoeming meerdere jaren ‘zitten’. De periode die iemand aaneengesloten zitting kan hebben is maximaal vier jaar, volgens een aftredingsrooster. Tussentijds aftreden is mogelijk wanneer een EAC-lid daar om verzoekt. In voorkomende gevallen kan het Nbbe besluiten de zittingsperiode te verlengen. Er is in de regeling niet voorzien in een gedwongen aftreden van commissieleden maar in de praktijk worden niet-functionerende EAC-leden door het bestuur niet voor herbenoeming in overweging genomen. De eisen die worden gesteld aan nieuwe EAC-leden zijn opgenomen in de richtlijnen EAC, die opgesteld zijn door het Nbbe. Bij het onderzoek blijkt uit vergaderverslagen en benoemingsbesluiten dat het Nbbe de juiste toepassing van de benoemingseisen controleert. De taken van de EAC zijn eveneens beschreven in de richtlijnen EAC. In de praktijk is de EAC opgedeeld in zes groepen die elk een aandachtsgebied voor hun rekening nemen. Zij adviseren het Nbbe ten aanzien van vragen en examens van de modules die aan hen zijn toevertrouwd. Een dergelijke groep bestaat uit zeven tot tien deskundigen met een secretaris van het Nbbe. De potentiële leden voor de EAC worden geselecteerd door persoonlijke benadering. Bij het aftreden van leden worden er vanuit

30

de commissie voorstellen gedaan voor het aanstellen van nieuwe leden. Het Nbbe ziet erop toe dat de leden uit diverse regio’s verspreid over het land vertegenwoordigd zijn. De vraag of de leden van de EAC deskundig zijn en of zij over voldoende ervaring beschikken kon in het onderzoek niet met voldoende zekerheid worden beantwoord. Het Nbbe is van mening dat de deskundigheid van de EAC-leden wordt bewaakt door de EAC zelf, aangezien nieuwe leden worden gerekruteerd uit de netwerken van personen die voor specifieke onderwerpen bekend staan als deskundigen. Aangezien het een groot aantal EAC-leden betreft is het voor de Inspectie de vraag of op deze wijze de kwaliteit van het EAC voldoende is gegarandeerd. Ook is uit het inspectieonderzoek gebleken dat er voor de EAC-leden ten aanzien van het omgaan met hun kennis van de vragen en de examens geen condities zijn geschapen ten aanzien van discretie en geheimhouding. Het Nbbe stelt dat hieromtrent weinig risico’s bestaan omdat de EAC-leden weliswaar kennis hebben over de examenvragen, maar niet weten welke vragen of examens op een bepaalde plaats of tijdstip zullen worden toegepast. B E V I N D I N G E N T E N A A N Z I E N VA N D E V R A G E N P R O D U C E N T E N

De examenvragen vormen de basis voor de schriftelijke examens. Het Nbbe hanteert zowel de meerkeuzevragen, open vragen als projectopdrachten. Over het algemeen worden de examens voor de lagere rangen (t/m onderbrandmeester) samengesteld uit meerkeuzevragen en de examens voor de hogere rangen uit open vragen en projectopdrachten. Hiermee wordt voldaan aan een verzoek van BZK en wordt tevens recht gedaan aan de gedragsniveaus van de examenreglementen, waarbij in de examens voor de lagere rangen veelal naar kennis wordt gevraagd en bij de hogere rangen naar inzicht en toepassing van de kennis. Hoewel volgens het Algemeen brandweerexamenreglement de EAC tot taak heeft de examenvragen te produceren, worden in de praktijk de examenvragen gemaakt door de zgn. vragenproducenten. Dit waren van oudsher ervaren brandweerfunctionarissen die zich bezighielden met brandweeropleidingen. De laatste jaren echter wordt, ten behoeve van de meerkeuzevragen, in toenemende mate gebruik gemaakt van vragenproducenten die geen directe relatie hebben met de brandweer en het brandweeronderwijs. Het Nbbe heeft door middel van een advertentie personen opgeroepen voor het produceren van examenvragen. Hierop zijn ongeveer 60 serieuze reacties ontvangen van personen met een technische of management achtergrond op HBO/WO niveau. Momenteel wordt gewerkt met circa 85 vragenproducenten.

31

Het Nbbe heeft de nieuwe vragenproducenten geselecteerd en geschoold. Zo is er, behalve een uitgebreide informatie over het maken van schriftelijke examenvragen en de daarbijbehorende beoordelingsinstructie, een training verzorgd waaraan de potentiële vragenproducenten verplicht waren deel te nemen. Vervolgens hebben alle vragenproducenten de opdracht gekregen tot het schrijven van 25 vragen over een bepaald onderwerp. Als basisinformatie verstrekte het Nbbe de betreffende leerstof en de eisen van het examenprogramma. De vragenproducenten die volgens de resultaten van de beoordeling in staat zijn gebleken kwalitatief voldoende vragen te kunnen maken, hebben een contract gekregen en worden betaald voor elke goedgekeurde vraag. In het contract is een verklaring opgenomen waarbij de vragenproducent afstand doet van het intellectueel eigendom van de vragen en wordt het auteursrecht aan het Nbbe verleend. De vragenproducenten verplichten zich tevens tot geheimhouding van de gemaakte vragen en de bijbehorende beoordelingsinstructie. Bij zeer specifieke onderwerpen is het soms niet te vermijden dat de vragen worden gemaakt door personen die tevens voor het betreffende vakgebied als docent optreden. In dergelijke gevallen worden de afgelegde examens door het Nbbe extra gecontroleerd op standaard-beantwoordingen. Voor het produceren van de open vragen en de projectopdrachten wordt nog veel gebruik gemaakt van inhoudelijke deskundigen, die veelal tevens actief zijn bij het brandweeronderwijs. De beoordeling van de kwaliteit van de vragen en opdrachten verloopt op dezelfde wijze als bij de meerkeuzevragen. De beoordeling van de kwaliteit van de examenvragen en beoordelingsinstructies vindt plaats volgens de procedures van het kwaliteitshandboek en de richtlijn voor het opstellen van meerkeuze- en open vragen. Dit houdt in dat de geproduceerde vragen inhoudelijk door de EAC en onderwijskundig door het Nbbe worden beoordeeld. Eindverantwoordelijk voor de kwaliteit van de examenvragen is en blijft het Nbbe. B E V I N D I N G E N T E N A A N Z I E N VA N H E T O N T W I K K E L E N E N S A M E N S T E L L E N VA N D E E X A M E N S

Algemeen De hoofdlijnen van de inhoud van de schriftelijke examens, de praktijkexamens en de projectopdrachten zijn weergegeven in de examenreglementen voor de verschillende rangen, die in samenhang met examenregelgeving door de minister zijn vastgesteld. In deze examenreglementen is bepaald welke modulen worden geëxamineerd. Dit kunnen verplichte en keuzemodulen zijn. In de examenreglementen is tevens aangegeven wat de toelatingseisen zijn voor de betreffende module-examens, hoe de weging van de leerdoelen van de module-examens in het totale examenresultaat is en wat de grondslag is voor het afgeven van diploma’s.

32

In de artikelen van de examenreglementen die betrekking hebben op de module-examens is aangegeven uit welke delen, schriftelijke, praktische en projectopdrachten, een module-examen bestaat. Per module-examen is in een examenprogramma aangegeven welke leerdoelen worden geëxamineerd. Elk leerdoel is voorzien van een gedragsniveau dat voor het betreffende onderwerp van toepassing is bij de beoordeling. Er wordt een onderscheid gemaakt in de gedragsniveaus: kennis, inzicht, toepassen, probleem oplossen, motorische vaardigheden en sociale vaardigheden, met daarin verschillende gradaties. Eveneens voor de beoordeling is de wegingsfactor voor de verschillende onderwerpen aangegeven. In het onderzoek is gekeken naar de zorg die het Nbbe uitoefent om de relatie van de examens met de examenprogramma’s in stand te houden. Daarbij is gelet op de zorg voor de consistentie van de diverse examens per module en de samenstelling van de examens. Schriftelijke examens In de paragrafen die betrekking hebben op de EAC en de vragenproducenten is aangegeven hoe de ontwikkeling van de vragen is. Indien een vraag ten aanzien van de relatie met het examenprogramma, de relevantie, de eenduidigheid en duidelijkheid, met de daarbijbehorende beoordelingsinstructie is goedgekeurd wordt deze opgenomen in de vragenbank. Voor het samenstellen van een schriftelijk examen worden vragen uit de vragenbank samengevoegd. Bij de examens met meerkeuzevragen vindt dit plaats via een geautomatiseerd systeem, waarbij slechts de te examineren module behoeft te worden ingevoerd, waarna het systeem een examen samenstelt.

• • • • •

Bij het samenstellen van de examens doet zich, door het samenvoegen van een aantal vragen, het probleem voor dat, gezien het meermalen gebruiken van dezelfde vragen, er sprake kan zijn van examens met bekende vragen. Bij het onderzoek onder de organisatoren werd het geluid gehoord dat indien een kandidaat maar genoeg eerder afgenomen examens bestudeert er een groot deel van de examenvragen bekend kunnen zijn. Het Nbbe streeft naar het zodanig samenstellen van de examens dat er steeds tachtig procent van de vragen nieuw is. Bij het onderzoek zijn van vijf verschillende module-examens drie achtereenvolgende examens bekeken op de herhaling van de vragen. Het resultaat is: module 103, circa 10% herhaling van vragen; module 204, 5-50% herhaling van vragen; module 207, 0-10% herhaling van vragen; module 407, 3-22% herhaling van vragen; module 410/505 open vragen, geen herhaling van vragen. Uit bovenstaande resultaten blijkt dat er, ondanks het streven van het Nbbe naar een 80%-norm, toch schriftelijke examens worden afgenomen die bestaan uit vragen die bij

33

de kandidaten bekend (kunnen) zijn. Naar aanleiding van dit onderzoek stelt het Nbbe dat het voor een aantal modules niet te voorkomen is dat er bekende vragen in zijn opgenomen gezien de betrekkelijk geringe inhoud van de modules. Het is praktisch niet mogelijk steeds nieuwe vragen te maken over een klein onderwerp. Praktijkexamens en projectopdrachten Gezien het karakter van de brandweertaken vormen de praktische examens en de projectopdrachten de belangrijkste elementen van de examinering van het brandweeronderwijs. Praktische examens worden afgenomen voor alle niveaus van de brandweeropleidingen; projectopdrachten worden vooral toegepast bij de examinering van de hogere opleidingen. Zoals ook voor de schriftelijke examens geldt, wordt de samenstelling van de praktische examens en de projectopdrachten ontleend aan de betreffende examenreglementen en module-examens. De wijze waarop de praktische examens moeten worden georganiseerd en verzorgd, is beschreven in de Examenhandleidingen, die voor alle praktische module-examens door het Nbbe zijn opgesteld. In deze handleidingen worden toelichtingen gegeven op de uitvoering van de examenopdrachten, de aanwijzingen voor de examencommissies, de condities waaronder de opdrachten moeten worden uitgevoerd en het benodigde materiaal, de voorzieningen en de locaties. Tevens wordt er uitvoerig ingegaan op de beoordeling van de opdrachten, die wordt geconcretiseerd in beoordelingsformulieren. Ten behoeve van de voorbereiding van de daadwerkelijke uitvoering van de praktische examens heeft het Nbbe, eveneens voor elk module-examen een Handleiding voor de organisator opgesteld. Hierin komen met name logistiek en organisatorische zaken aan de orde. Bij het inspectieonderzoek blijkt dat de controle ten aanzien van de relatie van de ontwikkelde examens met de examenregelgeving wordt uitgevoerd door de EAC en het Nbbe zelf. Dit betreft een inhoudelijke toets of het examen overeenstemt met de leerdoelen zoals genoemd in de ministeriële examenregelgeving. Uit de verslagen van de EAC blijkt dat zij de handleidingen, die de grondslag vormen voor de ontwikkeling van de examens, hebben beschouwd en daar waar nodig aanpassingen hebben aangebracht. De procedures voor het toetsen van ontwikkelde examens zijn beschreven in het kwaliteitshandboek. Eventuele ontwikkelfouten ten aanzien van de praktische uitvoerbaarheid van de praktijkexamens komen aan het licht tijdens de controle op de

34

uitvoering van de examinering. Hierop zal in paragraaf C ‘De uitvoering van de afneming van de examens’ nader worden ingegaan. N A D E R E B E S C H O U W I N G T E N A A N Z I E N VA N H E T O N T W I K K E L E N VA N D E E X A M E N S

Bij de ontwikkeling van de examens zijn de EAC en de vragenproducenten nadrukkelijk betrokken. Uit de bevindingen, zoals vergaderstukken, blijkt dat het EAC een zeer belangrijke rol heeft bij de beoordeling van de kwaliteit van de vragen en examens. Het Nbbe bereikt met de inschakeling van deze commissie een praktisch en door het brandweerveld breed gedragen organisatie van de examinering. Gezien het feit dat het Nbbe er tot op heden in is geslaagd de EAC samen te stellen uit brandweerdeskundigen met veel praktijkervaring op hun vakgebied, mag worden verwacht dat er een breed draagvlak is voor de inhoudelijkheid van de examens. De bevindingen van de interviews met de organisatoren onderschrijven dit. Over het algemeen is er weinig kritiek op de inhoud van de examens. Naast deze positieve aspecten van de EAC mag niet uit het oog worden verloren dat aan een dergelijk vergaande inschakeling van derden bij de uitvoering van de Nbbe-taken ook risico’s verbonden zijn. Zo zijn er geen garanties op de mate van deskundigheid van de commissieleden. De nieuwe leden worden persoonlijk benaderd door de zittende leden. Het Nbbe tracht hierbij een ‘incrowdstructuur’ te voorkomen door de aspirant-leden te screenen op afkomst, opleiding en ervaring. Hoewel het Nbbe eisen ten aanzien van de nieuwe leden heeft ontwikkeld, kan met deze eisen geen garantie worden gegeven ten aanzien van de juiste deskundigheid van de (potentiële) leden voor de specifieke vakgebieden van de betreffende onderdelen van de EAC. Hierbij moet worden bedacht dat, in tegenstelling tot het gestelde in het Algemeen brandweerexamenreglement, deze eisen niet door de minister zijn vastgesteld en er derhalve (formeel) geen invloed en toezicht op de bemensing en het functioneren kan plaatsvinden. Met name bij de vrijblijvende relatie tussen het Nbbe en de leden van het EAC zijn in de huidige structuur nog wel wat vraagtekens te zetten. Het Nbbe heeft, behoudens uitsluiting, weinig sanctiemogelijkheden bij eventueel onregelmatig of frauduleus handelen van één of meer leden. De sanctie van uitsluiting is in het verleden toegepast. Ook ten aanzien van het produceren van de schriftelijke examenvragen schakelt het Nbbe derden in. Het blijkt zelfs mogelijk hiervoor personen aan te trekken die soms geen relatie hebben met het brandweervak. De EAC en het Nbbe toetsen de vragen inhoudelijk, waardoor er wordt gegarandeerd dat de vragen een voldoende ‘brandweerrelevantie’ hebben om in de examens te worden opgenomen. Het Nbbe beoordeelt de vragen bovendien op onderwijskundige kwaliteit. Voorts wordt getoetst of de vragen voldoen aan de examenreglementen.

35

Uit de bevindingen van de interviews met de organisatoren blijkt dat men van mening is dat de kwaliteit van vragen de laatste tijd is toegenomen. Vragen die tijdens een examen zijn gesteld maar discutabel blijken te zijn, worden door het Nbbe ‘ongeldig’ verklaard, wat (naar het oordeel van de onderzoekers) ondanks de beoordelingen door de EAC en het Nbbe toch te frequent voorkomt. De onderzoekers hebben de indruk dat de begeleiding van de vragenproducenten en de controle op de productie van de vragen door het Nbbe in principe degelijk is geregeld maar dat dit toch gezien de omvang van het aantal vragenproducenten in de praktijk een kritische factor is. Het risico voor foutieve vragen is niet groot omdat het ijkpunt bij de toetsing/controle door het Nbbe niet de deskundigheid van de vragenproducenten is, maar de kwaliteit van de door hen gemaakte vragen. Deze methode werpt eveneens zijn vruchten af ten aanzien van de hoeveelheid geproduceerde vragen. De schriftelijke examens en de projectopdrachten worden samengesteld uit de goedgekeurde en gerubriceerde vragen. De meerkeuze-examens worden door het computersysteem automatisch gegenereerd. De examens met open vragen en de projectopdrachten worden nog ‘met de hand’ samengesteld. De EAC en het Nbbe controleren of de schriftelijke examens voor een bepaald niveau in moeilijkheidsgraad vergelijkbaar zijn met voorgaande examens van hetzelfde niveau. Zoals bij de bevindingen is beschreven, worden met name voor de meerkeuze-examens, de vragen meermalen gebruikt. Dit leidt ertoe dat sommige examens soms 10-50% bekende vragen bevatten. Dit is een ongewenste situatie, maar naar de mening van het Nbbe zijn sommige modulen zodanig gering van inhoud, dat er eenvoudigweg geen mogelijkheid is om er voldoende vragen uit op te stellen. Uit het inspectieonderzoek is niet gebleken dat het Nbbe mogelijkheden heeft onderzocht om in deze gevallen een andere wijze van examineren te gebruiken waarbij het probleem van de bekende vragen zich niet voordoet. Een aspect dat in het onderhavige inspectieonderzoek niet aan de orde is, maar dat wel onderzoek zou verdienen is de relevantie van de examens: bezit een kandidaat de juiste kennis, inzicht en vaardigheden om te functioneren nadat hij voor een bepaald module-examen is geslaagd?

36

C O N C L U S I E S T E N A A N Z I E N VA N H E T O N T W I K K E L E N VA N D E E X A M E N S

•

•

•

•

Op basis van de bevindingen en de beschouwing kan het volgende worden geconcludeerd: Het Nbbe beschikt over de noodzakelijke ministeriële en ‘eigen’ reglementen, handboeken, richtlijnen e.d. waarin is aangegeven hoe het ontwikkelen van de examens dient plaats te vinden. Het Nbbe heeft het produceren van examenvragen neergelegd bij derden: de vragenproducenten, die door het Nbbe zijn geïnstrueerd om goede vragen te maken. De vragen worden inhoudelijk en onderwijskundig onder verantwoordelijkheid van het Nbbe gecontroleerd. Het inzetten van de vragenproducenten heeft zowel in kwalitatieve als in kwantitatieve zin positieve effecten gehad. De schriftelijke examens met meerkeuze vragen bevatten soms een (groot) aantal vragen dat in eerdere examens is gebruikt. Omdat hierdoor de examenkandidaten soms bekend zijn met een aantal vragen, wordt afbreuk gedaan aan de selectieve waarde van dergelijke examens. Het Nbbe is echter van menig dat in de examenregelgeving enkele modules zodanig gering van inhoud zijn dat hierover te weinig vragen te stellen zijn. Bij het inspectieonderzoek is niet gebleken dat het Nbbe mogelijkheden heeft onderzocht van een andere wijze van examineren waarbij het probleem van de bekende vragen kan worden voorkomen. Het Nbbe heeft de inhoudelijke beoordeling van de vragen en de examens neergelegd bij de Examenadviescommissie. De indruk van de onderzoekers is dat het Nbbe in sterke mate afhankelijk is van de EAC. Het Nbbe heeft in beperkte mate invloed op de EAC. Hoewel in het Algemeen brandweerexamenreglement 1994 is bepaald dat de minister de eisen ten aanzien van de EAC-leden vaststelt, is dit niet gebeurd. A A N B E V E L I N G E N T E N A A N Z I E N VA N H E T O N T W I K K E L E N VA N E X A M E N S

• Teneinde de deskundigheid en de geschiktheid van de leden van de EAC te kunnen garanderen en daarop toezicht uit te oefenen, is het gewenst de eisen hiervoor door de minister te laten vaststellen of de minister hiervoor het bestuur van het Nbbe een opdracht te geven. • Het is aan te bevelen zo weinig mogelijk vragen in examens te stellen die reeds in eerdere examens zijn toegepast. Indien dit wegens de geringe inhoud van de module niet mogelijk is, is het gewenst dat het Nbbe de redactie van de vragen varieert. Om het probleem van de zgn. bekende vragen structureel op te lossen is het wenselijk tot een herschikking van de examenmodules over te gaan of tot een andere wijze van examineren te besluiten. • Ten einde te waarborgen dat de examens relevant zijn ten aanzien van de eisen die aan de brandweerfuncties worden gesteld, is het aan te bevelen dat de op ministerieel niveau vastgestelde examenreglementen regelmatig worden getoetst aan de ontwikkelingen bij de brandweer.

37

H E T O R G A N I S E R E N VA N D E E X A M E N S

B.

B E V I N D I N G E N T E N A A N Z I E N VA N D E O R G A N I S AT O R E N

De voorbereiding en de uitvoering van de examens is grotendeels overgedragen aan de circa 45 zogenaamde organisatoren 9. Dit zijn meestal opleidingsinstituten van regionale brandweerorganisaties, maar ook wel commerciële brandweeropleidingen. In het ‘Uitvoeringsreglement Brandweerexamens (art. 2 t/m 5)’ heeft het Nbbe aangegeven voor welke activiteiten de organisatoren worden ingezet en in de ‘Handleiding voor de Organisator’ is uitvoerig beschreven hoe de taken door de organisatoren dienen te worden uitgevoerd. Een samenvatting hiervan is weergegeven in hoofdstuk 2 van dit rapport. De reden om in dit onderzoek aandacht aan de organisatoren te besteden, is gelegen in het feit dat de uitvoering van een belangrijk deel van de examinering, inclusief een groot aantal bevoegdheden, dat van invloed kan zijn op een ordelijk en eerlijk verloop ervan, bij de organisatoren is neergelegd. Een dergelijke vergaande overdracht stelt hoge eisen aan het toezicht op de wijze waarop de organisatoren hun taken uitvoeren. Om deze reden zijn ook interviews gehouden bij een aantal organisatoren in het land. In het Uitvoeringsreglement Brandweerexamens (art.2 Toelichting) is ten aanzien van de eisen aan de organisator gesteld “…aanmelding kan geschieden door een ieder die voldoet aan de eisen die in artikel 2 tot en met 5 zijn gesteld..”. “Door het aanmelden van kandidaten verplicht de organisator zich tot het uitvoeren van taken zoals deze voor de organisator in het verdere verloop van het reglement zijn gesteld”. In de artikelen 2 t/m 5 zijn echter geen eisen geformuleerd ten aanzien van de organisatoren. In de genoemde artikelen is in hoofdlijnen de procedure voor de aanmelding van kandidaten voor de examens beschreven. Bij het inspectieonderzoek is gebleken dat het Nbbe geen kwaliteitseisen stelt aan de organisatoren en de deskundigheid van het personeel. De controle op de werkwijze van de organisator concentreert zich op het controleren van de producten zoals de aanmeldingen van kandidaten volgens de juiste voorwaarden en (incidenteel) de keuze van de examenobjecten en de uitvoering van de examens. Bij, bijvoorbeeld, het niet voldoen aan de juiste aanmeldingsprocedure worden de aanmeldingen geweigerd. B E V I N D I N G E N T E N A A N Z I E N VA N D E A A N M E L D I N G S P R O C E D U R E

Voor het aanmelden van examenkandidaten door de organisator is door het Nbbe een aanmeldingsprocedure opgesteld, die is opgenomen in het Uitvoeringsreglement 9

Met een organisator wordt bedoeld een instantie die op een bepaalde dag en locatie één of meer module-examens organiseert.

38

Brandweerexamens en het kwaliteitshandboek. In de Handleiding voor de organisator is één en ander nader uitgewerkt en zijn de onderwerpen zoals, de aanmeldingstermijn, de wijze van aanmelden, de toelatingseisen, de examengelden en het doen van voorstellen met betrekking tot de voorzitter en de overige leden van de examencommissie omschreven. Aangezien de verwerking van deze gegevens bij het Nbbe op geautomatiseerde wijze geschiedt, wordt de controle hierop eveneens door het systeem uitgevoerd. Indien een kandidaat voor een vervolgopleiding wordt aangemeld, controleert het systeem met de eigen gegevens of de kandidaat voldoet aan de toelatingseisen. Bij het onderzoek is gebleken dat er, behoudens het niet goed overnemen van de gegevens 10, bij de verwerking van de aanmeldingen geen risico’s tot het maken van grote fouten zijn. Overigens stelt het Nbbe dat ook de organisator verantwoordelijk is voor de juiste gegevens van de kandidaten. Een bijzonder element van de aanmelding van kandidaten is de ondertekening van het aanmeldingsformulier door het aanmeldende opleidingsinstituut c.q. de organisator. In artikel 4 van het Uitvoeringsreglement Brandweerexamens is bepaald dat met de ondertekening de organisator verklaart dat de kandidaten “bij aanmelding voldoende zijn geoefend om het examen te kunnen afleggen”. In de toelichting van dit artikel is aangegeven dat de reden hiervoor is, de organisator ervoor verantwoordelijk te stellen dat “de kandidaat voldoende is geoefend om het examen op veilige wijze af te leggen”. Met name bij praktijkexamens met een inzet met rook en vuur in een object kunnen er onaanvaardbare risico’s ontstaan bij kandidaten die niet voldoende zijn geoefend. Bij het onderzoek blijkt dat bij de organisatoren en bij het Nbbe de bovengenoemde reden voor de ondertekening nauwelijks (meer) bekend is. Zowel de organisatoren als het Nbbe verklaren dat de ondertekening niet wordt gecontroleerd en dat ook niet wordt gekeken of de student voldoende voorbereid is om het examen veilig af te leggen. Het Nbbe oefent op dit aspect geen actieve controle uit en geeft te kennen dat de verantwoordelijkheid voor het voldoen aan de eis tot voldoende voorbereiding om het examen veilig te kunnen afleggen, ligt bij degene die de aanmeldingen ondertekent te weten, de opleidingsinstituten. In het gunstigste geval zal de kwaliteitscontrole die (incidenteel) bij praktijkexamens wordt uitgevoerd kunnen optreden, maar dan is het meestal al te laat. B E V I N D I N G E N T E N A A N Z I E N VA N H E T V E R L E N E N VA N V R I J S T E L L I N G E N

Een kandidaat kan, overeenkomstig het Algemeen brandweerexamenreglement 1994, art. 7, bij het bestuur van het Nbbe een verzoek indienen voor een vrijstelling van een module-examen. 10 Het Nbbe is voornemens binnenkort een systeem in te voeren waarbij de aanmeldingen per internet worden aangeboden waarna de aanmeldingen rechtstreeks in het systeem kunnen worden ingevoerd.

39

De procedure voor de afhandeling van een dergelijk verzoek is beschreven in het kwaliteitshandboek. In de praktijk wordt onderscheid gemaakt tussen de zgn. standaard- en niet standaard vrijstellingen. Van de standaard vrijstellingen is in (bijlage 2 van) het Algemeen brandweerexamenreglement 1994 een overzicht opgenomen. De behandeling van deze vrijstellingsverzoeken vindt administratief plaats. Indien het vrijstellingsverzoek een diploma of een certificaat betreft dat niet in het overzicht is opgenomen, wordt dit beschouwd als een niet-standaard vrijstelling. Hiervoor wordt door het Nbbe een onderzoek ingesteld, waarbij bewijsmateriaal wordt beschouwd, zoals diploma’s, certificaten, werkgeversverklaringen, diplomawaarderingen en de opleidingsinhoud en -doelstelling en de periode waarin de opleiding heeft plaatsgevonden. Nadere beschouwingen ten aanzien van het organiseren van de examens Evenals bij de ontwikkeling betrekt het Nbbe bij de organisatie derden, te weten de zgn. organisatoren. Feitelijk is er sprake van een overdracht van de organisatie van de examens aan de organisatoren. Het Nbbe heeft de wijze waarop dit dient plaats te vinden vastgelegd in een handboek. Gezien het belang van de goede organisatie van de examens, was het de verwachting van de onderzoekers dat het Nbbe terdege op de hoogte zou zijn van de organisatiegraad en de bedrijfsvoering van de organisatoren. Er wordt immers een belangrijk onderdeel van de wettelijke taak van het Nbbe aan de organisatoren overgelaten. Dit blijkt niet het geval. Het Nbbe geeft aan dat het onmogelijk is het doen en laten van de circa 45 organisatoren te controleren. De controle is gericht op de producten van de organisatoren, d.w.z. de wijze waarop de aanmeldingen worden uitgevoerd en de voorbereidingen op de examens worden gerealiseerd. Hoewel deze laatstgenoemde aspecten uiteraard het belangrijkst zijn, bestaat echter bij organisatoren met een slechte bedrijfsvoering het gevaar dat de examens onvoldoende zijn voorbereid. In het uiterste geval zullen dergelijke examens ongeldig moeten worden verklaard, waarvan de kandidaten de dupe zullen zijn. Het Nbbe tracht bovenstaande problemen te voorkomen door regelmatig bijeenkomsten met de organisatoren te beleggen om zodanig enige grip op hen te krijgen. Sinds 2001 worden tijdens de examens door het Nbbe steekproefsgewijs kwaliteitscontroles uitgevoerd, waarvan een preventieve werking kan uitgaan op de wijze waarop de organisatoren de examens voorbereiden en uitvoeren. In 2002 zijn er van de 1600 examens 130 bezocht. Gelet op de omvangrijke uitbesteding van delen van de examinering aan derden is dit, naar het oordeel van de onderzoekers, te mager. Het Nbbe is van mening dat er binnen de huidige structuur van de examenorganisatie geen verdere mogelijkheden zijn om meer invloed op de organisatoren te verkrijgen.

40

Ten aanzien van de aanmeldingprocedure en het verlenen van vrijstellingen voor examens blijkt uit het inspectieonderzoek dat deze aspecten gedegen door het Nbbe zijn geregeld. De controle op de juistheid van de aanmeldingen wordt door een geautomatiseerd systeem uitgevoerd. Interne controle van dit systeem vindt (nog) niet plaats. Zoals bij de bevindingen is opgemerkt, worden de consequenties van de ondertekening van de aanmeldingsformulieren, zowel door de organisatoren als het Nbbe, onvoldoende onderkend. De Inspectie acht dit een ongewenste situatie. Indien een ongeval plaatsvindt waarbij (later) blijkt dat de kandidaat niet voldoende is opgeleid of voorbereid, kan de vraag aan de orde komen wie hiervoor verantwoordelijk is. Hoewel het Nbbe, als ZBO op enige afstand geplaatst van het ministerie van BZK, als eerste verantwoordelijk is, heeft de minister uiteraard (als systeemverantwoordelijke) ook bemoeienis en verantwoordelijkheid voor de examinering van het brandweeronderwijs. Hoewel de aanmeldingsprocedure is geregeld in een door het Nbbe opgesteld Uitvoeringsreglement Brandweerexamens, legt het Nbbe de verantwoordelijkheid voor de controle op het voldoende zijn voorbereid van de kandidaten om het examen veilig te kunnen afleggen bij de opleidingsinstituten; de opleidingsinstituten ondertekenen de aanmeldingsformulieren mede ten aanzien van dit aspect. Het Nbbe acht het niet zijn taak om controle op de ondertekening uit te voeren en stelt dat deze controle door hen praktisch niet uitvoerbaar is. Doordat er door de minister van BZK (met uitzondering van de officiersopleidingen) geen regels worden gesteld met betrekking tot de uitvoering van het brandweeronderwijs, is er geen garantie te geven ten aanzien van de kwaliteit van het geleverde onderwijs en dus van de know-how van de kandidaten die opgaan voor het examen. Bij het inspectieonderzoek is gebleken dat de verzoeken voor vrijstellingen degelijk worden behandeld. Audits hieromtrent van de procedure van het Kwaliteitshandboek hebben nog niet plaatsgevonden. Conclusies ten aanzien van het organiseren van de examens • Het Nbbe besteedt een zeer belangrijk onderdeel van de examinering, namelijk het daadwerkelijk organiseren van de examens, uit aan derden, te weten de organisatoren. Het Nbbe is daarmee ten aanzien van het uitvoeren van haar wettelijke taak zeer afhankelijk van deze organisatoren. Desondanks is het Nbbe slechts in zeer beperkte mate bekend met de organisatie en de bedrijfsvoering van de organisatoren. Er is nagenoeg geen preventief toezicht op de juiste voorbereiding en organisatie van de examens. In verband met bovengenoemde situatie en onvolkomenheden bestaat er een groot afbreukrisico ten aanzien van het ordelijke en eerlijke verloop van de examinering.

41

• Volgens het Uitvoeringreglement Brandweerexamens van het Nbbe verklaart de organisator, met een ondertekening, dat een examenkandidaat voldoende is opgeleid om het examen veilig te kunnen afleggen. Het blijkt dat de organisatoren aan dit aspect van de aanmeldingen nauwelijks aandacht besteden en dat het Nbbe hierop geen controle uitoefent. Bij een eventueel ongeval tijdens een examen zou de minister, als systeemverantwoordelijke, hierop kunnen worden aangesproken. A A N B E V E L I N G E N T E N A A N Z I E N VA N H E T O R G A N I S E R E N VA N D E E X A M E N S

• Ten einde het afbreukrisico ten aanzien van het ordelijke en eerlijke verloop van de examinering te beperken, is het gewenst dat het Nbbe door het stellen van kwaliteitseisen meer invloed en controle heeft op de organisatoren. Het is aan te bevelen om te komen tot een systeem waarbij de organisatoren worden gecertificeerd. • Door het Nbbe is de aanmelding van de kandidaten en de controles daarop neergelegd bij de organisatoren. Het is noodzakelijk dat de organisatoren, alvorens de aanmeldingsformulieren te ondertekenen, controleren of de kandidaten voldoende zijn opgeleid om de examens veilig te kunnen afleggen. De eindverantwoordelijkheid hiervoor blijft bij het Nbbe. Bedacht moet worden dat hier de veiligheid van de examenkandidaten in het geding is. • Opdat er garanties zijn te geven op de kwaliteit van de kandidaten die opgaan voor het examen verdient het de aanbeveling de structuur en de inhoud van het brandweeronderwijs nader te bezien.

42

C.

H E T A F N E M E N VA N D E E X A M E N S INLEIDING

Nadat de aanmeldingen van de kandidaten door het Nbbe zijn goedgekeurd kan een examen worden gepland en georganiseerd. De organisator heeft reeds bij het Nbbe een voorstel neergelegd voor de voorzitter en de overige leden van de examencommissie en de locatie(s) waar het examen kan plaatsvinden. Nadat de voorzitter en de examencommissie door het Nbbe zijn benoemd en de locatie(s) is goed bevonden, kan de organisator de kandidaten oproepen en kan het examen worden afgenomen. De verantwoordelijkheid voor het afnemen van het examen is door het Nbbe neergelegd bij de voorzitter van de examencommissie. De taken van de voorzitter en de examencommissie zijn beschreven in het door het Nbbe opgestelde Uitvoeringsreglement Brandweerexamens. De organisator verleent facilitaire assistentie. De taken alsmede de facilitaire voorzieningen zijn weergegeven in de door het Nbbe opgestelde Handleiding voor de organisator. B E V I N D I N G E N T E N A A N Z I E N VA N D E E X A M E N C O M M I S S I E S

In het examenproces spelen de examencommissies een belangrijke rol. Immers zij zijn verantwoordelijk voor de gang van zaken tijdens de examinering en zij bepalen (d.w.z. adviseren het Nbbe) of de kandidaten al dan niet zijn geslaagd. Volgens art. 2 van het Algemeen brandweerexamenreglement heeft de examencommissie de taak om de kennis en vaardigheden van de kandidaten te beoordelen. Het Nbbe beschikt over circa 1600 potentiële examencommissieleden. Dit zijn veelal brandweerdeskundigen en andere relevante deskundigen uit het gehele land; deze deskundigen worden ieder jaar opnieuw door het bestuur van het Nbbe benoemd. In de ‘Regeling benoemingseisen examencommissieleden’ is aangegeven aan welke eisen de leden moeten voldoen om voor één of meer module-examens in een commissie zitting te kunnen nemen. Deze eisen hebben betrekking op de deskundigheid en de ervaring op het vakgebied en de kennis van het examenproces. De organisatoren dragen éénmaal per jaar aspirant examencommissieleden voor. Indien een organisator van mening is dat iemand geschikt is als lid voor een examencommissie wordt die persoon bij het Nbbe aangemeld. In een benoemingsformulier zijn de criteria voor commissieleden per module-examen aangegeven. De organisator verstrekt aan het Nbbe met betrekking tot het aspirant commissielid gegevens

43

betreffende de opleiding, de behaalde diploma’s en de ervaring in het brandweervak en als instructeur bij de brandweeropleidingen. Het Nbbe controleert, aan de hand van de eigen gegevens, de behaalde brandweerdiploma’s. Daarnaast controleert het Nbbe samen met de organisator de gegevens betreffende de ervaring van het aspirant commissielid. Indien de controles positief zijn wordt de persoon benoemd en op een lijst van potentiële examencommissieleden geplaatst. Op de lijst is aangegeven voor welke module het commissielid kan worden ingezet. Naast de genoemde eisen moeten de commissieleden, op het moment dat ze daadwerkelijk in een examencommissie zitting nemen, voldoen aan de eis dat ze in de laatste drie jaar tenminste één keer instructie hebben gegeven in de module van het betreffende examen. Commissieleden mogen geen instructie hebben gegeven aan één of meer kandidaten in één of meer van de te examineren modulen van een praktijkexamen. De voorzitter en de uitvoerende commissieleden bij een praktijkexamen mogen geen (werk)relatie hebben met één of meer kandidaten. De taken van de voorzitter en de overige leden van de commissie zijn door het Nbbe beschreven in het Uitvoeringsreglement Brandweerexamens, de Richtlijnen voor de voorzitter van een examencommissie en de Algemene richtlijnen voor de examencommissie bij praktijkexamens. De voorzitter ziet erop toe dat het examen op de juiste wijze en volgens de door het bestuur van het Nbbe vastgestelde regels verloopt. Zo is het de taak van de voorzitter te controleren of hijzelf en de andere leden voldoen aan de eisen die betrekking hebben op de actuele ervaring van de leden en de (werk)relatie met de kandidaten. Tijdens het inspectieonderzoek is ten aanzien van het formeren van examencommissies gebleken, dat het Nbbe vrijwel altijd instemt met de voorstellen van de organisatoren. Het geautomatiseerde systeem van het Nbbe controleert aan de hand van de gegevens of de leden van een examencommissie bevoegd zijn. De eisen van de actuele ervaring als instructeur, welke gegevens door de organisatoren zijn verklaard, worden hierbij echter niet gecontroleerd. Bij bezoeken aan examens welke in het kader van het inspectieonderzoek zijn verricht bleek, dat de voorzitters ten aanzien van de commissieleden geen controles uitoefenen op de eisen voor de actuele ervaringen als instructeur en de (werk)relaties met de examenkandidaten. Eveneens wordt aan deze aspecten nauwelijks aandacht besteed tijdens de incidentele kwaliteitscontroles van het Nbbe.

44

B E V I N D I N G E N T E N A A N Z I E N VA N D E E X A M E N L O C AT I E S

Overeenkomstig artikel 5 van het Uitvoeringsreglement Brandweerexamens van het Nbbe doen de organisatoren voorstellen voor de locaties waar de examens zullen plaatsvinden. In de Handleiding voor de organisator zijn de eisen voor de locaties opgenomen. Ten aanzien van de schriftelijke examens (artikel 3.4) hebben deze eisen betrekking op de verlichting, de verwarming en de tussenruimten van de stoelen van de kandidaten. De organisator is verantwoordelijk voor de juiste uitvoering van de locaties en de voorzieningen. Hoewel de kwaliteitscontrole van het Nbbe impliceert dat in principe ook de locaties moeten worden gecontroleerd, is de frequentie hiervan zodanig gering, dat de geïnterviewde organisatoren verklaarden sinds jaren geen controle op de locaties voor de schriftelijke examens te hebben gehad. Ook voor de praktijkexamens regelt de organisator locaties en objecten. De eisen hieromtrent zijn afhankelijk van het soort examen en zijn in de Handleiding voor de organisator voor elk module-examen aangegeven. Het Nbbe heeft de voorzitter van de examencommissie verantwoordelijk gesteld om de geschiktheid van de locatie te beoordelen en om te controleren of de voorzieningen in overeenstemming zijn met hetgeen hieromtrent is voorgeschreven in de Handleiding. Bij de examens, waarbij sprake is van een praktische brandweerinzet met risico’s zoals rook en vuur, duikexamens en de examens brandweerchauffeur controleert het Nbbe vooraf de locatie en het examenobject voor zover deze locaties nog niet bij het Nbbe bekend zijn. Eveneens controleert het Nbbe vooraf het draaiboek, het scenario, de omstandigheden en het object bij de praktische examens op het niveau van (adjunct)hoofdbrandmeester. Voor enkele praktijkexamens met een brandweerinzet is bepaald dat de examenkandidaten geen kennis mogen hebben van het examenobject. Tijdens het inspectieonderzoek kwam naar voren dat de controle op de locaties, objecten en voorzieningen, die door de voorzitters dient te worden uitgevoerd, minimaal is. De voorzitters verklaren ervan uit te gaan dat het Nbbe alleen examens afneemt op goedgekeurde locaties en objecten. Ze hebben meestal geen tijd voorafgaand aan het examen één en ander te controleren. Indien het examen naar het oordeel van de voorzitters beperkingen vertoont is er meestal geen tijd om hierin wijzigingen aan te brengen en gaat het examen gewoon door. De voorzitters controleren evenmin of de objecten bij de kandidaten reeds bekend zijn. Hoewel is gebleken dat het Nbbe aandacht besteedt aan de kwaliteitscontrole van de locaties, objecten en voorzieningen, wordt ook hier de eis van de onbekendheid van het examenobject voor de kandidaten nauwelijks gecontroleerd.

45

B E V I N D I N G E N T E N A A N Z I E N VA N H E T A F N E M E N VA N D E E X A M E N S

De wijze waarop de daadwerkelijke afneming van de examens dient te geschieden is, in hoofdlijnen, beschreven in het Uitvoeringsreglement Brandweerexamens van het Nbbe. De uitvoering van de praktijkexamens is gedetailleerd beschreven in de examenhandleidingen die voor elke module-examen zijn opgesteld. De voorzitters van de examenscommissies zijn namens het Nbbe verantwoordelijk voor de juiste uitvoering van de regels ten aanzien van de schriftelijke examens (artikel 15 UR) en praktijkexamens (artikel 16 UR) en de projectopdrachten (artikel 18 UR). Als regel rapporteren de voorzitters eventuele onvolkomenheden aan het Nbbe. Sinds 2001 wordt het toezicht op de examinering uitgevoerd door kwaliteitscontroleurs van het Nbbe (zie hoofdstuk 3). Hiertoe heeft het Nbbe voor elke module-examen een rapportageformulier opgesteld. De kwaliteitscontroleurs rapporteren aan het hoofd Examenbeleid van het Nbbe. Tijdens het inspectieonderzoek verkeert de kwaliteitscontrole in een ontwikkelingsfase. Het (concept) protocol van het kwaliteitshandboek voor de kwaliteitscontroles is nog niet beschikbaar.

• • • • • • •

• •

Bij het inspectieonderzoek is een aantal examens bezocht om te onderzoeken hoe in de praktijk met de regels wordt omgegaan. Bij enkele examens is een functionaris van het Nbbe aanwezig, die een kwaliteitscontrole uitvoert. Tijdens deze bezoeken is met name gekeken naar de aspecten die in de KKK’s voor het afnemen van de examens zijn beschreven. Hierbij zijn de volgende onvolkomenheden geconstateerd: Een voorzitter was te laat bij het examen aanwezig. Soms werden de legitimatiebewijzen niet gecontroleerd. Er werd niet gecontroleerd of de examencommissieleden de vereiste actuele ervaring hadden of dat ze een (werk)relatie hadden met één of meer examenkandidaten. Een examencommissielid examineerde kandidaten uit zijn eigen brandweerregio bij een praktijkexamen. Er was geen aparte ontvangstruimte voor examenkandidaten afgescheiden van de ruimte waarin de kandidaten na het examen verbleven. Er werd tussen de examenkandidaten onderling informatie over het praktijkexamen uitgewisseld. Er werd een praktijkexamen met een brandweerinzet (404 P1) afgenomen in een object (van een regionaal opleidings- en oefencentrum) waarin de kandidaten veelvuldig hadden geoefend. Soms voldeden de examenobjecten niet aan de eisen van de examenreglementen. Soms waren de vereiste voorzieningen, zoals de indeling van examenobjecten en bijvoorbeeld gaspakken, veiligheidsbrillen e.d., bij het examen gebrekkig of niet aanwezig.

46

B E V I N D I N G E N T E N A A N Z I E N VA N D E K WA L I T E I T S C O N T R O L E S TIJDENS DE EXAMENS

Sinds eind 2001 beschikt het Nbbe, als onderdeel van het kwaliteitssysteem, over medewerkers die kwaliteitscontroles 11 houden bij praktijkexamens. Het doel is om tien procent van de examens te bezoeken om te controleren of volgens de regels wordt gewerkt. Momenteel zijn er negen medewerkers van het Nbbe die als deeltaak controles uitvoeren. De bevindingen van de controlebezoeken worden in een geautomatiseerd systeem vastgelegd en beschikbaar gesteld aan de voorzitter van de examencommissie en de organisator van het examen. Per organisator worden de bevindingen zodanig geregistreerd dat ze automatisch beschikbaar komen bij een volgend bezoek aan de betreffende organisator. Op deze wijze kan, zo nodig, worden beoordeeld of de bevindingen van de eerdere bezoeken aanleiding zijn om verbeteringen aan te brengen. In 2001 zijn 37 praktijkexamens bezocht en in 2002 130. Hierbij zijn naast onvolkomenheden van organisatorische aard eveneens een aantal situaties geconstateerd waarbij het (niet) ordelijke en eerlijke verloop van de examens aan de orde is geweest, zoals het niet controleren van de legitimatiebewijzen, het niet opvolgen van de aanwijzingen voor de examinatoren, kandidaten die bekend zijn met het object, het vanuit de wachtruimte zicht hebben op het incident waarbij het examen zich afspeelt. In deze gevallen is corrigerend opgetreden en assistentie verleend aan de examencommissie teneinde het examen toch zoveel mogelijk volgens de gestelde voorwaarden te laten plaats vinden. Bij het inspectieonderzoek bezochten de onderzoekers praktijkexamens, waarbij tevens een kwaliteitscontroleur van het Nbbe aanwezig was. Hierbij was te zien dat de controleur zich in een enigszins tweeslachtige positie bevond. Hoewel de voorzieningen en omstandigheden nauwkeurig werden gecontroleerd, werd er onvoldoende afstand genomen van het feit dat de kwaliteitscontroleur zich als medewerker van het Nbbe medeverantwoordelijk voelde voor het goede verloop van het examen, en hiertoe adviezen gaf. Hoewel zowel de controlerende als de adviserende aspecten het verloop van de examens ten goede kwam, is de Inspectie OOV van mening dat, de kwaliteitscontroleurs zich meer moeten concentreren op hun controlerende taak. Uit reacties van de organisatoren blijkt dat de controlebezoeken van het Nbbe door de organisatoren als vrijblijvend worden ervaren en de bevindingen van de onvolkomenheden hoogstens als aanbevelingen tot verbetering worden beschouwd.

11 aanvankelijk ‘kwaliteitsbegeleiding’ genoemd

47

N A D E R E B E S C H O U W I N G E N T E N A A N Z I E N VA N D E U I T V O E R I N G VA N H E T A F N E M E N VA N D E E X A M E N S

Het daadwerkelijk afnemen van de examens is door het Nbbe geheel in handen gegeven van de voorzitters en de overige leden van de examencommissies. Gezien het grote aantal af te nemen examens moet het Nbbe beschikken over veel personen die in een commissie zitting kunnen nemen. Op dit moment zijn het circa1600 brandweerdeskundigen en andere relevante deskundigen uit het gehele land. Zoals in de betreffende KKK’s en de bevindingen reeds is beschreven, worden aan de leden van de examencommissies veel eisen gesteld. Tijdens het inspectieonderzoek is gekeken naar de benoemingsprocedure, het samenstellen van de examencommissies, het daadwerkelijk functioneren en de wijze waarop het Nbbe toezicht houdt op de commissies. Het grote probleem waarvoor het Nbbe zich ziet geplaatst, is het grote aantal moduleexamens en het daarvoor benodigde grote aantal leden voor de examencommissies. Bij het benoemen van de potentiële leden en het jaarlijks herbenoemen doet zich het probleem voor dat de gegevens omtrent de actualiteit van de ervaring en het geven van instructies zijn gebaseerd op eigen opgave van de leden. Het Nbbe is niet in staat hierop voldoende controle uit te oefenen. Ten aanzien van het formeren van een examencommissie voor een bepaald examen is het Nbbe afhankelijk van het voorstel dat hiervoor door de organisator wordt gedaan. Het Nbbe kan om praktische redenen nauwelijks afwijken van dit voorstel. Bij de leden van de examencommissies is grote kans op belangenverstrengeling, die enerzijds (veelal) betrokken zijn bij het opleidingsinstituut / de organisator en anderzijds namens het Nbbe de examenkandidaten objectief dienen te beoordelen. Opmerkelijk in dit verband is dat tijdens het inspectieonderzoek bij de organisatoren wordt gezegd dat de keuze voor de commissieleden niet zelden wordt bepaald door voor een commissie te kiezen waarmee de grootste kans op een positieve beoordeling te verwachten is. De Inspectie OOV acht dit zeer zorgelijk. Aan de examencommissies worden eisen gesteld ten aanzien van de werkrelatie met de kandidaten en/of het hebben gefunctioneerd als instructeur. Deze eisen dienen door de voorzitter te worden gecontroleerd. Zoals in de bevindingen reeds is aangegeven wordt er op ruime schaal afgeweken van de regels van de examenreglementen. Het Nbbe ziet hier, behoudens tijdens de incidentele kwaliteitscontroles, niet op toe. Ook ten aanzien van de locaties waar examens worden afgenomen zijn er problemen. Dit geldt met name voor de locaties en objecten waar examens met een repressieve brandweerinzet worden afgenomen. Om dergelijke examens een zo realistisch mogelijk

48

karakter te geven is het gewenst dat de locatie of het object bij de kandidaten onbekend is. Het blijkt dat hieraan in veel gevallen niet wordt voldaan. Bij één examen was het zelfs zo dat een deel van de kandidaten wel, en een andere deel geen kennis had van het object. Het is duidelijk dat hierbij sprake is van hinderlijke verschillende examenomstandigheden. Tijdens het inspectieonderzoek is de onderzoekers gebleken dat het Nbbe nauwelijks controleert of de objecten al dan niet bij de kandidaten bekend zijn. Het Nbbe geeft hierbij aan dat momenteel het aantal objecten waar uitsluitend examens worden afgenomen beperkt is. In de meeste andere objecten wordt regelmatig praktische brandweerinstructie gegeven. Om verbetering in deze situatie te brengen zullen er voldoende kwalitatief geschikte examenobjecten / locaties moeten zijn. Bij het beoordelen door de examencommissies moeten vraagtekens worden gezet. Hoewel het Nbbe door middel van beoordelingslijsten probeert eenheid in de beoordelingssystematiek te brengen is het niet te voorkomen dat de leden van de examencommissies hierop hun eigen interpretaties toepassen. Bovendien moeten vraagtekens worden geplaatst bij de beoordelingsvaardigheden van de commissieleden; de leden worden hierop niet geselecteerd en er worden hen geen specifieke eisen gesteld. In gesprekken met voorzitters en examencommissieleden komt naar voren dat vaak wordt afgeweken van de regels van het Uitvoeringsreglement brandweerexamens. Er wordt echter onmiddellijk door het Nbbe en de examinatoren op gewezen dat het, binnen de huidige examenorganisatie, niet mogelijk is strak volgens de regels te examineren, omdat de noodzakelijke middelen zoals examinatoren en goede examenlocaties en -objecten vaak niet in voldoende mate voor handen zijn. C O N C L U S I E S T E N A A N Z I E N VA N D E U I T V O E R I N G VA N D E A F N E M I N G VA N DE EXAMENS

• Het Nbbe heeft de daadwerkelijke afneming van de examens neergelegd bij derden, te weten circa 1600 examencommissieleden. Hiermee heeft het Nbbe zich afhankelijk gemaakt ten aanzien van een zeer belangrijk onderdeel van de examinering. De examinatoren worden door het Nbbe slechts in beperkte mate gecontroleerd op deskundigheid, beoordelingsvaardigheid en onafhankelijkheid. Aangezien de examencommissie op voorstel van de organisatoren wordt geformeerd waarop het Nbbe in de praktijk nauwelijks invloed uitoefent, is er kans op belangenverstrengeling en is er een afbreukrisico ten aanzien van de ordelijkheid en eerlijkheid tijdens de examens. • Bij de bezoeken van de Inspectie aan een aantal praktijkexamens bleek dat er veelvuldig wordt afgeweken van de regels waaraan tijdens de afneming van de examens moet worden voldaan. Gezien de frequentie en de aard van de ‘overtredingen’ is de Inspectie van mening dat er hier sprake is van een zorgelijke situatie.

49

• De locaties voor de schriftelijke examens voldoen over het algemeen aan de gestelde eisen. Ten aanzien van locaties en objecten voor praktijkexamens wordt regelmatig afgeweken van de regels. Met name geldt dit voor de examens met een repressieve brandweerinzet. De indeling van deze objecten is vaak bij de examenkandidaten bekend, hetgeen in ernstige mate afbreuk doet aan het realiteitsgehalte van dergelijke examens. • De kwaliteitscontroles bij examens die door het Nbbe worden uitgevoerd hebben, met een streven om tien procent van de examens te bezoeken, een te lage frequentie voor een voldoende controlerende en stimulerende uitwerking. Hoewel het kwaliteitssysteem bij het Nbbe nog in ontwikkeling is moet, gezien het hiervoor benodigd aantal controleurs, worden gevreesd dat een doelmatige intensivering niet haalbaar zal zijn. Momenteel hebben de controlebezoeken nog te veel het karakter van examenbegeleiding in plaats van het controleren van regels. A A N B E V E L I N G E N T E N A A N Z I E N VA N D E U I T V O E R I N G VA N D E A F N E M I N G VA N D E E X A M E N S

• Het is aan te bevelen de examencommissies door het Nbbe onafhankelijk van de organisatoren te formeren en de controle op de eisen die aan de commissies worden gesteld structureel bij het Nbbe neer te leggen. • Het is gewenst dat er strakker op wordt toegezien dat de examinering, waarbij sprake is van repressieve brandweerinzetten, plaatsvindt in objecten waar geen instructie is gegeven en waarvan de kandidaten onbekend zijn met de indeling van de objecten en de enscenering van de te bestrijden incidenten. • Het is gewenst er op toe te zien dat de praktijkexamens worden afgenomen volgens de regels die hieraan zijn gesteld en dat de examens alleen worden afgenomen in locaties en objecten die voldoen aan de eisen van doeltreffendheid en veiligheid. • Het is aan te bevelen dat de kwaliteitscontroleurs van het Nbbe zich tijdens hun controlebezoeken aan de examens concentreren op hun controle- en toezichtstaken. • Het is aan te bevelen voor de kwaliteitscontroleurs van het Nbbe het principe van de functiescheiding toe te passen en de betreffende functionarissen binnen de organisatie van het Nbbe een onafhankelijke positie te geven ten opzichte van de beleidsafdelingen.

50

D.

D E B E O O R D E L I N G VA N H E T E X A M E N W E R K INLEIDING

Nadat de examens zijn afgelegd wordt het schriftelijke werk door de voorzitters van de examencommissies naar het Nbbe opgestuurd dat daar wordt nagekeken en beoordeeld. Na enkele weken worden de resultaten aan de kandidaten medegedeeld. De praktische examens worden tijdens het afleggen ervan beoordeeld door de leden van de examencommissies. Na afloop van de examens (aan het eind van een examendag) worden de resultaten als voorlopige uitslag aan de kandidaten bekendgemaakt. De beoordelingsformulieren worden naar het Nbbe opgestuurd, die de definitieve uitslag vaststelt. B E V I N D I N G E N T E N A A N Z I E N VA N H E T B E O O R D E L E N VA N D E S C H R I F T E L I J K E E X A M E N S

Het schriftelijke examenwerk kan bestaan uit meerkeuzevragen, open vragen en projectopdrachten. Zoals reeds eerder is beschreven worden de vragen gemaakt door vragenproducenten. Bij iedere vraag wordt een beoordelingsinstructie (incl. scoringsvoorschrift) toegevoegd, die op advies van de EAC door het Nbbe wordt goedgekeurd. Van de meerkeuzevragen zijn de goede antwoorden in het geautomatiseerde systeem ingevoerd. Door tijdens het examineren gebruik te maken van antwoordstroken die door het systeem kunnen worden ingelezen, kunnen de meerkeuzevragen automatisch worden nagekeken. Het systeem bepaalt aan de hand van de score het eindcijfer. De open vragen worden handmatig nagekeken door de zgn. nakijkers. Dit zijn door het Nbbe geselecteerde deskundigen op het gebied van het betreffende module-examen. De nakijkers moeten gebruik maken van de beoordelingsinstructies. De wijze van nakijken en beoordelen is beschreven in de ‘Handleiding nakijkers’. Op basis van deze handleiding zijn de nakijkers door het Nbbe geïnstrueerd. De open vragen en de projectopdrachten worden als regel door twee nakijkers beoordeeld. Om te voorkomen dat de eerste nakijker de tweede bij het beoordelen zal beïnvloeden worden op het examenwerk geen aantekeningen gemaakt en worden de resultaten niet aan de nakijkers medegedeeld. Over het algemeen is het gemiddelde tussen de beide beoordelingen het eindcijfer. Indien blijkt dat de beide beoordelingen meer dan tien procent van elkaar afwijken of dat de ene nakijker een voldoende en de andere een onvoldoende geeft, wordt een derde nakijker ingeschakeld.

51

Opvallende afwijkingen in de beoordelingen worden door het Nbbe nader onderzocht. Een beleidsmedewerker bekijkt dan de beoordeling van de ‘afwijkende’ nakijker, die zonodig wordt uitgenodigd zijn beoordeling toe te lichten. Indien nodig vindt bijstelling van de examenresultaten plaats. De controle op het beoordelen van de schriftelijke examens vindt plaats door een vergelijking van de behaalde resultaten en de te verwachten scores. Indien hieruit geen grote afwijkingen blijken wordt de beoordeling door het Nbbe vastgesteld. Een (steekproefsgewijze) controle op de beoordelingen van de nakijkers vindt niet plaats. B E V I N D I N G E N T E N A A N Z I E N VA N H E T B E O O R D E L E N VA N D E P R A K T I J K E X A M E N S

De beoordeling bij de praktijkexamens is opgedragen aan één of meer leden van een examencommissie. In de examenhandleidingen, die voor alle praktijkmodule-examens zijn opgesteld, zijn beschrijvingen met toelichtingen van de examenopdrachten gegeven. Voor elke opdracht is aangegeven welke aspecten moeten worden beoordeeld en welke aan de hand van een beoordelingsformulier moeten worden gewaardeerd. Hierbij kunnen bij zeer cruciale fouten zgn. KO’s (kardinale onvoldoendes) worden toegewezen die direct tot afwijzing van het examen leiden. Een gewogen berekening van de resultaten per opdracht levert het eindcijfer van het examen op. De meeste praktijkexamens worden beoordeeld door één examencommissielid. Alleen bij examens met een veiligheidsrisico zijn twee beoordelaars aanwezig. Tijdens het examen houdt de voorzitter toezicht op de naleving van de regels. Bij een verschil in de beoordeling van twee commissieleden beslist de voorzitter. Namens het Nbbe kan een kwaliteitscontroleur de gang van zaken tijdens het examen toetsen. Hierbij wordt gebruik gemaakt van een rapportageformulier dat specifiek voor het betreffende module-examen is opgesteld. Ten tijde van het inspectieonderzoek werd er door het Nbbe naar gestreefd circa tien procent van de examens te bezoeken voor een kwaliteitscontrole door controleurs van het Nbbe. De Inspectie heeft geconstateerd dat dit percentage niet is gehaald en is overigens van mening dat het bezoeken van tien procent van de examens te gering is om voldoende zicht te krijgen of de examens volgens de gestelde eisen verlopen. Ook wordt het stimulerende karakter dat van de controlebezoeken uitgaat met deze geringe controlefrequentie, naar de mening van de Inspectie, niet bereikt.

52

Opmerkelijk is dat tijdens de interviews met de organisatoren naar voren komt, dat het beoordelen van de praktijkexamens veel ruimte tot ‘sjoemelen’ geeft aan de examencommissieleden. Men geeft aan dat, pas nadat de commissieleden een algemeen beeld van de kandidaten hadden gekregen, de deelaspecten van de opdrachten worden gescoord, waarbij naar het eindresultaat wordt toegewerkt. De Inspectie acht dit ongewenst. N A D E R E B E S C H O U W I N G E N VA N H E T B E O O R D E L E N VA N H E T E X A M E N W E R K

Het nakijkwerk van de meerkeuzevragen door middel van het geautomatiseerde systeem levert weinig problemen op. Indien in een eerdere fase de juiste beoordelingen van de vragen goed in het systeem zijn ingevoerd zal op een snelle en onafhankelijke wijze een resultaat kunnen worden gegenereerd. Het Nbbe controleert het systeem steekproefsgewijs. Het nakijken en beoordelen van het schriftelijke examenwerk met open vragen en projectopdrachten geschiedt, uiteraard minder objectief dan met het geautomatiseerde systeem, door circa zestig nakijkers. Bij het inspectieonderzoek wordt door het Nbbe toegegeven dat er in de beoordelingen van de diverse nakijkers soms grote verschillen optreden; dit ondanks het feit dat de nakijkers op basis van de beoordelingsinstructies en de scoringsvoorschriften dienen te beoordelen. Zowel bij de beoordeling van de praktijkexamens als bij het schriftelijke werk is te zien dat de eigen interpretatie van de nakijkers en examinatoren een grote rol speelt. De Inspectie vindt dit een zorgelijke constatering. Het Nbbe onderkent de bovengenoemde problemen en probeert de beoordelingsverschillen zoveel mogelijk te elimineren door bijvoorbeeld bij de schriftelijke examens de resultaten van de verschillende nakijkers onderling te vergelijken en eventueel een derde nakijker in te schakelen. Bovendien heeft het Nbbe de ‘beoordelingsprofielen’ van de nakijker in kaart gebracht, waarmee een gemiddeld koppel van nakijkers kan worden ingezet. De indruk van de onderzoekers van de Inspectie is dat het Nbbe aan de controle van de beoordelingen van het examenwerk (terecht) veel aandacht besteedt en dat ze voortdurend op zoek is naar mogelijkheden voor een zo nauwkeurig mogelijke behandeling ervan. Hiertoe heeft het Nbbe een aantal projecten opgezet.

53

C O N C L U S I E S T E N A A N Z I E N VA N H E T B E O O R D E L E N VA N H E T E X A M E N W E R K

• De beoordeling van het schriftelijke examenwerk met meerkeuzevragen wordt met een geautomatiseerd systeem door het Nbbe uitgevoerd. Hierover zijn geen opmerkingen te maken. • Het beoordelen van de open vragen en projectopdrachten is door het Nbbe neergelegd bij circa zestig nakijkers. Hierbij blijkt dat de beoordeling grote variaties vertoont die het Nbbe met correctiessystemen probeert te elimineren. • Ten aanzien van de beoordeling van de praktijkexamens bestaat er twijfel over de juiste toepassing van de beoordelingslijsten en over de beoordelingsvaardigheden van de leden van de examencommissies. A A N B E V E L I N G E N T E N A A N Z I E N VA N H E T B E O O R D E L E N VA N H E T E X A M E N W E R K

• Ten behoeve van het zoveel mogelijk elimineren van beoordelingsverschillen bij het nakijken van open vragen en projectopdrachten is het aan te bevelen de vragen en de beoordelingsinstructies zodanig op te stellen dat het antwoord op een, zoveel mogelijk, eenduidige wijze kan worden beoordeeld. Overigens is een bepaalde subjectiviteit niet uit te sluiten. • Ten behoeve van een zo juist mogelijke beoordeling van de praktijkexamens is het aan te bevelen de examinatoren (beter) te instrueren op het toepassen van de beoordelingsformulieren. • Het is gewenst dat de voorzitters bij de praktijkexamens (meer) toezicht uitoefenen op het beoordelen door de leden van de examencommissies. • Het is gewenst de examinatoren bij te scholen ten aanzien van beoordelingsvaardigheden.

54

E.

H E T V E R S T R E K K E N VA N C E R T I F I C AT E N E N D I P L O M A ’ S Wanneer de examenresultaten met tenminste een voldoende cijfer zijn beoordeeld kunnen de certificaten en diploma’s worden verstrekt. Certificaten worden uitgereikt aan kandidaten die een module-examen met tenminste het cijfer zes hebben afgesloten. Diploma’s worden verstrekt indien de kandidaten voor het, in het Examenreglement, genoemde aantal module-examens zijn geslaagd of vrijstellingen heeft ontvangen. De diploma’s en de certificaten hebben een onbeperkte geldigheidsduur. De wijze waarop de certificaten en diploma’s worden vervaardigd, gecontroleerd en verstrekt is weergegeven in het kwaliteitshandboek. Sinds 1 juli 2002 worden de diploma’s, namens de minister van BZK, door de voorzitter van het bestuur van het Nbbe afgegeven. Het Nbbe verstuurt de getekende certificaten en diploma’s naar de organisatoren, die ze aan de kandidaten uitreiken. De controle op de terechte afgifte en de juistheid van de certificaten en diploma’s wordt steekproefsgewijs door het Nbbe uitgevoerd. Naast de interne controles van het Nbbe geven de uitslagenlijsten de organisatoren tevens de mogelijkheid de juistheid te controleren. Tijdens het inspectieonderzoek wordt geconstateerd dat er inderdaad sprake is van controle op de terechte afgifte en de juistheid van de certificaten en diploma’s. De frequentie van de steekproefsgewijze controles is echter niet geregeld en vastgelegd. N A D E R E B E S C H O U W I N G E N T E N A A N Z I E N VA N H E T V E R S T R E K K E N VA N C E R T I F I C AT E N E N D I P L O M A ’ S

De afgifte van certificaten en diploma’s is een proces dat voor het grootste deel binnen 12 het Nbbe wordt verzorgd. Alleen het daadwerkelijk uitreiken van de certificaten en diploma’s wordt door de organisatoren uitgevoerd. Indien een diploma is verstrekt, kan de betreffende persoon worden aangesteld in de bijbehorende rang 13. Er is aan de diploma’s geen geldigheidstermijn gesteld. Dit betekent dat, eenmaal in het bezit van een diploma, de betreffende persoon de functie mag uitoefenen onafhankelijk van de ontwikkelingen die zich daarin voordoen. Het is aan de werkgevers om te bevorderen dat de medewerkers regelmatig worden bijgeschoold; binnen de brandweerwetgeving is daartoe geen verplichting opgenomen en hoeft de werkgever daar ook geen verantwoording over af te leggen. Niet duidelijk is in hoeverre de werkgevers hiertoe inspanningen verrichten.

12 namens de minister van BZK 13 overeenkomstig het Besluit brandweerpersoneel

55

C O N C L U S I E T E N A A N Z I E N VA N H E T V E R S T R E K K E N VA N C E R T I F I C AT E N E N DIPLOMA’S

• De verstrekking van de certificaten en diploma’s vindt plaats overeenkomstig de procedures van het kwaliteitshandboek. De controle op de juistheid van de gegevens op de diploma’s en de terechte verstrekking wordt door het Nbbe uitgevoerd. A A N B E V E L I N G T E N A A N Z I E N VA N H E T V E R S T R E K K E N VA N C E R T I F I C AT E N EN DIPLOMA’S

• Het is aan te bevelen de diploma’s van het brandweeronderwijs een geldigheidstermijn te geven en een systeem te ontwikkelen waarbij garanties zijn op bijscholing, indien zich ontwikkelingen in het functioneren bij de brandweer voordoen.

56

F.

H E T B E H A N D E L E N VA N K L A C H T E N E N B E Z WA A R S C H R I F T E N Overeenkomstig art. 10 van het Algemeen brandweerexamenreglement kan een belanghebbende tegen een besluit van het (bestuur van het) Nbbe met betrekking tot de toelating tot, de uitslag van of de behandeling tijdens een module-examen bezwaar maken. In het Kwaliteitshandboek zijn procedures opgenomen voor de afhandeling van klachten en bezwaarschriften. Een klacht heeft betrekking op een gedraging; de afhandeling is gericht op subjectief relatieherstel. Een bezwaar betreft veelal de uitslag van een examen en de afhandeling heeft ten doel een objectief rechtsherstel te bevorderen. Bij bezwaren wordt gewerkt volgens de systematiek van de Algemene wet bestuursrecht (Awb). Bij de behandeling van klachten is de Awb van toepassing. De tijdige en onafhankelijke afhandeling van de klachten en de zorgvuldige afhandeling van de bezwaarschriften is in handen gelegd bij een juridisch medewerker. Aangezien deze medewerker in dienst is bij het Nbbe, is er geen sprake van een onafhankelijke behandeling van klachten e.d. Er is geen onafhankelijke klachten- en bezwarencommissie. Belanghebbenden die het niet eens zijn met de behandeling van hun klacht of bezwaarschrift kunnen zich wenden tot de Nationale Ombudsman, die toetst of het Nbbe de klacht of het bezwaar op de juiste wijze heeft afgehandeld. Uit de opmerkingen tijdens de interviews met de organisatoren blijkt dat de klagende of bezwaarmakende kandidaten weinig begrip hebben voor de wijze waarop het Nbbe invulling geeft aan het zgn. inzagerecht van de kandidaat van het examenwerk. Hoewel het Nbbe nadrukkelijk heeft aangegeven dat tijdens de inzage het examenwerk alleen nogmaals mag worden ingezien, verwachten de kandidaten toelichting op de beoordeling ervan. Als dit laatste niet plaats vindt is de teleurstelling veelal groot. Hoewel de afhandeling van de klachten en bezwaren een proces is tussen de kandidaten en het Nbbe, en de organisatoren hierbij geen partij zijn, pleiten zij toch voor verbetering van de communicatie hieromtrent. Bij het inspectieonderzoek is het dossier van de juridisch medewerker in ogenschouw genomen. Hierbij zijn geen bijzonderheden aan het licht gekomen. N A D E R E B E S C H O U W I N G E N T E N A A N Z I E N VA N H E T B E H A N D E L E N VA N K L A C H T E N E N B E Z WA A R S C H R I F T E N

Gezien het grote aantal kandidaten dat examen doet en de mogelijkheid dat er onenigheid ontstaat in de behandeling van kandidaten en in de beoordeling van de examenresultaten, is het zonder meer vanzelfsprekend dat het Nbbe beschikt over een jurist die de klachten en bezwaarschriften behandelt. Aangezien deze functionaris onderdeel uitmaakt van de organisatie van het Nbbe, bestaat het risico dat er in onvoldoende mate sprake is van onafhankelijkheid.

57

Overigens is het niet ongebruikelijk dat in eerste instantie ‘intern’ wordt geklaagd en dat bij een onbevredigende oplossing alsnog externe klachtmogelijkheden kunnen worden benut. De juridische functionaris van het Nbbe voert zijn taak uit -mede- op basis van de Wet algemeen bestuursrecht en de examenkandidaten kunnen een beroep doen op de Algemene Wet ombudsman. Toch zou het functioneren van de klachtinstantie op enige afstand van het Nbbe (bij voorbeeld in een onafhankelijke bezwarencommissie) de geloofwaardigheid ten opzichte van de bezwaarmakende personen ten goede komen. Een voorbeeld uit een andere sector: in de Wet op het LSOP 14 en het politieonderwijs is in het kader van de examens voor de politie voorzien in een Commissie van Beroep voor de examens. Het College van Bestuur van het LSOP stelt deze commissie in. De commissie bestaat uit een oneven aantal leden dat geen deel uitmaakt van het College van Bestuur en dat niet het examen, dat door de commissie wordt onderzocht, heeft samengesteld of afgenomen. Na onderzoek kan de commissie een beslissing van het College van Bestuur vernietigen en kan zij vaststellen op welke wijze de student het examen nogmaals kan afleggen. C O N C L U S I E T E N A A N Z I E N VA N H E T B E H A N D E L E N VA N K L A C H T E N E N B E Z WA R E N

• De conclusie ten aanzien van het behandelen van klachten en bezwaren is dat het één en ander wordt uitgevoerd door een medewerker van het Nbbe en dat er geen onafhankelijke commissie is ingesteld. Deze situatie draagt niet bij aan het beeld van het op onpartijdige wijze oplossen van conflicten tussen het Nbbe en de examenkandidaten. A A N B E V E L I N G T E N A A N Z I E N VA N H E T B E H A N D E L E N VA N K L A C H T E N E N B E Z WA R E N

• Het is aan te bevelen de behandeling van klachten en bezwaren zodanig te organiseren dat er na een eerste behandeling door het Nbbe zonodig een en ander in tweede instantie door een onafhankelijke klachtencommissie kan worden behandeld. De in het kader van het politieonderwijs en de examinering genoemde Commissie van Beroep voor de examens kan voor de tweede behandeling hiertoe als voorbeeld dienen.

14 Landelijk Selectie- en Opleidingsinstituut Politie

58

Ontwikkelingen 6

in het brandweeronderwijs en de examinering van de brandweeropleidingen

Zowel in het reguliere beroepsonderwijs als bij het politieonderwijs zijn de laatste jaren ontwikkelingen gaande die mogelijk ook van invloed kunnen zijn op het onderwijs en de examinering bij de brandweer. De Inspectie wil hierop kort ingaan ten einde te bezien of er een vergelijking te maken is met de ontwikkeling bij de brandweerexamens.

ONT WIKKELINGEN IN HET BRANDWEERONDERWIJS EN DE EXAMINERING In hoofdstuk 3 is reeds genoemd dat het adviesbureau Berenschot in het voorjaar 2000 onder meer concludeert dat het Nbbe onvoldoende in staat is om een kwalitatief goede uitvoering van de examens te waarborgen. In vervolg daarop heeft het Nbbe het adviesbureau Penta Scope gevraagd over een kwaliteitsborgingsysteem te adviseren. In het rapport van Penta Scope, dat in het voorjaar van 2001 verscheen, zijn voor het huidige examensysteem verbetervoorstellen geformuleerd. Daarnaast is in dit rapport een mogelijk nieuwe opzet van de examenstructuur beschreven, die beoogt het modulaire examensysteem om te bouwen naar een functiegericht systeem. Penta Scope stelt hierbij voor om zowel de brandweeropleidingen als de examinering aan te passen op basis van landelijk ontwikkelde competentieprofielen voor de verschillende functieniveaus. In het voorstel van Penta Scope voor een nieuw examensysteem voert de kandidaat een aantal inleidende toetsen uit die toegang geven tot een afsluitend examen. De inleidende toetsen zullen worden geïntegreerd in de opleidingen en deze zullen worden uitgevoerd door opleidingsinstituten die voldoen aan voorgeschreven eisen. Hiervoor zal een systeem van certificering van de opleidingsinstituten moeten worden ontwikkeld. De afsluitende examens worden door het Nbbe afgenomen. Voor zowel de inleidende toetsen als de afsluitende examens draagt het Nbbe de verantwoordelijkheid. Voor de behaalde inleidende toetsen worden tijdelijke certificaten verstrekt; de afsluitende examens worden gehonoreerd met diploma’s. Om de kwaliteit van de kennis en vaardigheden van het brandweerpersoneel blijvend te waarborgen zouden de tijdelijke certificaten moeten worden verlengd op basis van afgetekende oefenkaarten, die door de verantwoordelijke brandweercommandanten worden bijgehouden.

59

• • •

• • •

In januari 2001 heeft het Nbbe het Penta Scope-rapport aan de Directie Rampenbeheersing en Brandweer, die namens de minister van BZK toezicht houdt op het functioneren van het Nbbe aangeboden, waarbij samenvattend de volgende maatregelen worden voorgesteld: invoering van één operationeel eindexamen aan het einde van ieder opleidingsniveau; de organisatie van het operationele eindexamen komt in handen van het Nbbe; de aan het eindexamen voorafgaande inleidende toetsen worden afgenomen door en onder verantwoordelijkheid van de opleidingsinstituten. Het Nbbe maakt met de opleidinginstituten afspraken en houdt toezicht; verkleining van het bestand van examinatoren en verbetering van de kwaliteit van de examinatoren; vaststelling door het Nbbe van de examenreglementen, op basis van de functieprofielen; invoering van tijdelijke certificering, zodat de diploma’s niet meer onbeperkt geldig zijn maar iedere vijf jaar dienen te worden verlengd. Hoewel de Directie Rampenbeheersing en Brandweer instemt met de richting van de voorstellen kan zij er op dat moment nog geen goedkeuring aan geven. De directie is van mening dat invoering van een dergelijke examenstructuur niet kan plaatsvinden zolang de opleidingsstructuur en -organisatie hierop niet zijn afgestemd. Op eigen initiatief heeft het Nbbe een onderzoek ingesteld naar de praktische uitvoerbaarheid van de examinering op basis van de systematiek van het Penta Scope-rapport. In samenwerking met vier opleidingsinstituten zijn enkele pilot-examens gehouden. Het betreft het examen brandwacht, dat volgens het examenreglement bestaat uit drie module-examens, waarbij in twee modules een schriftelijk examen en in alle drie modules een praktijkexamen moet worden afgelegd. In de pilots zijn de schriftelijke examens op de gebruikelijke wijze afgenomen. De drie praktijkexamens zijn echter gecombineerd in een realistische uitruksetting, waarbij alle eindtermen van het examenreglement aan de orde komen. De beoordeling van de verschillende examenonderdelen vindt plaats volgens de criteria die het examenreglement hieraan stelt. Uit interne evaluaties blijkt dat deze wijze van praktijkexamens, volgens het Nbbe en de opleidingsinstituten, meer overeenkomt met de realiteit van het brandweervak dan de tot nu toe gebruikelijke examinering, waarbij alle onderdelen van het praktijkexamen separaat worden afgenomen. Het Nbbe is voornemens één en ander verder te ontwikkelen en voor deze wijze van examinering reglementswijzigingen bij de Directie Rampenbeheersing en Brandweer voor te stellen. De wijze van uitvoering van het pilot-examen heeft geen onderdeel uitgemaakt van het inspectieonderzoek.

60

O N T W I K K E L I N G E N I N D E O R G A N I S AT I E VA N H E T T O E Z I C H T OP DE EXAMENS IN HET REGULIERE BEROEPSONDERWIJS; EEN VERGELIJK MET HET TOEZICHTSYSTEEM OP DE BRANDWEEREXAMENS In de Wet Educatie en Beroepsonderwijs (WEB) is bepaald dat de regionale opleidingscentra, die het reguliere beroepsonderwijs verzorgen, verantwoordelijk zijn voor het onderwijs én voor de examinering van de studenten. Nieuw is dat het opgerichte Kwaliteitscentrum Examens (KCE) de kwaliteitscontrole op de examens zal gaan regelen. Het KCE zal de instantie worden die de examens (waarvoor de scholen verantwoordelijk blijven) gaat controleren. Het KCE kan daarnaast de bestaande exameninstellingen gaan certificeren om examens te maken en deze aan te bieden aan de scholen. De Inspectie van het onderwijs zal zich in deze constellatie richten op het toezicht op het KCE. Met ingang van 1 augustus 2003 zal het KCE gereed zijn om met de activiteiten te starten. Het KCE heeft een kader ontwikkeld voor de beoordeling van de examens; dit kader is eind juni 2003 aangeboden aan de staatssecretaris van OC&W. Het betreft hier in ieder geval de wijze waarop de door de minister van OC&W vastgestelde eindtermen zijn vertaald in de examens en de organisatie en de beoordeling van de examens. De staatssecretaris van OC&W zal bij het gereedkomen van de wetgeving - naar verwachting op 1 augustus 2004 - dit kader vaststellen.

VERGELIJKING MET TOEZICHT OP DE BRANDWEEREXAMENS Hoewel de oprichting van het Nbbe, als organisatie die verantwoordelijk is gesteld voor de kwaliteitsborging, overeenkomsten heeft met het systeem zoals dat in het reguliere onderwijs van start gaat, zijn er verschillen te benoemen. Het Nbbe is, als examenbureau, door de minister van BZK ook aangewezen als instituut dat verantwoordelijk is voor de ontwikkeling van de examens op basis van de door de minister vastgestelde examenregelgeving. Het Nbbe draagt zorg voor de ontwikkeling van de examens en stelt de examenopgaven (inclusief normering) vast. Het KCE ontwikkelt niet zelf, doch kan instituten certificeren die deze taak uitvoeren. Geconstateerd moet worden dat, wil een dergelijk systeem als dat van het Nbbe kunnen werken, de formulering van sluitende protocollen een vereiste is: dit ten aanzien van de procedures, de benoeming van de examinatoren, de eisen ten aanzien van de kandidaten en de vaststelling van de toetsmatrix (welke vragen, over welke eindtermen, hoeveel vragen, hoe zwaar tellen de vragen mee, etcetera). Vervolgens zal moeten worden voorzien in een intern en extern controlesysteem. Het regelmatig houden van audits waarbij onafhankelijke, externe deskundigen worden betrokken, maakt daar onderdeel van uit. Een en ander dient vastgelegd te worden in kwaliteitsrapportages die gevalideerd en geverifieerd dienen te kunnen worden. Dit betekent tevens dat er ten

61

behoeve van de beoordeling criteria en normen moeten worden geformuleerd. Anders gezegd: door het Nbbe zal de bewijslast geleverd moeten worden waaruit blijkt wat het instituut feitelijk heeft gedaan om te voldoen aan de geformuleerde normen per indicator (kritisch kwaliteitskenmerk). Kortom: Het nu door het Nbbe ontwikkelde systeem, waarbij de borging van de kwaliteit van proces en inhoud van de brandweerexamens in eigen beheer wordt uitgevoerd, is niet zonder meer gelijk te stellen met de in het reguliere beroepsonderwijs ingezette lijn; het vraagt in ieder geval doordenking op aspecten als standaardisering, normering en kwaliteitsborging en het toezicht waarbij onderzocht zou kunnen worden in hoeverre het KCE hierbij een rol kan vervullen.

62

Slotbeschouwing, eindconclusie 7

en aanbevelingen

Met deze rapportage van het inspectieonderzoek is getracht een beeld te schetsen van de wijze waarop momenteel de examinering van het brandweeronderwijs plaatsvindt. Bij het onderzoek zijn de centrale vragen of de examens van het brandweeronderwijs ordelijk en eerlijk verlopen en in welke mate het Nbbe hierop controle en toezicht uitoefent. Op basis van de bevindingen en de beschouwingen heeft de Inspectie conclusies getrokken en aanbevelingen gedaan voor zes onderdelen van het examenproces. De conclusies en aanbevelingen zijn hieronder samenvattend weergegeven: De conclusie ten aanzien van het ontwikkelen van de examens is dat het Nbbe hiervoor beschikt over de noodzakelijke reglementen en voorschriften. Het maken van de examenvragen en het samenstellen van de examens wordt grotendeels uitgevoerd door ‘derden’. Het Nbbe is in belangrijke mate afhankelijk van deze ‘derden’, die ze maar ten dele kan controleren. Aanbevolen wordt om de eisen ten aanzien van de leden van de Examenadviescommissie vast te stellen, te voorkomen dat te veel bekende vragen in de examens worden opgenomen en regelmatig de relevantie van de vragen te toetsen aan de ontwikkelingen bij de brandweer. De conclusie ten aanzien van het organiseren van de examens is dat het Nbbe de voorbereiding en de organisatie van de examens in belangrijke mate heeft ondergebracht bij ‘derden’ te weten de organisatoren. Het Nbbe heeft slechts in beperkte mate inzicht in de bedrijfsvoering en organisatiegraad van deze organisatoren en zij is niet altijd in staat de organisatie van de examinering te controleren. Er is onvoldoende zicht op of een examenkandidaat voldoende is opgeleid en voorbereid om een praktijkexamen op een veilige wijze te kunnen afleggen. De onderzoekers bevelen aan dat het Nbbe meer inzicht krijgt en toezicht uitoefent op het functioneren van de organisatoren ten aanzien van het voorbereiden van de examens. De conclusie ten aanzien van het afnemen van de examens is dat het Nbbe niet in staat is alle eisen en voorwaarden en de juiste werkwijze van de examencommissies doeltreffend te controleren. Bij het afnemen van de examens wordt vaak afgeweken van de regels. Inspectie OOV beveelt aan de examencommissies, onafhankelijk van de organisatoren, door het Nbbe te laten benoemen en de eisen ten aanzien van de examenlocaties strikt op te volgen.

63

De conclusie ten aanzien van het beoordelen van het examenwerk is dat het Nbbe zich terdege bewust is van het risico van subjectiviteit. Ze ziet zich geplaatst in een situatie waarbij de beoordeling met name wordt uitgevoerd door ‘derden’. De indruk van de onderzoekers is dat het Nbbe voortdurend op zoek is naar methoden voor een zo goed mogelijke beoordeling van het examenwerk. De aanbeveling van de Inspectie is om reeds bij het opstellen van de schriftelijke vragen rekening te houden met een eenduidige beoordeling van de examens. Ten behoeve van de praktijkexamens is het gewenst dat de examinatoren worden bijgeschoold in beoordelingsvaardigheden. De conclusie ten aanzien van het verstrekken van certificaten en diploma’s is, dat dit plaatsvindt overeenkomstig de procedures van het kwaliteitshandboek. De controle op de juistheid van de gegevens op de diploma’s en de terechte verstrekking wordt door het Nbbe uitgevoerd. Het is aan te bevelen een geldigheidstermijn aan de diploma’s te verbinden. Hiermee kan worden bevorderd dat het brandweerpersoneel meer structureel wordt bijgeschoold in de ontwikkelingen van het brandweervak. De conclusie ten aanzien van het behandelen van klachten en bezwaren is dat een en ander wordt uitgevoerd door een medewerker van het Nbbe en dat er geen onafhankelijke commissie is ingesteld. Deze situatie draagt niet bij aan het beeld van het op onpartijdige wijze oplossen van conflicten tussen het Nbbe en examenkandidaten. Het is aan te bevelen de behandeling van klachten en bezwaren in eerste aanleg door het Nbbe en - zonodig - in tweede aanleg door een onafhankelijke klachtencommissie te laten behandelen. De onderzoekers hebben het Nbbe leren kennen als een organisatie met grote ambities waar voortdurend wordt gezocht naar methoden om de examinering te verbeteren. Binnen de huidige organisatiestructuur van de examinering schakelt het Nbbe veel zgn. ‘derden’ in, die uit het gehele land afkomstig zijn. Deze personen vervullen taken in de Examenadvies-commissie en de examencommissies, de organisatie van de examens, of leveren een bijdrage als vragenproducenten en nakijkers van het examenwerk. Uit het onderzoek blijkt dat het aantal ‘derden’ zodanig groot is, circa 1700 personen, dat het voor het Nbbe niet mogelijk is hierover een doelmatige regie te voeren. De Inspectie heeft geconstateerd dat er regelmatig wordt afgeweken van de regels die het Nbbe in het Uitvoeringsreglement Brandweerexamens heeft vastgesteld. Hierbij doen zich situaties voor die risico’s kunnen inhouden waarbij de ordelijkheid en eerlijkheid van de examinering in het geding is. Hoewel het Nbbe, als ZBO op enige afstand geplaatst van het ministerie van BZK, als eerste verantwoordelijkheid draagt, heeft de minister als systeemverantwoordelijke ook bemoeienis en verantwoordelijkheid voor de examinering.

64

De veiligheidsrisico’s die bij een normale uitvoering van de brandweertaken reeds aanwezig zijn, kunnen worden vergroot indien er twijfels bestaan omtrent de juiste afwikkeling van de examinering van de opleidingen van brandweerfunctionarissen. De in dit rapport genoemde conclusies en aanbevelingen hebben betrekking op de huidige situatie van de examinering en dienen vrijwel uitsluitend ter verbetering van een aantal organisatorische- en uitvoeringsaspecten van de huidige examensystematiek. In de loop van het onderzoek is de Inspectie echter tot de overtuiging gekomen dat de, bij de aanbevelingen genoemde aanpassingen van de examencondities ontoereikend zullen zijn. De Inspectie is van mening dat een wijziging van de examensystematiek, en daarmee onlosmakelijk verbonden, een wijziging van de systematiek voor de brandweeropleidingen meer soelaas biedt en de hoogste prioriteit verdient. Hierbij zal aansluiting moeten worden gezocht bij de ontwikkelingen in het reguliere beroepsonderwijs waar het competentiegericht opleiden in de toekomst centraal zal komen te staan. Concluderend komt de Inspectie tot de volgende eindconclusie en aanbevelingen. • Het huidige opleidings- en examensysteem geeft het Nbbe onvoldoende mogelijkheden om in alle gevallen te kunnen garanderen dat er sprake is van een goede, ordelijke en eerlijke uitvoering van de examinering van het brandweeronderwijs. Het in ontwikkeling zijnde kwaliteitssysteem van het Nbbe zal naar verwachting van de Inspectie in onvoldoende mate bijdragen tot de gewenste kwaliteitsverbetering van de examinering. • De Inspectie dringt aan op een wijziging van de systematiek en organisatie van de examinering met daaraan onlosmakelijk verbonden het opleidingssysteem van de brandweer. Dit is noodzakelijk voor de gewenste verbetering van de ordelijkheid en eerlijkheid van de examinering. Ontwikkelingen bij de directie Brandweerzorg en Rampenbestrijding zoals het project Competentiegericht opleiden officieren en het nog te starten project Kwaliteitsborging brandweerpersoneel sluiten aan bij deze aanbeveling. Hierbij dient zorggedragen te worden voor een heldere verantwoordelijkheidsverdeling tussen de bij het brandweeronderwijs betrokken partijen. • De Inspectie beveelt aan dat niet alleen voor de structurele situatie maar ook voor de overgangsperiode een transparant en effectief toezichtbeleid wordt geformuleerd; een en ander conform de Kaderstellende visie op toezicht. Hiermee kunnen de geconstateerde onvolkomenheden met betrekking tot de examencondities voor zover mogelijk worden geminimaliseerd. Voorts is er op dit moment onvoldoende zicht op de kwaliteit van de kandidaten die opgaan voor de examens. Door het toezicht kan mogelijk worden voorkomen dat zich onaanvaardbare situaties voordoen die de veiligheid van de examenkandidaten raken.

65

66

Bijlage I I

Schema van de modulaire opleidingstructuur z.o.z.

67

68

Bijlage II II

Schets van de examinering van het brandweeronderwijs

Hieronder zijn een aantal onderdelen van het examenproces beschreven waarover met het Nbbe consensus is verkregen. Uit de beschreven aspecten zijn de kritische kwaliteitskenmerken ontwikkeld.

D E A A N M E L D I N G S P R O C E D U R E VA N D E K A N D I D AT E N De kandidaten voor een module-examen worden door de organisator overeenkomstig het Uitvoeringsreglement bij het Nbbe aangemeld. Ten behoeve van de aanmelding is een reglement ontwikkeld waarin, naast de wijze van aanmelding, tevens onderwerpen ten aanzien van de toelatingseisen, het examengeld en de examencommissie worden behandeld. De organisator meldt de kandidaten volgens de aanmeldingsprocedure aan en verklaart door het ondertekenen van de aanmeldingsformulieren dat de kandidaten voldoen aan de toelatingseisen, zoals die zijn gesteld in de betreffende examenreglementen. Het Nbbe checkt de aanmeldingen en keurt ze goed of af. Het bestuur van het Nbbe kan een kandidaat, op diens verzoek, vrijstelling geven van een toelatingseis indien de kandidaat beschikt over een certificaat, diploma, opleiding of werkervaring, overeenkomstig bijlage 2 (overzicht van vrijstellingen) van het Algemeen brandweerexamenreglement. D E T O T S TA N D K O M I N G VA N D E E X A M E N V R A G E N EN OPDRACHTEN Volgens art. 3 van het Algemeen brandweerexamenreglement is de Examenadviescommissie belast met het produceren en beoordelen van de examenvragen en opdrachten. Het bestuur van het Nbbe benoemt de leden van de Examenadviescommissie. De leden kunnen slechts worden benoemd, indien ze voldoen aan de eisen welke zijn genoemd in het Reglement benoemingseisen examencommissieleden van het Nbbe. Als regel bestaan er meerdere Examenadviescommissies, die elk een zogenaamde lijn voor hun rekening nemen. Deze lijnen hebben betrekking op aandachtsgebieden zoals: de organisatie, de repressie, de HBT-opleidingen, de preventie/preparatie en de logistiek. Elke Examenadviescommissie bestaat uit een voorzitter en vier tot negen leden. De voorzitter en de leden worden op basis van hun deskundigheid door het Nbbe, in samenspraak met het ‘veld’ aangezocht en hebben op persoonlijke titel zitting in de commissie.

69

Jaarlijks treden er volgens schema leden af en worden nieuwe leden benoemd. In de praktijk worden de examenvragen en opdrachten, op verzoek van het Nbbe, geproduceerd door circa 80 vragenproducenten. Nadat het Nbbe de vragen zowel inhoudelijk als onderwijskundig heeft gecontroleerd, worden de relevante vragen ter beoordeling voorgelegd aan een Examenadviescommissie, die de vragen kan goed- of afkeuren, of ze aanpassen. Na de beoordeling en goedkeuring worden de vragen opgenomen in de zogenaamde item-bank. Voor het samenstellen van een module-examen selecteert het Nbbe een aantal vragen uit de item-bank.

H E T S A M E N S T E L L E N VA N D E E X A M E N C O M M I S S I E S Bij elk examen dat namens het Nbbe wordt gehouden fungeert een examencommissie. Op grond van art. 2 van het Algemene brandweerexamenreglement 1994 heeft de examencommissie de taak om de kennis en vaardigheid van de kandidaten te beoordelen. Een examencommissie bestaat uit een voorzitter, tevens lid van de commissie en een aantal leden. Het bestuur van het Nbbe benoemt ieder jaar voor een periode van één jaar de personen die als lid in een bepaalde examencommissie kunnen plaatsnemen. De leden kunnen slechts worden benoemd, indien zij voldoen aan de eisen, genoemd in het Reglement benoemingseisen examencommissieleden en aanvullende eisen van het bestuur Nbbe. De minister van BZK kan met het oog op bijzondere omstandigheden op voordracht van het bestuur ontheffing verlenen van één of meer eisen. In het Reglement benoemingseisen examencommissieleden is voor elk niveau van examinering aangegeven aan welke eisen een examencommissie moet voldoen. Voor de voorzitter is aangegeven over welke rang ten minste moet worden beschikt. Tevens is bepaald dat binnen een periode van één jaar voorafgaande aan het examen de voorzitter dient te hebben gefunctioneerd als lid van een commissie op het te examineren niveau. Voor de leden is bepaald wat de minimale rang en opleiding dient te zijn. De examencommissieleden dienen ten minste drie jaar ervaring te hebben in het geven van instructie, waarbij de laatste instructie binnen de afgelopen drie jaren heeft plaatsgevonden. Bovendien moeten de commissieleden binnen drie jaren voorafgaande aan de benoeming ten minste één keer in de te examineren module hebben les gegeven. De benoeming van een potentieel examencommissielid vindt veelal plaats op voordracht van een organisator. De organisator meldt het aspirant commissielid aan bij het Nbbe. Het aspirant commissielid verstrekt gegevens over rang, opleiding en ervaring in het brandweeronderwijs.

70

Het Nbbe controleert de gegevens van de opleiding in haar eigen systeem. De organisator, in de persoon van het hoofd Opleidingen van de (regionale) brandweer verklaart de juistheid van de gegevens van de rang en de ervaring op het gebied van de brandweerinstructie. Indien alle gegevens in orde worden bevonden benoemt het bestuur van het Nbbe het examencommissielid voor de periode van één jaar. De eventuele herbenoeming vindt telkens voor weer één jaar plaats volgens een vergelijkbare procedure. De samenstelling van een examencommissie voor een bepaald examen geschiedt op voordracht van de organisator van het examen. De organisator past hierbij toe de lijst met gegevens die het Nbbe heeft verstrekt betreffende de examinatoren. De organisator zoekt de commissieleden aan en doet een voorstel aan het Nbbe. De leden van de examencommissie mogen geen instructie aan de kandidaten hebben gegeven voor het te examineren module-examen. Voor een praktisch deel van een module-examen en bij een projectopdracht geldt dat de voorzitter afkomstig moet zijn uit een andere regionale brandweer. De taak en de rol van de examencommissie is beschreven in het Uitvoeringsreglement brandweerexamens, de Algemene richtlijnen voor examencommissies bij praktijkexamens en de Richtlijnen voor voorzitters van een examencommissie.

H E T P L A N N E N E N U I T V O E R E N VA N D E S C H R I F T E L I J K E EXAMENS, DE PRAKTIJKEXAMENS EN DE PROJECTOPDRACHTEN Het daadwerkelijk uitvoeren van de examens is door het Nbbe (grotendeels) overgedragen aan de zgn. organisatoren en aan de examencommissies. Met een organisator wordt bedoeld een instantie die op een bepaalde dag en locatie één of meer module-examens organiseert. Omtrent de wijze waarop een organisator een module-examen dient uit te voeren heeft het Nbbe het Uitvoeringsreglement brandweerexamens vastgesteld. Op basis hiervan zijn de Handleiding voor de organisator en de richtlijnen voor de voorzitter van een examencommissie opgesteld, waarin alle taken van de organisator en het Nbbe en de examencommissies, zowel in het voor- en natraject, als tijdens het daadwerkelijke examen (schriftelijk, praktisch en projectopdrachten) aan de orde worden gesteld.

• • • • • • •

De taken van de organisator in het voortraject hebben betrekking op: aanmeldingsprocedure; wijze van aanmelden; controle op toelatingseisen; betalen examengelden; voorstel doen voor examencommissieleden; voorbereidende activiteiten; uitnodigen examencommissie;

71

• informeren van de kandidaten omtrent de plaats, aanvangstijd, kandidaatsnummer, tafelnummer, examenlocatie en legitimatieplicht; • afzeggingen tijdig melden aan Nbbe; • inrichten en voorbereiden van examenlocatie- en objecten. De taken van de organisator tijdens het examen hebben betrekking op: • Het beschikbaar zijn van een contactpersoon, c.q. veiligheidsfunctionaris; • Het oplossen van eventuele problemen welke door de voorzitter van de examencommissie zijn gesignaleerd. De taken van de organisator in het natraject zijn: • Het eventueel maken van opmerkingen (aan het Nbbe) naar aanleiding van het examen; • Het aan de kandidaten bekend maken van de resultaten, nadat deze van het Nbbe zijn ontvangen; • Het controleren van de certificaten en/of diploma’s en uitreiken ervan aan de kandidaten.

• • • • • • • • • •

De taken van het Nbbe voor het uitvoeren van een module-examen hebben betrekking op: Het controleren (toelatingseisen), bevestigen (weigeren) van aanmeldingen; Het controleren of de voorgedragen examencommissieleden voldoen aan benoemingseisen; Het ontwikkelen van een examen; Het verzenden van de bescheiden en examenopgaven aan de voorzitter van de examencommissie; Het steekproefsgewijs controleren (begeleiden) van examens; Het opstellen van beoordelinginstructies en scoringsvoorschriften; Het (doen) verzorgen van het nakijken en het vaststellen van de cijfers van het examenwerk; Het bekend maken van de resultaten van het examen aan de organisatoren; Het (namens de minister) afgeven van diploma’s; Het bij bijzondere examens (goed)keuren van examenlocaties.

De taken van de voorzitter van de examencommissie hebben betrekking op: De beschikbaarheid van de examenopgaven en andere examenbescheiden; De controle op aanwezigheid, eisen en taaktoebedeling van de examencommissieleden; De controle op de examenlocatie en/of -objecten; De controle op de eisen ten aanzien van de kandidaten; Het tijdens en na een praktisch examen coördineren van de beoordeling door de examencommissieleden; • Het toezicht op het verloop van het examen volgens de regels van het Nbbe; • Het verzorgen van administratieve afwerking volgens de regels van het Nbbe; • • • • •

De taken van de examencommissieleden hebben betrekking op: • Het beoordelen van de kennis en vaardigheden van de kandidaten.

72

H E T B E PA L E N VA N D E L O C AT I E S / O B J E C T E N V O O R D E SCHRIFTELIJKE EXAMENS EN DE PRAKTIJKEXAMENS De organisator is verantwoordelijk voor het beschikbaar stellen van een examenlocatie of -object, en de inrichting en benodigde middelen. De eisen ten aanzien van de examenlocaties en -objecten zijn beschreven in het Uitvoeringsreglement brandweerexamens en de Handleiding voor de organisatoren. De eisen voor locaties voor de schriftelijke examens hebben betrekking op de verlichting, de verwarming, de opstelling van de tafels en stoelen, de tafelnummers en de benodigdheden voor het examen. De voorzieningen voor de praktische examens zijn afhankelijk van de aard van het examen en zijn beschreven in het voor het betreffende examen opgenomen hoofdstuk van de Handleiding voor een organisator. Voor enkele bijzondere examens, zoals voor de modules bevelvoerder, officier van dienst en brandweerchauffeur vindt de eindbeoordeling van de geschiktheid van de locatie en/of de objecten plaats door het Nbbe. Ten aanzien van de praktijkexamens waarbij sprake is van een brandweerinzet bij een brand of een hulpverlening, is in de handleiding voor de organisator bij de betreffende examenmodule aangegeven dat er hier geen instructie van de examenkandidaten mag hebben plaats gevonden. H E T B E O O R D E L E N VA N D E E X A M E N S Voor de beoordeling van het examenwerk stelt het Nbbe voor de examenopgaven en -opdrachten beoordelingsinstructies en scoringsvoorschriften op. De voorzitter van de examencommissie ziet erop toe dat deze instructies en voorschriften door de examencommissieleden worden toegepast volgens de vastgestelde procedure. In het Uitvoeringreglement brandweerexamens zijn voor de diverse module-examens de scoringsvoorschriften opgenomen in de vorm van de algemene toelichtingen bij de opdrachten en de beoordelingspunten van de opdrachten. Aan de hand hiervan en met behulp van een beoordelingsformulier kan de juiste score worden berekend en kan het cijfer worden bepaald. Indien een opdracht door meer dan één examinator wordt beoordeeld dienen twee of meer beoordelingsformulieren te worden ingevuld, waarna snel kan worden onderkend wat de reden is van eventuele grote beoordelingsverschillen. D E B E H A N D E L I N G VA N K L A C H T E N E N B E Z WA R E N Over het verloop of de uitslag van een examen kan een klacht worden ingediend indien de kandidaat van mening is dat er sprake is van een storende situatie. Ook kan een kandidaat een opmerking maken ter voorkoming van een beoordeling op grond van onjuiste gegevens. Over de uitslag van een examen bestaat de mogelijkheid een bezwaar in te dienen.

73

De procedures voor het afhandelen van klachten, opmerkingen en bezwaren zijn omschreven in het kwaliteitshandboek. De behandeling vindt plaats door een juridisch medewerker van het Nbbe. De uiteindelijke beslissing van de bezwaren wordt genomen door het bestuur van het Nbbe.

74

Bijlage III Kritische Kwaliteitskenmerken (KKK’s) van het examenproces KKK Aspecten Vragen

III

Bedrijfsvoering ‘organisator’ Deugdelijkheid, organisatiegraad, deskundigheid personeel, administratieve organisatie, hulpmiddelen, examen accommodatie. 1. Stelt het Nbbe eisen aan de bedrijfsvoering van de organisator? 2. Hoe toetst het Nbbe de bedrijfsvoering van de organisatoren? 3. Wordt de status / situatie van de organisator door het Nbbe vastgelegd? 4. Beschikt het Nbbe over sancties ter verbetering?

Bevindingen KKK Aspecten Vragen

Aanmeldingsprocedure door de organisator Deugdelijke uitvoering, tijdigheid, administratie, ondertekening. 1. Hoe toetst het Nbbe de juiste toepassing van de aanmeldingsprocedure? 2. Hoe wordt het aantal examens en de totale examentijd per dag gecontroleerd? 3. Hoe controleert het Nbbe of met de ondertekening wordt voldaan aan het feit dat de kandidaat voldoende is opgeleid om het examen (veilig) te kunnen uitvoeren?

Bevindingen KKK Aspecten Vragen

Toelatingseisen en vrijstellingen Deugdelijke uitvoering van het stellen en controleren van de toelatingseisen en het (voorstellen tot het) verlenen van vrijstellingen. 1. Hoe toetst het Nbbe de juiste toepassing van de toelatingseisen en de controle daarop door de organisator? 2. Hoe controleert het Nbbe de op het aanmeldingsformulier opgegeven reden voor het aanvragen van een vrijstelling?

Bevindingen

KKK Aspecten Vragen

Vragenproducenten Deskundigheid, ervaring, onafhankelijkheid en discretie 1. Hoe toetst het Nbbe de actuele deskundigheid en ervaring? 2. Hoe wordt de discretie gegarandeerd? 3. Hoe toetst het Nbbe de onafhankelijkheid?

Bevindingen

KKK Aspecten Vragen

Leden Examenadviescommissie Deskundigheid, ervaring, onafhankelijkheid en discretie 1. Hoe toetst het Nbbe de actuele deskundigheid en ervaring? 2. Hoe wordt de discretie gegarandeerd? 3. Hoe toetst het Nbbe de onafhankelijkheid?

Bevindingen 75

KKK Aspecten Vragen

Examenvragen schriftelijke examens Relatie met de examenregelgeving, relevantie, eenduidigheid, duidelijkheid 1. Hoe toetst het Nbbe de relatie van de vragen met de examenregelgeving? 2. Hoe wordt de relevantie van de vragen getoetst? 3. Hoe toetst het Nbbe de eenduidigheid en duidelijkheid van de vragen?

Bevindingen KKK Aspecten Vragen

Schriftelijke examens Keuze vragen, moeilijkheidsgraad 1. Hoe wordt gegarandeerd dat de verschillende examens van een bepaalde module qua moeilijkheidsgraad vergelijkbaar zijn? 2. Hoe wordt gegarandeerd dat de vragen bij de kandidaten onbekend zijn?

Bevindingen KKK Aspecten Vragen

Inrichting locaties voor schriftelijke examens Opstelling tafels en stoelen en overzicht plaatsen kandidaten 1. Hoe toetst het Nbbe de juiste toepassing van de regels ten aanzien van de inrichting van de examenlocaties?

Bevindingen

KKK Aspecten Vragen

Beoordeling schriftelijke examens Beoordelingsinstructies en beoordelaars / nakijkers 1. Hoe toetst het Nbbe de deskundigheid / geschiktheid van de beoordelaars / nakijkers? 2. Hoe toetst het Nbbe de juistheid van de beoordelingsinstructies? 3. Hoe toetst het Nbbe de juiste toepassing van de beoordelingsinstructie door de beoordelaars/nakijkers?

Bevindingen

KKK Aspecten Vragen

Examenopdrachten bij praktijkexamens en projectopdrachten Relatie met examenreglementen, relevantie, eenduidigheid en duidelijkheid 1. Hoe toetst het Nbbe de relatie van de opdrachten met de examenprogramma’s van de diverse examenreglementen? 2. Hoe wordt de relevantie van de opdrachten getoetst? 3. Hoe toetst het Nbbe de eenduidigheid en de duidelijkheid van de opdrachten?

Bevindingen KKK Aspecten

Vragen

Uitvoering praktijkexamens en projectopdrachten Uitvoeringsreglement (paragraaf 3, 4 en 5), algemene en module-specifieke richtlijnen voor examencommissies bij praktijkexamens en projectopdrachten. Richtlijnen voor voorzitters. 1. Hoe toetst het Nbbe de juiste toepassing van de bovengenoemde reglementen en richtlijnen? 2. Welke algemene en module-specifieke regels worden getoetst?

Bevindingen

76

KKK Aspecten Vragen

Locaties en voorzieningen voor de praktijkexamens Uitvoeringsreglementen en handleiding organisatoren 1. Hoe toetst het Nbbe de juiste toepassing van de regels ten aanzien van de inrichting van de locaties en objecten voor de praktijkexamens? 2. Hoe toetst het Nbbe of de locaties of objecten voor de praktijkexamens geschikt zijn om het examenprogramma naar behoren te kunnen uitvoeren? 3. Hoe toetst het Nbbe of bij een object voor een examen met een inzet geen instructie heeft plaatsgevonden of niet bekend is bij de kandidaten? 4. Hoe toetst het Nbbe of er, tijdens / tussen de examens geen informatie-uitwisseling tussen de kandidaten plaatsvindt betreffende het praktijkexamen of het object/locatie?

Bevindingen KKK Aspecten Vragen

Beoordeling praktijkexamens en projectopdrachten Scoringsvoorschriften en beoordelingsinstructies 1. Hoe toetst het Nbbe de juistheid van de scoringsvoorschriften en de beoordelingsinstructies? 2. Hoe toetst het Nbbe de juiste toepassing van de scoringsvoorschriften en de beoordelingsinstructies door de examencommissieleden en de beoordelaars/nakijkers? 3. Hoe toetst het Nbbe de wijze waarop de beoordelingsverschillen tussen de verschillende beoordelaars wordt opgelost?

Bevindingen

KKK Aspecten Vragen

Leden examencommissies Deskundigheid, ervaring, kennis van examenproces, onafhankelijkheid, discretie, benoemingseisen, aanvullende eisen. 1. Hoe toetst het Nbbe de deskundigheid en ervaring op het vakgebied? 2. Hoe toetst het Nbbe de kennis op het gebied van het examenproces? 3. Hoe toetst het Nbbe de onafhankelijkheid en de discretie? 4. Hoe toetst het Nbbe de eis dat de commissieleden ten minste drie jaren ervaring hebben in het geven van instructie, waarbij de laatste instructie binnen de afgelopen drie jaren heeft plaatsgevonden? 5. Hoe toetst het Nbbe dat de leden van de commissie ten minste één keer in de laatste drie jaren instructie hebben gegeven in de te examineren module? 6. Hoe toetst het Nbbe dat één of meer leden van de commissie geen instructie heeft geven in één of meer van de te examineren modulen van een praktijkexamen aan één of meer examenkandidaten? 7. Hoe toetst het Nbbe dat er, in geval van een praktijkexamen of een projectopdracht, geen (werk)relatie bestaat tussen de (uitvoerende) commissieleden en/of de voorzitter met één of meer kandidaten?

Bevindingen

KKK Aspecten Vragen

Klachten- en bezwaarschriftenbehandeling Rechtmatigheid, objectiviteit, tijdigheid 1. Hoe vindt de behandeling van klachten en bezwaren plaats? 2. Hoe vindt interne en externe toetsing van de juiste behandeling van klachten en bezwaren plaats?

Bevindingen

77

Bijlage IV IV

Geraadpleegde bronnen

• Integrale teksten examenregelgeving 2000; ministerie BZK. • Eindrapport: Evaluatie Doeltreffendheid en doelmatigheid Nederlands bureau brandweerexamens; Berenschot, 15 juli 2000. • Rapport: Ontwikkeling van een kwaliteitsborgingsysteem voor examens bij het Nederlands bureau brandweerexamens; Penta Scope 10-01-2001 • Implementatieplan Kwaliteitsborgingsysteem voor brandweertoetsen; Penta scope, 05-02-2001. • Protocol van afspraken tussen het Nederlands bureau brandweerexamens en de directie Brandweer en Rampenbestrijding; ministerie BZK, 13 maart 2002. • Publicaties Nederlands bureau brandweerexamens: • Uitvoeringsreglement Brandweerexamens, mei 1996; • Richtlijnen voor de voorzitter van een examencommissie, 1 augustus 1995; • Kwaliteitshandboek en procedures (concept); • Handleiding voor de organisator, maart 2001; • Handleiding voor het schrijven van open vragen, 7 april 1998; • Veel gesteld vragen, (internet) 28-2-01 • Kwaliteitsbegeleiding examens, concept jaarverslag 2001; • Instructie en rapportageformulieren kwaliteitsonderzoek praktijkexamens, 2001; • Nieuwsbrief Nbbe december 2001; • Toezicht op de examinering bij de brandweer, jaarrapporten 1992-1995; Directie Brandweer en Rampenbestrijding / Inspectie Brandweerzorg en Rampenbestrijding. • Toezicht op de examinering; de (rijks)gecommitteerde, correspondentie Directie Brandweer en Rampenbestrijding 17, 23 juli en 8 augustus 2001.

78

Bijlage V Interviews

V

ONDERZOEKSTEAM INSPECTIE OOV • ing. W.J. Wester • drs. F.J. Otto

• • • • • • • • • • •

GEÏNTERVIEWDE PERSONEN mw. J.H.M. Koonings, directeur Nederlands Bureau Brandweerexamens (Nbbe) J.W.M. Damen, plv. directeur Nbbe M. Leune, kwaliteitsbegeleiding Nbbe M. Hoorntje, kwaliteitscoördinator Nbbe J. Van Kimmenade, Regionale Brandweer Zuid-oost Noord Brabant L. Kuypers, Regionale Brandweer Amsterdam Tj. Tjakkes, Stichting Brandweeropleidingen Noord R. Schut, Stichting Brandweeropleidingen Gelderland / Overijssel M. Schreurs, Regionale Brandweer Zuid-Limburg R.R. Hagen, Nibra mw. M. Geelen, Nibra

• • • •

N A D E R E I N F O R M AT I E V E R S T R E K T D O O R : M. Bökkerink, DR&B, ministerie BZK mw. M.J.M. Janssen, DR&B, ministerie BZK A.C. van Essenberg, Inspectie van het Onderwijs Beugelink, Inspectie van het Onderwijs

79

80