Evaluatie tweede certificeringsronde openbare bibliotheken

Evaluatie tweede certificeringsronde openbare bibliotheken 2010 - 2013

Deel 4: Eindrapport Tweede Certificeringsronde 2010-2013

Tilburg, oktober 2014 Martien van Tits Hans Mariën

II

Evaluatie certificering openbare bibliotheken 2010–2013; deel 4: Eindrapport

Uitgever: IVAdata Universiteit van Tilburg Postbus 90153 5000 LE Tilburg

© 2014 IVAdata Niets uit deze uitgave mag worden verveelvoudigd en/of worden openbaar gemaakt door middel van druk, fotokopie, microfilm, of op welke andere wijze dan ook, zonder voorafgaande schriftelijke toestemming van IVAdata. Het gebruik van cijfers en/of tekst als toelichting of ondersteuning bij artikelen, boeken en scripties is toegestaan, mits de bron duidelijk wordt vermeld.

IVAdata

III

Inhoudsopgave

1

Samenvatting en aanbevelingen .................................................................................... 1

1.1 1.2

Samenvatting ................................................................................................................... 1 Aanbevelingen en suggesties voor verbeteringen ...................................................... 4

2

Inleiding ............................................................................................................................. 9

3

Opzet en aanpak van het onderzoek ........................................................................... 11

4

Respons en algemene gegevens .................................................................................. 13

4.1 4.2

Respons ............................................................................................................................13 Algemene gegevens .......................................................................................................13

5

Het auditproces ............................................................................................................... 17

6

De audit............................................................................................................................ 23

7

Eigenschappen van de auditor...................................................................................... 29

8

Deskundigheid van de auditor ...................................................................................... 33

9

Suggesties en opmerkingen van de respondenten .................................................... 39

Bijlage 1: Vragenlijst webenquête ......................................................................................... 41 Bijlage 2: Uitnodigingsmail ..................................................................................................... 47 Bijlage 3: Herinneringsmail..................................................................................................... 49

IV


IVAdata

1

1

Samenvatting en aanbevelingen

1.1 Samenvatting De openbare bibliotheken in Nederland zijn in de jaren 2010 – 2013 bezocht door negen onafhankelijke auditoren in het kader van de tweede certificeringsronde van de Stichting Certificering Openbare Bibliotheken. Deze kwaliteitscertificering is uitgevoerd op basis van de norm 2010 en is een belangrijk middel om de bijdrage aan de ontwikkeling van het bibliotheek(net)werk aantoonbaar te maken. De evaluatie geeft inzicht in de ervaring van de openbare bibliotheken met de audit, het auditproces en de werkwijze en het functioneren van auditoren en het certificeringsbureau. Van de 156 bibliotheken die voor de certificering in aanmerking komen (153 openbare bibliotheken en 3 organisaties ten behoeve van mensen met een leesbeperking) hebben 6 bibliotheken deelname geweigerd. Van de resterende 150 bibliotheken hebben er 146 deelgenomen aan de evaluatie, ofwel een respons van 97,3 procent. Deze uitzonderlijk hoge respons kan gedeeltelijk verklaard worden uit de gehanteerde aanpak (kort tijdsbestek tussen certificering en enquêtering en reminders per mail en per telefoon); de belangrijkste reden is inzicht in het belang van kwaliteitscertificering voor de bibliotheek. De hoge mate van betrokkenheid komt ook tot uiting in de circa 300 suggesties en opmerkingen die door de respondenten zijn aangegeven in de 7 vragen met open antwoorden. Het resultaat van de certificeringsaudit is dat 143 bibliotheken zijn gecertificeerd en 3 bibliotheken onder voorbehoud zijn gecertificeerd, ofwel een certificeringsgraad van 97,9 procent van de deelgenomen bibliotheken. De kwaliteitsaudits zijn uitgevoerd door 9 onafhankelijke auditoren. Circa een derde deel van de respondenten werkt langer dan 20 jaar in de bibliotheek waar de audit heeft plaatsgevonden, een derde deel 6 tot 10 jaar en een kwart 1 tot 5 jaar. Een arbeidsverleden van 11 tot 20 jaar heeft 14 procent en 1 procent van de respondenten werkt korter dan 1 jaar in de desbetreffende bibliotheek. Aan het evaluatieonderzoek hebben voornamelijk directeuren deelgenomen (81 procent). De overige respondenten zijn kwaliteitsmanager of hebben een andere managementachtergrond, al dan niet als MT-lid. De hoogte van de gekwalificeerde functies is een goede indicatie van het belang dat het management hecht aan de certificering. De respondenten zijn bijzonder tevreden over het auditproces. Op een schaal van 1 tot 5[1] scoort het informeren over de voortgang met 4,23 het laagst, gevolgd door de informatieverstrekking over de verschillende onderdelen van de audit 4,26, de geschiktheid van het auditprogramma 4,31, de bereikbaarheid van de auditor en het certificeringsbureau 4,40 en het behalen van de vooraf afgesproken planning scoort met 4,41 het hoogst. Het gemiddelde rapportcijfer voor het auditproces bedraagt 7,65. De tevredenheid over het auditproces is ook gemeten aan de mate waarin de respondenten het eens of helemaal eens zijn met een goede uitvoering van een procesonderdeel. De tevredenheid is hier 85,6 procent met betrekking tot het informeren over de voortgang van het auditproces,

1

De vijfpuntsschaal loopt van 1 = helemaal oneens, 2 = oneens, 3 = niet eens en niet oneens, 4 = eens tot 5 = helemaal eens. De categorie “0 = weet niet/nvt” is toegevoegd.

2


91,1 procent over het auditprogramma, 91,7 procent over de planning, 92,5 procent over de informatieverstrekking en 96,5 procent over de bereikbaarheid van de auditor en het certificeringsbureau tijdens het auditproces. Een punt van aandacht is dat het certificeringsbureau en/of de auditor de bibliotheek(medewerkers) goed op de hoogte dienen te houden van de voortgang van het auditproces. De tevredenheid over verschillende onderdelen van de audit is lager. Op een schaal van 1 tot 5 scoort “vaker dan één maal per vier jaar toetsen aan de normen” 2,97 en de afstemming van de verschillende facetten van het certificeringsproces scoort 3,70. De score op de stelling “de certificeringsaudit draagt bij aan het waarborgen van de kwaliteit van openbare bibliotheken”, bedraagt 3,83. De tevredenheid van de respondenten over de auditonderdelen is ook gemeten aan de mate waarin de respondenten het (helemaal) eens zijn met de stellingen. Van de respondenten is “slechts” 36 procent het er (helemaal) mee eens dat de normen waarop getoetst wordt vaker dan éénmaal per vier jaar geëvalueerd dienen te worden. Er kan geconcludeerd worden dat de normen niet vaker dan éénmaal per vier jaar geëvalueerd hoeven te worden. Van de respondenten is 72 procent van mening dat de verschillende facetten van het certificeringsproces goed op elkaar afgestemd zijn. Aan de onderlinge afstemming van die verschillende certificeringsonderdelen kan in de volgende certificeringsronde wat meer aandacht worden besteed. Circa 77 procent vindt dat de certificeringsaudit bijdraagt aan het waarborgen van de kwaliteit van openbare bibliotheken. Geconcludeerd kan worden dat niet iedereen er helemaal van overtuigd is dat de certificeringsaudit bijdraagt aan het waarborgen van de kwaliteit van openbare bibliotheken. De meeste onderdelen van het certificeringsproces scoren tussen ruim voldoende en goed. Op een schaal van 1 tot 4[2] scoort de communicatie vanuit het certificeringsbureau gedurende de verschillende stappen van het auditproces met 3,15 het laagst. Daarna volgen respectievelijk de informatie op de website www.bibliotheekcertificaat.nl (3,40), de aanbevelingen die gedaan worden in de rapportage (3,43), de vooraf verstrekte informatie (3,46), de vormgeving van de rapportage (3,49), de lengte van de auditdag (3,55) en de inhoud van de rapportage (3,56). De hoogste scores zijn voor de opbouw van de auditdag (3,60) en het programma voor de auditdag (3,61). “De communicatie vanuit het certificeringsbureau gedurende de verschillende stappen van het auditproces”, wordt beoordeeld met een gemiddelde van 3,15 ofwel met een kleine voldoende. Het verdient aanbeveling dat het certificeringsbureau in de volgende ronde meer aandacht besteedt aan de communicatie met de bibliotheken in de verschillende stappen van het certificeringsproces. Met het uiteindelijke advies dat naar aanleiding van de audit is afgegeven op basis van de beoordeling van de verschillende auditonderdelen, is 88 procent het eens, 10 procent is het hiermee oneens en 2 procent heeft geen mening. Het gedrag en de houding van de auditoren wordt in hoge mate gewaardeerd. Op een schaal van 1 tot 5 scoort de mate waarin de auditor voldoende ruimte geeft aan de auditees c.q. de bibliotheek voor interpretatie van de certificeringsnormen 4,17, stringente toetsing aan de certificeringsnormen 4,23, duidelijkheid 4,36, open voor vragen en suggesties vanuit de bibliotheek 4,39, houden aan gemaakte afspraken 4,45, zelfverzekerdheid 4,47, representativiteit 4,48 en vriendelijkheid 4,57.

2

De vierpuntsschaal loopt van 1 = slecht, 2 = matig, 3 = voldoende tot 4 = goed. De categorie “0 = weet niet/nvt” is toegevoegd.

IVAdata

3

De tevredenheid over de algemene eigenschappen van de auditoren is ook gemeten aan de hand van de mate waarin de respondent het eens en helemaal eens is met een eigenschap van de individuele auditor. Ook deze is hoog tot zeer hoog en loopt van 84 tot 98 procent. De ruimte die de auditor geeft voor interpretatie van de normen scoort 84 procent tevredenheid, stringente toetsing 87 procent, de mate waarin de auditor open staat voor vragen en suggesties vanuit de bibliotheek 92 procent, evenals de duidelijkheid van de auditor en de mate waarin deze zich houdt aan gemaakte afspraken. Het hoogst scoort representativiteit (94 procent), zelfverzekerdheid (94,5 procent) en vriendelijkheid (98 procent) van de auditor. Mogelijke verbeteringen van gedrag- en houdingsaspecten van de auditoren kunnen gevonden worden bij het geven van voldoende ruimte voor interpretatie van de normen en bij het uitvoeren van stringente toetsing aan de certificeringsnormen. De waardering van de deskundigheid van de auditoren is zeer hoog. Op de gehanteerde schaal van 1 tot 5 scoort de mate waarin de auditor vooraf goed geïnformeerd is over de relevante aspecten van de bibliotheek 4,30, de deskundigheid over de vooraf toegestuurde beleidsdocumenten 4,33, de deskundigheid over het omzetten van de bevindingen in de auditrapportage 4,36, een goede voorbereiding op de audit 4,41, de deskundigheid met betrekking tot het auditprogramma 4,47, de deskundigheid over de certificeringsnorm 4,55, de terugkoppeling en de uitleg over het verdere verloop van het auditproces 4,56 en het verloop van de auditgesprekken in een prettige sfeer 4,58. De tevredenheid over de deskundigheid van de auditoren wordt ook gemeten aan de hand van de mate waarin de respondenten het eens en helemaal eens zijn met een deskundigheidseigenschap van de individuele auditor. Die tevredenheid is zeer hoog en loopt van 92 tot 98 procent. De mate waarin de auditor vooraf goed geïnformeerd is over de relevante aspecten van de bibliotheek scoort 92 procent, de mate waarin de auditor zich goed heeft voorbereid op de audit, de opgedane kennis uit de vooraf toegestuurde beleidsdocumenten en het omzetten van de bevindingen in de auditrapportage scoort 93 procent, het verloop van de auditgesprekken in een prettige sfeer, de terugkoppeling en de uitleg over het verdere verloop van het auditproces en de deskundigheid met betrekking tot het auditprogramma scoort 97 procent en de hoogste score bedraagt 98 procent en die is voor de deskundigheid van de auditoren over de certificeringsnorm. Deze uitkomsten geven geen aanleiding tot specifieke aandachtspunten voor deskundigheidseigenschappen; het is goed dat dit hoge niveau wordt vastgehouden door de auditoren in de volgende certificeringsronde. Echter het gaat om gemiddelden en de individuele uitkomsten per auditor kunnen wel aanleiding zijn tot extra inspanningen om de deskundigheid te bevorderen. De beoordeling in rapportcijfers is erg hoog: de algemene eigenschappen van de auditoren, zoals gedrag en houding krijgt het cijfer 7,93, de deskundigheid van de auditoren 8,01 en het samenvattende oordeel over de auditoren met betrekking tot de algemene indruk en het functioneren in het gehele proces 7,94. Op het niveau van de auditoren kan worden gesteld dat het goed is dit vast te houden in de volgende certificeringsronde. Op het individuele niveau van de auditor kan het wel aanleiding geven tot extra inspanningen op het gebied van gedrag, houding en deskundigheid. Het meest voorkomende cijfer voor elk onderdeel is een acht (47 procent), gevolgd door een negen (27 procent), daarna een zeven (17 procent) en een zes (4 procent). Er zijn 12 onvoldoendes gegeven: 2 keer een drie, 3 keer een vier en 7 keer een vijf. Dit betekent dat 3 procent van de cijfers een onvoldoende is. Aan de bovenkant komen we 7 keer (2 procent) het cijfer tien tegen, ofwel de beoordeling “uitstekend”.

4


1.2 Aanbevelingen en suggesties voor verbeteringen De respondenten zijn over het algemeen tevreden tot zeer tevreden over de audit, het auditproces en de werkwijze en het functioneren van auditoren en het certificeringsbureau. De metingen in de evaluatie tonen resultaten met hoge tot zeer hoge gemiddelde scores. Dit neemt niet weg dat er ook redelijk veel positief kritische geluiden te horen zijn. Deze zijn met name tot uiting gekomen in de vragen met open antwoordcategorieën. De meeste respondenten hebben suggesties aangedragen voor verbeteringen. Drie respondenten hebben overigens expliciet aangegeven dat wat hen betreft de certificering volledig kan worden afgeschaft. In deze paragraaf worden twee typen aanbevelingen gegeven. Op de eerste plaats enkele algemene aanbevelingen die gebaseerd zijn op de mening van de geënquêteerde 146 respondenten in de evaluatie en die in de voorafgaande paragraaf al aan de orde zijn geweest. Op de tweede plaats komt een bloemlezing van aanbevelingen en suggesties voor verbeteringen die gedestilleerd is uit de circa 300 antwoorden van de individuele respondenten op de 7 open vragen en waarvan een groot gedeelte meerdere malen genoemd is. De meeste opmerkingen hebben betrekking op informeren en communiceren en ze zijn in deze paragraaf in grote lijnen gerangschikt naar de fases van het certificeringsproces en naar de auditoren. Deze aanbevelingen en suggesties kunnen worden gebruikt door het certificeringsbureau en de auditoren als handvat om het proces van certificering in de derde ronde te verbeteren. 1. Algemene aanbevelingen, gebaseerd op de enquête onder 146 respondenten Het certificeringsbureau en/of de auditor dient de bibliotheek(medewerkers) beter op de hoogte houden van de voortgang van het auditproces. De normen dienen niet vaker dan éénmaal per vier jaar getoetst te worden. Aan de onderlinge afstemming van die verschillende certificeringsonderdelen kan in de volgende certificeringsronde wat meer aandacht worden besteed. Het certificeringsbureau dient in de volgende auditronde meer aandacht te besteden aan de communicatie met de bibliotheken in de verschillende stappen van het certificeringsproces. Auditoren kunnen in de volgende auditronde wat meer aandacht schenken aan de ruimte die zij geven aan de auditees voor interpretatie van de normen. Auditoren kunnen de toetsing aan de certificeringsnormen wat stringenter uitvoeren. De tevredenheid over de deskundigheid van de auditor is zeer hoog. Het is goed is dat dit hoge niveau wordt vastgehouden in de volgende certificeringsronde. Omdat het gaat om gemiddelden kunnen de individuele uitkomsten per auditor wel aanleiding zijn tot extra inspanningen om de deskundigheid te bevorderen.

IVAdata

5

De rapportcijfers voor gedrag, houding, deskundigheid en indruk over het functioneren in het auditproces zijn zeer hoog en geven geen aanleiding tot specifieke aandachtspunten. Op individueel niveau kan een auditor gevraagd worden extra inspanningen te leveren. 2. Suggesties van individuele respondenten 2.1 Auditproces Voorafgaand aan de audit dient de achterliggende bedoeling per auditonderdeel beschreven te worden, zodat het belang voor de ontwikkeling van de kwaliteitszorg voor de bibliotheekorganisatie duidelijker wordt. Verbetering van de bereikbaarheid van het certificeringsbureau, zowel telefonisch als per mail; mails dienen sneller beantwoord worden. Het certificeringsbureau dient meer informatie te verstrekken over het auditproces en de procedures, zodat er meer duidelijkheid komt over de criteria voor de extra onderdelen c.q. kernfuncties. Meer helderheid over het systeem van beoordelen; vooraf dient bekend te zijn hoe de beoordeling van de verschillende onderdelen leidt tot het finale oordeel. Het aanleveren van de stukken dient volledig digitaal te geschieden. De informatie over de speerpunten en de checklists met betrekking tot de Richtlijn Drempelvrij en Cultural Governance kunnen wat uitgebreider; ze zijn nu te summier. De auditor dient vooraf duidelijk aan te geven welke vestigingen worden bezocht. Indien bibliotheken samenwerken in een netwerk, is het beter informatiestromen aan het netwerk te richten in plaats van aan de individuele bibliotheken. Voorkomen moet worden dat er onduidelijkheid bestaat over het aantal dagen dat de audit in beslag neemt. De interne voorbereiding van de audit door de bibliotheek kan verbeterd worden als het eerste contact met de interne auditor eerder geschiedt, dan nu het geval is. Er komt dan wat meer tijd voor het opstellen van de auditagenda en de afspraak welke documenten dienen te worden toegestuurd. De communicatie over wijzigingen van afgesproken auditdata dient verbeterd te worden. Aan de afgesproken planning op de auditdag dient te worden vastgehouden, zodat audits niet uitlopen in de tijd. Indien er te weinig tijd is om een gesprek goed te voeren, dient daarvoor meer tijd vrijgemaakt te worden en is het bijvoorbeeld beter om een gesprek minder te voeren. In de planning dient er meer rekening mee gehouden te worden dat de verschillende vestigingen van een bibliotheek bezocht kunnen worden. Auditrapportages en uitslagen dienen op tijd te worden opgestuurd, zoals is afgesproken.

6


Bibliotheken dienen wat meer invloed te kunnen uitoefenen op de keuze van de periode waarin de audit plaatsvindt. De uitreiking van het certificaat zou wat sneller kunnen plaatsvinden na de bekendmaking van de uitslag. 2.2 Audit De normen dienen te worden aangepast: eenvoudiger en meer flexibel, waardoor rekening wordt gehouden met creativiteit en lokale en regionale verschillen. De normen dienen ook meer te groeien in de richting van het lokale opdrachtgeverschap van de gemeente; nu verschilt dit te veel. De frequentie van éénmaal per vier jaar de normen aanpassen en een audit uitvoeren, behoeft niet te worden gewijzigd. In de norm dienen aspecten als zelfevaluatie, zelfmanagement en (zelf)kritische gesprekken te worden ondergebracht. De audit dient te worden aangepast; nu is die te veel intern- en procesgericht, te gedetailleerd, te bureaucratisch en te veel gericht op de bedrijfsvoering. Het tijdsbeslag van de bibliotheekmedewerkers voor de voorbereiding en de uitvoering van de audit is nu te groot; vermindering van het aantal procedures en processen biedt een oplossing. De auditprocedures dienen nauwer te stroken met zaken waarmee de bibliotheken nu bezig zijn, zoals kwaliteit van de dienstverlening, overlevingsstrategieën, veranderingen in de maatschappij, verdergaande digitalisering, innovatie en samenwerking binnen en buiten de branche. Meer aandacht voor de positie van de vrijwilligers en de uitbreiding van deze groep. Het aanleveren van documenten dient digitaal te geschieden en beperkt te worden tot de echt belangrijke documenten, als meerjarenbeleidsplan, collectiebeleid en jaarverslag. Bibliotheeknetwerken kunnen veel beter als één geheel worden gecertificeerd en niet iedere bibliotheek apart. Het gezamenlijke gedeelte van de audit bestaat dan uit het auditen van de collectie, ICT, website en HRM-beleid; de overige onderdelen kunnen dan op individueel bibliotheekniveau worden uitgevoerd. 2.3 Rapportage en beoordeling De auditoren en het certificeringsbureau dienen aan te geven waarom gevraagde suggesties niet of slechts gedeeltelijk worden doorgevoerd. Aanbevelingen in de rapportage dienen meer concreet te worden geformuleerd. Als er geen concrete suggesties zijn, dient er niet gezocht te worden om toch maar iets te kunnen melden; een audit zonder aanbevelingen kan ook bestaan! De beoordeling van de audit dient meer consequent te geschieden op drie niveaus: in vergelijking met de vorige audit, in vergelijking met de audit in een andere bibliotheek (zelfde netwerk) en in de relatie tussen uitspraken tijdens de audit en de beoordeling achteraf.

IVAdata

7

2.4 Gedrag en houding van de auditor De volgende reacties van de respondenten bestaan grotendeels uit losstaande opmerkingen over het gedrag en de houding van de auditor, die niet kunnen worden vertaald in algemeen geldende suggesties voor alle auditoren; hier geldt het adagium: “wie de schoen past, …..”: De bibliotheek niet te stringent aan de regels houden. Tijd vrijmaken voor het interpreteren van de normen en de terugkoppeling naar het MT. Probeer niet te langdradig te zijn. Wees helder in je bedoelingen en je communicatie Geef aandacht aan je sociale vaardigheden. Bereid de audit goed voor. Als twee auditoren gezamenlijk een audit uitvoeren, probeer dan de interpretatie en beoordeling op elkaar af te stemmen. Probeer je wat meer in te leven in de soms moeilijke situatie waarin een bibliotheek zich bevindt. 2.5 Deskundigheid van de auditor Hier zijn de volgende losstaande opmerkingen over de deskundigheid van de auditor aangereikt: Probeer soms ook wat minder op hoofdlijnen de auditten en wat meer op de lokale situatie. Het ongevraagd overgaan op een “rollenspel” wordt niet door iedereen gewaardeerd. Een goede voorbereiding op een audit, inclusief het doornemen van de toegestuurde stukken, wordt op prijs gesteld door de auditees. Probeer de auditees voldoende ruimte voor reflectie te bieden. Probeer in een rapport niet te veel letterlijke teksten uit de documenten van de bibliotheek over te nemen. 2.6 Afrondende suggesties Aan de respondenten is gevraagd wat zij zouden veranderen aan de audit, indien zij daartoe in staat zouden worden gesteld[3]. De belangrijkste suggesties: De audit niet op één maar op twee dagen uitvoeren, omdat het nu te veel druk op die ene dag legt, zowel voor de auditees als de auditor. De audit standaard door twee auditoren laten uitvoeren, zodat er niet te veel getoetst wordt vanuit de eigen expertise en deskundigheid van die ene auditor. 3

De meeste suggesties hebben inmiddels een aanwijsbare plek kregen in de nieuwe certificeringsronde.

8


Informatie verzamelen op basis van een te ontwikkelen digitaal format waar de documenten kunnen worden ingevoerd. De lijst waarin is vermeld welke documenten moeten worden verzamelen is niet heel duidelijk; omschrijvingen wat meer in Jip en Janneke taal. Gebruik een gestandaardiseerde checklist tijdens de audit, zodat de auditoren hetzelfde oordeel hebben. Die lijst ondersteunt ook de bibliotheek om alles zelf goed op orde te hebben en te houden. Maak een lijstje met voorbeelden van benodigde informatie c.q. documenten die als "bewijs" (aantoonbaar gemaakt met: ...) kunnen dienen. Benodigde informatie verzamelen door visitatie in combinatie met het tonen van een beperkt aantal actuele basisdocumenten. Informatie verzamelen op basis van gesprekken en zelfevaluatie Maak gebruik van peergroepen van collega-directeuren. Zet mystery guests in voor een praktijkproef. Auditoren zouden meer aandacht dienen te schenken aan het proces van terugkoppeling en commentaar leveren. Auditoren dienen meer te doen aan het onderling afstemmen van criteria en de interpretatie hiervan. Meer maatwerk met betrekking tot de grootte van de organisatie: een lightversie voor kleine organisaties. In de systematiek van de beoordeling dient NCV (Niet Conform de norm, wel Voldoende) heringevoerd te worden. De afronding van de audit dient te geschieden door een gesprek met het management na afloop. Het certificeringsbureau wordt verzocht het jaartal te vermelden op het certificeringsbord.

IVAdata

2

9

Inleiding

De Stichting Certificering Openbare Bibliotheken (SCOB) is in 2006 gestart met de certificering van de openbare bibliotheken in Nederland. Daartoe is in de jaren 2006 tot 2009 op basis van de 2005-norm de eerste certificeringsronde geïnitieerd, waaraan de meeste openbare bibliotheken hebben deelgenomen (74,4 procent). Een evaluatie aan het einde van die eerste ronde heeft geleid tot een rapportage in 2009[4]. Een nieuwe kwaliteitsnorm is in 2010 opgesteld en deze ligt ten grondslag aan de huidige certificeringsronde voor de jaren 2010 - 2013. De programmamanager Certificering en Aangepast Lezen van het Sectorinstituut Openbare Bibliotheken (SIOB) heeft voorgesteld de evaluatie van deze certificering gefaseerd in de tijd uit te voeren (en niet aan het einde van de tweede ronde) om actuele informatie te kunnen verzamelen. Recente audits en auditorbeoordelingen leiden niet alleen tot meer betrouwbare informatie vanwege de actualiteit, maar ze kunnen ook gebruikt worden in het kader van functioneringsgesprekken en/of beoordelingsgesprekken met de auditoren, waardoor tussentijds verbetertrajecten mogelijk worden. Als daartoe aanleiding is, kan ook het auditproces tussentijds bijgesteld worden. In de eerste fase van deze tweede ronde is er aandacht besteed aan de periode september 2010 tot eind 2011[5] en in de tweede en derde fase zijn respectievelijk de jaren 2012[6] en 2013[7] aan bod gekomen. De onderhavige rapportage sluit de cyclus van de certificering van de tweede ronde af met een samenvattend eindrapport. Deze aanpak past binnen de opstelling van de bibliotheekbranche, waar de kwaliteitscertificering wordt genoemd als het beste mechanisme voor openbare bibliotheekorganisaties om hun actieve bijdrage aan de ontwikkeling van het bibliotheek(net)werk aantoonbaar te maken. Het bezoek aan de bibliotheken voor de certificering omvat een kwaliteitsaudit van één dag, die meestal wordt uitgevoerd door één van de negen onafhankelijke auditoren. Bij grote bibliotheken met verschillende filialen worden soms meerdere auditoren ingezet. Het belangrijkste doel van het onderzoek is het verkrijgen van een goed beeld van de ervaring van de openbare bibliotheken met de audit, het auditproces en de werkwijze en het functioneren van auditoren en het certificeringsbureau. In 2013 is er een enquête onder directeuren en kwaliteitsmedewerkers van openbare bibliotheken gehouden over de nieuwe bibliotheeknorm 2014[8] en inmiddels heeft de algemene ledenvergadering van de Vereniging Openbare Bibliotheken (VOB) ingestemd met de derde ronde van certificering voor de jaren 2014-2017 en is het normenpakket 2014[9] vastgesteld onder het statement: “bibliotheken met het bibliotheekcertificaat bieden een constante kwaliteit van producten en dienstverlening aan hun klanten; het maakt zichtbaar dat de bibliotheek aan de landelijke normen voldoet”.

4 5 6 7 8 9

Evaluatie certificering openbare bibliotheken; Benchmark bibliotheekauditoren. IVA Tilburg, juli 2009. Evaluatie certificering openbare bibliotheken 2010 – 2013; deel 1: 2010 – 2011. IVA Tilburg, maart 2012 Evaluatie certificering openbare bibliotheken 2010 – 2013; deel 2: 2012. IVAdata Tilburg, juni 2013 Evaluatie certificering openbare bibliotheken 2010 – 2013; deel 3: 2013. IVAdata Tilburg, juni 2014 De nieuwe bibliotheeknorm 2014. IVAdata Tilburg, maart 2013 Zichtbare waarde 2014-2017, Den Haag, Werkgroep Herziening Norm Openbare Bibliotheken, juni 2014

10


IVAdata

3

11

Opzet en aanpak van het onderzoek

In samenwerking met de Stichting Certificering Openbare Bibliotheken is een vragenlijst (bijlage 1) ontwikkeld, die is aangeboden in de vorm van een webenquête. De belangrijkste onderdelen zijn het proces en de organisatie van de audit en de werkwijze en de deskundigheid van de auditor. De vragenlijst bestaat uit veertig gesloten en zeven open vragen, waardoor de respondent maximaal gelegenheid geboden wordt om haar/zijn visie op de verschillende aspecten van het proces, de werkwijze en de evaluatie weer te geven en om eventuele suggesties aan te reiken voor verbeteringen. Alle bibliotheken die hebben deelgenomen aan het proces van certificering zijn bezocht door een van de negen onafhankelijke auditoren tussen september 2010 en eind 2013 voor de certificering. De vertegenwoordiger van een bibliotheek, meestal de directeur, krijgt ongeveer een week na afloop van de audit de uitslag per brief medegedeeld door de stichting certificering openbare bibliotheken. In deze brief wordt ook aangekondigd dat er een evaluatieonderzoek plaatsvindt. Een kopie van deze brief wordt vervolgens naar IVA gestuurd, waardoor de uitslag en de datum van audit bekend is bij de onderzoekers. Een week daarna stuurt IVA de vertegenwoordiger van die bibliotheek per mail een uitnodiging (bijlage 2) om aan het onderzoek deel te nemen. Hierin wordt het evaluatieonderzoek kort beschreven en is er een link met een inlogcode opgenomen waarmee de respondent de digitale vragenlijst direct kan openen en invullen. Op de eerste pagina van de digitale enquête staat een korte invulinstructie en een naam en telefoonnummer van de IVA-onderzoeker waarbij men met vragen terecht kan. Het ingevulde formulier wordt automatisch naar IVA verzonden en ook de mailing geschiedt vanuit IVA om de onafhankelijkheid te kunnen waarborgen. Indien er na twee weken geen respons is, wordt een herinneringsmail verstuurd (bijlage 3). Mocht er twee weken daarna nog geen reactie ontvangen zijn, dan wordt er telefonisch contact gelegd door IVA met de betrokken vertegenwoordiger van de bibliotheek. Daarbij wordt nogmaals gevraagd of de respondent de vragenlijst wil invullen. Indien de respondent aangeeft dit niet te doen, wordt gevraagd naar de belangrijkste reden van de non-respons.

12


IVAdata

4

13

Respons en algemene gegevens

4.1 Respons In de periode 2010-2013 zijn er in Nederland in totaal 156 bibliotheken die voor de certificering in aanmerking komen. Dat aantal kan worden onderverdeeld in 153 openbare bibliotheken en 3 organisaties ten behoeve van mensen met een leesbeperking. Niet alle 156 bibliotheken hebben deelgenomen aan het proces van certificering; het management van 6 bibliotheken heeft deelname geweigerd. Dit betekent dat 150 bibliotheken bezocht zijn door de auditoren en ook daadwerkelijk het certificeringstraject zijn ingegaan. Het management van de 150 bibliotheken is door de onderzoekers van IVA na afloop van het certificeringstraject per mail benaderd om deel te nemen aan de webenquête voor de evaluatie. Na twee weken zijn 59 bibliotheken (39,3 procent) benaderd met een herinneringsmail, omdat er niet gereageerd is. Twee weken daarna was het noodzakelijk om een tweede herinneringsmail te versturen naar 31 bibliotheken (20,7 procent) en tenslotte is er enkele weken later nog (verschillende malen) telefonisch contact gezocht met 23 bibliotheken (15,3 procent). Deze acties resulteren in een dataset van 146 ingevulde vragenlijsten[10] , ofwel een respons van 97,3 procent. Gemiddeld genomen is er 11 minuten besteed aan het invullen van de digitale vragenlijst. Uiteindelijk is er geen reactie ontvangen van vier respondenten. Ook de nonrespons redenen zijn telefonisch achterhaald en betreffen tijdsgebrek en (langdurige) ziekte. Deze uitzonderlijk hoge respons kan ten dele verklaard worden door de gehanteerde aanpak. Er zit namelijk een kort tijdsbestek tussen het moment van de uitslag van de certificering en het moment van het benaderen van de respondenten voor de enquête. Bovendien zijn er reminders verstuurd en is er in voorkomende gevallen ook telefonisch contact gelegd met de mensen die de vragenlijst nog niet ingevuld hadden. Maar de uiteindelijk belangrijkste reden is dat de respondenten het belang inzien van de kwaliteitscertificering voor hun bibliotheek. Dit blijkt niet alleen uit de positieve resultaten die de webenquête heeft opgeleverd, maar ook uit de redenen die werden opgegeven nadat respondenten werden benaderd via de tweede herinneringsmail en/of via het telefonisch overleg: vooral drukte (bezuinigingen en toename overleg met en samenwerking in netwerken) heeft ertoe geleid dat de vragenlijsten met enige vertraging zijn ingevuld. Een andere indicatie voor de hoge mate van betrokkenheid komt tot uiting in de circa 300 suggesties en opmerkingen die de respondenten aangeven in de 7 vragen met open antwoorden.

4.2 Algemene gegevens Het resultaat van de certificeringsaudit van de 146 bibliotheken is voor 143 “gecertificeerd” en 3 bibliotheken zijn “onder voorbehoud” gecertificeerd. Dit betekent een certificeringsgraad van 97,9 procent van de deelgenomen bibliotheken. 10

Dit aantal is hoger dan de som van de aantallen uit de drie afzonderlijke voorafgaande rapporten (respectievelijk 52, 51 en 36 respondenten in de rapportages 1, 2 en 3), omdat deel 3 geschreven is op het moment dat 7 bibliotheken zich nog in de fase van certificering en/of enquêtering bevonden.

14


De 9 onafhankelijke auditoren hebben tezamen in totaal 150 bibliotheken bezocht en 4 bibliotheken hebben niet meegedaan aan het evaluatieonderzoek. De 146 bibliotheken die wel meegedaan hebben kunnen worden onderverdeeld in 142 die door één auditor bezocht zijn en 4 bibliotheken waar de audit door twee auditoren is uitgevoerd. Dit betekent dat de 9 auditoren tezamen 150 bezoeken hebben gebracht aan 146 bibliotheken voor een audit. In tabel 4.1 is het overzicht te vinden van de aantallen audits.

Tabel 4.1 Aantal uitgevoerde audits naar auditor Auditor (nr.) Totaal aantal audits per auditor Audits, uitgevoerd door 2 auditoren Totaal aantal audits met respons

2010-2011

2012

2013

Totaal

53

51

46

150

1

0

3

4

52

51

43

146

Het aantal jaren dat de respondenten werkzaam zijn in de bibliotheek waar de audit heeft plaatsgevonden is redelijk goed gespreid over de verschillende categorieën (tabel 4.2 en figuur 4.3). Het grootste gedeelte van de respondenten (32 procent) werkt al langer dan 20 jaar in die bibliotheek, 28 procent werkt er 6 tot 10 jaar en 25 procent 1 tot 5 jaar. In de midden categorie bevindt zich 14 procent met een arbeidsverleden van 11 tot 20 jaar. Van de jongere garde qua arbeidsverleden werkt 1 procent korter dan 1 jaar in de desbetreffende bibliotheek.

Tabel 4.2 Aantal jaren dat de respondent werkzaam is in de desbetreffende bibliotheek Jaren

Aantal

Percentage

2

1%

1 tot 5 jaar

36

25%

6 tot 10 jaar

41

28%

11 tot 20 jaar

21

14%

langer dan 20 jaar

46

32%

146

100%

korter dan 1 jaar

Totaal

Figuur 4.3 Respondenten naar werkzame jaren in de bibliotheek korter dan 1 jaar; 2

langer dan 20 jaar; 46

1 tot 5 jaar; 36

6 tot 10 jaar; 41 11 tot 20 jaar; 21

IVAdata

15

Van de respondenten is 81 procent directeur van de bibliotheek (n=118) en 5 procent is medewerker kwaliteitszorg (n=7), zo blijkt uit de gegevens van tabel 4.5. De vragenlijst is ook ingevuld door 8 MT-leden met uiteenlopende managementfuncties en door 10 respondenten die geen MT-lid zijn, maar wel een managementachtergrond hebben. De hoogte van de functies is een goede indicatie van het belang dat het management hecht aan de kwaliteitscertificering voor hun bibliotheek.

Tabel 4.5 Functie van de respondent Functie

Aantal

Directeur Medewerker kwaliteitszorg MT-lid, namelijk:

Percentage

118

81%

7

5%

11

8%



Adjunct directeur

1



Beleidsmedewerker

1



Directiesecretaris

1



Hoofd algemene zaken/ financiële zaken

1



Hoofd bibliotheek

1



Manager 2

2



Manager backoffice

1



Manager Marketing & Communicatie

1



Manager Publieksdiensten

1



Teammanager Projecten

1

Anders, namelijk

10

7%



Beleidsmedewerker

2



Ex-directeur

1



Hoofd bibliotheek

2



Manager Innovatie & Ontwikkeling

1



Medewerker Algemene Zaken

1



Medewerker Management & Beleidsondersteuning

1



Projectleider Certificering

1



Staffunctionaris Planning & Control

1

Totaal

146

100%

16


IVAdata

5

17

Het auditproces

Over het auditproces zijn vijf stellingen voorgelegd aan de respondenten. Bij het beantwoorden van de vraag in welke mate men het eens is met een stelling, is een vijfpuntsschaal gebruikt. Deze loopt van 1 = helemaal oneens, 2 = oneens, 3 = niet eens en niet oneens, 4 = eens tot 5 = helemaal eens. Daarnaast is ook de mogelijkheid “weet niet/n.v.t.” opgenomen (zie de vragenlijst in bijlage 1). De respondenten blijken in zeer hoge mate tevreden te zijn over de verschillende aspecten van het auditproces, zo blijkt uit tabel 5.1 en figuur 5.2. De score wordt geopend met 4,23 en heeft betrekking op de mate waarin de respondenten goed op de hoogte gehouden zijn van de voortgang van het auditproces. Iets hoger (4,26) is de score over de mate waarin er, voorafgaande aan de audit, voldoende informatie verstrekt is door het certificeringsbureau over de verschillende onderdelen van de audit. De geschiktheid van het auditprogramma op de dag dat het bezoek plaatsvond om een duidelijk beeld van de organisatie te geven, scoort 4,31. De respondenten geven de hoogste scores aan de mate waarin de auditor en het certificeringsbureau tijdens het gehele auditproces in voldoende mate bereikbaar zijn geweest voor vragen en de mate waarin de vooraf afgesproken planning van het gehele certificeringsproces ook daadwerkelijk gehaald is. De beoordelingen zijn gemiddeld respectievelijk 4,40 en 4,41. Op de schaal van 1 tot 5 ontlopen de hoge waarderingen voor de verschillende aspecten van het auditproces elkaar nauwelijks; de scores liggen zeer dicht bijeen en variëren van 4,23 tot 4,41 met een gemiddelde van 4,32. Het gemiddelde rapportcijfer voor het auditproces bedraagt 7,65.

18


Tabel 5.1 Meningen over het auditproces Stellingen over het auditproces

Gemiddelde score(*)

Tevredenheid

U bent goed op de hoogte gehouden van de voortgang van het auditproces

4,23

85,6%

Er was voorafgaand aan de audit voldoende informatie verstrekt over de verschillende onderdelen van de audit door het certificeringsbureau

4,26

92,5%

Het auditprogramma op de dag dat het bezoek plaatsvond was geschikt om een duidelijk beeld van de organisatie te geven

4,31

91,1%

De auditor c.q. het certificeringsbureau was tijdens het gehele auditproces in voldoende mate bereikbaar voor vragen

4,40

96,5%

De vooraf afgesproken planning van het gehele certificeringsproces is ook daadwerkelijk gehaald

4,41

91,7%

Gemiddelde score op de vijf onderdelen

4,32

91,5%

Gemiddeld rapportcijfer voor het auditproces

7,65

(*) 1=helemaal mee oneens, 2=oneens, 3=niet eens en niet oneens, 4=eens, 5=helemaal mee eens, 0=weet niet/nvt

Figuur 5.2 Mening over het auditproces(*) 5,00

4,23

4,26

4,31

voortgang

informatie

programma

4,40

4,41

bereikbaarheid

planning

4,32

4,00

3,00

2,00

1,00 gemiddeld


IVAdata

19

Daarnaast kan de tevredenheid van de respondenten over de organisatie en uitvoering van het auditproces ook gemeten worden door de mate waarin men het eens en helemaal eens is met de stellingen (score 4 en 5). Zie tabel 5.1 en figuur 5.3 voor de percentages en de grafische weergave. De volgorde van de verschillende aspecten verschilt enigszins met die van de mening over het auditproces in figuur 5.2. Ook uit deze analyse blijkt dat de respondenten in zeer hoge mate tevreden zijn over de verschillende aspecten van het auditproces. Van de respondenten is 85,6 procent het (helemaal) eens met de stelling dat men goed op de hoogte is gehouden is met de voortgang van het auditproces. Met de stelling dat het auditprogramma geschikt is om een duidelijk beeld van de organisatie te geven, is 91,1 procent het (helemaal) eens. Deze mening is toegedaan door 91,7 procent over de stelling dat de vooraf afgesproken planning van het gehele certificeringsproces ook daadwerkelijk is gehaald en 92,5 procent vindt dat er voorafgaand aan de audit voldoende informatie verstrekt is over de verschillende onderdelen van de audit door het certificeringsbureau. Maar liefst 96,5 procent van de respondenten is tevreden over de bereikbaarheid van de auditor en het certificeringsbureau tijdens het auditproces. Bij vier van de vijf aspecten ligt de tevredenheid boven de 90 procent; het gemiddelde bedraagt 91,5 procent. Het enige punt van aandacht: de bibliotheek(medewerkers) goed op de hoogte houden van de voortgang van het auditproces.

Figuur 5.3 Tevredenheid over het auditproces 100,0%

96,5% 91,1%

91,7%

92,5%

programma

planning

informatie

91,5%

85,6% 80,0%

60,0%

40,0%

20,0%

0,0% voortgang

bereikbaarheid

gemiddeld

20


De rapportcijfers die de respondenten hebben gegeven voor het auditproces staan in figuur 5.4 vermeld. Het meest voorkomende cijfer is een acht en die beoordeling is 69 keer toegekend. Verder is er 45 keer een zeven, 20 keer een negen en 8 keer een zes gegeven. De vier uitersten zijn één drie, één vier, één vijf en één tien. Het gemiddelde rapportcijfer voor het auditproces bedraagt 7,65 (zie ook tabel 5.1).

Figuur 5.4 Rapportcijfers Auditproces 80 69

60

45

40

20

20 8 1

1

1

3

4

5

1

0 6

7

8

9

10

Alle respondenten zijn in de gelegenheid gesteld suggesties voor verbeteringen van het auditproces aan te dragen en in totaal is hier 53 keer gebruik van gemaakt. De opmerkingen hebben betrekking op de vooraf verstrekte informatie, de voorbereiding, de planning en de uitvoering van de audit. De vooraf verstrekte informatie. De volle breedte en diepte van de audit en het belang voor de ontwikkeling van de kwaliteitszorg voor de bibliotheekorganisatie worden aanzienlijk duidelijker, indien vooraf de achterliggende bedoeling per onderdeel wordt beschreven. Wellicht kan dit opgepakt worden in netwerkverband: alle bibliotheken komen in een bepaalde periode aan bod in een regio/provincie. Er dient ook meer informatie vanuit het bureau te komen over het proces en de procedure (de criteria over de extra onderdelen c.q. kernfuncties zijn onduidelijk) en hiervoor kan de website uitstekend gebruikt worden; die voorziet hierin nu niet voldoende. De informatie over de speerpunten en de checklists met betrekking tot de Richtlijn Drempelvrij en Cultural Governance zijn te summier. Er dient duidelijker aangeven te worden of de auditor de stukken digitaal wil hebben of op schrift en ook dient vooraf doorgeven te worden welke vestigingen worden bezocht. Het digitaal aanleveren van de stukken heeft de voorkeur. De voorbereiding van de audit. Op de website van Stichting Certificering Openbare Bibliotheken was één van de te downloaden documenten ten behoeve van de voorbereiding niet voorhanden in de lijst van benodigde documenten. Vooraf is per brief aangekondigd dat de audit één dag zou beslaan en dit is later omgezet naar twee dagen; agenda technisch is het heel erg moeilijk dit op korte termijn te realiseren. Indien een netwerk wordt geaudit dient de procedure hieromtrent van tevoren beter te worden vastgelegd. Het proces dient beter gestroomlijnd te worden

IVAdata

21

door de bibliotheekorganisaties te verplichten de basisdocumenten 6 maanden voor de auditdag aan te leveren; dan worden tijdig de voorbereidingen gestart. Er is voorafgaand aan de audit te weinig input van het certificeringsbureau geleverd aan de bibliotheek en het eerste contact in de voorbereidingsfase met de interne auditor zou eerder dienen te geschieden, waardoor de interne voorbereiding bevorderd wordt, er meer tijd is voor het afstemmen van de agenda voor de auditdag en het ook duidelijk wordt welke documenten voorafgaand aan de audit dienen te worden toegestuurd. De planning van de audit. Er is onbegrip over het feit dat er niet of slecht wordt gecommuniceerd over vertragingen (er is bijvoorbeeld niet doorgegeven dat afgesproken data zijn komen te vervallen). Er dient strakker aan de afgesproken planning te worden vastgehouden, zodat audits in tijd niet uitlopen en auditrapportages en uitslagen dienen op tijd te worden opgestuurd, zoals is afgesproken met de auditoren en het certificeringsbureau. Verder dienen er meer eigen keuzemogelijkheden te komen in de periode van de audit. De uitvoering van de audit. Afspraken dienen helder gemaakt en vastgelegd te worden; bijvoorbeeld of de audit 1 of 2 dagen in beslag neemt. Betere toegankelijkheid van de site van het certificeringsbureau; de nieuwe certificeringsnormen zijn moeilijk te vinden. Betere communicatie met betrekking tot reacties op rapportages; verstuurde open aanmerkingen via de mail naar het secretariaat zijn niet verwerkt of ontvangen. Eenduidigheid van documenten; auditor en auditee beschikken over verschillende checklijsten. Er dient meer tijd vrijgemaakt te worden voor een gesprek en ook om de verschillende vestigingen van een bibliotheek te bezoeken). Verbetering van de bereikbaarheid van het certificeringsbureau; mails kunnen sneller beantwoord worden. Helderheid over het systeem van beoordelen; vooraf dient bekend te zijn hoe de beoordeling van de verschillende onderdelen leidt tot het finale oordeel. De certificaatuitreiking kan sneller plaatsvinden na de bekendmaking van de uitslag.

22


IVAdata

6

23

De audit

Er zijn drie stellingen voorgelegd aan de respondenten over de audit en hen is gevraagd naar de mate waarmee men het eens is met de inhoud van de desbetreffende stelling. Ook hier is de vijfpuntsschaal gebruikt die loopt van 1 = helemaal oneens, 2 = oneens, 3 = niet eens en niet oneens, 4 = eens tot 5 = helemaal eens. En de toegevoegde categorie “0=weet niet/nvt”. De score op de stelling, “de normen waarop getoetst wordt dienen vaker dan één maal per vier jaar te worden geëvalueerd”, bedraagt 2,97. Gemiddeld genomen is de score neutraal in die zin dat de respondenten het er niet mee eens en niet mee oneens zijn. De stelling, “de verschillende facetten van het certificeringsproces zijn goed op elkaar afgestemd”, scoort 3,70. Dit gemiddelde ligt tussen een neutrale mening en “eens met de stelling”. De score op de stelling “de certificeringsaudit draagt bij aan het waarborgen van de kwaliteit van openbare bibliotheken”, is 3,83. Ook hier betekent dit dat gemiddeld genomen de mening van de respondent ligt tussen “neutraal” en “eens met de stelling”. In tabel 6.1 en figuur 6.2 zijn de scores te vinden.

Tabel 6.1 Meningen(*) over de audit Stelling

Totaal

Tevredenheid

De normen waarop getoetst wordt dienen vaker dan één maal per vier jaar worden geëvalueerd

2,97

36%

De verschillende facetten van het certificeringsproces zijn goed op elkaar afgestemd

3,70

72%

De certificeringsaudit draagt bij aan het waarborgen van de kwaliteit van openbare bibliotheken

3,83

77%


Figuur 6.2 Mening over de audit(*) 5,00

4,00

3,00

3,70

3,83

2,97

2,00

1,00 normen vaker evalueren

afstemming facetten proces

audit waarborgt kwaliteit OB


24


De tevredenheid van de respondenten over de audit kan ook gemeten worden door de mate waarin men het eens en helemaal eens is met de stellingen (score 4 en 5). Zie tabel 6.1 en figuur 6.3 voor de gegevens. Van de respondenten is 36 procent het (helemaal) eens met de stelling dat de normen waarop getoetst wordt vaker dan éénmaal per vier jaar geëvalueerd dienen te worden. Geconcludeerd mag worden dat de normen niet vaker dan éénmaal per vier jaar geëvalueerd dienen te worden. Een meerderheid van 72 procent van de respondenten is van mening dat de verschillende facetten van het certificeringsproces goed op elkaar afgestemd zijn. Dit betekent dat er aan de afstemming van die verschillende certificeringsonderdelen op elkaar, in de volgende certificeringsronde wat meer aandacht dient te worden geschonken. Van de ondervraagden is tenslotte 77 procent van mening dat de certificeringsaudit bijdraagt aan het waarborgen van de kwaliteit van openbare bibliotheken. Geconcludeerd kan worden dat niet iedereen er helemaal van overtuigd is dat de certificeringsaudit bijdraagt aan het waarborgen van de kwaliteit van openbare bibliotheken.

Figuur 6.3 Tevredenheid over de audit 100%

80%

72%

77%

60%

40%

36%

20%

0% normen vaker evalueren

afstemming facetten proces

audit waarborgt kwaliteit OB

Aan de respondenten is gevraagd of zij suggesties hebben voor een verbetering van de audit. In totaal hebben 59 respondenten een reactie gegeven. De opmerkingen gaan deels over de norm en verder zijn ze vooral inhoudelijk en organisatorisch van aard. De normen[11] dienen minder hard, eenvoudiger en meer flexibel te zijn en niet “nutteloos”, zoals bijvoorbeeld de norm over openingstijden (kleine vestigingen met openingstijden van minder dan 15 uur per week, worden als onvoldoende gekwalificeerd). De norm dient veel meer in te springen op lokale en regionale verschillen en creativiteit. Aspecten als werkprocessen die in de audit aan bod komen, worden niet meer als van deze tijd ervaren. De gehanteerde IMWR-cirkel (Inspireren, Mobiliseren, Waarderen en Reflecteren) wordt te vaag voor een audit gevonden en 11

De enquête voor deze evaluatie heeft zich uitgestrekt over de jaren 2010 tot begin 2014. In 2013 is er een raadpleging over de nieuwe 2014-2017 norm geweest onder de directeuren en kwaliteitsmedewerkers en in 2014 is de Zichtbare waarde 2014-2017 verschenen van de Werkgroep Herziening Norm Openbare Bibliotheken. Dit betekent dat sommige uitspraken, met name die over de norm, gedateerd en achterhaald zijn.

IVAdata

25

de focus zou minder moeten liggen op documenten. “Het lokale opdrachtgeverschap van de gemeente(n) en de kwaliteitsnorm van de branche verschillen soms enorm”, zo wordt gesteld. Het behalen van de norm is zeer belangrijk voor een bibliotheek en daarom wordt er wel alles aan gedaan om die te halen. Eenmaal per vier jaar de normen aanpassen en vervolgens een audit uitvoeren wordt in het algemeen voldoende frequent gevonden. De certificeringsaudit waarborgt weliswaar een vrij basaal kwaliteitsniveau, maar soms vraagt men zich af of de norm ook wel daadwerkelijk borgt; zelfevaluatie en zelfmanagement is een goed alternatief voor toetsingsinstrumenten. Het afvinken van de normen kan worden vervangen door (zelf)kritische gesprekken. Inhoudelijke aspecten. De audit dient veel minder intern- en procesgericht te zijn; nu is die te uitgebreid, te gedetailleerd, te bureaucratisch en te veel gericht op de bedrijfsvoering. Omdat bibliotheken in de huidige tijd vooral bezig zijn met overlevingsstrategieën en zich dienen aan te passen aan een veranderende maatschappij, kost een uitgebreide voorbereiding en uitvoering met veel notities en plannen te veel tijd; de eisen passen niet meer bij de huidige snelle veranderingen van bibliotheken. Zo is bijvoorbeeld de eis van vervanging van 10 procent van de collectie volledig achterhaald in een situatie waarbij de uitleenfunctie van bibliotheken door verdergaande digitalisering onder druk staat. De focus dient veel meer te liggen op innovatieve kracht, visie van de organisatie en samenwerkingsbereidheid binnen de branche. Er dient veel meer nadruk te worden gelegd op de kwaliteit van de dienstverlening en op het schenken van aandacht aan actuele maatschappelijk vereisten en veel minder op de bedrijfsvoering, waardoor een bibliotheek veel meer een eigen kleur en identiteit krijgt. Ook dient er te worden gewerkt aan verbetering van de rol van de vrijwilliger en aan uitbreiding van deze groep. Organisatorische aspecten. De omvang van het werk dat verzet dient te worden voor de audit is te omvangrijk, mede in relatie tot de grootte van de bibliotheek; dit gaat te veel ten koste van de reguliere werkzaamheden. Vermindering van het aantal procedures en processen is wenselijk en het aanleveren van documenten dient digitaal te geschieden en beperkt te worden tot de echt belangrijke documenten, als meerjarenbeleidsplan, collectiebeleid en jaarverslag. Een netwerk van bibliotheken dient als één geheel te worden gecertificeerd en niet iedere bibliotheek apart; daarbij kan het gezamenlijke gedeelte van de audit bestaan uit het auditen van de collectie, ICT, website en HRM-beleid en een klein gedeelte van de audit kan dan op individueel bibliotheekniveau worden uitgevoerd. Naast de stellingen en de open vraag is er ook aandacht besteed aan een aantal concrete aspecten van de audit. Per aspect is een oordeel gevraagd aan de respondent, waarbij de gehanteerde antwoordcategorieën bestaan uit een vierpuntsschaal die loopt van 1 = slecht, 2 = matig, 3 = voldoende tot 4 = goed. Bovendien is er een toegevoegde categorie “weet niet/n.v.t.”. In tabel 6.4 en figuur 6.5 staan alle gegevens vermeld en de verschillende onderdelen zijn geordend van een lage naar een hoge beoordeling. Het aspect “De communicatie vanuit het certificeringsbureau gedurende de verschillende stappen van het auditproces”, wordt beoordeeld met een gemiddelde van 3,15 ofwel met een kleine voldoende. Het verdient aanbeveling dat het certificeringsbureau hier in de toekomst actie op gaat voeren. De gemiddelde scores op de andere onderdelen liggen relatief dicht bijeen: tussen 3,40 en 3,61. Dit betekent dat de respondenten de verschillende aspecten van de audit beoordelen als ruim voldoende tot goed.

26


De communicatie vanuit het certificeringsbureau gedurende de verschillende stappen van het auditproces scoort met 3,15 het laagst. Daarna volgen respectievelijk de informatie op de website www.bibliotheekcertificaat.nl (3,40), de aanbevelingen die gedaan worden in de rapportage (3,43), de vooraf verstrekte informatie (3,46), de vormgeving van de rapportage (3,49), de lengte van de auditdag (3,55) en de inhoud van de rapportage (3,56). De hoogste scores zijn voor de opbouw van de auditdag (3,60) en het programma voor de auditdag (3,61).

Tabel 6.4 Beoordeling (*) verschillende aspecten van de audit Tot De communicatie vanuit het certificeringsbureau gedurende de verschillende stappen van het auditproces

3,15

De informatie op de website www.bibliotheekcertificaat.nl

3,40

De aanbevelingen die gedaan worden in de rapportage

3,43

De vooraf verstrekte informatie

3,46

De vormgeving van de rapportage

3,49

De lengte van de auditdag

3,55

De inhoud van de rapportage

3,56

De opbouw van de auditdag

3,60

Het programma voor de auditdag

3,61

(*) 1=slecht, 2=matig, 3=voldoende, 4=goed, 0=weet niet/nvt

Figuur 6.5 Oordeel (*) over verschillende aspecten van de de audit Communicatie certificeringsbureau

3,15

Info op www.bibliotheekcertificaat.nl

3,40

Aanbevelingen

3,43

Vooraf verstrekte informatie

3,46

Vormgeving rapportage

3,49

Lengte auditdag

3,55

Inhoud rapportage

3,56

Opbouw auditdag

3,60

Programma auditdag

3,61

1,00

1,50

2,00

(*) 1=slecht, 2=matig, 3=voldoende, 4=goed, 0=weet niet/nvt

2,50

3,00

3,50

4,00

IVAdata

27

Aan de respondenten is gevraagd of zij het eens zijn met het uiteindelijke advies dat naar aanleiding van de audit is afgegeven door het certificeringsbureau c.q. de auditor(en). In totaal is 88 procent het hiermee eens, 10 procent is het hier niet mee eens en 2 procent heeft geen mening (tabel 6.6 en figuur 6.7). Dit betekent dat 15 respondenten op een totaal van 146, het niet eens zijn met het uiteindelijke advies dat is afgegeven op basis van de beoordeling van de verschillende auditonderdelen[12] .

Tabel 6.6 Mening over het advies dat is gegeven over de certificering Auditor Totaal

Mee eens

Niet mee eens

Weet niet / n.v.t.

88%

10%

2%

Figuur 6.7 Mening over het advies van het certificeringsbureau 100%

88%

80% 60% 40% 20%

10% 2%

0% Mee eens

Niet mee eens

Weet niet / n.v.t.

De respondent is tenslotte de vraag voorgelegd of deze nog een toelichting wil geven op de antwoorden op de vragen over de audit. In totaal hebben 37 respondenten van deze gelegenheid gebruik gemaakt. Er wordt echter vaak gerefereerd aan suggesties en opmerkingen die al een keer zijn gemaakt en deze worden hier niet nog een keer herhaald. De meeste vermeldingen hebben betrekking op de rapportage en de beoordeling. Reacties op de rapportage gaan veelal over tekstuele aanpassingen die respondenten doorgeven aan de auditoren. Er dient door de auditoren duidelijk te worden aangeven waarom gevraagde suggesties niet of slechts gedeeltelijk worden doorgevoerd. Aanbevelingen in de rapportage zouden meer concreet kunnen worden geformuleerd. Ook dient er niet te wanhopig gezocht te worden naar aanbevelingen omdat een audit zonder aanbevelingen niet zou kunnen bestaan. De vraag is gesteld of verbeterpunten die niet realiseerbaar zijn (te duur, te weinig accent voor front-office en klant) vermeld dienen te worden. Auditees geven positieve reacties over de wijze waarop de auditor de audit heeft uitgevoerd, met name over de kwaliteit van de rapportage. De beoordeling van de audit dient meer consequent te geschieden in de zin van een vergelijking met de vorige audit en in de zin van een vergelijking met een audit in een andere bibliotheek binnen dezelfde netwerkorganisatie. Ook dient er door de auditor consequenter te worden omgegaan met de uitspraken tijdens de audit en de beoordeling achteraf.

12

Zoals in paragraaf 4.2 is vermeld, zijn 143 bibliotheken gecertificeerd en 3 bibliotheken zijn onder voorbehoud gecertificeerd.

28


IVAdata

7

29

Eigenschappen van de auditor

Er zijn acht stellingen voorgelegd over de beoordeling van het gedrag en de houding van de auditor. Hiervoor is een vijfpuntsschaal gebruikt, lopend van 1 tot 5 (1=helemaal mee oneens, 2=oneens, 3=niet eens en niet oneens, 4=eens, 5=helemaal mee eens, 0=weet niet/nvt). De gemiddelde scores zijn hoog tot zeer hoog en lopen van 4,17 tot 4,57; de respondenten waarderen in hoge mate het gedrag en de houding van de auditoren. De reeks wordt geopend met de stelling dat de auditor voldoende ruimte geeft aan de auditees c.q. de bibliotheek voor interpretatie van de certificeringsnormen. De respondenten geven hiervoor een gemiddelde van 4,17 en dat betekent dat ze het hiermee in ruime mate eens zijn. Daarna volgt de stelling dat de auditor de toetsing aan de certificeringsnormen stringent uitvoert. De waardering hiervoor is 4,23 en iets hoger dan die over de vorige stelling. De respondenten hebben de allerhoogste waarderingen voor het nakomen van afspraken en de zelfverzekerdheid, de representativiteit en de vriendelijkheid van de auditor. In tabel 7.1 de beoordelingen en figuur 7.2 geeft een grafische weergave. Alle scores op een rij: de auditor geeft voldoende ruimte voor interpretatie van de normen (4,17), de auditor voert de toetsing aan de normen van de audit stringent uit (4,23), de auditor is duidelijk (4,36), de auditor staat open voor vragen en suggesties vanuit de bibliotheek (4,39), de auditor houdt zich aan de gemaakte afspraken (4,45), de auditor is zelfverzekerd (4,47), de auditor is representatief (4,48) en de auditor is vriendelijk (4,57).

Tabel 7.1 Beoordeling (*) van gedrag en houding van de auditoren Totaal

Tevredenheid

De auditor geeft voldoende ruimte voor interpretatie van de normen

4,17

83,8%

De auditor voert de toetsing aan de normen van de audit stringent uit

4,23

86,9%

De auditor is duidelijk

4,36

91,8%

De auditor staat open voor vragen/suggesties vanuit de bibliotheek

4,39

91,7%

De auditor houdt zich aan gemaakte afspraken

4,45

91,8%

De auditor is zelfverzekerd

4,47

94,5%

De auditor is representatief

4,48

93,8%

De auditor is vriendelijk

4,57

97,9%


30


Figuur 7.2 Mening over de auditor(*) interpretatie normen

4,17

stringente toetsing

4,23

duidelijk

4,36

open

4,39

houden aan afspraken

4,45

zelfverzekerd

4,47

representatief

4,48

vriendelijk 1,00

4,57 2,00

3,00

4,00

5,00


De tevredenheid van de respondenten over het gedrag en de houding van de auditoren is ook berekend aan de hand van de mate waarin men het eens en helemaal eens is met de verschillende stellingen (score 4 en 5). De tevredenheid van de respondenten over de auditor is hoog tot zeer hoog. Deze loopt van 83,8 procent tot 97,9 procent en bedraagt gemiddeld 91,5 procent. In tabel 7.1 zijn de tevredenheidspercentages te vinden en figuur 7.3 geeft deze grafisch weer. De volgorde van de verschillende kenmerken wijkt enigszins af van die bij de mening over de eigenschappen van de respondenten in figuur 7.2. Van de respondenten is 84 procent (zeer) tevreden over de ruimte die de auditor geeft voor interpretatie van de normen en 87 procent over de mate waarin de auditor stringent toetst aan de certificeringsnormen. Een tevredenheid van 92 procent is gemeten bij de mate waarin de auditor open staat voor vragen en suggesties vanuit de bibliotheek, de duidelijkheid van de auditor en de mate waarin deze zich houdt aan gemaakte afspraken. De hoogste scores hebben betrekking op de representativiteit (94 procent), de zelfverzekerdheid (94,5 procent) en vriendelijkheid (98 procent) van de auditor. Geconcludeerd kan worden dat mogelijke verbeteringen van gedrag- en houdingsaspecten van de auditoren gevonden kunnen worden bij het geven van voldoende ruimte voor interpretatie van de normen en bij het uitvoeren van stringente toetsing aan de certificeringsnormen.

IVAdata

31

Figuur 7.3 Tevredenheid over de auditor interpretatie normen

stringente toetsing

83,8%

86,9%

open

91,7%

duidelijk

91,8%

houden aan afspraken

91,8%

representatief

93,8%

zelfverzekerd

94,5%

vriendelijk

gemiddeld 0,0%

97,9%

91,5% 10,0% 20,0% 30,0% 40,0% 50,0% 60,0% 70,0% 80,0% 90,0% 100,0%

Aan alle respondenten is ook gevraagd of zij nog een verdere toelichting wensen te geven op de antwoorden over de eigenschappen van de auditor. Er zijn in totaal 46 reacties opgetekend, waarvan er een 10-tal over de organisatie van de audit en de beoordeling gaan. Omdat deze al aan de orde zijn geweest, worden ze hier niet herhaald. Van de resterende reacties is iets minder dan de helft kritisch van aard. De volgende “losse” opmerkingen zijn vermeld: de auditor houdt de bibliotheek te stringent aan de regels, heeft te weinig tijd voor het interpreteren van de normen en ook voor de terugkoppeling naar het MT, is te langdradig, is niet helder in diens bedoelingen, heeft een wat misleidende communicatie gehad, is te veel zelf aan het woord geweest en is niet zo erg vaardig in het sociale contact. Er is ook opgemerkt dat verschillende respondenten eenzelfde auditonderdeel verschillend interpreteren (een auditor is streng en de ander soepel) en dat het een auditor veel moeite kost om zich in te leven in een bibliotheek waar zwaar wordt bezuinigd en wat gevolgen daarvan zijn. De meeste opmerkingen zijn positief tot zeer positief van aard. Een wat uitgebreide bloemlezing: een prima auditor: to the point en duidelijk; de auditor is zeer deskundig, heeft een goede inzet en geeft goede adviezen; er is goed en open overleg geweest met een duidelijke toelichting op het proces; de auditor heeft "breder" gekeken dan alleen naar de documenten; het is prettig werken met de auditor; de medewerkers zijn in de gesprekken goed op hun gemak gesteld en de gesprekken hebben daardoor in een open sfeer plaats kunnen vinden; de ervaring is positief en leerzaam; de auditor lichtte de normen steeds goed toe en is stringent in het toepassen van de normen; de auditee heeft de auditdag als een zeer plezierige en goede dag voor de organisatie ervaren; de auditor weet alle betrokken medewerkers aan te spreken, is erg geïnte-

32


resseerd en geeft ook direct een aantal indrukken terug aan alle auditees; het optreden van de auditor en de wijze van gespreksvoering heeft de audit tot een 'belevenis gemaakt; de auditor is formeel, maar aardig en weet op een slimme manier vragen te stellen, waardoor iedereen het gevoel heeft dat er een goede toetsing heeft plaatsgevonden; de auditor geeft een evenwichtige balans was tussen het naleven van de normen én het kunnen interpreteren daarvan.

IVAdata

8

33

Deskundigheid van de auditor

Het laatste onderdeel van de evaluatie van de certificering gaat over de deskundigheid van de auditor. Aan de respondenten zijn acht stellingen voorgelegd, waarbij ook hier een vijfpuntsschaal is gehanteerd (1=helemaal mee oneens, 2=oneens, 3=niet eens en niet oneens, 4=eens, 5=helemaal mee eens, 0=weet niet/nvt). De scores van de respondenten voor de deskundigheid van de auditoren zijn zeer hoog; de gemiddelde score per deskundigheidseigenschap loopt uiteen van 4,30 tot 4,58 op een schaal van 1 tot 5. De score wordt geopend met 4,30 en die heeft betrekking op de mate waarin de auditor zich vooraf goed geïnformeerd heeft over relevante aspecten van de bibliotheek van de respondent. Kennis over de certificeringsnorm scoort 4,55 en de prettige sfeer waarin de auditgesprekken zijn verlopen kent een score van 4,58. In tabel 8.1 en figuur 8.2 staan alle gegevens vermeld. Als we alle scores op een rij zetten, komen we tot het volgende overzicht: vooraf goed geïnformeerd over de relevante aspecten van uw bibliotheek (4,30), de deskundigheid over de vooraf toegestuurde beleidsdocumenten (4,33), de deskundigheid over het omzetten van bevindingen in een auditrapportage (4,36), een goede voorbereiding op de audit (4,41), de deskundigheid met betrekking tot het auditprogramma (4,47), de deskundigheid over de certificeringsnorm (4,55), de terugkoppeling en de uitleg over het verdere verloop van het auditproces (4,56) en het hoogste scoort het verloop van de auditgesprekken in een prettige sfeer (4,58).

34


Tabel 8.1 Oordeel(*) over de deskundigheid van de auditoren Totaal

Tevredenheid

De auditor heeft zich vooraf goed geïnformeerd over relevante aspecten van uw bibliotheek

4,30

91,8%

De auditor is deskundig mbt tot de vooraf door u toe gestuurde beleidsdocumenten

4,33

92,5%

De auditor is deskundig mbt het omzetten van de bevindingen in de auditrapportage

4,36

93,1%

De auditor is goed voorbereid op de audit als zodanig

4,41

92,5%

De auditor is deskundig mbt het auditprogramma

4,47

97,3%

De auditor is deskundig mbt de certificeringsnorm

4,55

97,9%

De auditor heeft de audit dag afgesloten met een terugkoppeling en uitleg over het verdere verloop van het proces

4,56

97,3%

De auditgesprekken zijn in een prettige sfeer verlopen

4,58

96,6%


Figuur 8.2 Beoordeling(*) deskundigheid van de auditor aspecten bibliotheek

4,30

beleidsdocumenten

4,33

auditrapportage

4,36

voorbereid op audit

4,41

auditprogramma

4,47

certificeringsnorm

4,55

terugkoppeling

4,56

prettige sfeer

4,58

1,00

2,00

3,00

4,00

5,00


De tevredenheid van de respondenten over de deskundigheid van de auditoren is ook berekend aan de hand van de mate waarin de respondenten het eens en helemaal eens zijn met de verschillende stellingen (score 4 en 5). De tevredenheid over de auditor is zeer hoog: all-over boven 90 procent met een gemiddelde tevredenheid per onderdeel van 95 procent. Tabel 8.1 bevat de tevredenheidspercentages over de deskundigheid en in figuur 8.3 is de grafische weergave te vinden. De volgorde wijkt enigszins af van die bij de mening over de eigenschappen van de respondenten in figuur 8.2, vanwege de andere wijze van meten.

IVAdata

35

Van de respondenten is 92 procent (zeer) tevreden over de mate waarin de auditor vooraf goed geïnformeerd is over de relevante aspecten van de bibliotheek. Een tevredenheid van 93 procent is gemeten bij de mate waarin de auditor zich goed heeft voorbereid op de audit, de opgedane kennis uit de vooraf toegestuurde beleidsdocumenten en het omzetten van de bevindingen in de auditrapportage. Een score van 97 procent tevredenheid is er onder de respondenten over het verloop van de auditgesprekken in een prettige sfeer, de terugkoppeling en de uitleg over het verdere verloop van het auditproces en de deskundigheid met betrekking tot het auditprogramma. De hoogste score bedraagt 98 procent en die is voor de deskundigheid van de auditoren over de certificeringsnorm. Deze uitkomsten geven geen aanleiding tot specifieke aandachtspunten voor deskundigheidseigenschappen van de auditoren. In het algemeen kan worden gesteld dat het goed is dat dit hoge niveau wordt vastgehouden door de auditoren in de volgende certificeringsronde. Echter het gaat om gemiddelden en de individuele uitkomsten per auditor kunnen natuurlijk wel aanleiding zijn tot extra inspanningen op het gebied van de deskundigheid.

Figuur 8.3 Tevredenheid over de deskundigheid van de auditor aspecten bibliotheek

91,8%

voorbereid op audit

92,5%

beleidsdocumenten

92,5%

auditrapportage

93,1%

prettige sfeer

96,6%

terugkoppeling

97,3%

auditprogramma

97,3%

certificeringsnorm

97,9%

gemiddeld 0,0%

94,9% 20,0%

40,0%

60,0%

80,0%

100,0%

In de webenquête is de respondenten drie keer gevraagd om een rapportcijfers aan de auditor te geven. Een keer gaat het over de algemene eigenschappen van de auditor, zoals gedrag en houding (in hoofdstuk 7 worden deze eigenschappen behandeld), een keer over de deskundigheid van de auditor en tenslotte een samenvattend oordeel over de auditor met betrekking tot de algemene indruk en het functioneren in het gehele proces. In tabel 8.4 en figuur 8.5 zijn de gemiddelde rapportcijfers weergegeven. Alle beoordelingen zijn erg hoog: de gemiddelde (totale) rapportcijfers komen voor elk onderdeel min of meer uit op een 8. De beoordeling van het gedrag en de houding van de auditoren bedraagt 7,93, van de deskundigheid 8,01 en van het samenvattende oordeel over de auditor 7,94.

36


De rapportcijfers geven geen aanleiding tot specifieke aandachtspunten. De gemiddelde cijfers zijn erg hoog en op auditorenniveau is het goed dit hoge niveau vast te houden in de volgende certificeringsronde.

Tabel 8.4 Beoordeling eigenschappen van de auditor in gemiddelde rapportcijfers Auditor

Algemeen (gedrag en houding)

Deskundigheid

Samenvattend oordeel

7,93

8,01

7,94

Totaal

Figuur 8.5 Beoordeling eigenschappen van de auditoren (rapportcijfers) 10,00 7,93

8,01

7,94

algemeen

deskundigheid

samenvattend oordeel

8,00 6,00 4,00 2,00 0,00

In figuur 8.6 staan de rapportcijfers expliciet weergegeven in absolute aantallen voor de algemene eigenschappen van de auditor (gedrag en houding), deskundigheid en samenvattend oordeel met betrekking tot functioneren in het gehele proces. Het meest voorkomende cijfer voor elk onderdeel is een acht (47 procent), gevolgd door een negen (27 procent), daarna een zeven (17 procent) en een zes (4 procent). Er zijn 12 onvoldoendes gegeven: 2 keer een drie, 3 keer een vier en 7 keer een vijf. Dit betekent dat 3 procent van de cijfers een onvoldoende is. Aan de bovenkant zien we 7 keer (2 procent) het cijfer tien, ofwel de beoordeling “uitstekend”.

Figuur 8.6 Rapportcijfers eigenschappen auditor 80

69 71 68

60 39 41 39

40 27

22

27

20 1

1

0 3

0

1

1 4

1

3

1 5

algemeen

3

4

6

6

6 deskundigheid

2 7

8

samenvattend oordeel

9

3 10

2

IVAdata

37

In een open vraag is aan de respondenten gevraagd om een nadere toelichting over de deskundigheid van de auditor. Er zijn in totaal 22 reacties gegeven. Iets meer dan de helft van de opmerkingen is kritisch van aard. De volgende “losse” opmerkingen zijn doorgegeven: de auditor heeft wel deskundigheid, maar die is vooral aanwezig op hoofdlijnen en niet gerelateerd aan de lokale situatie, heeft ongevraagd een “rollenspel” uitgevoerd, is te stringent, geeft het gevoel dat sommige auditees overbodig zijn omdat ze niet zijn gehoord, heeft geen oog voor de praktijk, heeft zich onvoldoende voorbereid op de audit, heeft te weinig ruimte voor reflectie, heeft te weinig aandacht besteed aan de vooraf toegestuurde documenten en rapporteert te veel uit de documenten van de bibliotheek zodat het lijkt op (willekeurig) plak- en knipwerk. Veel opmerkingen zijn positief tot zeer positief van aard: de auditor is betrokken, belangstellend en deskundig, is erg oplossingsgericht bezig, heeft zich goed voorbereid, toont begrip voor de moeilijke situatie waarin de bibliotheekwereld zich bevindt, is deskundig op het gebied van de gevraagde normen, heeft een kwalitatief goed rapport vervaardigd, is geïnteresseerd in de visie van de bibliotheek en de manier waarop deze wordt uitgewerkt, toont grote betrokkenheid bij de beleidsontwikkelingen van de bibliotheek, is goed op de hoogte van de principes van kwaliteitszorg en de “auditor is uitstekend!”.

38


IVAdata

9

39

Suggesties en opmerkingen van de respondenten

Aan de respondenten is gevraagd wat zij zouden veranderen aan de audit, indien zij daartoe in staat zouden worden gesteld. Deze open vraag heeft geleid tot een grote diversiteit aan suggesties, maar liefst 68 in totaal[13] .Een groot aantal is echter al een of meerdere keren genoemd en die worden hier niet nogmaals vermeld. De uitvoering van de audit zou niet op één maar op twee dagen dienen te geschieden, omdat het nu te veel druk op die ene dag legt, zowel voor de auditees als de auditor en de audit zou standaard door twee auditoren uitgevoerd dienen te worden, zodat er niet te veel getoetst wordt vanuit de eigen expertise en deskundigheid van die ene auditor. Het verzamelen van informatie vooraf kan beter geschieden op basis van een te ontwikkelen digitaal format waar de documenten kunnen worden ingevoerd. De lijst waarin is vermeld welke documenten moeten worden verzamelen is niet heel duidelijk; de omschrijvingen kunnen wat meer in Jip en Janneke taal. Het verzamelen van informatie tijdens de audit kan beter op basis van een gestandaardiseerde checklist geschieden, zodat de auditoren hetzelfde oordeel hebben en die lijst ondersteunt de bibliotheek om het intern zelf goed op orde te hebben en te houden. Een andere suggestie is om een lijstje te maken met voorbeelden van benodigde informatie c.q. documenten die als "bewijs" (aantoonbaar gemaakt met: ...) kunnen dienen. Ook is aangegeven dat de benodigde informatie op een andere wijze verzameld kan worden, zoals visitatie in combinatie met het tonen van een beperkt aantal actuele basisdocumenten, informatie verzamelen op basis van gesprekken en zelfevaluatie, gebruik maken van peergroepen van collega-directeuren of het inzetten van mystery guests voor een praktijkproef. Auditoren zouden meer aandacht dienen te schenken aan het proces van terugkoppeling en commentaar leveren en aan het onderling afstemmen van criteria en de interpretatie hiervan. Als voorbeeld wordt gegeven dat de collectie van de bibliotheek afgestemd dient te worden op/met de lokale samenwerkingspartners. Er dient meer maatwerk te komen met betrekking tot de grootte van de organisatie: een lightversie voor kleine organisaties. Enerzijds is de tijdsinvestering voor kleine organisaties buiten proportie en anderzijds zijn er nogal wat vragen en eisen die voor een kleine organisatie minder relevant zijn en dus tot een “niet conform de norm” leiden. Sommige "ijzeren" normen vervangen door een waardering op basis van inhoud en resultaat. Voorbeeld: 5% budget voor innovatie is minder van belang dan de vraag of een bibliotheek de meest recente ontwikkelingen in het beleid heeft verankerd. In de systematiek van de beoordeling dient NCV (Niet Conform de norm, wel Voldoende) heringevoerd te worden. De afronding van de audit dient te geschieden door een gesprek met het management na afloop. Ook is verzocht om het jaartal te vermelden op het certificeringsbord. 13

De meeste suggesties hebben inmiddels een aanwijsbare plek kregen in de nieuwe certificeringsronde.

40


De respondenten zijn tenslotte ook nog in de gelegenheid gesteld een laatste opmerkingen te geven over de vragenlijst en/of over de audit. Hiervan hebben 8 respondenten gebruik gemaakt. Een respondent geeft aan twijfels te hebben over de anonimiteit[14] van deze enquête. Een ander stelt dat er soms te veel waarde wordt gehecht aan dingen die er eigenlijk niet zo toe doen, zoals bijvoorbeeld het internationaal toegangscertificaat[15]. De betreffende bibliotheek is gevestigd in een nieuw gebouw waarin ook verschillende zorgvoorzieningen zijn ondergebracht en ook zonder certificaat “kan ervan uitgegaan worden dat het gebouw aan de normen voldoet. Verder zijn er complimenten uitgedeeld: de gehele audit bestaat uit een goed georganiseerd proces, de vraagstelling is heldere en de vragenlijst heeft een duidelijke vormgeving, met name de aanbevelingen zijn zeer bruikbaar. Een andere respondent stelt dat de bibliotheek als regiocultuurcentrum een dubbele audit heeft gehad en dat dit heeft geresulteerd in “een goede samenhang, beïnvloeding en leerproces”. Tot slot een hartenkreet van een respondent: “meer naar buiten kijken en van anderen leren”.

14

15

De onderzoekers hebben hierop uitgebreid gereageerd met een overzicht van de voorschriften en codes waaraan voldaan wordt en die de anonimiteit garanderen. De respondent heeft hierop positief gereageerd. De openbare bibliotheken behoeven het internationaal toegangscertificaat niet te behalen: ze dienen aannemelijk te maken dat ze op belangrijke terreinen overeenkomstig die norm handelen. Daarvoor was een notitie vervaardigd met een aantal kernpunten en daarvan dienden de bibliotheken 75 procent te halen. In de nieuwe certificeringsronde is die notitie overigens herzien.

IVAdata

41

Bijlage 1: Vragenlijst webenquête

Vragenlijst Evaluatie Certificering Openbaren bibliotheken Welkom op de webenquête over de evaluatie van de certificering openbare bibliotheken. De enquête kost u circa 15 minuten tijd om in te vullen. U kunt het invullen van de vragenlijst afbreken en op een later tijdstip hervatten met behoud van gegevens. Op het balkje rechtsboven in de vragenlijst kunt u telkens zien hoe ver u bent gevorderd in de vragenlijst. U kunt steeds 1 antwoord aanklikken, tenzij anders vermeld. Uw gegevens worden anoniem verwerkt. De totale enquête is opgebouwd uit de volgende onderdelen: A. B. C. D. E.

Enkele algemene gegevens Het proces rondom de audit Algemene vragen over de auditor De deskundigheid van de auditor De audit

42


A. Algemene gegevens

1.

2.

Wat is uw functie? 

Directeur



Medewerker kwaliteitszorg



MT-lid, namelijk…



Anders, namelijk……

Hoeveel jaar bent u werkzaam bij deze openbare bibliotheek? 

korter dan 1 jaar



1 - 5 jaar



6 – 10 jaar



11 – 20 jaar



langer dan 20 jaar

B. Het proces rondom de audit 3. In welke mate bent u het eens met de volgende stellingen over de audit (het gehele proces van informatie vooraf, beleidsdocumenten, bezoek, auditor, rapportage met bevindingen)?

a

b

c

d

e

Oneens

Niet eens, niet oneens





de auditor c.q. het certificeringsbureau was tijdens het gehele auditproces in voldoende mate bereikbaar voor vragen



de vooraf afgesproken planning van het gehele certificeringsproces is ook daadwerkelijk gehaald

Helemaal oneens

Eens

Helemaal eens

Weet niet / n.v.t.

er was voorafgaand aan de audit voldoende informatie verstrekt over de verschillende onderdelen van de audit door het certificeringsbureau































Het auditprogramma op de dag dat het bezoek plaatsvond was geschikt om een duidelijk beeld van de organisatie te geven













U bent goed op de hoogte gehouden van de voortgang van het audit-proces













4. Indien u suggesties voor verbetering van het proces rondom de audit heeft, kunt u dat hier aangeven?

5. Als u alles bij elkaar genomen het proces rondom de audit met een cijfer zou waarderen, welk cijfer zou u dan geven? cijfer ............. (1 t/m 10)

IVAdata

43

De volgende blokken gaan over ‘de auditor’. Het kan echter zijn dat uw audit is uitgevoerd door 2 personen. We willen u dan vragen om deze 2 auditoren als 1 team te beoordelen. In het vervolg van de vragenlijst zal steeds gesproken worden over ‘de auditor’.

C. Algemene vragen over de auditor 6. In welke mate bent u het eens met de volgende stellingen over de auditor? Helemaal oneens

Oneens






Eens

Helemaal eens

Weet niet / n.v.t.







a

de auditor was vriendelijk



b

de auditor was zelfverzekerd













c

de auditor stond open voor vragen/suggesties vanuit de bibliotheek













d

de auditor was duidelijk













e

de auditor hield zich aan gemaakte afspraken













f

de auditor was representatief













g

de auditor voert de toetsing aan de normen van de audit stringent uit













h

de auditor geeft voldoende ruimte voor interpretatie van de normen













7. Indien u nog een toelichting wilt geven op uw antwoorden op de vragen over de auditor, kunt u dat hier doen. ............................................................................. ............................................................................. .............................................................................

8. Als u, deze punten bij elkaar genomen, de auditor met een cijfer zou waarderen, welk cijfer zou u dan geven? cijfer ............. (1 t/m 10)

D. De deskundigheid van de auditor 9. In welke mate bent u het eens met de volgende stellingen over de auditor?

a

b

Oneens










Helemaal oneens De auditor had zich vooraf goed geïnformeerd over relevante aspecten van uw bibliotheek De auditor was goed voorbereid op de audit als zodanig

Eens

Helemaal eens

Weet niet / n.v.t.

















44


De auditor was deskundig op het gebied van:

Helemaal oneens

Oneens


Eens

Helemaal eens

Weet niet / n.v.t.

c1

De certificeringsnorm













c2

de vooraf door u toegestuurde beleidsdocumenten













c3

het auditprogramma













c4

het omzetten van zijn bevindingen in een auditrapportage













d

De auditgesprekken verliepen in een prettige sfeer













e

De auditor sloot de auditdag af met een terugkoppeling en uitleg over het verdere verloop van het proces













10. Indien u nog een toelichting wilt geven op uw antwoorden op de vragen over de deskundigheid van de auditor, kunt u dat hier doen: .............................................................................. 11. Als u alles bij elkaar genomen de deskundigheid van de auditor met een cijfer zou waarderen, welk cijfer zou u dan geven? cijfer ............. (1 t/m 10) 12. Als u een samenvattend oordeel zou geven over de auditor, dus zowel de algemene indruk, als het functioneren rondom het proces, als ook de inhoudelijke deskundigheid, welk cijfer zou u dan geven? cijfer ............. (1 t/m 10)

E. De audit 13. In welke mate bent u het eens met de volgende stellingen over de audit?

a

b

c

Oneens






De verschillende facetten van het certificeringsproces zijn goed op elkaar afgestemd



De normen waarop getoetst wordt dienen vaker dan één maal per vier jaar worden geëvalueerd.



Helemaal oneens De certificeringsaudit draagt bij aan het waarborgen van de kwaliteit van openbare bibliotheken

Eens

Helemaal eens

Weet niet / n.v.t.





























14. Indien u suggesties voor verbetering van de audit heeft, kunt u dat hier aangeven: .............................................................................. .............................................................................. ..............................................................................

IVAdata

45

15. Wat is uw oordeel over de verschillende onderdelen van het certificeringsproces?

a

De vooraf verstrekte informatie

b

De informatie op de website www.bibliotheekcertificaat.nl

Goed

Voldoende

Matig

Slecht

Weet niet / n.v.t.





















c

Het programma voor de auditdag











d

De lengte van de auditdag











e

De opbouw van de auditdag











f

De inhoud van de rapportage











g

De vormgeving van de rapportage











h

De aanbevelingen die gedaan worden in de 



















rapportage i

De communicatie vanuit het certificeringsbureau gedurende de verschillende stappen van het auditproces

16. Was u het eens met het uiteindelijk advies dat n.a.v. de audit is gegeven?  Ja  Nee  Weet niet / n.v.t.

17. Indien u nog een toelichting wilt geven op uw antwoorden op de vragen over de audit, kunt u dat hier doen? .............................................................................. .............................................................................. 18. Als u iets aan de audit zou kunnen veranderen, wat zou dat dan zijn? .............................................................................. .............................................................................. .............................................................................. .............................................................................. 19. Als u nog opmerkingen heeft over deze vragenlijst of over de audit, dan kunt u die hieronder weergeven. .............................................................................. .............................................................................. .............................................................................. .............................................................................. U bent aan het einde gekomen van de vragenlijst, hartelijk dank voor uw medewerking!

46


IVAdata

47

Bijlage 2: Uitnodigingsmail

Evaluatie certificering openbare bibliotheken 2010-2013

Geachte Mw./Hr.... Onlangs hebt u per post een bericht ontvangen van de Stichting Certificering Openbare bibliotheken, naar aanleiding van de certificeringsaudit, die is uitgevoerd in uw bibliotheek. Daarin is u verzocht deel te nemen aan een webenquête over de evaluatie van het certificeringsproces. Het gaat daarbij om inzicht in uw ervaringen over het proces rondom de audit, over de auditor en over de audit zelf, met als doelstelling het proces van certificering aan te scherpen en te innoveren. U wordt uitgenodigd de vragenlijst in te vullen door het aanklikken van de volgende link http://www.vragenlijstonderzoek.nl/webuvt133 Vervolgens wordt er gevraagd naar een code. Uw code is: XXXX Voor het beantwoorden van de vragen wordt ongeveer een kwartier van uw tijd gevraagd. Uw gegevens worden vertrouwelijk en anoniem behandeld en verwerkt. Namens de directie van de Stichting Certificering Openbare bibliotheken, dank ik u hartelijk voor uw deelname. Mocht u vragen hebben over de webenquête, neem dan contact op met mij. Hartelijke groeten, Martien van Tits

48


IVAdata

49

Bijlage 3: Herinneringsmail

Herinnering webenquête certificering openbare bibliotheken 2010-2013

Geachte Mw./Hr.... Onlangs hebben wij u de onderstaande mail gestuurd met het verzoek deel te nemen aan de webenquête over de evaluatie van de certificering van de openbare bibliotheken. Helaas hebben wij van u nog geen ingevulde vragenlijst mogen ontvangen via onze link naar het internet. U wordt nogmaals uitgenodigd de vragenlijst in te vullen door het aanklikken van de link en het invullen van de code, zoals vermeld in onderstaande mail. Voor het beantwoorden van de vragen wordt ongeveer een kwartier van uw tijd gevraagd. Uw gegevens worden vertrouwelijk en anoniem behandeld en verwerkt. Namens de directie van de Stichting Certificering Openbare bibliotheken, dank ik u hartelijk voor uw deelname. Mocht u vragen hebben over de webenquête, neem dan contact op met mij. Hartelijke groeten, Martien van Tits

Evaluatie tweede certificeringsronde openbare bibliotheken

Recommend Documents