Meten is weten? Reflectie over de mogelijkheden en valkuilen van kwantitatief beleidsondersteunend onderzoek.
Dries Berings
HUB RESEARCH PAPER 2008/36. SEPTEMBER 2008
Associatie K.U.Leuven Professionalisering, Benchmarking en Kwaliteitszorg WORKSHOP – Statistieken, 16 mei 2008
Meten is weten? Reflectie over de mogelijkheden en valkuilen van kwantitatief beleidsondersteunend onderzoek. Dries Berings Hogeschool-Universiteit Brussel (HUB) Centrum voor Duurzaam Ondernemen (CEDON)
Vrijdag 16 mei 2008, 13u30 tot 16u30 Leuven - Campusbibliotheek Arenberg, De le Ville-zaal
1
Dries Berings is hoofddocent aan de HUB waar hij onder andere Mens en organisatie doceert. Hij is daarnaast onderzoeker aan het Centrum voor Duurzaam Ondernemen (CEDON) en geaffilieerd onderzoeker aan de K.U.Leuven (Onderzoeksgroep Arbeids-, Organisatie- en Personeelspsychologie). Hij is ook nauw betrokken bij de Integrale Kwaliteitszorg aan de HUB. ‘Meten om te weten’ is sinds 1991 een centraal gegeven in zijn onderzoek en beleidsondersteunend werk.1In zijn wetenschappelijk werk staat kwaliteitszorg eveneens op de voorgrond waarbij inspiratie wordt gezocht in het idee van de ‘concurrerende waarden’2.
Inleiding
Het concept ‘meten om te weten’ is ook vandaag aan de orde, zij het dan in een specifieke context, namelijk de universiteits- en hogeschoolbibliotheken. In de titel van mijn bijdrage staat echter “meten IS weten”, een motto dat in de jaren negentig populair werd samen met het managementconcept Integrale Kwaliteitszorg (IKZ). Vandaag is de zoekterm “meten is weten” goed voor 91400 hits in Google. Tegenover de populariteit van dit motto staat terecht enig scepticisme. Klopt dit wel? Is meten per definitie weten? Allicht niet. Vandaar het vraagteken in de titel: Meten is weten? Je kan immers heel veel meten en niets weten. Bijvoorbeeld omdat je de verkeerde dingen meet. Of omdat je ze op de verkeerde manier meet. Of nog erger, omdat je de verkeerde dingen verkeerd meet. Het alternatief ‘meten om te weten’ past ons inziens beter bij wat we beogen. Het houdt ook het besef in dat meten niet automatisch leidt tot weten, laat staan tot een beter beleid. Stilstaan bij enkele simpele maar tegelijk fundamentele vragen kan ons aan het denken zetten. Het kan helpen om verder op de dag uit te zoeken hoe we ‘meten om te weten’ kunnen invullen in onze universiteits- en 1
Berings, D., et al. (1994-). Meten om te weten. Kwantitatieve gegevens ter ondersteuning van de Integrale Kwaliteitszorg (Interne Periodiek). Brussel: EHSAL. 2 Berings, D. (2001). Omgaan met concurrerende waarden als voorwaarde tot de ontwikkeling van Integrale Kwaliteitszorg in het Hogescholenonderwijs in Vlaanderen. Doctoraal proefschrift K.U.Leuven. Brussel: EHSAL.
2
hogeschoolbibliotheken. Wat is meten? Waarom meten we? Is becijferen de enige vorm van rationaliteit? Komt weten niet vóór het meten? Wat en waartoe meten we? Wat is meten?
Wat staat er in Van Dale? Meten is bepalen hoeveel malen een zekere grootheid in iets begrepen is. Abstract op het eerste gezicht, maar met een voorbeeld wordt het snel duidelijk. Hoeveel boeken hebben we in onze bibliotheek? Hoeveel gebruikers komen er gemiddeld per dag? Hoeveel boeken gaan er per jaar verloren? Hoeveel uren per jaar is de bibliotheek open? Juist, maar meten is natuurlijk veel meer dan tellen. We becijferen ook verschillen. We gaan bijvoorbeeld na of vrouwen meer lezen dan mannen. We becijferen trends: neemt het aantal digitale bibliotheekbezoekers jaar na jaar toe? We becijferen verbanden: maken studenten uit opleidingen waar meer springuren bestaan, meer gebruik van de bibliotheek? Kortom door een en ander te becijferen willen we een beter beeld krijgen van de werkelijkheid. Meten is aan elementen uit de werkelijkheid cijfers toekennen. Meten is dus door middel van cijfers de werkelijkheid afbeelden. Zo willen we de werkelijkheid scherper en objectiever zien. In zekere zin is dat wel raar. We geloven dat cijfers een vollediger en accurater beeld geven van de werkelijkheid zelf. Heel wat praktijkmensen twijfelen dan ook aan die premisse. Ze zijn van oordeel dat een dagje observatie in de bibliotheek en een praatje doen met de bezoekers een veel rijker beeld geeft dan alle statistische jaarboeken met tabellen en grafieken samen. Toch blijven heel wat beleidsmakers, net als wetenschappers, er van overtuigd dat kwantitatief (beleidsondersteunend) onderzoek meerwaarde heeft.
Meten is steeds partieel en onvolkomen
Meten is en blijft slechts een afbeelding van de werkelijkheid. Het scepticisme dat bestaat ten aanzien van statistieken – denk maar aan de uitdrukking ‘met statistieken kan je alles bewijzen’ – heeft hiermee te maken. Meten is per definitie partieel en onvolkomen. Partieel, omdat we slechts een deel van de werkelijkheid kunnen en willen meten. Onvolkomen, omdat cijfers de werkelijkheid alleen maar kunnen benaderen. Ze zijn de werkelijkheid niet. We kunnen de werkelijkheid steeds beter proberen af te beelden door meer en fijner
3
te gaan meten. Het gevaar bestaat dan dat onze cijfermatige weergave van de werkelijkheid zeer complex wordt. We verdrinken in de cijfers. We staren ons blind op complexe mathematische modellen met tientallen blokjes, pijlen en cijfers of we lopen verlopen in een veelheid aan tabellen of tabbladen. Het cijfermatig model van de werkelijkheid lijkt soms wel ingewikkelder dan de werkelijkheid zelf. En dat kan toch niet de bedoeling zijn? De bedoeling van statistieken is immers net om klaarheid te scheppen. Laat ons dan minder meten en minder complexe modellen maken, zou hierop het antwoord kunnen zijn. Maar ook dat is niet makkelijk. Wie ervaring heeft met het opstellen van scorecards, kwaliteitindicatoren, KPI’s, Balanced Scorecards en dergelijke weet dat de verleiding heel groot is om steeds meer indicatoren meer gedifferentieerd te gaan opnemen net omdat we willen dat de cijfers de realiteit zo goed mogelijk benaderen. Het evenwicht tussen eenvoud en volledigheid is paradoxaal van aard. Het gaat met andere over een schijnbare tegenstelling die mits creativiteit kan overbrugd worden3. Zo laat een standaardprogramma zoals Excel toe om gelaagheid en interactiviteit in het meetsysteem in te bouwen4. De meeste performance measurement systemen voor bibliotheken voorzien reeds in een hiërarchische ordening. Zo hanteren Poll et al.7 rubrieken waarin in totaal 17 performance indicatoren zijn opgenomen5.
Boodschap 1: zoek een creatief evenwicht tussen eenvoud en volledigheid van uw meetgegevens. Zorg dat de ‘cockpit van de bibliotheek’6 voldoende meters bevat, maar zorg ook dat je de belangrijkste allemaal tegelijk kan zien.
Boodschap 2: besef dat cijfers slechts een partiële en onvolkomen afbeelding zijn van de werkelijkheid. Als beleidsmakers doet men er dan ook goed aan om het beeld dat de cijfers ons geeft aan te vullen op basis van regelmatig echt contact
3
Quinn, R.E. (1988). Beyond rational management. Mastering the paradoxes and competing demands of high performance. London: Jossey-Bass Publishers. Quinn, R.E. (1998). Persoonlijk meesterschap in management. Voorbij rationeel management. Schoonhoven: Academic Service. 4 Berings, D., & Garré, P. (2005). Meten om te weten, om te verbeteren, om te worden wie/wat je wilt zijn. Presentatie ESF-Kwaliteitscongres. 5 Poll, R., & te Boekhorst, P. (1996). Measuring quality: International guidelines for performance measurement in academic libraries. München: IFLA Publications. 6
Kerklaan, L.A.F.M, Kingma, J., & van Kleef, F.P.J. (1994). De cockpit van de organisatie. Deventer: Kluwer Bedrijfswetenschappen.
4
met de werkelijkheid: de bibliotheekruimte bezoeken, praten met de gebruikers en de medewerkers. Ze bezig zien en horen.
Waarom meten?
Het feit dat we hier samen zijn rond het thema ‘meten om te weten’, wijst erop dat we het evident vinden dat cijfers het beleid van een bibliotheek kunnen ondersteunen. Toch staan we even stil bij de redenen waarom we zo graag cijfers hebben over de werking van de bibliotheek. We zetten een aantal argumenten op een rij en maken hierbij ook meteen enkele kanttekeningen. Ten eerste: objectiviteit en betrouwbaarheid. Dit is natuurlijk enkel het geval als er goed wordt gemeten. Dat betekent dat we alle subjectieve en toevalsfactoren die het meetresultaat zouden kunnen beïnvloeden uitsluiten of controleren. De statistiek en onderzoeksmethodologie reikt ons heel wat tools aan die dit mogelijk maken. Ten tweede: overzicht behouden. Cijfers zijn eenvoudig en compact. Zo geven twee cijfers, het gemiddelde en de standaardafwijking, een compact beeld van hoe een fenomeen is verdeeld in een bepaalde populatie. Statistieken vatten de werkelijkheid samen. Ze laten toe snel een overzicht te krijgen. Een grafiek kan ons in één oogopslag een beeld geven van de evolutie van een bepaalde parameter. Ook hier geldt natuurlijk dat je de rapportering volgens de regels van de kunst moet doen. Zo weten we dat het misleidend kan zijn wanneer we enkel gemiddelden rapporteren zonder ook iets te zeggen over de spreiding. Ten derde: cijfers overtuigen. Steeds meer moeten organisaties zich bewijzen, zich extern verantwoorden. Accountability, heet dat dan. Externe auditors, inspecteurs of controleurs houden doorgaans van cijfers en hechten er vaak meer geloof aan dan aan subjectieve exemplarisch getuigenissen. Een jaarverslag van een bibliotheek zonder tabellen en grafieken zal meteen de wenkbrauwen doen fronsen. Maar ook hier zijn er uitzonderingen en misschien is er zelfs sprake van een nieuwe trend. Zo ervaren we in het kader van onderwijsvisitaties dat de leden van de visitatiecommissie er de voorkeur aan geven om enkele studenten te ondervragen, een meesterproef in te kijken, een cursus door te nemen, een les bij te wonen en rond te wandelen in de hogeschool. Liever dat dan de massa’s cijfers te moeten doorworstelen die we voor hen hebben klaargelegd.
5
Ten vierde: ontdekken. Door te gaan meten komen we dingen te weten die we anders niet opmerken. Zo kunnen we via enquêtes meer te weten komen over de behoeften en verwachtingen van de gebruikers en niet-gebruikers. We kunnen ook zien over welke aspecten van de dienstverlening de gebruiker meer of minder tevreden is. Mensen die niet cijfer-minded zijn zullen argumenteren dat je dat ook kan te weten komen door in de dagdagelijkse praktijk aandachtig te observeren, te luisteren en de juiste vragen te stellen. Toch geldt dat zeker niet voor alles. Als we bijvoorbeeld willen weten hoeveel items uit de collectie zelden of nooit worden uitgeleend volstaat observatie en een goed gesprek niet. In dat geval is becijferen de enige juiste manier. Ten vijfde: toetsen van onze vooronderstellingen kan accurater met cijfers. Een bibliotheekbeleid is vaak gebaseerd op vooronderstellingen of assumpties. Zo zijn we er jarenlang van uitgegaan dat de standaardgebruiker van een bibliotheek de individuele gebruiker was die gedisciplineerd en geruisloos gebruik maakte van de collectie. Uit behoeftepeilingen kan echter naar voren komen dat studenten steeds meer in team gebruik maken van de bibliotheek waardoor communicatie onvermijdelijk wordt, wat een grote uitdaging is m.b.t. de inrichting en huisregels van de bibliotheek. Ten zesde: evalueren van het beleid is makkelijker als er duidelijk kwantitatieve targets zijn. Een beleid zonder heldere, toetsbare doelstellingen wordt nog zelden au serieux genomen. Van beleidsdoelstellingen verwacht men dat ze Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdgebonden zijn, gewoonweg SMART dus. Cijfers spelen een centrale rol, zowel in het formuleren als bij het toetsen van doelstellingen. We moeten ons hierbij echter hoeden voor cijfer-fetisjisme in die zin dat de drang naar cijfers ervoor kan zorgen dat alleen nog doelstellingen worden geformuleerd die makkelijk meetbaar zijn en mensen alleen maar angst krijgen om te mislukken in plaats van gemotiveerd te zijn om uitdagingen aan te gaan. Markensteijn formuleert het op zijn manier: “Wat niet SMART is dat is niet nastrevenswaardig. Althans, dat lijkt de nieuwe norm. Het gevolg is dat allerlei doelstellingen worden onderworpen aan herformuleringen tot ze SMART zijn. Dat ze daarmee gelijk ook bloedeloos en middelmatig worden en geen enkele energie oproepen is jammer. 7
7
http://www.markensteijn.com/smart.htm
6
Boodschap 3: op een doordachte en verantwoorde manier cijfergegevens bijhouden, rapporteren en beschikbaar stellen kan ons helpen om meer objectief naar het reilen en zeilen van onze bibliotheek te kijken en er intern en extern over te communiceren. Het kan ons prikkelen om steeds beter te doen.
Boodschap 4: factoren die cruciaal zijn om van kwaliteit te kunnen spreken kunnen helderder gemaakt worden door ze te kwantificeren. Het gemak waarmee iets kan becijferd worden, mag echter niet het criterium zijn voor selectie van indicatoren.
Rationaliteit en intuïtie
Meten is geen substituut voor andere vormen van rationaliteit. Verschillende vormen van rationaliteit kunnen elkaar best ondersteunen en aanvullen. Het is niet omdat we cijfers hebben dat we ons gezond verstand en intuïtie moeten uitschakelen. Intuïtie wordt trouwens al te makkelijke als irrationeel bestempeld. Dat is een misvatting. Intuïtie is net wel rationaliteit8. Het is gestolde ervaring, het is het vermogen om kennis en inzichten die we in ons dragen, maar waar we ons niet ten volle van bewust zijn, aan te wenden. Veel mensen geloven dan ook de cijfers niet. In veel gevallen hebben ze gelijk en is er iets mis met de cijfers of de manier waarop ze zijn tot stand gekomen. Het omgekeerde komt natuurlijk ook voor. De intuïtie is lang niet onfeilbaar alleen al omdat ze kan gebaseerd zijn op ervaringen en kennis die niet meer strookt met de huidige context. De noodzaak om cijfers en intuïtie te combineren vinden we terug in het Engelse neologisme ‘guesstimate’ – de samentrekking van ‘guess’ en ‘estimate’. Hiermee wordt de grijze zone tussen ofwel de combinatie van subjectief gissen en objectief schatten bedoeld. Een methodiek die hier enigszins bij aansluit, is de zogenaamde Delphi-methode9 waarbij men deskundigen (wetenschappers of ervaringsdeskundigen) stellingen laat beoordelen met de bedoeling dat ze doorheen een iteratief proces, waarbij ze met elkaars informatie en argumenten worden geconfronteerd, tot een gezamenlijk standpunt komen. Ook het pleidooi om kwantitatief beleidsondersteunend onderzoek aan te vullen met kwalitatief
8
Gladwell, M. (2007). Intuïtie. De kracht van denken zonder erbij na te denken. Amsterdam: Uitgeverij Contact. Buelens, M. (1992). Management en effectieve organisatie. Tielt: Lannoo. 9 http://soc.kuleuven.be/io/participatie/ned/delphi.htm
7
onderzoek sluit hierbij aan, evenals het begrip ‘triangulatie’ of multimethodeaanpak. Hiermee bedoelt men het inzetten van verschillende methoden om op eenzelfde onderzoeksvraag te beantwoorden10. Het houden van een ‘spiegelenquête’ vóór de echte enquête is ook een manier om te ‘guess’ en ‘estimate’ te combineren tot ‘guesstimate’.
Boodschap 5: confronteer cijfers met de intuïtie en wanneer beiden niet overeenkomen, beslis dan niet te snel dat hetzij de cijfers, hetzij de intuïtie fout is, maar onderzoek beide ‘bronnen’ kritisch.
Boodschap 6: enquêtes en statistieken kunnen heel interessante informatie opleveren. Toch is het steeds nuttig om alternatieve meetmethodes (delphimethode, focusgroepen, observatie, diepte-interviews, ...) te overwegen.
10
Baarda, D.B. (2005). Basisboek kwalitatief onderzoek. Groningen: Noordhoff Uigevers. Swanborn, P.G. (2002). Basisboek sociaal onderzoek. Amsterdam: Uitgeverij Boom.
8
Weten komt vóór meten
Meten om te weten lijkt de logische volgorde. Toch kunnen we het ook omdraaien ‘weten om te meten’. We meten met de bedoeling dingen te weten te komen die we nog niet weten, maar om dit te kunnen doen moeten we net al heel veel weten. Het lijkt paradoxaal. Je moet de werkelijkheid al kennen om ze te kunnen meten. Om te kunnen meten moet je de werkelijkheid namelijk eerst conceptueel ontrafelen en (her)definiëren. Wat is een gebruiker? Wat is een gebruiker? Wat is een ontlening? Wat is de collectie? Wat is een monografie, een naslagwerk, een tijdschrift? Om goed te meten moeten we de juiste vragen stellen aan de werkelijkheid. En dat vergt voorkennis. Om die voorkennis maximaal te kunnen aanwenden is het nuttig om bij de voorbereiding van meetsystemen voor de bibliotheek de aanwezige kennis en ervaring van alle betrokkenen maximaal te benutten.
Boodschap 7: Gebruik de kennis, ervaring en intuïtie van alle betrokkenen (studenten, personeel, bibliotheekmedewerkers) om na te denken welke vragen we willen stellen aan onze bibliotheekwerkelijkheid. Vooraleer we denken aan statistieken maken of aan een enquête afnemen moeten we een enquête doen bij onszelf. Welke informatie hebben we echt nodig? Of beter nog: op welke vragen willen we een antwoord weten en waarom?
Boodschap 8: Doe aan intervisie. Ga kijken in andere bibliotheken om te zien wat daar als essentieel wordt ervaren om cijfermatig bij te houden en te rapporteren en hoe de belangrijkste concepten worden gedefinieerd, conceptueel en operationeel.
Wat en waartoe meten we?
Nadenken over wat we gaan meten kan natuurlijk niet zonder meteen ook stil te staan bij de vraag ‘waartoe’? Die twee vragen zijn namelijk sterk op elkaar betrokken. ‘Meten om te weten’ was het uitgangspunt, maar weten is natuurlijk maar een intermediaire doelstelling van beleidsondersteunend onderzoek. Het ultieme doel ligt verder. Welke verder liggende doeleinden hebben we voor ogen
9
als we aan het meten gaan? We onderscheiden er grosso modo vier, die echter niet los van elkaar staan.
1) METEN OM TE EVALUEREN: Hebben we onze doelstellingen bereikt? Zijn onze klanten tevreden? Is onze collectie up to date? Uiteraard kunnen we een dergelijke evaluatie enkel doen als vooraf is bepaald welke de doelstellingen waren van het gevoerde beleid en als we onze metingen hierop afstemmen. 2) METEN OM TE VERBETEREN: In kwaliteitzorg ligt de klemtoon niet enkel op beoordelen van de performantie van de bibliotheek maar ook op het lerend vermogen. Kennen we onze gebreken? Zijn we in staat om die weg te werken? Uiteraard is hier van belang dat men regelmatig meet zodat er gegevens beschikbaar zijn van vóór en na het verbeteringsinitiatief. Verbeteren vraagt motivatie om beter te doen. Het is dan ook van belang dat het meten niet als ‘frustrerende controle’ wordt ervaren maar wel als een ‘inspirerende uitdaging’. De klemtoon moet met andere woorden liggen op ‘total quality learing’ in plaats van op ‘total quality control’11. 3) METEN OM ZICH TE VERANTWOORDEN: Bibliotheken moeten zich ook extern kunnen verantwoorden. Meten heeft dan ook te maken met de ‘accountability’. Kunnen we diegenen die ons middelen geven, overtuigen dat we die middelen goed hebben besteed? Ook hier moeten we goed weten wat de externe standaarden en beoordelingscriteria zijn zodat we onze metingen hierop kunnen afstemmen. 4) METEN OM ZICH TE METEN: Concurrentie is meer dan ooit aan de orde in het hoger onderwijs, ook op internationaal niveau. De kwaliteit van de bibliotheek is hierbij geen onbelangrijk element. Metingen kunnen als doel hebben om na te gaan hoever we staan ten aanzien van relevante benchmarks.
Boodschap 9: sta expliciet stil bij het ‘waartoe?’ van de metingen. Het helpt om ze beter te focussen, zowel inhoudelijk (Wat?) maar ook vormelijk (Hoe?).
11
Sitkin, S.B., Sutcliffe, K.M., & Schroeder, R.G. (1994). Distinguishing control from learning in total quality management: A contingency perspective. Academy of Management Review, 19, 537-564. 10
‘Niets is zo praktisch als een goede theorie’. Als een organisatie of een dienst (bijv. een bibliotheek) zichzelf wil evalueren en verbeteren kan ze vertrekken van een model dat aangeeft welke aandachtgebieden zeker niet mogen ontbreken. 12
Een dergelijk model kan men zelf opstellen of ontlenen aan de vakliteratuur . Modellen voor Integrale Kwaliteitszorg kunnen hier inspirerend zijn. We denken dan vooral aan de ISO-normering13 en het EFQM-model14. Kennis van dergelijke modellen kan het meten voorstructureren. Uiteraard is het hier van belang dat men zich in de premissen en de inhoud van het model kan vinden. Zo is het typisch voor het EFQM-model dat men niet alleen de resultaten wil evalueren, maar ook de voorwaarden en processen. Daarenboven gaat veel aandacht naar de feedback, wat inhoudt dat men nagaat of er met de resultaten van metingen iets gebeurt. Met andere woorden: leert de organisatie uit haar fouten?
Boodschap 10: maak werk van een raamwerk waaraan metingen en meetgegevens kunnen worden opgehangen.
Als een organisatie of een dienst (bijv. een bibliotheek) zichzelf wil evalueren en verbeteren doet ze er goed aan op zoek te gaan naar een ‘benchmark’, een lichtend voorbeeld. Zo kan men zien hoever men staat. Benchmarking houdt vergelijking is. Vergelijking houdt standaarden in. Dit is ook zo in het kader van de externe verantwoording, bijvoorbeeld in het kader van visitatie of accreditatie. In beide gevallen gaan we er impliciet of expliciet van uit dat er algemeen geldende standaarden zijn waaraan bibliotheken moeten voldoen en op basis waarvan ze kunnen ‘gerankt’ worden. Hier botsen we op een paradox. Elke bibliotheek is anders en toch vinden we dat ze met elkaar moeten vergeleken worden en dat ze allemaal best billijk worden beoordeeld met eenzelfde meetlat. Deze paradox zal ons allicht vandaag ook nog bezig houden. Concrete vragen als: is de ‘leeftijd’ van de collectie voor alle bibliotheken even belangrijk? Moet de verhouding tussen Nederlandstalige werken en anderstalige werken in
12
Frowein, J.C., Laeven, A.H., & Voorbij, H.J. (2000). Benchmarking van wetenschappelijke bibliotheken. Utrecht: Stichting SURF / IWI en UKB. 13 International Standard Organization (1998. ISO11620: Information and documentation – Library Performance Indicators, 1st Edition. 14 www.efqm.org
11
alle IHO-bibliotheken binnen een bepaalde vastgelegde marge liggen? Dergelijke concrete vragen geven allicht al aanleiding tot discussie.
Boodschap 11: vooraleer benchmarks en normen te kiezen waarmee we ‘onze’ bibliotheek willen vergelijken moeten we grondig nadenken over met wie en wat we onze dienstverlening willen vergelijken op basis van welke criteria. En hoeveel ruimte er hier wordt gelaten voor differentiatie.
Hierbij aansluitend kunnen we de vraag stellen of we in staat zijn om niettegenstaande de uniciteit van elke IHO-bibliotheek toch te komen tot een beperkte set van gemeenschappelijke indicatoren. Wie al eens rond te tafel gezeten heeft met collega’s bibliothecarissen om tot sluitende afspraken te komen over een minimale set aan kwaliteitsindicatoren voor de bibliotheken in hogescholen en universiteiten, heeft allicht al ondervonden hoe moeilijk dat ligt. Meten om te weten blijkt altijd ook wel wat ‘zweten om te meten’ te zijn.
Literatuur
Baarda, D.B. (2005). Basisboek kwalitatief onderzoek. Groningen: Noordhoff Uitgevers. Berings, D. (2001). Omgaan met concurrerende waarden als voorwaarde tot de ontwikkeling van Integrale Kwaliteitszorg in het Hogescholenonderwijs in Vlaanderen. Doctoraal proefschrift K.U.Leuven. Brussel: EHSAL. Berings, D. (2008). IKZ als denk-en handelingskader voor interne en externe kwaliteitszorg in het hoger onderwijs.Inspirerend of achterhaald? HUB Research Paper, 2008/22. Brussel: HUB. Berings, D. al. (Red.) (1994-). Meten om te weten. Kwantitatieve gegevens ter ondersteuning van de Integrale Kwaliteitszorg (Interne Periodiek). Brussel: EHSAL. Berings, D., & Garré, P. (2005). Meten om te weten, om te verbeteren, om te worden wie/wat je wilt zijn. Presentatie ESF-Kwaliteitscongres. Buelens, M. (1992). Management en effectieve organisatie. Tielt: Lannoo. Frowein, J.C., Laeven, A.H., & Voorbij, H.J. (2000). Benchmarking van wetenschappelijke bibliotheken. Utrecht: Stichting SURF / IWI en UKB. Gladwell, M. (2007). Intuïtie. De kracht van denken zonder erbij na te denken. Amsterdam: Uitgeverij Contact. International Standard Organization (1998). ISO11620: Information and documentation – Library Performance Indicators, 1st Edition. Kerklaan, L.A.F.M, Kingma, J., & van Kleef, F.P.J. (1994). De cockpit van de organisatie. Deventer: Kluwer Bedrijfswetenschappen. Poll, R., & te Boekhorst, P. (1996). Measuring quality: International guidelines for performance measurement in academic libraries. München: IFLA Publications.
12
Quinn, R.E. (1988). Beyond rational management. Mastering the paradoxes and competing demands of high performance. London: Jossey-Bass Publishers. Quinn, R.E. (1998). Persoonlijk meesterschap in management. Voorbij rationeel magement. Schoonhoven: Academic Service. Sikin, S.B., Sutcliffe, K.M., & Schroeder, R.G. (1994). Distinguishing control from learning in total quality management: A contingency perspective. Academy of Management Review, 19, 537-564. Swanborn, P.G. (2002). Basisboek sociaal onderzoek. Amsterdam: Uitgeverij Boom.
13
Paper gepresenteerd op 16 mei 2008, als keynote speaker op de Workshop Statistieken, benchmarking en kwaliteitszorg voor de academische bibliotheken Associatie K.U.Leuven
