Možnosti měření efektivnosti a výkonnosti pro vysokoškolské knihovny

Publikováno na Inflow.cz (http://www.inflow.cz/moznosti-mereni-efektivnosti-vykonnosti-provysokoskolske-knihovny)

Možnosti měření efektivnosti a výkonnosti pro vysokoškolské knihovny 5. 10. 2009 Jankovská Blanka

Zpráva informuje o semináři „Možnosti měření efektivnosti a výkonnosti pro vysokoškolské knihovny“, který se konal 15. 9. 2009 v Knihovně univerzitního kampusu MU v Brně. Seminář byl zaměřen na poznání základů měření výkonnosti knihoven a na seznámení s již uskutečněnými aktivitami v České republice a systémy používanými v zahraničí. Byl určen především vysokoškolským knihovnám, které by metody měření výkonnosti chtěly zavést a využít ke zlepšení kvality poskytovaných služeb.

 

Atrium knihovny univerzitního kampusu s přichystaným občerstvením

Další z tematických seminářů pořádaných Asociací knihoven vysokých škol se konal 15. září 2009 v prostorách Knihovny univerzitního kampusu Masarykovy univerzity v Brně (dále KUK MU).

Zahájení se ujala vedoucí knihovny Mgr. Zdeňka Dohnálková a po krátkém úvodu přivítala prvního přednášejícího, PhDr. Víta Richtera z Národní knihovny ČR.

1. Vít Richter (NK ČR): BIX-Bibliotheksindex - příklad měření výkonu a činnosti vysokoškolských knihoven Vít Richter začal svůj příspěvek otázkou: Proč měřit kvalitu a výkon knihovny? Odpovědí je mj. konkurence internetu, posílit smysl, užitečnost a využívanost knihoven, zvýšit jejich ekonomickou efektivnost. Knihovny se ale jako neziskové organizace setkávají při měření výkonu s nemalými problémy - je to hlavně otázka různorodosti vstupů a výstupů.

Vít Richter z Národní knihovny ČR

V. Richter dále zmínil několik metod měření výkonu a kvality, např. SWOT analýza, použití ISO norem a v neposlední řadě benchmarking. Benchmarking, který je kontinuálním procesem, vysvětlil jako metodu umožňující srovnat výkony jednotlivých institucí. V případě benchmarkingu knihoven, který probíhá v současné době i v ČR, hovoříme vždy o externím benchmarkingu. Český projekt „Benchmarking knihoven", jehož garantem je Knihovnický institut Národní knihovny ČR, se nechal inspirovat německým projektem BIX-Bibliotheksindex. V současné době je to asi nejznámější a nejpropracovanější nástroj pro měření výkonu knihoven, na kterém spolupracuje sdružení německých knihovnických spolků a vysokých škol. Byl zahájen v r. 1999 pro oblast veřejných knihoven a od r. 2004 funguje pro vědecké (VŠ) knihovny. Konkrétní dosažené hodnoty se převádějí na indexy, a to umožňuje určit pořadí - každý rok se sestavuje žebříček a vyhlašuje se německá knihovna roku. Vstup do systému je dobrovolný, ale placený (170 EUR). Knihovna pak každoročně vyplňuje dotazník skládající se ze statistik a slovního popisu. Většina vstupních údajů jsou standardně sbíraná statistická data. Co je zásadním znakem BIX (oproti českému projektu) je to, že databáze hodnot a indexů je veřejná. V projektu se účastní

už i další země: Rakousko, Švýcarsko, Slovinsko, Itálie. Předmětem sledování je 17 indikátorů (na rozdíl od českého projektu, kde se sleduje 31 indikátorů) rozdělených do 4 skupin: nabídka, využívání, rozvoj, efektivnost. Poznámka autorky: Pro zájemce o problematiku doporučuji články Víta Richtera o benchmarkingu, které vyšly v časopisu Čtenář (2009, roč. 61, č. 2, s. 43-48) a v knihovnicko-informačním zpravodaji Královéhradeckého kraje U NÁS (2009, roč. 19, č. 2, s. 11-14). V druhém článku jsou indikátory BIX podrobněji rozebrány. Praktická část příspěvku pak byla zaměřena na konkrétní práci a možnosti zobrazování sesbíraných hodnot na webu BIX. V. Richter vše ilustroval na univerzitních knihovnách z Göttingenu, Heidelbergu a Vídně. Uživatel má možnost si zobrazit nepřepočítané parametry jednotlivých knihoven, dále i jednotlivé vypočítané indexy, srovnání podle roků. Vše je možno zobrazit ve formě grafů. Porovnávat můžeme vždy max. 3 knihovny s max. 3 indexy. Výsledky jsou zveřejňovány i ve zvláštním sešitu časopisu BIT online. Přednášející se zastavil i u kladů BIX a výhradám vůči němu. BIX je užitečný v tom, že definuje nejlepší výkony, je to pružná metoda pro srovnávání, dává včasné varování, podporuje tvořivé uvažování a efektivní využití statistických dat, pomáhá rozvíjet spolupráci a umožňuje mezinárodní srovnání. K výhradám patří to, že indikátory nepokrývají celou činnost a služby knihovny, kategorizace knihoven nerespektuje kontext, ve kterém pracují různé knihovny, kvantitativní údaje nemají adekvátní vypovídací schopnost, existuje tu i problém spolehlivosti a korektnosti dat. Je třeba si uvědomit i to, že ne vždy můžeme najít inspirativní partnery a napodobování postupů nemusí vždy přinést stejné výsledky. Závěr patřil opět otázkám. Jak začít měřit a srovnávat činnost knihoven? Mít odvahu, mít kvalitní data, definovat cílové oblasti a stanovit optimální mix indikátorů. Jaké by měly být indikátory charakterizující výkon a kvalitu? Validní, měřitelné, vymezené, ověřitelné, spolehlivé, praktické, přiměřené. Měly by být zaměřené na cíle knihovny, měly by vytvářet vztah mezi finančními zdroji a službami, ale i odrážet vztah ke zřizovateli. A proč měřit výkon? Vít Richter odpověděl citátem: Když se neměří výsledky, pak není možné rozeznat úspěch od neúspěchu. Když nelze rozeznat úspěch, pak není možné za něj odměnit. Když se neodměňuje úspěch, pak se pravděpodobně odměňuje neúspěch. Když se nerozpozná úspěch, pak se z něj není možné poučit. Když se nerozpozná neúspěch, pak není možné ho napravit. Když není možné seznámit veřejnost s výsledky, pak není možné získat podporu veřejnosti; oproti tomu - co se dá měřit, dá se i uskutečnit. Osborne and Gabler (2002): Reinventing Government

2. Roman Giebisch (NK ČR): Projekt „Benchmarking knihoven" - současný stav, zkušenosti a problémy Roman Giebisch na úvod svého příspěvku zdůraznil důležitost statistických dat a výkazů. Upozornil, že v ČR můžeme srovnávat knihovny zatím pouze podle standardů veřejných knihovnických a informačních služeb (dále VKIS), což je doporučující metodický pokyn MK ČR z r. 2005). Tato doporučení vymezují pouze 5 indikátorů (provozní doba knihovny pro veřejnost, tvorba knihovního fondu a informačních zdrojů, počet veřejně přístupných stanic připojených k internetu, studijní místa a prostory pro uživatele knihovny, obecné principy dostupnosti VKIS - dostupnost všem bez rozdílu, menšinám, přístupný web...). Vysokoškolské knihovny však z hlediska koncepce VKIS není účelné standardizovat, postačí uplatnění hlavního principu knihovního zákona, tj. VKIS přístupné bez rozdílu všem.

Roman Giebisch z Národní knihovny ČR

Poté se už věnoval projektu „Benchmarking knihoven". Pro představu uvedl, že v ČR je momentálně 774 profesionálních veřejných knihoven, přičemž v projektu je jich zapojeno cca 115. Byly vytvořeny kategorie vhodné pro porovnávání (doporučená hodnota vs. celostátní průměr). Počet indikátorů se postupně ustálil na současných jednatřiceti. Dále byly do kategorií rozděleny i samotné knihovny, vznikla elektronická konference projektu a webové stránky. Knihovnám je poskytována metodická pomoc a bylo uspořádáno několik seminářů. Databáze projektu je přístupná na webu, ovšem jen pro účastníky projektu (vstup přes heslo).

Výkonové parametry jsou seskupeny do 3 bloků: Podmínky pro činnost knihoven (12), Uživatelé, služby (10), Financování (9). Porovnávání je prováděno s těmito hodnotami: údaje první knihovny, údaje druhé knihovny, minimální hodnota, průměrná hodnota, maximální hodnota, celostátní průměr. K hodnocení je již druhým rokem použita metoda známkování. R. Giebisch stejně jako před ním V. Richter zmínil přednosti benchmarkingu, ale i jeho omezení a upozornil na „benchmarkingové číslo" zpravodaje U NÁS (viz výše). Závěrem přednášející shrnul podmínky účasti v projektu (viz www) a vyslovil přání, aby se do projektu zapojilo co nejvíce knihoven.

3. Zdeňka Dohnálková (KUK MU): Metody měření výkonu a kvality užívané v zahraničních vysokoškolských knihovnách

Zdeňka Dohnálková, vedoucí Knihovny univerzitního kampusu MU

Užívané metody vycházejí z normativních dokumentů či z teorií řízení kvality, tzv. Total Quality Management (TQM). První představená metoda - schéma EFQM modelu Excelence s přiřazením bodových hodnot vychází z TQM, má 9 indikátorů a používá ji Česká společnost pro jakost, o. s. Pro veřejnou správu byl vyvinut tzv. CAF - Common Assessment Framework. Další z metod je Balanced Scorecard (BSC), která instituci zkoumá ze 4 úhlů (finance, zákazníci, interní procesy, učení a růst). BSC se užívá i v knihovnách, např. University of Virginia, University of Hull a často je kombinována s normativními metodami. Metoda Data Envelopment Analysis (DEA) je tzv. hraniční analýza, kdy se hodnotí podle nejlepšího vzorku. Výběr vstupních a výstupních veličin uskutečňuje každá instituce vlastní. Tato metoda byla

použita při měření bulharských univerzitních knihoven. Má však jen omezené využití. Trendy: dochází k odklonu od kvantitativních metod měření a příklonu k měření z pohledu uživatele, měření je hlubší, je patrná snaha hodnotit i dopad činnosti knihoven na uživatele, stále časteji se používají srovnávací metody, tzn. benchmarking, vznikají velké národní a mezinárodní projekty. I IFLA (International Federation of Library Associations) se zabývá oblastí měření výkonnosti knihoven - vytvořila 40 indikátorů ve 4 perspektivách. Association of Research Libraries vyvinula hned několik hodnotících nástrojů zaměřených nejen na kvantitativní, ale i na kvalitativní metody. LibQUAL - vícehlediskový průzkum spokojenosti uživatele, placený produkt (3200 USD), - struktura průzkumu: 22 základních otázek, 5 místních otázek, 5 otázek k informační gramotnosti, 3 týkající se obecné spokojenosti a způsobu využívání knihovny. ClimateQUAL - zaměřený mj. na menšiny, ale také na „pohodu" mezi zaměstnanci, vysoká míra subjektivity, - cílem měření je zjistit názory konkrétních uživatelů, získat informace o kvalitě. Provádějí se menší místní expertní průzkumy - zjišťování rozdílu mezi stupněm služeb, který uživatel obdržel, očekával a který je žádoucí (hodnoty od 1 do 9, tzn. low - high). Z. Dohnálková dále uvedla hlavní důvody pro měření kvality, výkonu, hodnocení a srovnávání v knihovnách. Je to mj. změna prostředí, v kterém knihovny působí, rozpočtová omezení, zdůvodnění vlastní existence. Informace získané metodami měření kvality a výkonu se mohou využít pro odůvodnění výdajů a existence, měření činnosti, resp. úspěchu, zlepšení služeb, srovnání s ostatními, zjištění, jak se mění chování a potřeby uživatelů. Využít je lze i v marketingu a propagaci, zmapování činnosti, pro změny v nabídce služeb (formální i obsahové). Knihovny se tak mohou rozhodovat na základě skutečných dat, ne předpokladů a odhadů. Výsledkem je pak knihovna orientovaná na uživatele - všechny služby a aktivity jsou prováděny podle potřeb uživatelů, uživatel určuje, co je kvalita. Knihovní služby a zdroje přidávají kvalitu uživateli. Přednášející opět nadnesla několik otázek. A co české VŠ knihovny? Není právě v době krize vhodná doba na využívání těchto metod? Jaká je kvalitní česká VŠ knihovna? Zná potřeby svých uživatelů? Ví, že poskytuje služby způsobem, jaký uživatelé očekávají? Má knihovna právě ty zdroje, které jsou žádané? A celý příspěvek poté shrnula a vyjádřila jeho cíl -  zamyslet se nad tím, zda jsou inspirace ze zahraničí užitečné a přínosné, vyvolat diskusi v prostředí VŠ knihoven. Statistiky máme, ale statistika nevypovídá o kvalitě služby Zdeňka Dohnálková také v průběhu přednášky posílala mezi účastníky různé materiály týkající se problematiky, mezi jinými i tyto dva články: KAUFMAN, Paula T. The library as strategic investment : results of the Illinois return on investment study. LIBER Quarterly [online]. 2008, vol. 18, No. 3/4 [cit. 2009-09-21]. Dostupný také zWWW: < http://liber.library.uu.nl/publish/articles/000269/index.html>. ISSN

1435-5205. LUTHER, Judy: University investment in the library : what is the return? A case study at the University of Illinois at Urbana-Champaign. Library Connect : White Paper [online]. 2008 [cit. 2009-09-21]. Dostupný také zWWW: . Doporučila i užitečný odkaz: http://libraryassessment.info/ - blog o hodnocení a měření výkonnosti knihoven podporovaný Association of Research Libraries. Po polední přestávce na občerstvení pokračoval program dalšími dvěma příspěvky.

4. Helena Bouzková, Eva Lesenková (Národní lékařská knihovna ČR): Možnosti měření kvality služeb v českých zdravotnických knihovnách V úvodu Eva Lesenková zdůraznila, že zdravotnické knihovny musí reagovat na specifika svých uživatelů, že středem jejich zájmu by měl být uživatel. Zmínila probíhající průzkum požadavků a spokojenosti zdravotníků s informačními službami knihoven - prozatímní výsledky ukazují, že zdravotníci služeb knihoven nevyužívají. Cílové uživatelské skupiny z oblasti zdravotnictví jsou pro knihovny dvě - lékařská (cca 47 tis.) a nelékařská povolání (ošetřovatelské obory, studenti, veřejnost). Uživatelů z řad nelékařských povolání a studentů je cca 114 tis. E. Lesenková zmínila i vizi VISZ (Veřejné informační služby ve zdravotnictví), a to, že každému - i laikovi - by mělo být umožněno informované rozhodování o svém zdraví. A zastavila se i u Koncepce rozvoje lékařských (zdravotnických) knihoven 2005-2010. Ředitelka NLK Helena Bouzková začala svou část přednášky otázkami: Co znamená kvalita a je třeba měřit kvalitu práce knihoven? Její odpovědi se shodovaly s již nastíněnými názory předchozích přednášejících, proto pokračovala krátkou zmínkou o účasti NLK v projektu „Benchmarking knihoven". Poukázala hlavně na rozdíly mezi NKL a ostatními veřejnými knihovnami. Nakonec se H. Bouzková zastavila u příkladů benchmarkingových indikátorů navrhovaných pro VISZ (a jejich porovnání s VKIS) a krátce zmínila i chronologii benchmarkingu v NLK.

5. Zdeňka Dohnálková (KUK MU): Zajímavé náměty z konference QQML 2009 Mezinárodní konference Qualitative and Quantitative Methods in Libraries se konala 26. - 29. května v Chanii na ostrově Kréta. Z. Dohnálková postupně zmínila několik inspirativních přednášek a krátce informovala o jejich obsahu. Na závěr svého vystoupení pak ukázala i webové stránky konference, ze kterých lze některé přednášky stáhnout ve formě prezentace či celého příspěvku. Abstrakt  můžeme najít u všech přednášek. Doporučené přednášky: přednáška Steva Thorntona o tom, jakou informační podporu potřebuje vědec, aby

produkoval objevy, přednáška Petera Hernona o tom, jak vybudovat efektivní pracoviště díky využití nejnovějších metodologií a technologií (nové poznatky zpsychologie, myšlenkové mapy apod.), přednáška N. O. Porse o průzkumu mezi řediteli dánských knihoven (formulace standardů úspěšné instituce a úspěšného řízení), přednáška H. Harmsena o metodě hodnocení holandské akademie věd (průvodce pro repozitáře), přednáška L. Tiemensma - souhrnná přednáška k problematice hodnocení, plná kvalitních odkazů, přednáška B. Franklina a T. Pluma - ukázali možnost, jak na základě měření přístupu vědců do EIZ, hradit až 25% nákladů ze strany institucí financovaných vládou USA (výzkum sponzorovaný vládou USA), přednáška kolektivu B. Franklin, C. Cook, M. Kyrillidou, B. Thompson - o Library Investment Index, který by měl vyjadřovat vztah mezi náklady a efektivností knihovny, přednáška C. Cook a M. Kyrillidou - jak by se měla profilovat vědecká knihovna 21. století, přednáška M. Borbely - využití EFQM při hodnocení činnosti univerzitní knihovny v Debrecenu - průzkum vroce 2007 vs. 2008 po přestěhování se do nové budovy, přednáška A. Angeletaki o cílené informační výchově, přednáška K.-R. Bonina o výzkumu postavení a hodnocení knihovníků vKanadě, přednáška H. Young, P. Lunda, G. Waltona o benchmarkingové studii zLoughborough.

Účastníci semináře

Diskuse První dotaz směřoval na V. Richtera a týkal se projektu „Benchmarking v knihovnách": Jsou už konkrétní výstupy? Měl provedený benchmarking vliv na kvalitu v knihovnách? Vít Richter reagoval, že vše souvisí s financemi, tzn. téměř naprostá závislost na provozovateli, či zřizovateli.

Ale jsou už místa, kde se např. rozhodli prodloužit provozní dobu. Benchmarkingové výsledky jsou také často používány jako argument při rozpočtových jednáních či při rozhodování o nákupu fondu. Dále dodal, že od r. 2006 žádná knihovna data nepřestala dodávat a další přibývají. Díky projektu se také daří zlepšit statistiku veřejných knihoven - dochází k redefinici, zpřesnění popisu jednotlivých parametrů, které se už využívají celá desetiletí. Mj. byly statistické výkazy rozšířeny o nové služby (hl. elektronické prostředí - virtuální návštěvy, využívání elektronických informačních zdrojů). V příštím roce bude spektrum statistických dat skoro totožné jako data sbíraná pro benchmarking. Zmínil i další poznatky a výhody účasti knihoven v projektu: v rámci knihovny je porovnávání možné v rámci jednotlivých let, ale v projektu i mezi knihovnami a dochází kpřekvapivým zjištěním, v okamžiku, kdy knihovna vstoupí do podobného projektu, stane se to samozřejmou součástí managementu a výsledky se mohou použít při krátkodobém, střednědobém i dlouhodobém plánování a rozhodování, od samého začátku byla v rámci projektu snaha o doplnění pohledu uživatele, vznikl dotazník inspirovaný LibQUAL. V současné době tedy mají veřejné knihovny nástroj, jak zjistit indexy spokojenosti uživatelů (škála 1-5 - známkování jako ve škole). Druhý dotaz opět na V. Richtera: Nebylo by od věci provádět hodnocení externí? Odpověď: Určitě ano, ale neexistuje autorita, která by toto hodnocení dokázala uskutečnit. Třetí dotaz: Nebylo by lepší zaměřit se na procesy, nezůstávat u vstupů a výstupů? Reagovala Z. Dohnálková: Určitě ano, a to právě umožňují nové nástroje představené v příspěvcích, ale jsme v počátcích, záleží na každém, jak se toho chopí. V. Richter ještě dodal, že jsou si rozhodně vědomi omezených možností indikátorů. V rámci diskuse vystoupil i R. Giebisch - musíme si uvědomit, že sbírání dat je velmi citlivá a problematická oblast, vedení knihoven má velmi těžkou roli. NK ČR je velmi vděčná za poskytnutá data a za účast, bohužel nemůže reagovat na specifika akademické oblasti. Dále zazněla připomínka týkající se velmi ztížené situace, která je na některých fakultních knihovnách. Roman Giebisch na to zareagoval slovy, že v projektu je právě možnost získat srovnání a pak s nepříznivou situací bojovat. Vít Richter uzavřel diskusi o benchmarkingovém projektu - je třeba být konkurenceschopní celosvětově, projekt k tomu může jen pomoci. Ale je zde velký problém s neveřejností dat, v zahraničí je obvyklé vše zveřejňovat, jsou na to zvyklé knihovny i zřizovatelé, u nás nikoli. I. Brožek ještě upozornil, že zahrnutí vysokoškolských knihoven do porovnávání by bylo velmi ztížené z důvodu velké odlišnosti parametrů (různé výpůjční lhůty, kopírování jako služba nebo samoobslužné, fondy ve skladu apod.). Za závěrečnou myšlenku celého semináře můžeme považovat názor, že by se vysokoškolské knihovny neměly bát srovnání, často poskytují stejně kvalitní služby jako knihovny zahraniční. Je to pouze o odvaze, administrativní zátěž není nezvládnutelná. Pozn.: Na webových stránkách KUK MU bude publikován elektronický sborník příspěvků. Informace o vyvěšení se objeví v elektronické konferenci Knihovna. Štítky: zpráva ze semináře, benchmarking, efektivnost, výkonnost, měření, vysokoškolské knihovny

, kvalita, porovnávání, statistické výkazy