BEZK, z. s., Masarykova univerzita, Agentura Koniklec, o. p. s.
Závěrečná zpráva „Podpora udržitelnosti projektů podpořených z OPŽP v Prioritní ose 7 – Rozvoj infrastruktury pro environmentální vzdělávání, poradenství a osvětu“
Spolufinancováno z Prioritní osy 8 – Technická pomoc financovaná z Fondu soudržnosti. Ministerstvo životního prostředí, Státní fond životního prostředí České republiky, www.opzp.cz, Zelená linka: 800 260 500, e-mail:
[email protected]
Mgr. Pavel Činčera 30.10.2015
Závěrečná zpráva O realizaci díla „Podpora udržitelnosti projektů podpořených z OPŽP v Prioritní ose 7 – Rozvoj infrastruktury pro environmentální vzdělávání, poradenství a osvětu“ Zadavatel: Česká republika – Ministerstvo životního prostředí
Zpracovatelé: Brontosauří ekocentrum Zelený klub (BEZK), z. s. Agentura Koniklec, o. p. s. Masarykova univerzita
Zprávu zpracoval: Mgr. Pavel Činčera email:
[email protected] tel.: 775156268
V Praze dne 30. 10. 2015
1
Obsah 1.
Zpracovatelé .................................................................................................................................... 3
2.
Tým řešitelů ..................................................................................................................................... 4
3.
Harmonogram realizace díla ........................................................................................................... 4
4.
Popis realizace ................................................................................................................................. 5 Pilotní implementace certifikovaných metodik hodnocení programů ve 3 střediscích EVVO podpořených z PO 7 OP ŽP .................................................................................................................. 5 Evaluační tým ...................................................................................................................................... 6 Přehled ověřovaných metodik a programů......................................................................................... 6 Environmentální postoje / Expedice Hájovna ................................................................................. 6 Badatelské kompetence / Terénní ekologie .................................................................................... 7 Interpretace přírodního a kulturního dědictví / Naučná stezka Na Plachtě ................................... 8 Případové studie.................................................................................................................................. 9 Tři pracovní konference ...................................................................................................................... 9 Konference pro realizátory EVVO .................................................................................................... 9 Konference pro donory ................................................................................................................. 10 Konference pro učitele / objednatele programů ......................................................................... 10 Zpracování návrhové části pro využití certifikovaných metodik hodnocení programů EVVO pro posuzování výkazů činnosti center EVVO .......................................................................................... 10
5.
Závěrem ......................................................................................................................................... 11
6.
Seznam příloh ................................................................................................................................ 12
2
1. Zpracovatelé Nabídku na zpracování díla předložilo Brontosauří ekocentrum Zelený klub (BEZK) společně s Agenturou Koniklec, o. p. s. a Masarykovou univerzitou. Toto sdružení dodavatelů organizačně vedl BEZK, který byl vybrán ke komunikaci s MŽP jako zadavatelem a k podpisu Smlouvy o dílo. Uchazeči splňovali odborné kvalifikační požadavky na realizaci díla společně.
Brontosauří ekocentrum Zelený klub (BEZK) právní forma: spolek Malířská 231/6, Praha 7 IČ: 45251461 DIČ: CZ45251461
Agentura Koniklec, o. p. s. právní forma: obecně prospěšná společnost Chelčického 1130/12, 130 00 Praha 3 IČ: 45768170 DIČ: CZ45768170
Masarykova univerzita právní forma: vysoká škola Žerotínovo nám. 617/9, 601 77 Brno IČ: 00216224 DIČ: CZ00216224
3
2. Tým řešitelů BEZK, z. s. Mgr. Pavel Činčera Mgr. Martin Mach Ing. Zdeňka Vítková
Agentura Koniklec, o. p. s. Miroslav Lupač Mgr. Irena Tichá
Masarykova univerzita PhDr. Jan Činčera, PhD
3. Harmonogram realizace díla leden – únor 2015 Příprava realizace projektu Příprava hodnotících (evaluačních) nástrojů pro konkrétní programy Zahájení hodnocení
březen – červenec 2015 Sběr dat pro hodnocení
srpen – září 2015 Dokončení sběru dat Zpracování Případových studií Zpracování Návrhové části pro využití certifikovaných metodik hodnocení programů EVVO pro posuzování výkazů činnosti center EVVO
říjen 2015 Zpracování prezentací pro pracovní konference Dvě pracovní konference Zpracování závěrečné zprávy
4
4. Popis realizace realizace Dne 2. 3. 2015 byla podepsána smlouva o realizaci díla a neprodleně byly zahájeny práce. Cílem realizace bylo ověřit tři specifické nástroje/metodiky pro hodnocení programů environmentálního vzdělávání, výchovy a osvěty (EVVO) vytvořené v roce 2013. Tyto metodiky mají přispět k rozvoji evaluací programů EVVO v ČR, tedy metodologicky korektního posuzování jednotlivých programů z hlediska dopadů na účastníky založeného na kvantitativních i kvalitativních metodách. Evaluace programů jsou nezbytným předpokladem pro dosažené kvalitativního posunu v hodnocení EVVO, pro zlepšování služeb EVVO a kultivace celého oboru. Evaluace jsou rozhodujícím nástrojem pro zajištění udržitelnosti poskytovaných služeb trvalým sledováním a vyžadováním kvality. Realizace zakázky umožnila ověřit, zda teoreticky připravené metodiky lze převést do praxe a s jakým přínosem pro lepší udržitelnost fungování středisek ekologické výchovy. Na vlastní ověření metodik navazovalo seznámení vybraných skupin uživatelů s jejich využitelností a obecně s principem a cíli evaluací. Součástí realizace je i návrh na využití evaluací v praxi donorů, jakým způsobem trvale podporovat zlepšování služeb středisek ekologické výchovy a jejich udržitelné a efektivní fungování.
Pilotní Pilotní implementace certifikovaných metodik hodnocení programů ve 3 střediscích EVVO podpořených z PO 7 OP ŽP V rámci zpracování díla byla provedena pilotní implementace metodik pro hodnocení (evaluaci) programů EVVO. Jde o metodiky certifikované MŽP: 1. Metodika pro hodnocení programů environmentální výchovy pro předškolní a mladší školní věk; 2. Metodika pro hodnocení programů environmentální výchovy pro starší školní věk a střední školy; 3. Metodika pro hodnocení programů environmentální výchovy pro dospělé účastníky. Pro implementaci/ověření metodik bylo zapotřebí vybrat střediska/programy EVVO odpovídající svým zaměřením každé příslušné metodice. Při vybírání středisek EVVO jsme vycházeli z několika kritérií: 1. Středisko EVVO bylo podpořeno z prostředků OP ŽP. 2. Středisko realizuje v předmětném období vhodný druh programu. 3. Středisko je ochotno spolupracovat. 4. Výběr středisek alespoň v omezené míře odráží geografické rozložení středisek. Na základě těchto kritérií jsme vybrali 3 střediska a 3 druhy příslušně diferencovaných (specifických) programů.
5
Eval Evaluační tým •
Pavel Činčera (BEZK)
•
Martin Mach (BEZK)
•
Mirek Lupač (Agentura Koniklec)
•
Zdena Vítková (BEZK)
•
Irena Tichá (Agentura Koniklec)
Přehled ověřovaných metodik a programů Environmentální postoje / Expedice Hájovna Ověřovaná metodika: Metodika pro hodnocení programů environmentální výchovy pro předškolní a mladší školní věk Postoje k životnímu prostředí (environmentální postoje) patří k tradičním cílovým oblastem environmentální výchovy. Přestože existuje řada nástrojů pro měření těchto postojů u dospělých respondentů, pro mladší školní žáky nelze většinu z nich použít. Příkladem nástroje pro výzkum environmentálních postojů u této věkové skupiny je 2-MEV, popsaný v rámci certifikované metodiky pro mladší školní věk.1 Nástroj byl zatím použit v domácím kontextu k evaluaci programu Strážci Země2. V rámci realizace díla byl proto nástroj znovu ověřen na věkové skupině žáků prvního stupně základních škol. Výzkum byl proveden na žácích prvního stupně účastnících se pobytového programu Expedice Hájovna realizovaného Muzeem Říčany. Protože velikost skupiny je poměrně malá, je součástí evaluace podrobná analýza programu využívající existující metodická doporučení pro outdoorové programy environmentální výchovy (Real World Learning3) a doplňující sběr kvalitativních dat. Cílem evaluace bylo odpovědět na následující otázky: •
Rozvíjí pobytový program vztah žáků k přírodě a jejich zájem o přírodní vědy? Jak spolu obě proměnné souvisí?
•
Jsou obě sledované proměnné ovlivněné genderem?
•
Do jaké míry program koresponduje s metodickými doporučeními modelu Real World Learning?
Pro zodpovězení otázek byl použit evaluační plán typu QUAL+quan, kombinující strukturované pozorování a sběr kvantitativních dat před a po programu.
1
ČINČERA, J. (2013). Metodika pro hodnocení programů environmentální výchovy pro předškolní a mladší školní věk. Envigogika: Charles University E-journal for Environmental Education, 8(5). Retrieved from http://www.envigogika.cuni.cz/index.php/Envigogika/article/view/413
2
JOHNSON, B., & MANOLI, C. C. (2008). Using Bogner and Wiseman’s Model of Ecological Values to measure the impact of an earth education programme on children’s environmental perceptions. Environmental Education Research, 14(2), 115– 127.
3
V. The Real World Learning (2014). RWL Model. Retrieved from http://www.rwlnetwork.org/
6
Pozorování předcházela analýza programu zpracovaná podle kritérií z tzv. Modelu ruky, vytvořeného v rámci projektu Real World Learning (2015). Původně měla ve sledovaném období (duben-červen 2015) program absolvovat pouze jediná skupina. Později se přihlásila ještě jiná třída. Celkově program absolvovalo 32 žáků ze třetí a čtvrté třídy základní školy, průměrný věk 9,5 let, 16 chlapců a stejný počet dívek. Reliabilita nové škály použitých testů byla ověřována na skupině 151 žáků 3. třídy základní školy, průměrný věk 9,1 let. Badatelské kompetence / Terénní ekologie Ověřovaná metodika: Metodika pro hodnocení programů environmentální výchovy pro starší školní věk a střední školy V souvislosti s celoevropským poklesem zájmu žáků o přírodovědné vzdělání roste i v České republice zájem o tzv. badatelsky orientovanou výuku (BOV). I přes řadu teoreticky orientovaných prací byl u nás publikován jen malý počet empirických studií, které by vyhodnocovaly efekt programů vycházejících z BOV. 4 5 Cílem této části projektu je proto ověřit nástroj Badatelé, publikovaný v certifikované metodice pro střední školy6, určený pro vyhodnocování porozumění tzv. badatelskému cyklu, reprezentujícího základní principy vědecké práce. V rámci projektu byla ověřována konstrukční validita nástroje jeho souběžným použitím se zahraničním nástrojem SEI7. Ověřování nástroje proběhlo na středoškolském pobytovém programu Terénní ekologie, nabízeném Střediskem ekologické výchovy Kaprálův mlýn. Cílem evaluace bylo odpovědět na následující evaluační otázky: •
Rozvíjí program porozumění principům vědecké práce (vědecké gramotnosti a porozumění badatelskému cyklu)?
•
Mají studenti, kteří podle testu vědecké gramotnosti (SEI) získali bod, lepší skóre v testu ověřujícím porozumění badatelského cyklu, než studenti, kteří žádný bod nezískali?
•
Hrají v programu a v ověřovaných proměnných roli gender či zájem studenta o studium přírodních věd na vysoké škole?
Pro nalezení odpovědí byl využit jednoduchý kvaziexperimentální design experimentální skupina / kontrolní skupina pretest/posttest. Experimentální skupinu tvořili všichni žáci, kteří program absolvovali v období duben – červen 2015, celkem ze čtyř škol. Kontrolní skupina byla tvořena žáky ze stejných ročníků stejného typu škol, kteří program neabsolvovali. Celkově se podařilo shromáždit data od 88 žáků (64 dívek, 24 chlapců) v průměrném věku 16,4 let, kteří se účastnili programu a 93 žáků (59 dívek, 34 chlapců) v průměrném věku 17,5 let, kteří se programu nezúčastnili.
4
ČINČERA, J. (2011). Rozvoj výzkumných kompetencí žáků na základní škole – zkušenosti z evaluace programu o Jizerských horách. Envigogika: Charles University E-journal for Environmental Education, 6(3). Retrieved from http://envigogika.cuni.cz/index.php/Envigogika/article/view/63/html_63 5
CINCERA, J. (2014). To think like a scientist: an experience from the Czech primary school inquiry-based learning programme. The New Educational Review, 37(2), 118-130. 6
ČINČERA, J. (2013). Metodika pro hodnocení programů environmentální výchovy pro starší školní věk a střední školy. Envigogika: Charles University E-journal for Environmental Education, 8(5). Retrieved from http://www.envigogika.cuni.cz/index.php/Envigogika/article/view/414
7
CRONJE, R., ROHLINGER, S., CRALL, A. & NEWMAN, G. (2011). Does participation in citizen science improve scientific literacy? A study to Compare assessment methods. Applied Environmental Education & Communication, 10, 135-145.
7
Interpretace přírodního a kulturního dědictví / Naučná stezka Na Plachtě Ověřovaná metodika: Metodika pro hodnocení programů environmentální výchovy pro dospělé účastníky Interpretace přírodního a kulturního dědictví patří mezi důležité oblasti EVVO. Přes značný objem finanční podpory tohoto druhu programů neodpovídá většina domácích interpretačních programů existujícím domácím doporučením. Evaluace jejich efektivity je pak spíše výjimečná. Pro ověření metodiky pro dospělé účastníky8 byla proto vyhodnocena efektivita naučné stezky Na Plachtě, provozovaná střediskem SEVER. Evaluace proběhla v průběhu letních měsíců. Jejím cílem bude vyhodnotit kvalitu zvolené naučné stezky podle kritérií tematické interpretace T.O.R.E.9 Cílem evaluace bylo odpovědět na následující otázky: •
Do jaké míry NS odpovídá doporučeným kritériím tematické interpretace (Ham, 2013)?
•
Jaká je atraktivita a síla panelů NS?
•
Jaká je interpretační účinnost NS?
Analýza hodnocení korespondence NS se zásadami tematické interpretace byla zpracována podle Hamovy metodiky T.O.R.E. (2013). Podle ní by interpretační program měl být: •
Tematický, tj. komunikující jedno hlavní sdělení;
•
Organizovaný, tj. přehledně komunikující maximálně 4 dílčí sdělení související s hlavním sdělením;
•
Relevantní, tj. vztahující se k horizontu i jazyku návštěvníků;
•
Zábavný, tj. zpracovaný atraktivní formou.
Tato kritéria byla využita i pro kvalitativní hodnocení NS. Pro hodnocení byly využity interní podklady sdružení SEVER (informace o NS a zobrazení jednotlivých panelů) a prohlídka NS hlavním evaluátorem a pozorovateli, kteří sbírali data o návštěvnících NS. Pro pozorování a dotazování návštěvníků byly vybrány tři dny v období červen – srpen v celkové délce 20 hodin.
8
ČINČERA, J. (2013). Metodika pro hodnocení programů environmentální výchovy pro dospělé účastníky. Envigogika: Charles University E-journal for Environmental Education, 8(5). Retrieved from Retrieved from http://www.envigogika.cuni.cz/index.php/Envigogika/article/view/415 9
HAM, S. (2013). Interpretation – making a difference on purpose. Golden: Fulcrum Publishing.
8
Případové Případové studie Pro každé středisko byla zpracována případová studie ve formě evaluační zprávy, která zahrnuje: a) popis programu; b) použitou metodiku, včetně odkazů na využitou literaturu, testy a články; c) výsledky hodnocení/evaluace programu; d) hodnocení metodiky; e) doporučení vedoucí ke zlepšení konkrétního programu; f)
doporučení obecnějšího charakteru použitelná jak pro realizátory programů EVVO v dalších střediscích EVVO tak i pro donory (objednatele) programů.
Přehled zpracovaných studií: ČINČERA, J. (2015). Terénní ekologie: evaluační zpráva ČINČERA, J. (2015). Expedice Hájovna: evaluační zpráva ČINČERA, J. (2015). Naučná stezka Na Plachtě: evaluační zpráva Případové studie jsou k dispozici v elektronické formě. Jejich závěry byly použity v materiálu návrhové části pro využití certifikovaných metodik hodnocení programů EVVO pro posuzování výkazů činnosti center EVVO. Výsledky byly dále prezentovány na 3 pracovních konferencích (viz dále). Kromě toho byly zpracovány výsledky dotazníků z kontrolních skupin. Ty byly dány k dispozici spolupracujícím pedagogům/školám, které testování v kontrolních skupinách umožnily.
Tři pracovní konference Uspořádali jsme tři pracovní konference. Pro každou z nich byla připravena samostatná prezentace dále využitelná pro další práci s příslušnými cílovými skupinami. Konference pro pro realizátory EVVO EVVO Hlavní cíl konference: Seznámit účastníky s metodikami a jejich využitím pro sebehodnocení realizátorů a trvalé zlepšování jejich programů a služeb. Pro realizátory EVVO/pracovníky středisek byla uspořádána pracovní konference dne 23. 10. v Brně, v prostorách Masarykovy univerzity. Vzhledem k tomu, že se velká část realizátorů programů EVVO zúčastnila konference v Sedmihorkách (viz dále), byla účast o něco nižší, než předpokládaná: 12 účastníků. Účastníci pozitivně hodnotili možný přínos metodik pro jejich práci, pro zlepšování výchovných a vzdělávacích programů. Projevili obavy z nekvalifikovaného a formálního využití metodik nepoučenými a nevyškolenými donory (především z veřejné správy), kdy by mohlo hrozit, že z praktického nástroje na zlepšování služeb a identifikaci kvalitních programů se stane formální nástroj, případně „bič na ekocentra“, který povede ke krácení dotací.
9
Konference pro pro donory Hlavní cíl konference: Seznámit donory / zástupce veřejné správy s existencí hodnotících postupů a metodik a prodiskutovat jejich možné využití pro podporu kvalitních programů a středisek. Pro krajské koordinátory EVVO byla uspořádána pracovní konference dne 15. 10. ve středisku environmentální výchovy Švagrov. Zúčastnilo se 23 koordinátorů EVVO a dalších pracovníků krajských úřadů. Krajští koordinátoři se rozdělili do tří nestejně velkých skupin. Zástupci nejmenší skupiny uvítali postupy hodnocení kvality programů jako jednoznačně přínosné a chybějící v jejich praxi (především zástupci Prahy, což je kraj, který poskytuje největší dotace na EVVO). Druhá, o něco větší skupina, byla velmi opatrná a projevila obavy z hodnocení kvality dotovaných programů. Jejich obavu lze shrnout citací: „Co když se ukáže, že dotované programy k ničemu nepřispívají, budeme muset zpětně krátit dotace?“. Mezi těmito krajními názory se objevila škála názorů, převládala zvědavost a chuť nad věcí přemýšlet a nejlépe ji ověřit formou nějakého pilotního programu. Konference pro pro učitele / objednatele programů Hlavní cíl konference: Seznámit učitele, což jsou klienti středisek, s existencí hodnotících postupů a metodik a prodiskutovat jejich možné využití pro identifikaci kvalitních programů a středisek. Pracovní konference se konala 8. 10. v areálu kempu Sedmihorky, účastnilo se 40 účastníků. Oproti předpokladům se k cílové skupině učitelů přidali na tomto semináři i realizátoři, tj. pracovníci středisek environmentální výchovy. Konference byla specifická právě tím, že se účastnili jak učitelé, tak realizátoři. To se ukázalo být ku prospěchu věci, protože vznikla bohatá diskuse a dělba praktických zkušeností. Ve výsledku účastníci projevili o postupy hodnocení dopadů programů velký zájem a to jak realizátoři, tak i učitelé. Z pohledu učitelů šlo o možnosti identifikace vhodných programů, které budou mít na jejich žáky skutečný dopad. Z pohledu realizátorů o postupné sebezlepšování a tím i lepší prosazování se na trhu služeb EVVO. Celkový počet účastníků pracovních konferencí byl 75.
Zpracování návrhové návrhové části pro využití certifikovaných metodik hodnocení programů EVVO pro posuzování výkazů činnosti center EVVO ČINČERA J. (2015) Efektivní podpora environmentálního vzdělávání, výchovy a osvěty: cesta ke zvyšování kvality Návrhový materiál je určen především donorům z veřejné správy (MŽP, SFŽP, MŠMT, kraje, města). Obsahem návrhového materiálu je shrnutí a vysvětlení metodik a doporučení k jejich využívání pro efektivní nastavení podpory středisek EVVO. Materiál byl publikován v počtu 100ks a distribuován na pracovní konferenci pro krajské koordinátory a je k dispozici také v elektronické podobě. Doporučení a principy obsažené v dokumentu byly prezentovány na pracovních konferencích.
10
5. Závěrem Jak popisujeme v Návrhovém dokumentu, a jak jsme ověřili na třech pilotních projektech, evaluace vzdělávacích programů mohou vést k efektivnějšímu vzdělávání ve všech třech sledovaných věkových skupinách. Pomocí evaluací lze zjistit dopad vzdělávacích programů na účastníky a odlišit tak kvalitní programy od těch méně kvalitních. U méně kvalitních programů lze identifikovat jejich slabé stránky a vylepšit tyto programy cílenou nápravou zjištěných chyb prostřednictvím kritické reflexe. V Návrhovém dokumentu doporučujeme tyto postupy využít i v praxi donorů. Realizátoři nabízející kvalitní programy, kteří ověřují jejich dopady a snaží se o zlepšování prostřednictvím reflexe výsledků, by měli být při získávání veřejné podpory zvýhodněni. Ostatní realizátoři by měli být motivování ke zlepšování a provádění evaluací programů. Současně jsme identifikovali rizika tohoto procesu, kdy hrozí, že hodnocení dopadů vzdělávacích programů se stane formálním požadavkem, a to i proto, že použití tohoto nástroje vyžaduje poměrně vysokou kvalifikaci a dostatečnou zkušenost se vzdělávacími programy a metodikami hodnocení. Správně použité metodiky evaluací vzdělávacích procesů, a to jak realizátory, tak i donátory z veřejné správy, povedou k větší udržitelnosti středisek, podaří se nejen oddělit a více podpořit kvalitně navržené a realizované programy, ale bude k dispozici i věcná argumentace pro další veřejnou podporu EVVO. Takováto podpora může být cílenější a zaměřená nejen na konkrétně dosahované vzdělávací a výchovné výsledky, ale i na postupné zlepšování kvality služeb poskytovaných středisky EVVO.
V Praze dne 30. 10. 2015 Pavel Činčera, BEZK, z. s.
11
6. Seznam příloh Přílohami závěrečné zprávy jsou tištěné dokumenty a CD s jejich elektronickou podobou -
Terénní ekologie: evaluační zpráva (tisk, DOCX, PDF)
-
Expedice Hájovna: evaluační zpráva (tisk, DOCX, PDF)
-
Naučná stezka Na Plachtě: evaluační zpráva (tisk, DOCX, PDF)
-
Prezentace „Efektivní podporou k růstu kvality EVVO“ (PPTX)
-
Prezentace „Jak využít evaluace pro zvyšování kvality programů EVVO“ (PPTX)
-
Prezentace „Jak vybrat kvalitní program EVVO“ (PPTX)
12
