Projektek értékelése dr. Koós Tamás 2013. szeptember 18. Budapest
Az értékelés • Annak a vizsgálata, hogy a projekt vagy program miképpen járul hozzá a kitűzött, átfogó célok eléréséhez; • Annak vizsgálata, hogy a projekt milyen mechanizmusokon keresztül fejti ki hatását • Az értékelési folyamat fő kérdései: Milyen hatást értünk el? Mitől működik?
Tevékenység
Audit
Monitoring
Értékelés
A külső és belső előírásoknak (pl. jogszabálynak) való megfelelés vizsgálata
Megvalósulás vizsgálata az előre megadott működési célokhoz viszonyítva
A tevékenység vizsgálata a z elérni kívánt hatások szempontjából (hozzájárult-e a megoldani kívánt probléma kezeléséhez?)
Folyamatos
Folyamatos, az alapvető indikátorok gyűjtése üzemszerű
Lehet : előzetes, utólagos, köztes
Külső vagy belső auditor
Menedzsment
Külső szakértő, de lehet belső team-tag is
A tevékenység elsődleges célja
Menedzsment
Menedzsment
Elemző-tudományos
Következmény ei
A szabályszegés szankcionálása és korrekciója
Projekt módosítása, erőforrásátcsoportosítás, menedzseri döntések
Megnövekedett ismeretek, Jobb projekt-tervezés a jövőben
Célrendszer
Ütemezés
Megvalósító jellege szerint
Az értékelés • Eredmény-értékelés : van-e olyan, a célok szempontjából fontos változó, amely kedvező v. bármilyen irányban változott a projekt/program nyomán? • Akarjuk-e folytatni/megismételni/terjeszteni/fejleszteni a programot? Jobb lenne elfelejteni?
Az értékelés • Folyamat-értékelés: nem az eredményekre, a kimenetelre koncentrál, hanem a megvalósítás végrehajtását, a részt vevők reakcióit, magatartását vizsgálja; • A projekt/program működési mechanizmusait tanulmányozza (sikertényezők, kudarcok lehetséges okai)
Az értékelés legfontosabb fogalmai • Indikátorok: eredmény-indikátorok: gyakran a projektek követően, akár évekkel később vizsgálhatóak. A kívánt hatásokra jellemző mutatók folyamat-indikátorok: célcsoport működése, intézményi működések jellemzői – n.b. nem keverendő a monitorozási indikátorral (bár lehet átfedés). Ide tartoznak a minőségi indikátorok is
Az értékelés legfontosabb fogalmai • Köztes indikátorok: a végső célok eléréshez szükséges változások bekövetkezését jelzik, tehát prediktív értékűek lehetnek a célok elérése tekintetében
Értékelés és tudomány • A projektre/programra/politikára vonatkozó szakismeretek az indikátorok kiválasztásának alapja • Kulcs-kérdések: relevancia, mérhetőség, megbízhatóság, tudományos megalapozottság
Értékelési eszköz
Eszköz típusa
Rövid leírás Formális
Felmérés (survey) Interjú
Előre megadott kérdések bizonyos témában, amelyet a célcsoport megválaszol Kérdések csoportja, melyet a célcsoportnak feltesznek, és amelyet további kérdések és megbeszélés követ
Tudás/készség tesztek
Kérdések csoportja, amelyek a célcsoport bizonyos ismereteinek vagy készségeinek megismerésére irányulnak
Főkuszcsoport
Csoportmegbeszélés viszonylag kevés számú emberrel meghatározott témáról
Értékelőlap
Kérdések csoportja, melyek a részt vevők véleményét, attitűdjeit és megértését vizsgálják a projekt meghatározott fázisa után
Informális
X
Kvantitatív
Kvalitatív
X
X
X
X
X
X
X
X
X
Feljegyzések
A projekt észt vevőinek napi tevékenységeiről szóló, saját maguk által készített írásos jelentés
X
X
Helyszíni látogatások
Megfigyelések és interjúk kombinációja, amely a projekt megvalósítási helyszínén történik
X
X
Tevékenységi napló
A projekt tagjainak napi tevékenységi jelentése előre megadott formában
Megfigyelési feljegyzések
A projekt-tevékenységek közvetlen megfigyelése során készített feljegyzések
Dokumentáció
Projekt tevékenységek adminisztratív feljegyzései (pl. jelentések, megbeszélések emlékeztetői, regisztrációs lapok)
Anekdotikus feljegyzések
Történetek és elbeszélések egy projekt-eseményről, tapasztalatról vagy személyről, a projekt-team vagy részt vevő által
X
X X
X
X
Forrás: Project Evaluation Guide for Nonprofit Organisations, Imagine Canada, 2006
X
X
X
X
Az értékelési folyamat szervezése • A programokat, projekteket az eredmények alapján, de a megvalósítás folyamatai szerint is értékelni kell • Folyamatértékelés - eredményértékelés Miért? Az eredmények demonstrálják a hatásosságot, a folyamatok értékelése a hatásmechanizmus megértését segíti elő+monitoringot támogatja A döntéshozó és a projekt-menedzsment felelőssége, hogy az értékelés munkatervében mindkettő szempont kellő súllyal megjelenjen.
Az értékelési folyamat szervezése • Az értékelés módszerének kiválasztása kritikus mozzanat, egy adott programot általában nem lehet randomizált, kettős vak kísérlet során értékelni Miért: drága, nem standardizálhatóak a körülmények, nem ad információt a program működéséről (pl. nincs két egyforma közösség, iskola, kórház, kommunikációs kampány stb.)
