A helyi stratégiák értékelésének lehetısége, szükségessége és módszertana, avagy Hogyan és hogyan ne! XVII. Országos KEF Konferencia Felvinczi Katalin
Gyakran ismétlıd ismétl dı kérdések (FAQ)
Kell-e egyáltalán értékelni, hiszen úgyis nyilvánvaló a válasz? Kell-e szakértelem az értékeléshez? Kinek van haszna az értékelésbıl? Ki érti az értékelés eredményeit, tapasztalatait? Ki fogalmazza meg az értékelı munkával kapcsolatos kérdéseket?
ÉRTÉKELÉS FOGALMA Szisztematikus információgyőjtés egy adott tevékenységrıl (programról) és annak hatásairól a program leírása, következtetések levonása céljából. Kutatás – értékelés egymáshoz való viszonya
Az értékelés indokoltsága, szükségessége
AZ ELSZÁMOLTATHATÓSÁG (ACCOUNTIBILITY), ÁTLÁTHATÓSÁG KÍVÁNALMA A MODERN TÁRSADALMAK VELEJÁRÓJA (minıségügyi gondolkodás, közpénzek hatékony felhasználása)
CÉLJA 1
Megtudjuk, hogy az adott program (bevatkozás) a kívánt hatásokat érte-e el képet ad arról, hogy a programban megfogalmazott célok milyen mértékben valósulnak/valósultak meg Ha reflektálunk az értékelés tapasztalataira, akkor segít abban, hogy a (jövıben) jobb programokat hozzunk létre (szükségletek és források tekintetében)
CÉLJA 2
Hozzájárul tudásanyagunk növeléséhez (mind a saját, mind a szakma számára) Segíti a különbözı kezdeményezések tökéletesítését, javítását Visszajelzést ad a munkánkról – segíti a program megvalósítását, menedzsmentjét A program támogatóinak igazolja a költségeket
ALAPELEVEK AZ ÉRTÉKELÉSBEN
Projektek, programok, stratégiák erısítése Többféle módszer alkalmazása Valós problémák középpontba állítása Részvételen alapuló munka megvalósítása Rugalmasság Kapacitásnövelés
AZ ÉRTÉKELÉS SZINTJEI
Program, beavatkozás szintő értékelés (ebben van viszonylag nagyobb tapasztalatunk) Klaszter értékelés hasonló programok, beavatkozások csoportosítása Közös vezérfonalak, témák, azonosságok
Szakmapolitikai értékelés – nemzeti, helyi stratégia
AZ ÉRTÉKELÉS FAJTÁI
Kiinduló állapotfelmérés, szükségletfelmérés környezeti analízis
A program végrehajtásával kapcsolatos értékelés Folyamatértékelés Reagálás központú értékelés
Eredményértékelés Közvetlen eredmények – out-put értékelés Eredmények értékelése a célok tükrében – out-come értékelés Hosszú távú, kiterjedt eredmények értékelése – impact
KIINDULÓ ÁLLAPOTFELMÉRÉS A probléma jellegének, meghatározóinak, a program kontextusának megértése – Milyen az adott közösség ahol ahol a programunkat meg akarjuk valósítani? Milyen tényezık segíthetik avagy akadályozhatják a munkánkat?
Korai szakaszban Késıbbi szakaszban
A szükségletfelmérés algoritmusa (1)
1. lépés: a kezdet – – – – –
milyen populáció? mit akarunk elérni? kinek a szükségleteit akarjuk kielégíteni? milyen forrásokra van szükségünk? milyen kockázatokkal nézünk szembe?
2. lépés: a prioritások meghatározása – – – –
A populáció profilja adatgyőjtés a szükségletek percepciója A problémát meghatározó tényezık azonosítása és felmérése
A szükségletfelmérés algoritmusa (2)
3. lépés: a prioritások meghatározása az akció számára – olyan problémák és azok meghatározó faktorainak azonosítása, melyek a legnagyobb mérvőek és a súlyosságúak (szeveritás, ahogy a drogstratégia fogalmaz) a – A hatékony és elfogadható intervenciók meghatározása
4. lépés: a változás tervezése – – – –
az intervenció céljainak meghatározása akcióterv monitorozási és evaluációs stratégia kockázat-kezelési stratégia
5. lépés: folytatás, illetve áttekintés – a projektbıl leszőrt tapasztalatok, a távolabbi hatások (impact) mérése – a következ prioritások meghatározása – és a folyamat újraindul! Szükségletfelmérés – értékelés – tervezés egymástól elválaszthatatlanok
A PROGRAM VÉGREHAJTÁSÁVAL KAPCSOLATOS ÉRTÉKELÉS
A projekt gyakorlati megvalósítására vonatkozó információk győjtése- a program fejlıdésének, elırehaladásának dokumentációja Melyek a program kritikus tevékenységei /alkotórészei? Hogyan kapcsolódnak mindezek a projekt céljaihoz?
A PROGRAM VÉGREHAJTÁSÁVAL KAPCSOLATOS ÉRTÉKELÉS A fejlıdés pozitív elemeinek azonosítása, erısítése Az akadályok azonosítása és minimalizálása Annak azonosítása, hogy a program céljai mennyire vannak összhangban a célpopuláció szükségleteivel A rendelkezésre álló források fenn tudják-e tartani a tevékenységeket A programban dolgozók teljesítményének, észrevételeinek mérése A közösség észrevételeinek mérése Interakciók vizsgálata a részvevık és a programban dolgozók között
A PROGRAM VÉGREHAJTÁSÁVAL KAPCSOLATOS ÉRTÉKELÉS A program által létrehozott szolgáltatások minıségének vizsgálata Változások rögzítése A programban résztvevık és egyéb kulcsemberek tapasztalatainak, elégedettségének monitorozása Folyamat értékelés Formatív értékelés
EREDMÉNYÉRTÉKELÉS Rövid és hosszú távú eredmények vizsgálata
Közvetlen eredmények - output Rövid távú eredmények - outcome Hosszú távú eredmények, hatások - impact
Célokkal összefüggı vs. benchmarking típusú: a mérce nem a célkitőzés, hanem valami elvi jó Problémák: OK-OKOZATI összefüggés problémája Kísérleti – kontroll csoportos vizsgálat „uralma” Emberi viselkedés, társas interakciók vizsgálata
AZ ÉRTÉKELÉS FOLYAMATA
Tervezés
Végrehajtás, kivitelezés
Hasznosítás
TERVEZÉS
Programterv elkészítése
Értékelésre vonatkozó kérdések, témák, indikátorok megfogalmazása, azonosítása
Kulcsemberek azonosítása, értékelı team felállítása
Költségvetés készítése
VÉGREHAJTÁS, KIVITELEZÉS
Adatgyőjtési módszerek kiválasztása
Adatgyőjtés
Adatelemzés, értelmezés
Ki végezze az értékelést? KÜLSİ
„Friss szemmel” tekinthet a programra Nincs személyes érdekeltsége A programot, stratégiát, intervenciót kontrolláló hatalmi struktúrának nem része Semmit nem nyer a programból, azonban presztízsre tehet szert az értékelésbıl
BELSİ
Nagyon jól ismeri a programot Nehezen tud objektív lenni a kérdésben A programot, stratégiát, intervenciót kontrolláló hatalmi struktúrának része Saját, személyes érdekek motiválhatják
Ki végezze az értékelést? KÜLSİ
Speciális képzettséggel rendelkezik, tapasztalt, mint „szakértı” elismert a programban „kívülálló”, aki lehet, hogy nem érti magát a programot és az érintett embereket Feszültséget kelthet – ellenırzés jelleg
BELSİ Elıfordulhat, hogy nincs képzettsége e téren, vagy csak nagyon kevés Érti, jól ismeri a programot, környezetet, résztvevıket Ismert személy a programban, nem okoz a munkája feszültséget, problémákat, a végsı javaslatok kevésbé tőnhetnek fenyegetınek
HASZNOSÍTÁS
Javaslatok megtétele
Eredmények kommunikálása
Eredmények felhasználása
Elıkészület a délutáni csoport munkára – néhány fontos fogalom Indikátorok Pillér megnevezése
Adatok/adatbázis
Az Az adat az indikátor adatgazda adatgyőjtés hozzáférhetısége az adat az adat tevékenység folyamat eredmény érvényessége folyamat eredmény megnevezése módja a KEF számára érvényessége megbízhatósága
Indikátor – mérce (jelenség, történés, elterjedtség, számosság), ami jelzi, hogy valamely beavatkozást követıen MIBEN állt be változás Adat – a mérce mentén regisztrálható elmozdulás (elterjedtség nı, drogügyi koordinátorok számában beállt változás, stb.) Érvényesség – pl. tartalmi validitás: A tartalmi validitás arra utal, hogy a mérıeszköz által nyert adat megfelelıen fedi-e a vizsgálni kívánt jelenséget – tehát azt a jelenséget mérjük-e, amit mérni akartunk? – Kábítószer-probléma súlyosságának mérésére érvényes adat-e a kábítószert valaha kipróbálók %-os aránya? – A kábítószer-probléma elterjedtségét jól mutatja-e a kábítószerrel való visszaélés bőncselekmények száma?
Megbízhatóság - reliabilitás: azt vizsgálja, hogy a mérıeszköz pontosan és következetesen méri-e az adott jelenséget? Pl. csak olyan kérdéseket tartalmaz-e egy kérdıív, amelyek egymással, illetve a mérni kívánt jelenséggel összefüggésben vannak? Ha bizonyos idı elteltével megismételjük a vizsgálatot, akkor ugyanazt az eredményt kapjuk-e?
