A képzett szakemberekért
SZFP II. Hazai Peer Review 2009 A külső értékelés módszertana III.1. előadás
Szakképzési Önértékelési Modell EREDMÉNYEK
ADOTTSÁGOK
Munkatársi eredmények
Emberi erőforrások
Vezetés
Stratégia
Erőforrások
Folyamatok
Közvetlen partneri eredmények
Kulcsfontosságú eredmények
Társadalmi hatás eredményei
INNOVÁCIÓ és TANULÁS 2
Szakképzési Önértékelési Modell ADOTTSÁGOK Emberi erőforrások
Vezetés
Stratégia
Erőforrások
Folyamatok
Az Adottságok arra keresnek választ, hogy az intézmény mit tesz érte, és hogyan éri el az eredményeit. Azon módszerek összességét jelenti, amelyek segítségével az intézmény erőforrásait hasznosítja az eredmények elérése érdekében. 3
Szakképzési Önértékelési Modell Az Eredmények arra keresnek választ, hogy az alkalmazott módszerek meghozzák-e az intézmény által elvárt sikereket. Ezekben a kritériumokban azt kell bemutatni, hogy az intézmény milyen eredményeket ért el és ezen eredmények milyen mértékben az alkalmazott módszerek következményei.
EREDMÉNYEK Munkatársi eredmények Közvetlen partneri eredmények
Kulcsfontosságú eredmények
Társadalmi hatás eredményei 4
Az Önértékelési Jelentés tartalma 1. Bevezető 2. Önértékelés • alkritériumonként, • adottságok, (szöveges leírás, ábrák, táblázatok)
• eredmények, (grafikonok, táblázatok, rövid szöveges magyarázatok),
• speciális kérdések a Peer-ekhez. 3. Mellékletek
5
Az ÉRTÉKELÉS LOGIKÁJA (1) Eredmények, célok megtervezése (Plan) Módszer és alkalmazás Értékelése és Felülvizsgálata (Check and Action)
PDCA
Módszer Alkalmazása (Do)
Módszer kiválasztása (Plan)
6
ADOTTSÁGOK – Módszerek • A megfelelő módszer kiválasztása és alkalmazása (P). • A partnerek elvárásainak figyelembevétele (P). • Az intézményi stratégia támogatottsága (P). • Kapcsolat más, az intézményen belül alkalmazott módszerekkel (P). • Bevezetettség és rendszeres alkalmazás minden szükséges területen (D). • A módszer eredményességének és hatékonyságának értékelése (C). • A módszerek továbbfejlesztése (egymástól tanulás, jó gyakorlat felismerése, átvétele és elterjesztése) – (A).
7
Tervezés (P) – példa A munkatársi elégedettség mérésére 25 kérdésből álló kérdőíves felmérést alkalmazunk, amely 8 témakörben vizsgálja a munkatársak elégedettségét. A kérdőíveken ötös skálán kell értékelni a kérdéses területeken a munkatársak elégedettségét, valamint a kérdés fontosságát a munkatársak elégedettségével kapcsolatban. A kérdőíves felmérést további interjúkkal egészítjük ki, egy előzetes kérdőív alapján, amit a kérdőívek feldolgozása után készít el az elemzést végző csoport. 8
Alkalmazás (D) – példa A munkatársi felmérést minden év decemberében elvégezzük. A kérdőívet az intézmény minden dolgozójának átadjuk (pedagógus és nem pedagógus munkatárs). Majd utána a külön szabályzatban meghatározott mintavétellel végezzük el az interjúkat, hogy az intézmény teljes működését (minden munkatársi kört és minden intézményi egységet) lefedje a megkérdezettek köre. 9
Értékelés és Felülvizsgálat (CA) – példa A munkatársi elégedettség mérés feldolgozása után az eredmények összegzésekor a felmérés módszertanát is értékeli a felmérésért felelős csoport, amit egy írásos beszámolóban is rögzítünk. Ezt segítik a kérdőívben a kérdőív megfelelőségére vonatkozó kérdések is. Ennek következtében vezettük be 2005-ben az interjúkat, és ennek köszönhető a kérdőív témákba történő besorolása 2006-ban. 2007-ben megvizsgáltuk másik 3 hasonló méretű intézmény alkalmazott gyakorlatát is. Ennek következménye volt az interjúkészítők képzése és a fókuszcsoportos interjúk bevezetése. 10
ERŐSSÉG – ADOTTSÁGOK • (P) Egyértelmű módszerek, szabályok, folyamatok, a tevékenységek megvalósítási rendszerének tényszerű bemutatása. • (P,D) A vizsgált területen alkalmazott módszereket összehangolják az intézmény stratégiájával, valamint az intézmény más működési területeken alkalmazott módszereivel. • (D) A belső szabályozásokat, a jó működési gyakorlatot széleskörűen és rendszeresen alkalmazzák. • (CA) Az alkalmazott módszereket és eljárásokat rendszeresen értékelik, külső és belső tanulás segítségével folyamatos fejlesztést valósítanak meg. • (C) Az alkalmazott módszerek, gyakorlat eredményességét és hatékonyságát az „Eredmények” oldalon szereplő mutatók alátámasztják. 11
MITŐL VÁLIK EGY ADOTTSÁG TÉNYSZERŰVÉ? MIT? MIT?
KI? KI?
HOGYAN? HOGYAN?
MIKOR? MIKOR? HOL? HOL?
MIÉRT? MIÉRT?
12
FEJLESZTENDŐ – ADOTTSÁGOK • A módszereket nem egyértelműen, jól definiáltan, a stratégiai célokkal és a partnerek elvárásaival összhangban alakították ki. • Az alkalmazott módszerek a céloknak, a partneri igényeknek és az alkalmazási területnek nem felelnek meg. • Az alkalmazott módszerek eredményességét nem vizsgálják felül, nem értékelik, és ez alapján nem teszik meg a szükséges változtatásokat, módosításokat (azaz a módszerek továbbfejlesztése nem történik meg).
13
EREDMÉNYEK • Az eredmények időbeli alakulása. • Célok elérése (célok megfelelősége). • Összehasonlítás más intézményekkel, szervezeti egységekkel. • Okok (kapcsolat az Adottságokkal). • Az eredmények kiterjedtsége (fontos eredmények).
14
EREDMÉNYEK ÉRTÉKELÉSE – PÉLDA Intézmény saját eredménye Más intézmény eredménye, vagy megyei, regionális, országos átlag
8 7
Cél
6 5 4 3 2 1 0 2003
2004
2005
2006
2007
2008
15
ERŐSSÉG – EREDMÉNYEK • • • •
Folyamatosan javuló tendencia (legalább 3 év). Tartósan magas érték (több év távlatában). Saját célok, a célok megfelelősége. Világos kapcsolat a bemutatott módszerek és eredmények között. • Minden szükséges területen rendelkeznek mérési eredményekkel, számszerű adatokkal. • Az eredmények vizsgálata alapján fejlesztéseket indítottak a megfelelő működési területeken. • Összehasonlítás (saját intézményen belül vagy 16 más intézménnyel, más szervezettel).
MITŐL VÁLIK EGY EREDMÉNY TÉNYSZERŰVÉ? MIÓTA? MIÓTA? (trend) (trend)
MAGUNKHOZ MAGUNKHOZ képest? képest?
MENNYI? MENNYI? (adat) (adat)
MÁSOKHOZ MÁSOKHOZ képest? képest? MIÉRT? MIÉRT? (ok) (ok)
MELY MELY adatok? adatok?
IGAZOLÓ IGAZOLÓ DOKUMENTUMOK DOKUMENTUMOK 17
FEJLESZTENDŐ – EREDMÉNYEK • Az önértékelés nem számszerűen és nem szemléletesen mutatja be az eredményeket. • Az eredményeket 1-2 évre mutatják be. • Az eredmények folyamatosan romló, vagy hullámzó tendenciát mutatnak. • A bemutatott eredményekhez kapcsolódóan nem vagy nem jól határoztak meg saját célokat. • A célok nem érik el az előre tervezett értékeket. • A bemutatott összehasonlító adatok jobbak az intézmény teljesítményénél. • Az eredmények elemzése alapján, szükség esetén nem indítanak fejlesztéseket a szakmai munka és az intézmény működésének fejlesztésére. • Nem mutatnak be összehasonlító adatokat. stb. 18
Cél – Módszer – Eredmény Hármas CÉ L
Cél megfelelőségének értékelése
– Kijelölése
MÓDSZER – – –
Kiválasztása Bevezetése Alkalmazása
Módszer értékelése és felülvizsgálata
EREDMÉNY – Mérése, Értékelése
19
A SZÖM II. MODELL BELSŐ KAPCSOLATRENDSZERE Néhány nyilvánvaló kapcsolat az ADOTTSÁGOK és az EREDMÉNYEK között: Kritériumok
Alkritériumok
3
és
7
2
és
5/9
4/5
és
9
3a
és
7a
5e
és
6a
Néhány példa az ADOTTSÁGOK alkritériumok közötti további kapcsolatokra: 4a és 5e – partnerkapcsolatok menedzselése 1d és 3e – munkatársak elismerése
20
Az ÉRTÉKELÉS ALAPELVEI • Alapja: írásos Önértékelési Jelentés. • Alkritérium szintű értékelés. • Mit kell bemutatni? – A SZÖM II. Modell határozza meg. • Szöveges értékelés (erősségek, fejlesztendő területek, kérdések). • Adottságok – Eredmények közötti összefüggés vizsgálata. • Fejlesztési javaslatok megfogalmazása.
21
Az ÉRTÉKELÉSI FOLYAMAT Az értékelési folyamat elemei: • Egyéni értékelés. • Csoportos értékelés. • Helyszíni látogatás. • Újra értékelés, konszenzus. • Értékelési összefoglaló, visszacsatolás. • Peer Review Jelentés. 22
Az ÉRTÉKELÉS LOGIKÁJA (2) Egyéni (Peer) értékelés 1. -
erősségek, fejlesztendő területek, kérdések.
Egyéni (Peer) értékelés 4.
...
-
erősségek, fejlesztendő területek, kérdések.
Konszenzus Egyetértési folyamat a Peer Team tagjai között - erősségek és fejlesztendő területek, - kérdések - további adatgyűjtés (Peer Látogatás) tekintetében. 23
EGYÉNI ÉRTÉKELÉS • Minden Peer elvégzi, az Önértékelési Jelentés alapján. • A teljes Önértékelési Jelentés elolvasása. • Értékelés alkritériumonként (Adottságok és Eredmények): Erősségek meghatározása • Fejlesztendő területek meghatározása • Kérdések megfogalmazása • Megjegyzések • Jó gyakorlatok, fejlesztési javaslatok • Egyéb, az értékelést segítő megjegyzések •
• A nagyobb jelentőségű erősség és fejlesztendő terület kerüljön rögzítésre (alkritériumonként átlagosan 3-6). 24 • Eredmény: Egyéni értékelő könyv.
ERŐSSÉGEK MEGFOGALMAZÁSA • ADOTTSÁGOK Az intézmény a tanulók egyéni képességeinek és tanulási nehézségeinek feltérképezésére a 9. és a 10. évfolyamon év elején bemeneti kompetenciaméréseket alkalmaz (OKM alapú és SZFP II.). Az adatlapok feldolgozásából származó információk, valamint a szöveges értékelésekben szereplő részletes értékelések és a fejlesztési javaslatok nagy segítséget nyújtanak felzárkóztatáshoz, és a fejlesztési tervek kidolgozásához. • EREDMÉNYEK Az általános iskolák és a gyakorlóhelyek magas fokú elégedettséget mutatnak minden vizsgált szempont tekintetében. (8. kritérium 43.o.) A partnerek elégedettek az iskolával történő információ átadással, együttműködéssel, rendezvényekkel, a dolgozók magatartásával (3.2.5. 8.) 25
FEJLESZTENDŐK MEGFOGALMAZÁSA • ADOTTSÁGOK Kevés információ van arról, hogy az intézményen belüli munkarend (pl. órarend, ügyeleti rend, helyettesítések) megszervezése hogyan történik. Nem világos az sem, hogy az intézményen belüli munkarend kialakításánál (pl. tantárgyfelosztás) hogyan veszik figyelembe a munkatársak igényeit, javaslatait. • EREDMÉNYEK Az iskola felszereltségével, a gyakorlati képzés tárgyi feltételeivel való szülői elégedettség csökkent, a tanulói elégedettség pedig stagnál, holott a szakmai eszközök, gépek és szemléltető eszközök beszerzésére fordított kiadások nőttek az elmúlt 2 tanévben (lásd 9b/6 j és k), és a gyakorlati képzőhelyek 26 eszközfejlesztése kiemelt fejlesztési cél (6. oldal).
KONSZENZUS (1) • Tényeken alapul, és nem véleményen (Önértékelési Jelentés az alapja). • Egyetértésen alapuló folyamat. • Alkritériumonként történik. • Megszünteti a saját értékelés érzelmi alapon történő védelmét. 27
KONSZENZUS (2) •
•
• • •
Csoportos értékelés előkészítése: egyéni értékelő könyvek összemásolása és összefésülése és a konszenzus találkozó előtti eljuttatása a Peer Team minden tagjához. Közös álláspont: a SZÖM II alkritériumonkénti erősségek, fejlesztendő területek, kérdések tekintetében. KONCENTRÁLJUNK A LÉNYEGRE! Eredmény: Csoportos értékelő könyv, Egyeztetett kérdéslista. 28 Helyszíni látogatás előkészítése.
Köszönöm a figyelmet!
29
Kérdések
30
