TOVÁBBKÉPZÉSI FÜZETEK 62.
Kiss Margit: Mérési módszerek a pedagógiai értékelésben
EGÉSZSÉGÜGYI SZAKKÉPZÕ ÉS TOVÁBBKÉPZÕ INTÉZET 2005.
2
TOVÁBBKÉPZÉSI FÜZETEK
Szerzõ: Kiss Margit
Szerkesztette: Feigl Ágnes
Véleményezte: Horváth Károlyné
© Egészségügyi Szakképzõ és Továbbképzõ Intézet, 2005 Felelõs kiadó: Vízvári László fõigazgató Szedés, tördelés: Hegyi Gergely
Minden jog fenntartva, beleértve a sokszorosítás, a mû bõvített, illetve rövidített változata kiadásának jogát is. A kiadó írásbeli hozzájárulása nélkül sem a teljes mû, sem annak része semmiféle formában (fotokópia, mikrofilm vagy más hordozó) nem sokszorosítható.
MÉRÉSI MÓDSZEREK A PEDAGÓGIAI ÉRTÉKELÉSBEN
3
TARTALOMJEGYZÉK Bevezetõ Jogszabályi háttér A tananyag struktúrája A tananyag célja Követelmények Fogalomgyûjtemény Méréses módszerek a pedagógiai értékelésben 1. A mérési folyamat fõbb lépései 1.1. Céltételezés 1.2. Feladatlap szerkesztés 1.3. A feladatlap „jóságmutatói” - (próbamérés) 2. A mérés 2.1. Az adatok (pontszámok) statisztikai feldolgozása 2.2. A mérés adatainak elemzése 2.3. A teljesítmények háttere Összefoglalás Gyakorló/önellenõrzõ feladatok és megoldások Ellenõrzõ feladatok és értékelési szempontok Irodalomjegyzék Melléklet
04 04 05 06 06 06 08 09 09 10 11 12 12 13 14 15 15 17 20 21
4
TOVÁBBKÉPZÉSI FÜZETEK
BEVEZETÕ A szakértõk, szaktanácsadók, tantárgygondozók, vizsgaelnökök alkotják azt a szakmai grémiumot, akik akár az iskolarendszerû oktatásban, akár más képzési formában fejlesztõ, elemzõ, esetenként ellenõrzõ és értékelõ tevékenységükkel segíthetik az oktatás, a képzés szakszerûségét, hatékonyságát. Ezek a szakemberek számos - törvények és rendeletek (lásd: 3. sz. melléklet) által szabályozott - területen kaphatnak felkérést és megbízást valamely munka elvégzésére. Ilyenek pl.: - Tanácsadás iskolai dokumentumok elkészítésében (Pedagógiai Program, Helyi Tanterv, Minõségügyi Kézikönyv, stb.) - E dokumentumok szakértõi véleményezése az iskolafenntartó számára - Egyes pedagógusok, vagy a pedagógusok nagyobb csoportja szakmai munkájának véleményezése, szakmai tanácsadás (pl. az osztályozás, értékelés nehézségeirõl). - Közremûködés adott iskolában (tágabb régióban) folyó szakmai, pedagógiai munka színvonalának értékelésében. - Részvétel különféle állami vizsgák lebonyolításában (vizsgaelnökként a törvényesség felügyelete és biztosítása). E feladatok színvonalas elvégzése nem nélkülözheti a méréses módszerek szakszerû, hozzáértõ alkalmazását.
JOGSZABÁLYI HÁTTÉR A közoktatásról szóló 1993. évi LXXIX. Törvény - amelyet kihirdetése óta szinte minden évben módosított az Országgyûlés - több ponton érinti az oktatási intézmények pedagógiai értékelésével kapcsolatos kérdéseket. Ezen törvénynek a téma szempontjából a legfontosabb elemei: 99. § (1) A közoktatás országos mérési feladatai különösen: az országos vizsgarendszer mûködtetése, összehangolása, az alapmûveltségi vizsga és az érettségi vizsga követelményeinek meghatározása és felülvizsgálata, az országos vizsgarendszer fejlesztése és korszerûsítése, az értékelési tevékenység fejlesztése. 101. § (1) Az Országos szakértõi névjegyzék tartalmazza azok nevét, szakterületét, lakcímét és munkahelyét, akik a nevelési-oktatási intézményben szakmai ellenõrzésben vehetnek részt. (2) Az Országos vizsgáztatási névjegyzék az (1) bekezdésben szabályozottak szerint tartalmazza azok adatait, akik alapmûveltségi vizsga vagy érettségi vizsga vizsgaelnöki megbízást kaphatnak. (3) (4) (Az országos szakértõi, illetve az Országos vizsgáztatási névjegyzékbe való bekerülés feltételei)
5
MÉRÉSI MÓDSZEREK A PEDAGÓGIAI ÉRTÉKELÉSBEN
(5) Az (1) -(2) bekezdésben említett névjegyzékbe való felvétel az elsõ alkalommal öt évre szól, amely ismételten meghosszabbítható. A meghosszabbítást külön jogszabály továbbképzéshez, szakvizsga letételéhez kötheti. 102. § (2) A fenntartó f) értékeli a nevelési oktatási intézmény foglalkozási, illetve pedagógiai programjában meghatározott feladatok végrehajtását, a pedagógiai-szakmai munka eredményességét. 104. § (4) A fenntartó a nevelési, illetve pedagógiai program végrehajtását, a közoktatási intézményben folyó szakmai munka eredményességét a) az önkormányzati pedagógiai-szakmai szolgáltatást ellátó intézmény által végzett pedagógiai mérések, értékelések, illetõleg az Országos szakértõi névjegyzékben szereplõ szakértõ által készített szakértõi vélemény, továbbá az alapmûveltségi vizsga és az érettségi vizsga eredményei, illetve b) a közoktatási intézmény által készített beszámoló; c) az iskolaszék véleményezése alapján értékelheti. 107. § (1) A közoktatási intézmény szakmai ellenõrzésében az vehet részt, aki szerepel az Országos szakértõi névjegyzékben. (2) - (9) (A szakmai ellenõrzés szabályai.) (10) A közoktatási intézményben szakmai ellenõrzést végzõ személynek, illetve a törvényességi ellenõrzést végzõ személynek, szervezetnek nincs döntési, intézkedési jogköre.
A TANANYAG STRUKTÚRÁJA 0pUpVHVPyGV]HUHNDSHGDJyJLDLpUWpNHOpVEHQ $PpUpVLIRO\DPDWIĘEEOpSpVHL $PpUpV $]DGD $IHOD $ WRNSRQW &pOWpWHOH]pV PpUpV )HODGDWODS GDWODSÄMyViJ V]iPRN DGDWDLQDN PXWDWyL´± V]HUNHV]WpV VWDWLV]WLNDL HOHP]pVH SUyEDPpUpV IHOGROJR]iVD
$ WHOMHVtWPp Q\HNKiWWHUH
6
TOVÁBBKÉPZÉSI FÜZETEK
A TANANYAG CÉLJA Megismertetni a tanulót a pedagógiai folyamat jelentõs és kritikus állomását jelentõ mérési folyamat fõbb lépéseivel és a kapott adatok feldolgozásával, elemzésével.
KÖVETELMÉNYEK A tananyag feldolgozása után a tanuló képes lesz: a saját szakterületén-feladatlap és megoldólap, azaz mérõeszköz - készítésére, - alkalmazására, - a „mért” eredmények feldolgozására, elemzésére.
FOGALOMGYÛJTEMÉNY Alkalmazás: A tudás olyan szintje, amelyben a tanult ismereteken alapuló, sokféle tevékenység végzésére vagyunk képesek meghatározott szabályok szerint. Átlag (számított középérték): A mintaelemek értékeibõl számított érték, amely egyetlen számmal jellemzi a mintát. Diagnosztikus értékelés: A pedagógiai folyamat adott szakasza eredményeinek, problémáinak feltárása. Érvényesség (validitás): Megfelelés (a teszt mennyire azt méri, aminek a mérésére felhasználni szándékoznak). Fogalom: Olyan gondolatforma, amely a dolgok, viszonyok, tulajdonságok stb. ismertetõjegyei alapján történõ általánosítás eredménye. Fogalomstruktúra: Fogalmak - tartalmuk, jelentésük, formai jellemzõik, jelentéstani és nyelvi ismérveik alapján kialakított, feltárt - kapcsolatai, összefüggései. Formatív (formáló, fejlesztõ) értékelés: Célja, hogy a folyamat minél több pontján kapjunk információt a tanulók elõrehaladásának mértékérõl, a tipikus és egyéni hibákról, a célszerû továbblépés, a szükséges korrekciók érdekében. Gyakorisági eloszlás: Megmutatja az adatoknak az egyes osztályok közötti megoszlását, vagyis, hogy hány adat jut az egyes osztályokba.
MÉRÉSI MÓDSZEREK A PEDAGÓGIAI ÉRTÉKELÉSBEN
7
Ismeret: Az objektív valóságról - a megismerés folyamata eredményeként, az emberi pszichikumban képzõdõ - képmások. Item: Egység, elem (a tesztek legkisebb önállóan értékelhetõ egysége). Korreláció: Szükségszerûen érvényesülõ kölcsönösség, összefüggés a létezõ dolgok, rendszerek között. Kritériumorientált értékelés: Olyan eljárás, amelyben a tanuló teljesítményének „értékét” a tanulási követelményekbõl kiindulva, azokhoz viszonyítva határozzák meg. Megbízhatóság (reliabilitás): Azt a tényt jelenti, hogy valamely esemény változatlan körülmények közötti ismétlés alkalmával az esetek nagy hányadában azonos eredményt vált ki (a teszt mennyire jól méri az adott tulajdonságot). Megértés: A dolgok lényegének, legfontosabb összefüggéseinek gondolati úton történõ feldolgozása. Minta: A népességnek (populációnak) az a része, amelyen a vizsgálatot végezzük, s amelyen mért adatokból az egész populációra vonunk le következtetéseket. Módusz: A legnagyobb gyakoriságú érték az eloszlásban. Normális eloszlás: Általában sok, egymástól független hatásra bekövetkezõ esemény valószínûségeloszlása (a maximális értéknél szimmetriatengelye van). Normaorientált: Olyan eljárás, amelyben a tanuló teljesítményét egy kiválasztott népesség teljesítményének átlagához (norma) viszonyítják. Objektivitás: Tárgyszerûség (mennyire független a teszt eredménye a felvétel körülményeitõl, ill. a tesztet felvevõ, az adatokat elemzõ személyektõl). Összefüggés: Dolgok közötti viszony, kapcsolat.
8
TOVÁBBKÉPZÉSI FÜZETEK
Reliabilitás: Megbízhatóság. Standardizált teszt: Kipróbált, általános használatra alkalmas, viszonyítási alapokkal bíró teszt. Szórás: A várható érték körüli ingadozás, az attól való eltérés. Taxonómia (rendezés, rendszer): Események, jelenségek, tárgyak - belsõ rendezõ elv szerinti - osztályozása. Tény: A valóságnak megfelelõ, egyszerû kijelentés konkrétumokról. Validitás: Érvényesség. Visszajelentés (visszacsatolás): A visszajelentés során szerzett információt az irányítás a szabályozási folyamat korrekciójára használja fel.
MÉRÉSES MÓDSZEREK A PEDAGÓGIAI ÉRTÉKELÉSBEN A tanítási-tanulási folyamat eredménye Az eredmények hiteles, korrekt ismerete visszahat a folyamat elemeire: hatással van magára a tanulóra, beavatkozást generálhat a folyamat egyes részeibe, sõt a célrendszerbe is. $WDQtWiVWDQXOiVUHQGV]HUV]HPOpOHWLPRGHOOMH DUHQGV]HUPĦN|GpVpEHQpUYpQ\HVOĘN|OFV|QKDWiVRN 7iUVDGDOPLFpORN pUWpNHNpUGHNHN
7iUVDGDOPLN|UQ\H]HW
3HGDJyJLDL FpOUHQGV]HU
7DQtWiVLWDQXOiVL IRO\DPDW
9LVV]DMHOHQWpVHN
(UHGPpQ\
MÉRÉSI MÓDSZEREK A PEDAGÓGIAI ÉRTÉKELÉSBEN
9
1. A MÉRÉSI FOLYAMAT FÕBB LÉPÉSEI 1.1. Céltételezés Miért mérünk? (A mérés funkciójának eldöntése) Formatív értékelés: Célja a tanulási folyamat menet közbeni szabályozása. Olyan kérdésekre keresi a választ, hogy helyes úton halad-e a tanuló, meddig jutott el, szükséges-e, hogy a pedagógus valamit korrigáljon, megerõsítsen stb. Kritériumorientált (a tantervi követelményekhez viszonyított) ellenõrzés, értékelés. Megfontolandó a „tudás” korai minõsítése. Szummatív értékelés: Hosszabb, összefüggõ tananyagegységek végén történõ lezáró, összegezõ értékelés. Határozott célja a minõsítés is. Normaorientált (nagyobb minta teljesítményéhez viszonyított). Diagnosztikus értékelés: Jellegzetesen helyzetfeltáró szándékkal végezzük. A helyzetfeltárás szolgálhatja a visszatekintést (retrospektív diagnózis) és az elõretekintést (prospektív diagnózis) is. Struktúrált, az alkotóelemekre és ezek összefüggéseire vonatkozó információkkal szolgál. Elõsegíti a hosszabbtávú, komplexebb, összetettebb döntések meghozatalát. Rendszerint háttérvizsgálattal párosul. Kikkel mérünk? (Mintaválasztás) Teljes körû a minta, ha az adott célpopuláció minden tagja részt vesz a mérésben. A reprezentatív minta olyan részhalmaza a teljes populációnak, amely ugyanazokkal a paraméterekkel rendelkezik, mint a teljes minta. Az ilyen mintaválasztásban jelentõs szerepe van a véletlenszerû kiválasztásnak. A reprezentativitás miatt a minta teljesítményébõl - bizonyos korlátok között - a teljes populáció teljesítményére következtethetünk. Mit mérünk? (A mérendõ tananyag- és tudástartalmak meghatározása) Tantárgy - tantárgycsoport meghatározása. A lefedni kívánt tananyag mennyiségének, a mérendõ készségek, képességek körének és típusainak eldöntése. A fogalomstruktúra és a tények struktúrájának elkészítésekor rendszerbe helyezzük, majd feltárjuk az aktuális fogalmak tartalmát.
10
TOVÁBBKÉPZÉSI FÜZETEK
A tantervi követelmények operacionalizálásakor azt tisztázzuk, hogy a fenti tartalmakból az adott iskolafokozat, évfolyam számára hány és milyen követelményt fogalmaz meg a tanterv. A tantervi követelményekrõl tudnunk kell azt is, hogy: - mi a tartalmuk; - milyen szintet írnak elõ; - csak a minimumot fogalmazzák meg, vagy afeletti elvárásokat; - milyen körülmények között és milyen tevékenység keretében teljesítendõk. $NRJQLWtYN|YHWHOPpQ\HNNpWGLPHQ]LyVWD[RQyPLiMD PLWPLO\HQV]LQWHQNHOOPHJWDQtWDQLPHJWDQXOQL WDUWDORP V]LQW LVPHUHW PHJpUWpV DONDOPD]iV PDJDVDEEUHQGĦ PĦYHOHWHN
WpQ\
IRJDORP
|VV]HIJJpV
1.2. Feladatlapszerkesztés Feladattipológia A feladatok mind szerkesztés, mind értékelés szempontjából lehetnek zárt és nyílt végûek. A feladatok válogatásakor, konstruálásakor elsõsorban az adott tantervi követelmény teljesülésének mérésére való alkalmasságot kell figyelembe venni. A feladatok pontszáma Elsõ megközelítésben a szükséges elemi lépések, elemi döntések - itemek száma. Késõbbiekben (a többi feladattal való összehasonlításkor) a pontszám változhat: nem minden lépés minõsül tényleges döntésnek, szummatív mérés esetén a pontszámnak a feladat nehézségét is kifejezésre kell juttatnia. A feladatlap (teszt) összeállítása A feladatlapváltozatok (A - B - C - stb.) száma a mérés funkciójától függ: - Szummatív méréskor minél kevesebb - és az összemérhetõség miatt eléggé ekvivalens - változat készüljön. - Diagnosztikus méréskor a tananyag minél teljesebb lefedése érdekében egyenesen szükséges lehet a több (egyébként nem ekvivalens) változat használata.
MÉRÉSI MÓDSZEREK A PEDAGÓGIAI ÉRTÉKELÉSBEN
11
A majdani mérés adatainak minél célszerûbb feldolgozása érdekében érdemes bizonyos formai megoldásokat alkalmazni (tanulói kódszám; itemenkénti 1 vagy 0 pont adása; az itemek sorszámozása; stb.) Javítókulcs A javítókulcsot a feladatlappal párhuzamosan érdemes elkészíteni. Gyakran elég, ha a javítókulcs csak a válaszokat, megoldásokat tartalmazza, néha azonban célszerû az adott lépés szöveges megfogalmazása is. Nagyon fontos, hogy az egyes itemek a javítókulcsban ugyanazt a sorszámot kapják, mint amely sorszám alatt a feladatlapon 1 vagy 0 pontot adtunk a megoldásukért. (1, 2.sz. melléklet) 1.3. A feladatlap „jóságmutatói” - próbamérés A legnagyobb odafigyeléssel készített feladatlappal is elõfordulhat, hogy a felhasználásakor kapott információk („mért tudás”) nem közelítik meg elég jól a „valódi tudást”. Nem felelnek meg elég jól a három legfõbb mérésmetodikai alapelvnek: az objektivitás, a validitás és a reliabilitás követelményeinek. Ha a feladatlap megfelel ezeknek, akkor a klasszikus tesztelmélet alapképletében az a komponens, amelyik a „hibát” jelenti, kicsi. A képlet a következõ: M = V + H. Azaz: a méréskor kapott információ („mért tudás”) a „valódi tudás”-ból és a „mérés hibájából” áll össze. A „jóságmutatóknak” való megfelelést - a tényleges mérés elõtt - vizsgálnunk kell! Objektivitás (tárgyszerûség) A feladatlap akkor objektív, ha utasításai, a feladatok megfogalmazása egyértelmûek, világosak. A mérés akkor objektív, ha a lebonyolításakor szubjektív elemek nem befolyásolják a teljesítményt. Biztosítása odafigyelés és szervezés kérdése. Validitás (érvényesség) A mérõeszköz akkor valid, ha ténylegesen azt méri, aminek a mérésére szerkesztettük (pl.: jól határoztuk meg a tantervi követelmény tartalmi és a szintet meghatározó dimenzióját). A feladatlap validitását szakértõi csoport többségi véleménye alapján szokták eldönteni. Reliabilitás (megbízhatóság) Leginkább matematikai statisztikai eszközökkel vizsgálható. Ezért a feladatlapot próbamérésnek kell alávetni, majd az eredmények feldolgozása során kapott bizonyos statisztikai paraméterek (korrelációs együttható;
12
TOVÁBBKÉPZÉSI FÜZETEK
reliabilitás mutató; Cronbach α; stb.) ismeretében ítélhetõ meg, hogy jól mérie meg az egyébként valid és objektív módon megfogalmazott tartalmakat. A „jóságmutatók”-ra vonatkozó vizsgálódásunk után kétféle helyzet állhat elõ: - mérõeszközünk megfelel a követelményeknek, tehát használhatjuk; - mérõeszközünk korrigálásra szorul. 2. A MÉRÉS A mérés lebonyolítása jószerével szervezési kérdés. Ennek kifejtését itt mellõzzük. A feladatlapok „javítása”, az elért pontszámok megállapítása fontos, de elég egyértelmû tevékenység (különösen, ha a javítókulcs is szakszerûen készült), ezért errõl sem szólunk itt részletesen. 2.1. Az adatok (pontszámok) statisztikai feldolgozása A feladatlapokon már megállapított pontszámokkal különféle számításokat elvégezve olyan mutatókhoz juthatunk, amelyek ismeretében értékelni, minõsíteni tudjuk az eredményeket és a teljesítményeket. A legfõbb statisztikai mutatók: a teljesítmények átlaga(i), szórása, eloszlása. 3pOGiNWHOMHVtWPpQ\HNHORV]OiVJUDILNRQMDLUD PHO\WHOMHVtWPpQ\HNPLO\HQJ\DNRULViJJDOIRUGXOQDNHOĘ
IĘ
IĘ
SRQW
SRQW
IĘ
SRQW
QRUPiOHORV]OiVMREEROGDOLDV]LPPHWULDEDOROGDOLDV]LPPHWULD [ S 0R S0H S [ S 0R S0H S [ S 0R S0H S
Átlag(ok): Számtani átlag: pontban kifejezve: Az összpontszámot annyi felé osztjuk, ahány elemet összegeztünk; %-ban kifejezve:Megállapítjuk, hogy az elért pontszám hány százaléka a maximálisan elérhetõ pontszámnak.
MÉRÉSI MÓDSZEREK A PEDAGÓGIAI ÉRTÉKELÉSBEN
13
Medián: Annak a - csoporton belüli - teljesítménynek az értéke, amely alatt is és amely felett is a csoport fele teljesített. Módusz: A leggyakoribb egyéni teljesítmények értéke. Terjedelem, szórás: Sokatmondó lehet, ha tudjuk, hogy mekkora a különbség (a távolság, a terjedelem) a legjobb egyedi teljesítmény és a leggyengébb között. Még ennél is jellemzõbb adat, ha azt tudjuk, hogy a mérésben résztvevõk többségének teljesítménye - a csoportátlag körül - mekkora intervallumban helyezkedik el, mennyire szóródik. A teljesítmények eloszlása: A teljesítmények eloszlásának vizsgálata több adat összehasonlítását jelenti. Annak megfigyelését, hogy mennyien vannak azok, akik nagyon gyenge, közepes vagy nagyon jó teljesítményt értek el. Ezeket a teljesítménysávokat természetesen érdemes ennél sokkal pontosabban körülhatárolni (pl.: a 0-5 pont között teljesítõk; az 5-10 pont között teljesítõk; stb.). A helyzetet leginkább egy grafikon teszi átláthatóvá. Ez az eloszlásgrafikon. Az eloszlásgrafikon (azaz a helyzet) lehet „normális” és lehet attól eltérõ. Különbözõ eloszlásoknál más és más módon viselkednek az átlagok (a számtani, a medián és a módusz). A statisztikai mutatók eltérõ értékei más és más gondolatokat ébresztenek bennünk. Másként értékelünk egy magas átlag körül alig szóródó csoportteljesítményt, mást gondolunk akkor, ha egy csoportnak a fele 30 % alatt teljesített, vagy, ha egy csoportban a leggyakoribb teljesítmény 80 % volt, stb. Ezeknek a gondolatoknak a megfogalmazása és rendszerezése az elemzés. 2.2. A mérés adatainak elemzése Az elemzéskor kiemeljük, csoportosítjuk, összevetjük azokat az adatokat és tapasztalatokat, amelyek a legfontosabb információkat hordozzák. Megállapítunk tényeket, megfogalmazunk következtetéseket.
14
TOVÁBBKÉPZÉSI FÜZETEK
Egy tantárgyi tudást mérõ feladatlap adatainak feldolgozása történhet pl. az alábbi szempontok szerint: , %HYH]HWpV $PpUpVFpOMDKLSRWp]LV $UpV]WYHYĘNN|UH $PpUĘHV]N|]MHOOHP]ĘL ,, $]HUHGPpQ\HN ÈWODJRN 6]iPWDQLiWODJRNHJpV]IHODGDWODSEL]RQ\RVIHODGDWFVRSRUWRN HJ\HVIHODGDWRNHJ\HVLWHPHNDWDQXOyNEL]RQ\RVFVRSRUWMDLVWE $PyGXV] $PHGLiQ $WHOMHVtWPpQ\HNWHUMHGHOPHV]yUiVD $WHOMHVtWPpQ\HNHORV]OiVD ,,, gVV]HIJJpVHN ,9 gVV]HJH]pV .RQNO~]LyN (J\EHYHWpVDKLSRWp]LVVHO -DYDVROWWHQQLYDOyNDMiQOiVRN
A különféle mérések során gyakran felmerülõ igény egy tanuló, egy tanulócsoport, egy iskola munkájának értékelése (nem teljesen azonos az eredménnyel, a minõsítéssel!). Akkor járunk el helyesen, ha értékítéletünk megfogalmazásakor azokra a körülményekre is tekintettel vagyunk, amely körülmények között az adott eredmények létrejöttek. Ebben az esetben háttérvizsgálatot is kell végeznünk. 2.3. A telejsítmények háttere A tanulás körülményeinek leginkább a tanuló személyisége, a családi és az iskolai háttér tekinthetõ. Ezeken belül a tanuló tanuláshoz való viszonya, tanulási szokásai, érdeklõdési köre, a szülõk iskolázottsága, a tanulás otthoni tárgyi feltételei, a családi motiváció, az iskola szellemisége, tárgyi és személyi feltételei a leginkább befolyásoló tényezõk. A háttérkörülmények felderítésére leggyakrabban kérdõívet használunk. A kérdõív megszerkesztésére nagyjából ugyanazok a szakmai követelmények vonatkoznak, mint a feladatlap vagy teszt elkészítésére (jóságmutatók). Figyelni kell azonban olyan szempontokra is mint diszkréció, befolyás mentesség, önkéntesség, stb. A háttér ismeretét felhasználhatjuk arra: - hogy összefüggést keressünk bizonyos körülmények és bizonyos teljesítmények között (mely körülmények vannak leginkább negatív hatással a mérési eredményekre, és fordítva); - hogy az eredményeket ne csupán önmagukban, hanem a körülményekhez képest értékeljük. (3.sz. melléklet)
MÉRÉSI MÓDSZEREK A PEDAGÓGIAI ÉRTÉKELÉSBEN
15
ÖSSZEFOGLALÁS A mérés eseménye megszakítja az oktatás természetes folyamatát. Fontos a mérés funkciójának helyes megválasztása és az is, hogy maga a mérõeszköz azt mérje, amit mérni szeretnénk vele. Ehhez szervesen kapcsolódik az adatok elemzése-értékelése, mind a tanulókról szerzett információk szempontjából, mind a tantervre vonatkoztatható visszajelzéseket tekintve.
GYAKORLÓ/ÖNELLENÕRZÕ FELADATOK ÉS MEGOLDÁSOK Feladatok: 1.) Ismertesse a formatív értékelés célját! 2.) Ismertesse a szummatív értékelés célját! 3.) Ismertesse a diagnosztikus értékelés célját! 4.) Mit kell tudni mérés esetén a tantervi követelményekrõl? 5.) Mirõl tájékoztat a feladatlap „jóságmutatója”?
16
TOVÁBBKÉPZÉSI FÜZETEK
Megoldások: 1.) Ismertesse a formatív értékelés célját! Válasz: célja a tanulási folyamat menet közbeni szabályozása. 2.) Ismertesse a szummatív értékelés célját! Válasz: célja az összegzõ értékelés és minõsítés. 3.) Ismertesse a diagnosztikus értékelés célját! Válasz: célja a helyzetfeltárás, úgy a vissza-mint az elõretekintés. 4.) Mit kell tudni mérés esetén a tantervi követelményekrõl? Válasz:
A méréshez ismerni kell: - mi a tanterv tartalma - milyen szintet ír elõ - csak a minimumot fogalmazza meg vagy afeletti elvárásokat - milyen körülmények között és milyen tevékenység keretében teljesítendõ.
5.) Mirõl tájékoztat a feladatlap „jóságmutatója”? Válasz: A jóságmutató arról tájékoztat, hogy a feladatlap megfelel-e a követelményeknek, illetve, hogy korrigálásra szorul.
17
MÉRÉSI MÓDSZEREK A PEDAGÓGIAI ÉRTÉKELÉSBEN
ELLENÕRZÕ FELADATOK ÉS ÉRTÉKELÉSI SZEMPONTOK Feladat: 1) Kösse össze a megfelelõ értékelési funkciót annak lényegével! funkció: FORMATÍV SZUMMATÍV DIAGNOSZTIKUS
lényege: LEÍR FELISMER MEGÁLLAPÍT
2) Sorszámozással rakja sorrendbe az alábbi értelmi mûveleteket! (Kezdje a legszûkebb kategóriával!)
O megértés; O alkalmazás; O ismeret; O magasabb rendû mûveletek 3) Soroljon fel három magasabb rendû értelmi mûveletet! ………………………………………………… ………………………………………………… ………………………………………………… 4) Mit jelent az, hogy a tesztelés normaorientált:………………………………………………………………………. kritériumorientált:…………………………………………………………………… 5) Mit fejez ki a klasszikus tesztelmélet alapképlete: M = V + H ? ………………………………………………………………………………………… ………...……………………………………………………………………………….. 6) Írja le más szóval! objektivitás: …………………………………………….. validitás: ………………………………………………… reliabilitás: ……………………………………………… 7) Mi a „próbamérés” szerepe? ………………………………………………………………………………………… ………...……………………………………………………………………………......
18
TOVÁBBKÉPZÉSI FÜZETEK
8) Az alábbi állítások elé írjon „I” betût, ha azok igazak, írjon „H” betût, ha hamisak! ……. ……. ……. …….
A feladat megoldásához szükséges elemi lépések tényleges döntések. Az elemi lépéseket itemeknek is nevezzük. Egy feladat pontszám mindig annyi, ahány elemi lépésbõl áll. Van olyan eset, amikor egy feladat pontszáma annyi, ahány elemi lépésbõl áll.
9) Mely teljesítményre mondjuk, hogy az a csoport (számtani) átlagteljesítménye:………………………………………………….. módusza: ……………………………………………………………………….. mediánja: ……………………………………………………………………….. 10) Mirõl informál a teljesítmények szórásának adata? …………………………………………………………………………………………. .………...………………………………………………………………………………. 11) Általában mivel zárulnak a vizsgálati (mérési) elemzések? (Írjon három elemet!) …………………………………………………………………………………………. ..………...………………………………………………………………………………
19
MÉRÉSI MÓDSZEREK A PEDAGÓGIAI ÉRTÉKELÉSBEN
Megoldás: 1) funkció FORMATÍV SZUMMATÍV DIAGNOSZTIKUS
lényege LEÍR FELISMER MEGÁLLAPÍT
2)
3) Pl.: analízis; szintézis; értékelõ kritikai viszonyulás; kreativitás; problémafelismerés; problémamegoldás; stb. 4) Normaorientált: nagyobb minta teljesítményével összemért Kritériumorientált: a tantervi követelményekhez viszonyított 5) A mért tudás (M) a mérési hiba (H) mértékével tér el a valódi tudástól (V). 6) Objektivitás Validitás Reliabilitás
tárgyszerûség; érvényesség megbízhatóság
7) A próbamérés eredményeinek elemzése útján állapítható meg egy mérõeszközrõl (nagy valószínûséggel), hogy alkalmas-e mérésre. 8)
I;
I;
H;
I
9) (számtani) átlagteljesítmény: az egyéni teljesítmények összegének és a csoport létszámának a hányadosa. módusz: a leggyakoribb egyéni teljesítmény (csoportközép). medián: az a teljesítményérték, amely „megfelezi” a csoportot. 10) Annak mértékérõl, hogy a csoport többségének a teljesítménye mennyire tér el a csoport átlagteljesítményétõl. 11) Pl.: következtetés(ek); összegezés; általánosítás(ok); ajánlás(ok); stb.
20
TOVÁBBKÉPZÉSI FÜZETEK
IRODALOMJEGYZÉK SZAKIRODALOM I. Felhasznált irodalom A közoktatásról szóló 1993. évi LXXIX. Törvény és módosításai Az iskolai tudás. (Szerk.: Csapó Benõ) OSIRIS Kiadó, Budapest, 1998. Báthory Zoltán: Tanulók, iskolák - különbségek. OKKER Kiadó, Budapest, 1997. Bevezetés a pedagógiai kutatás módszereibe. (Szerk.: Falus Iván) Keraban Kiadó, Budapest, 1993. Pavlik Oszkárné - Szilágyi Imréné: Szaktanácsadók kézikönyve. Fõvárosi Pedagógiai Intézet, Budapest, 2000. Vajtó Erik: A szaktanácsadók pedagógiai vizsgálatának módszerei. Országos Pedagógiai Intézet, Budapest, 1987. II. Ajánlott irodalom Báthory Zoltán: Tanítás és tanulás. Tankönyvkiadó, Budapest, 1987. Falus Iván - Ollé János: Statisztikai módszerek pedagógusok számára. OKKER Kiadó, Budapest, 2000. Kiss Margit - Mezõsi Károly - Pavlik Oszkárné: Értékelés a pedagógiában. Fõvárosi Pedagógiai Intézet, Budapest, 1998. Kósáné Ormai Vera: A mi iskolánk. OKI, Budapest, 1998.
ELKÖSZÖNÉS A pedagógus munkájának izgalmas állomása a mérés akár a tanítás közbülsõ állomása, akár a végállomás. Fontos, hogy a körülményre is megfelelõ hangsúlyt helyezzünk. Soha ne tévesszük szem elõl: lehet, hogy a tanítványainknak mérföldkõ ez az esemény az életében. Még ha sikertelenül végzõdik is számukra, kínáljunk mindig alternatívát, perspektívát. Kevés olyan szakma létezik, amelyik képes motiválni, a pedagógusé ilyen. Éljünk bátran ezzel az eszközzel!
21
MÉRÉSI MÓDSZEREK A PEDAGÓGIAI ÉRTÉKELÉSBEN
MELLÉKLETEK:
1.sz. melléklet
%,2/Ï*,$±RV]WiO\ 1pY««««««««««««««««««« ,VNROD«««««««««««««««««««2V]WiO\«««««« 1HYH]GPHJD]HPEHUFVRQWYi]iQDNPHJMHO|OW UpV]HLW
D ««««««««««
E ««««««««««
F ««««««««««
G ««««««««««
H ««««««««««
I ««««««««««
J ««««««««««
K ««««««««««
L ««««««««««
M ««««««««««
$]DOiEELWXODMGRQViJRNDJHULQFHVHNHWD]t]HOWOiE~DNDWPLQGNHWWĘWYDJ\HJ\LNHW VHPMHOOHP]LN"ËUGDWXODMGRQViJHOpDPHJIHOHOĘEHWĦW
D ««EHOVĘYi]
E ««NOVĘYi]
F ««NLWLQHVYi]
G ««FVRQWRVYDJ\SRUFRVYi]
%t]HOWOiE~DN
H ««NOVĘPHV]HVYi]
&PLQGNHWWĘ
I ««Yi]KR]NtYOUĘOWDSDGyL]RP]DW
'HJ\LNVHP
J ««Yi]KR]EHOOUĘOWDSDGyL]RP]DW
K ««EĘUL]RPW|POĘ
L ««KDUiQWFVtNROWL]RP]DW $]DOiEELHPpV]WĘQHGYHNKROIHMWLNNLKDWiVXNDW" 9iODV]OHKHWĘVpJHNHOĘEpON|]pSEpOXWyEpO
$JHULQFHVHN
D HSH
««««««««««««
E Q\iO
««««««««««««
F SHSV]LQ ««««««««««««
G KDVQ\iO ««««««««««««
22
TOVÁBBKÉPZÉSI FÜZETEK 1HYH]GPHJDPHJMHO|OWUpV]HNHW
E ««««««« F ««««««« H «««««««
D «««««««««
I «««««««««
J ««««««««« K «««««««««
(JpV]tWVGNLDYpUNHULQJpVUĘOV]yOyKLiQ\RVPRQGDWRNDW D $YpUDV]tYEDONDPUiMiEyOD«««««««««««iUDPOLN
E $YpUDV]tYMREENDPUiMiEyOD«««««««««««MXW
F «««««««««QDNQHYH]]ND]RNDWD]HUHNHWDPHO\HNEHQDYpUDV]tY IHOĘOiUDPOLN
G «««««««««QDNQHYH]]ND]RNDWD]HUHNHWDPHO\HNEHQDYpUDV]tYIHOp iUDPOLN
H $V]tYEHQDYpUiUDPOiV~WMiWD«««««««««V]DEiO\R]]iN
I $«««««««««YpNRQ\IDO~DNiWPpUĘMNQDJ\RQNLFVL
J $Y|U|VYpUWHVWHND«««««««««««NpS]ĘGQHN 7|OWVGNLD]DOiEELWiEOi]DWKLiQ\]yUpV]HLW $9e'(.(=e60(*(/ė=e6RV]ORSiEDD]DOiEELDNEyOYiORJDVV VRN]|OGVpJIRJ\DV]WiVD%YLWDPLQEL]WRVtWiVD$YLWDPLQWDUWDOP~pWHOHNIRJ\DV]WiVD IOXRUNH]HOpVYiOWR]DWRVWiSOiONR]iV 9e'(.(=e6 %(7(*6e* .,9È/7Ï2. 0(*(/ė=e6
Y|U|VYpUWHVWHNV]iPiQDN FV|NNHQpVH
D
V]pNUHNHGpV
F
G
V]UNOHWLYDNViJ
H
I
K
J
IRJ]RPiQFVpUOpVH VNRUEXW
E
L
M
23
MÉRÉSI MÓDSZEREK A PEDAGÓGIAI ÉRTÉKELÉSBEN
V]PHOOpNOHW %,2/Ï*,$±RV]WiO\ -DYtWyNXOFV
D
DJ\ NRSRQ\D
E
Q\DNFVLJRO\iN
F
ODSRFNDFVRQW
G
KiWFVLJRO\iNJHULQFRV]ORS
H
PHGHQFHFVRQW
I
IDURNFVLJRO\iN
J
V]iUNDSRFVFVRQW
K
DUFNRSRQ\D
L
FRPEFVRQW
M
VtSFVRQW
D
$
E
%
F
%
G
$
H
'
I
$
J
%
K
'
L
&
D
N|]pSEpOSDWNyEpOQ\RPEpO
E
HOĘEpOV]iMUHJ
F
HOĘEpOJ\RPRU
G
N|]pSEpOSDWNyEpOYpNRQ\EpO
D
JpJHKDQJV]DODJRN
E
JDUDW
F
OpJFVĘ
G
WGĘ
H
UHNHV]L]RP
I
K|UJĘN
J
K|UJĘFVNH
K
OpJKyO\DJRN
D
QDJ\YpUN|UEH
E
NLVYpUN|UEH
F
DUWpULiNWĘHUHN
G
YpQiNYLYĘHUHN
H
ELOOHQW\ĦN
I
KDMV]iOHUHN
J
FVRQWYHOĘEHQ
D
YpUV]HJpQ\VpJ
E
%YLWDPLQEL]WRVtWiVD
F
KHO\WHOHQWiSOiONR]iV
G
YiOWR]DWRVWiSOiONR]iV
H
$YLWDPLQKLiQ\D
I
$YLWDPLQWDUWDOP~pWHOHN
J
IRJEHWHJVpJ
K
IOXRUNH]HOpV
L
&YLWDPLQKLiQ\D
M
VRN]|OGVpJIRJ\DV]WiVD
24
TOVÁBBKÉPZÉSI FÜZETEK
V]PHOOpNOHW )ĘYiURVL3HGDJyJLDL,QWp]HW7. %XGDSHVW9DVX 7DQXOyLNpUGĘtY ,VNROD 1pY 2V]WiO\ .HGYHV7DQXOy .pUMNKRJ\D]DOiEELNpUGpVHNUHLOOHWYHYiODV]OHKHWĘVpJHNUHLJHQQHOYDJ\QHPPHOYiODV]ROM +DLJHQDYiODV]RGDNNRUWKDQHPDYiODV]RGDNNRUWtUMDPHJIHOHOĘNyGNRFNiNED $NpUGĘtYNLW|OWpVH|QNpQWHV .|V]|QMN )L~YDJ\RN /iQ\YDJ\RN .LNNHOpOV]RWWKRQHJ\WW" pGHVDQ\iYDO pGHVDSiYDO QHYHOĘDQ\iYDO QHYHOĘDSiYDO WHVWYpUUHO QDJ\V]OĘYHO $SDOHJPDJDVDEELVNRODLYpJ]HWWVpJH iOWDOiQRVQiONHYHVHEE iOWDOiQRV V]DNPXQNiVNpS]Ę pUHWWVpJL IĘLVNRODYDJ\HJ\HWHP $Q\DOHJPDJDVDEELVNRODLYpJ]HWWVpJH iOWDOiQRVQiONHYHVHEE iOWDOiQRV V]DNPXQNiVNpS]Ę pUHWWVpJL IĘLVNRODYDJ\HJ\HWHP +RJ\DQpOV]RWWKRQ" .O|QV]REiPYDQ 1LQFVNO|QV]REiPGHYDQVDMiWDV]WDORP $FVDOiGN|Q\YHLQHNV]iPD ±GE ±GE ±GE QpOW|EE 9DQWHOHYt]LyQN 9DQYLGHyPDJQyQN 9DQV]iPtWyJpSQN
,Q3DYOLN2V]NiUQp±6]LOiJ\L,PUpQp6]DNWDQiFVDGyNNp]LN|Q\YH)ĘYiURVL3HGDJyJLDL,QWp]HW%XGDSHVW
25
MÉRÉSI MÓDSZEREK A PEDAGÓGIAI ÉRTÉKELÉSBEN
+RJ\DQUHDJiOQDNDV]OHLGDWDQXOPiQ\LHUHGPpQ\HLGUH" +DMyMHJ\HWNDSRNPHJGtFVpUQHNYDJ\PHJMXWDOPD]QDN +DURVV]MHJ\HWNDSRNKDUDJV]DQDNYDJ\PHJEQWHWQHN ÈOWDOiEDQVHPPLWVHPWHV]QHN $]HOP~OWHJ\±PiVIpOpYEHQYROWiOYDODPHO\LNFVDOiGWDJJDO V]tQKi]EDQ PR]LEDQ P~]HXPEDQ NLUiQGXOQL GOQL +RJ\¶YLV]RQ\XOV]DWDQXOiVKR]" ÈOWDOiEDQV]HUHWHNWDQXOQL $NHGYHQFWiUJ\DLPDWV]tYHVHQWDQXORP 7DQXORNPHUWH]DGROJRP 1HPpUGHNHODWDQXOiV 1HPV]HUHWHNWDQXOQL 0HO\WDQWiUJ\DWNHGYHOHGMREEDQ" $PDJ\DUW $PDWHPDWLNiW 0LQGNHWWĘWHJ\IRUPiQNHGYHOHP 2WWKRQiWODJRVDQKiQ\yUiWWDQXOV]" (J\yUiW .pWyUiW +iURPyUiW 1pJ\yUiWYDJ\W|EEHW 'pOXWiQLHOIRJODOWViJDLGN|]|WWV]HUHSHOQHNHD]DOiEELDN" QDSN|]LRWWKRQ Q\HOYyUD ]HQHWDQXOiV HG]pV LVNRODLV]DNN|U NRUUHSHWiOyMHOOHJĦPDJiQyUD DN|WHOH]ĘLVNRODLKi]LIHODGDWRN 0LWV]RNWiOFVLQiOQLKDDIHODGDWDLGHOYpJ]pVHXWiQPpJPDUDGV]DEDGLGĘG" 79WQp]HNYDJ\YLGHy]yP (OPHJ\HNYDODKRYiDEDUiWDLPPDO 2OYDVRN 6]iPtWyJpSH]HP 6HJtWHND]RWWKRQLPXQNiNEDQ -iWV]RP 0LO\HQSiO\DKLYDWiVYRQ]"+ROV]HUHWQpOGROJR]QLIHOQĘWWNpQW" $]LSDUEDQPĦV]DNLWHUOHWHQV]HUHWQpNGROJR]QL (PEHUHNNHOV]HUHWQpNIRJODONR]QL +LYDWDOEDQLURGDLGROJR]yNpQWV]HUHWQpNHOKHO\H]NHGQL $NHUHVNHGHOHPEHQD]]OHWLpOHWEHQIRJRNGROJR]QL
7.
26
TOVÁBBKÉPZÉSI FÜZETEK
MÉRÉSI MÓDSZEREK A PEDAGÓGIAI ÉRTÉKELÉSBEN
27
28
TOVÁBBKÉPZÉSI FÜZETEK