6. AZ EREDMÉNYEK ÉRTELMEZÉSE A kurzus anyagát felhasználva összeállíthatunk egy kitűnő feladatlapot, de még nem dőlhetünk nyugodtan hátra. Diákjaink teljesítményét még osztályzatokra kell átváltanunk, illetve tanárként sem vagyunk tévedhetetlenek, tehát ellenőriznünk kell saját munkánkat is. Ebben segít nekünk ez a (záró) fejezet. Mikor egy feladatlap feladatait összeállítjuk, akkor természetesen ezzel egyidőben a javítókulcsot, azaz a megoldáshoz vezető út lépéseit, illetve a helyes eredményeket is meghatározzuk. További kérdés azonban, hogy az egyes feladatokra, lépésekre hány pontot adjunk. Azt az eljárást, amelynek során a feladatelemekhez különböző pontszámokat rendelünk, súlyozásnak nevezzük. Ennek két változatát ismertetjük a továbbiakban: 6.1. Empirikus súlyozás Általában akkor alkalmazzuk ezt a súlyozást, ha a tanulók eredményeit egymáshoz szeretnénk hasonlítani. Ez azt jelenti, hogy egy feladat nehézségét (súlyát) az alapján határozzuk meg, hogy hogyan teljesített a csoport egésze. (Az a feladat „nehéz”, azaz ér több pontot, amelyet kevesebben oldottak meg.) Az eljárás során először minden feladatlapot kijavítunk és csak azt vizsgáljuk, hogy a tanulók hány százaléka oldotta meg jól az egyes feladatokat. Példánkban tekintsünk egy öt feladatból álló feladatlapot.
1.
A feladatot jól megoldók aránya százalékban 82
2.
56
3.
69
4.
44
5.
37
A feladat száma
A továbbiakban a kapott százalékokat kivonjuk 100-ból, a különbséget osztjuk 10-zel, majd az eredményt egyesekre kerekítjük.
A feladatot jól A feladat megoldók aránya száma százalékban 1. 82
Különbség
10-zel osztva
Kerekítés
18
1,8
2
2.
56
44
4,4
4
3.
69
31
3,1
3
4.
44
56
5,6
6
5.
37
63
6,3
6
A kerekítés végén kapott egy jegyű számok az úgynevezett empirikus súlyok. Azt jelentik, hogy ha 1 súlyhoz 1 pontot rendelünk, akkor jelen példában. Az 1. feladatra
2 pontot adunk
Az 2. feladatra
4 pontot adunk
Az 3. feladatra
3 pontot adunk
Az 4. feladatra
6 pontot adunk
Az 5. feladatra
6 pontot adunk
Ha viszont 1 súlyhoz 5 pontot rendelünk, akkor Az 1. feladatra
10 pontot adunk
Az 2. feladatra
20 pontot adunk
Az 3. feladatra
15 pontot adunk
Az 4. feladatra
30 pontot adunk
Az 5. feladatra
30 pontot adunk
Az eljárás ugyanakkor nem elég informatív. Ha egy feladatot kevesen oldanak meg jól, akkor arra sok pontot fogunk adni függetlenül attól, mi volt a gyakori hibázások oka. Előfordulhat, hogy a feladat volt rosszul megszerkesztve, hogy a diákok nem készültek rendesen, de az is lehet, hogy nem tanítottuk meg jól az adott anyagrészt. Az empirikus súlyozás tehát arra is „kiválóan alkalmas”, hogy tanári hibákat fedjen el. Egy másik gond e módszerrel kapcsolatban az, hogy az esetek többségében a feladatok tovább bonthatók kisebb egységekre (gondoljunk csak például a matematikai feladatok megoldására), tehát az eljárást – igaz, már csak egy feladaton belül, de – kezdhetjük elölről. Az előbbi problémákat a következő súlyozási módszer alkalmazásával lehet kivédeni.
6.2. Itemes súlyozás Ebben az esetben a feladatlapot először itemekre bontjuk. Az item a feladat legkisebb, önállóan értékelhető egysége, mely már nem bontható tovább részteljesítményre (tehát csak jó-rossz, megoldotta - nem oldotta meg minősítést tehetünk). Kiválasztjuk ezek közül a legkönnyebbet, ennek 1 súlyt adunk. A továbbiakban meghatározzuk az összes item súlyát (figyelembe véve a számonkért ismeret fontosságát és nehézségi fokát) úgy, hogy minden egyes esetben a legkönnyebb (1 súlyú) itemhez viszonyítunk. Ebben az esetben tehát minden itemhez egy egynél nagyobb (esetleg eggyel egyenlő) számot rendelünk hozzá. (Nem célszerű ötnél nagyobb súlyokat adni, mert mondjuk egy 8-as súly esetén az item jó vagy rossz megoldása a tanuló eredményét döntően meghatározná.) Ekkor az itemet át kell fogalmazni, vagy meg kell vizsgálni, hogy a feladatrész hogyan bontható tovább.) Előfordulhat természetesen, hogy nem egész számokat adunk itemsúlyként. (Ugyanakkor tudjuk azt, hogy nem célszerű törtpontszámokat adni egy feladatra.) A probléma az egységnyi súlyhoz rendelt pontérték növelésével orvosolható. Például ha a következő itemsúlyokat adtuk: 1; 2; 2,5; 3,5, akkor az egységnyi súlyhoz két pontot rendelve az egyes itemek pontszáma 2; 4; 5 és 7 lesz. Az alternatív feladatok tárgyalásakor említettük, hogy egyes pontozási technikák használatával jelentősen csökkenthető a találgatás (a vaktalálat) esélye. Egy ilyen eljárás az úgynevezett „amerikai” pontozás. Alapesetben ez azt jelenti, hogy jó válasz esetén egy pontot adunk az itemre, válaszhiány esetén nincs pont, rossz válasz esetén viszont levonunk egy pontot. Ezt a módszert lehet mindkét irányba finomítani. Ha például a jó válaszra két pontot adunk, válaszhiány esetén nincs pont, rossz válasz esetén levonunk egy pontot, akkor növeltük annak esélyét, hogy a tanuló találgatni fog. De eljárhatunk úgy is, hogy jó válasz esetén egy pontot adunk az itemre, válaszhiány esetén nincs pont, rossz válasz esetén viszont levonunk három pontot. Ebben az esetben aligha valószínű, hogy valaki találgatni fog, sőt még ha tudja is a választ, de nem százszázalékig biztos a tudásában akkor sem jelöl meg inkább semmit. Ez egyben a módszer hátránya is. (Előfordul, hogy egy versenyen minden versenyző mondjuk 30 pontról indul, hogy eredménye ne legyen negatív előjelű.) Összeállítottuk a feladatlapot, a tanulók kitöltötték, kijavítottuk, pontoztuk, már csak az van hátra, hogy a pontokat osztályzatokra váltsuk. Azt kell mondanunk, hogy erre sincs egy univerzális szabály. Előfordul, hogy az elégséges alsó határa 20 százalék, van, hogy 40 százalék, de megesik, hogy akár 60-70 százalék ez a határ. (Lehet, hogy ez utóbbi nagyon
magasnak tűnik, de gondoljunk csak bele, elegendő lenne ez a szint mondjuk a számok vagy a betűk elsajátításának vizsgálatakor?) Az, hogy végül is hol húzzuk meg a határt, különböző tényezőktől függ. Először is nem mindegy, hogy mennyiségileg milyen ismerethalmazt kérünk számon. Ezért fordulhat elő, hogy például a matematika érettségin 20 százalék az elégséges alsó határa és ezért nem szerencsés, ha egy témazáró dolgozat esetén is hasonlóan járunk el. Jelentős különbség, hogy ha négy év anyagából, vagy két hónap ismereteiből kell a tudásról számot adni! A minőség is befolyásolja a határok meghúzását. Ha egy ismeretre a továbbiakban még sokszor támaszkodunk azt természetesen nem elég ugyanolyan szinten elsajátítani, mint egy lényeges, de a későbbiek folyamán kevésbé hangsúlyos ismeretet. Több tényezőt is mérlegelni kell tehát az alsó ponthatár kijelölésekor és bár – mint már írtuk is – univerzális szabály nincs, az esetek többségében 30-40 százalék körül szokott mozogni ez az érték. Fontosnak tartjuk annak megemlítését, hogy az egyes osztályzatokhoz tartozó további sávok egyenlő nagyságúak legyenek! Széles körben elterjedt ugyanis az a – véleményünk szerint helytelen – nézet, hogy az osztályzatok normális eloszlást kell hogy mutassanak, és ennek érdekében a közepes osztályzathoz kapcsolódó intervallum a legszélesebb, aztán a jó és az elégséges, végül a legkeskenyebb a kiváló osztályzatokhoz tartozó intervallum. 6.3. Item-analízis Ha elkészítettük a mérőlapot és a diákok kitöltötték azt, az eredmények nagyon jó alapot szolgáltathatnak nekünk a teszt megbízhatóságának ellenőrzéséhez is, ami a mérőeszköz-készítés utómunkálatai közül talán a legfontosabb. Azt a folyamatot, amikor a teszt egyes itemei közül kiválogatjuk a „rosszakat”, tehát azokat, amelyeken a diákok eredménye nagyon eltér az egész teszt eredményétől, itemanalízisnek nevezzük. Ezt a folyamatot sokféle statisztikai eszköz is segíti, ám itt most csak két alapvető módszerrel fogunk megismerkedni, olyanokkal, melyek használata nem igényel sem különösebb technikai apparátust (azért egy zsebszámológép nem árt!), sem túl sok időt. Elsőként hagyományos számolgatós módszerrel próbáljuk meg kiszűrni azokat az itemeket, amelyek a tesztünk megbízhatóságát veszélyeztetik. A következő lépéseket kell megtennünk:
1. Kiszámoljuk az egyes tanulók által elért összpontszámok átlagát, majd ezt elosztjuk az elérhető pontszámmal. Így egy nulla és egy közötti értéket kell kapnunk, amit célszerűbb százzal megszorozva százalékos formában használnunk. 2. Az egyes feladatok esetében is elvégezzük ugyanezt az algoritmust, vagyis meghatározzuk a feladatok eredményességét. 3. Az így kapott százalékos értékek közül azokat választjuk ki, amelyek nagyon eltérnek – pozitív vagy negatív irányban – az egész teszt eredményességétől, vagyis az 1. pontban meghatározott értéktől. Lássunk erre egy konkrét példát! 64 vizsgázó töltötte ki ugyanazt a 10 feladatból álló feladatlapot, melyen az elérhető pontszám 66, a tanulók által elért pontszámok átlaga 40,75; ez pedig azt jelenti, hogy az egész teszt eredményessége 61,74%. (1. lépés) Ezt és az egyes feladatok eredményességét mutatja be a következő ábra:
A teszt feladatainak eredményessége 90
83,99 70,94
Eredményesség
60
52,86
50
58,85
56,08
55,16
62,23
61,74
össz
71,1
70,7
70
10
80
39,85
40 30 20 10 9
8
7
6
5
4
3
2
1
0
Feladatok
Azt láthatjuk, hogy a 3. feladat eredményessége marad el leginkább a teljes feladatlapétól, és a 8. feladat az, amely sokkal jobban sikerült a többi feladathoz képest és a teszt egészéhez viszonyítva is.
Mi a teendőnk a továbbiakban? Az eredmények önmagukban még nem jelentik azt, hogy a problémásnak tűnő feladatokat azonnal ki kell dobnunk. Pusztán arra figyelmeztetnek bennünket, hogy vizsgáljuk meg alaposabban a kritikus részeket. Egy feladatlap csak akkor méri minden tanuló teljesítményét, ha valamilyen szinten mindegyikük számára megoldható. Vagyis nem jó az a teszt, ahol egy vagy esetleg több tanuló egyetlen feladatot sem képes megoldani. Ugyanakkor ha egy feladatot mindenki megoldott, akkor annak nincs differenciáló ereje, nem képes kimutatni a tanulók tudásszintjének különbségeit. Nagyjából arra a feladatra mondhatjuk, hogy jó a differenciáló ereje, amelyet fele-fele arányban oldanak meg a tanulók. A probléma másik típusa az a feladat, amelynek eredményessége jóval elmarad a teszt eredményességétől. Ilyenkor vagy az a gond, hogy a feladat „tesztidegen”, vagyis megoldásához nem azok a tudáselemek szükségesek, melyek az adott témakörhöz tartoznak (például a korábban tanult de át nem ismételt ismereteket nem képesek előhívni a diákok), vagy a feladat megfogalmazása illetve a javítókulcs nem jó. A második módszer, mely a nem megfelelő feladatok (itemek) kiszűrésére szolgál, az úgynevezett tesztpontmátrix-készítés. A tesztpontmátrix egy olyan számtáblázat, melynek soraiban a tanulók, oszlopaiban a feladatok (itemek), celláiban pedig az az eredmény (pl. pontszám) található, melyet a tanuló az adott feladaton elért. A tesztpontmátrix előnye az, hogy a feladatlap problémáit vizuális formában tárja elénk, így nagyon látványos és könnyen értelmezhető, ugyanakkor elkészítése sem túl bonyolult, egészen egyszerű eszközöket igényel, mindenképpen megtérül a befektetett energia. A tesztpontmátrix elkészítésének menetét egy konkrét példán keresztül fogjuk megismerni. Egy 10 itemből álló feladatlapot 16 diák töltött ki, a következő eredménnyel: (Az első oszlopban a diákok neve, a másodikban az elért pontszámuk, a továbbiakban pedig az egyes feladatokon elért eredményük található: 1, ha az itemet megoldotta és 0, ha nem. Ezek azok az adatok, melyek a dolgozatok kijavítása után azonnal rendelkezésünkre állnak, másra nem is lesz szükségünk.)
Jenő
7
0111101101
Dezső
9
1111111011
Elemér
6
0111100110
Géza
6
0111101100
Hédi
5
0111100100
Helga
10
1111111111
Huba
8
1111101011
Ida
4
0111100000
Janka
3
0011100000
Jolán
2
0010100000
Kinga
10
1111111111
Noémi
6
0111100101
Rezső
4
0111100000
Rita
8
1111101011
Ubul
6
0111101100
Zita
5
1111100000
Az első lépés a már említett táblázat felrajzolása, a következő formában:
Név
Pontszám
1
2
3
4
A feladat sorszáma 5 6 7
8
9
10
Megoldotta összesen
Ha ezzel elkészültünk, akkor a megfelelő helyekre beírjuk a tanulók adatait, ám ezt már eleve összpontszám szerint csökkenő sorrendben végezzük el, vagyis a következő módon:
Név Helga Kinga Dezső
Pontszám 10 10 9
1 1 1 1
2 1 1 1
3 1 1 1
4 1 1 1
A feladat sorszáma 5 6 1 1 1 1 1 1
7 1 1 1
8 1 1 0
9 1 1 1
10 1 1 1
Huba 8 Rita 8 Jenő 7 Elemér 6 Géza 6 Noémi 6 Ubul 6 Hédi 5 Zita 5 Ida 4 Rezső 4 Janka 3 Jolán 2 Megoldotta összesen
1 1 0 0 0 0 0 0 1 0 0 0 0 6
1 1 1 1 1 1 1 1 1 1 1 0 0 14
1 1 1 1 1 1 1 1 1 1 1 1 1 16
1 1 1 1 1 1 1 1 1 1 1 1 0 15
1 1 1 1 1 1 1 1 1 1 1 1 1 16
0 0 0 0 0 0 0 0 0 0 0 0 0 3
1 1 1 0 0 0 1 0 0 0 0 0 0 7
0 0 1 1 1 1 1 1 0 0 0 0 0 8
1 1 0 1 1 0 0 0 0 0 0 0 0 7
1 1 1 0 0 1 0 0 0 0 0 0 0 7
Ez azonban még csak egy segédtáblázat volt, egy átmeneti fázis, a végleges változatban a feladatokat is nehézségi sorrend szerint kell rendeznünk, vagyis előre kerül a „legkönnyebb”, amit a legtöbben megoldottak.
Név Pontszám Helga 10 Kinga 10 Dezső 9 Huba 8 Rita 8 Jenő 7 Elemér 6 Géza 6 Noémi 6 Ubul 6 Hédi 5 Zita 5 Ida 4 Rezső 4 Janka 3 Jolán 2 Megoldotta összesen
3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
5 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
16
16
A feladatok nehézség szerint rendezve 2 8 7 9 10 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 0 1 1 1 1 1 0 1 1 1 1 1 1 1 0 1 1 1 1 0 1 0 1 1 1 0 1 0 1 1 1 0 0 1 1 1 1 1 0 0 1 1 1 0 0 0 1 1 0 0 0 0 1 1 0 0 0 0 1 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 15 14 8 7 7 7 4
1
6
1 1 1 1 1
1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 1 0 0 0 0 6
3
Ezzel el is készült a tesztpontmátrixunk. Tekintsük át, hogy milyen eredményekkel szolgál számunkra. Először is azt láthatjuk, hogy két olyan feladat is van, amelyről korábban azt mondtuk, hogy nincs differenciáló ereje. Olyan viszont szerencsére nem akadt, amelyet senki ne tudott volna megoldani. A számunkra legérdekesebb feladat jelen esetben a nyolcas, amit ugyan éppen a tanulók fele oldott meg helyesen, és korábban a differenciáló erő kapcsán ezt ideálisnak mondtuk, de ha egy kicsit alaposabban tanulmányozzuk az eredményeket, megállapíthatjuk, hogy ezt a feladatot olyan tanulók (Dezső, Huba, Rita) nem tudták
megoldani, akik a teszten jó eredményt értek el, ennél nehezebb feladatokat is megoldottak, viszont jónéhány gyengébb eredményt elért tanuló megoldotta. Ez a helyzet tipikusan akkor fordul elő, ha a feladat szövegében volt valami olyan tényező, amit a jók észrevettek, és ez esetleg eltérítette őket, míg a közepesek a begyakorolt algoritmust követve oldották meg a feladatot. Ilyen például a következő feladat: Melyik tekinthető példaként a kémiai változásra? A. szivárvány B. villám C. égő fa D. olvadó hó A témáról csak felületes tudással rendelkező diák valószínűleg a B alternatívát fogja helyesnek tartani, a jó képességűek viszont felismerik, hogy az A, a B és a C egyaránt példák mind elektromos, mind kémiai változásra, és csak a D nyilvánvalóan nem kémiai változás, így őket összezavarhatja a feladat szövege. (Ezt a jelenséget egyébként proaktív gátlásnak is nevezik.) Egy „tökéletes” feladatlap esetében a mátrix mellékátlója fölött csupa egyes, alatta csupa nulla található. Így az igazán problémás feladatokat már első ránézésre ki tudjuk szűrni. Ugyanakkor nem kell minden egyedi esetet problémaként értékelni, mint például jelen esetben azt, hogy Zita megoldotta az 1. feladatot, jóllehet annál könnyebbeket nem tudott, illetve nála jobb eredményt elért társai számára ez a feladat már túl nehéznek találtatott. Elképzelhető, hogy előző nap mondjuk a magántanára éppen ezt az anyagrészt magyarázta el neki, pont egy ilyen jellegű feladatot oldottak meg együtt. A tesztpontmátrix arra is alkalmas, hogy az egyes diákok teljesítményéről képet kapjuk, mert jól szemlélteti azt, hogy kinek milyen típusú feladattal volt problémája, így a későbbiekben a tanár differenciált felzárkóztatást végezhet.
