Szolnoki Tudományos Közlemények XV. Szolnok, 2011.
Kaczur Sándor1 – Kiss Gabriella2
PROGRAMOZÁSI TANTÁRGYAK TESZTKÉRDÉSEIHEZ TARTOZÓ VIZSGAEREDMÉNYEK ÉRTÉKELÉSE A Gábor Dénes Főiskolán a 2008/2009-es tanévtől a Programozási alapok, Programozási ismeretek és Programozási technológia tantárgyakból a hallgatók vizsgáztatása számítógépes vizsgáztató szoftver segítségével történik. A vizsga két fordulóból áll. Az első forduló 6 feladata 241 tesztkérdés közül kerül véletlenszerűen kiválasztásra, amelyet a program értékel. Ha a hallgató ezt sikeresen (legalább 60%) teljesítette, akkor kerülhet sor a második fordulóra, amelyben Java nyelven történik egy kódolási feladat megoldása. Az előadás és a cikk ismerteti a Programozási alapok tantárgy tematikáját, elektronikus tananyagait, célját, követelményeit, a vizsgán előforduló tesztkérdések és az önálló gyakorlásra szolgáló önértékelő tesztkérdések típusait, témaköreit, nehézségi fokait, a vizsga menetét. Ismertetjük a kiválasztott – 2008. november 27-től 2009. január 22-ig terjedő – vizsgálati időszakban született vizsgaeredmények elemzése során kapott eredményeket, azok összefüggéseit. A tesztkérdésekre vonatkozóan nehézségi fokot állapítunk meg, összefüggéseiben értékeljük, elemezzük azokat. E cikkben nem térünk ki a vizsga 2. fordulójában lévő kódolási feladatok elemzésére. Több aspektusból közelítve elemezzük a vizsgaeredmények és az alábbi tényezők közötti összefüggéseket: különböző szakok és képzési formák; a tesztkérdések megfogalmazása, valamint helyes válaszok száma; előzetes gyakorlás az önértékelő teszt segítségével, teszteredmények. A vizsgálati időszakban 436 hallgató vizsgázott 745 esetben, 4470 tesztkérdést megoldva. A teszteredmények alapján meghatározásra kerül a tesztkérdések sikeressége, témakörönként csoportosítva. A jelenleg alkalmazott kiértékelő rendszerrel összevetve, három alternatív, tesztkérdésekre alkalmazható kiértékelési módszert ismertetünk. Bemutatunk kiértékelő mátrixokat, megvizsgáljuk, hogyan befolyásolják a teszteredményeket. THE EXAMINATION RESULTS OF TEST QUESTIONS FOR PROGRAMMING SUBJECTS Since the 2008/2009 academic year we have used the computer examiner software for the examination of the programming-related subjects in Dennis Gabor College. The exam consists of two rounds. The first round will be responsible for 241 test questions are randomly selected and evaluated by the program. If the student is successfully (60%) would take place in the second round, which is an implementing of Java Problem. The article explains the topics, elearning materials, purpose, requirements for the exam and test questions that occur to the self-test questions to practice self-serving types, fields, heavy degrees of age, the examination process for programming-related subjects. We have analyzed the test results from 27.11.2008. to 22.01.2009. In this paper we do not deal in the second round of coding tasks in the analysis. Several aspects of the approaching exam results and analyze the relationships between the following factors: different forms of training and specialization, the formulation of test questions and correct answers to number of prior exercise in self-test using test results. 436 students tested in the study period, 745 cases, 4470 test questions to be solved. The test results identified in the success of the test questions, grouped by topic. The current evaluation system, compared with three alternative test questions used for the evaluation method described below. We present four evaluation matrices, we examine how they affect the test results.
1 2
Gábor Dénes Főiskola, Email:
[email protected] Gábor Dénes Főiskola, Email:
[email protected] A cikket lektorálta: Dr. Békési László ZMNE, főiskolai tanár, PhD.
BEVEZETÉS A Gábor Dénes Főiskolán 3 BSc szakon és FSz képzésben is oktatjuk a Programozási alapok tantárgyat. Első szemeszterben a mérnök informatikus és FSz szakos hallgatóknak, harmadik szemeszterben az informatikus közgazdász, valamint a műszaki menedzser szakos képzésben. A kontaktórák számai a nappali, távoktatásos és főiskolai szakképzés keretein belül lényegesen eltérnek egymástól. 2000 óta ezen alapozó tantárgyak keretében a gyakorlati ismereteket Java nyelvi környezetben oktatjuk. A mérnök informatikus szakon ráépülő tantárgyként megjelenik a Programozási technológia, és mindkét tantárgy ismeretanyaga része a hallgatók záróvizsgájának. A programozáshoz szükséges alapismeretek, alapfogalmak megértése, elsajátítása nagyon nehéz a hallgatók számára. A gyakorlati alkalmazáshoz szükséges készségek nehezen fejlődnek, fejleszthetőek. A problémamegoldó gondolkodás szükséges, a megfelelő gondolkodásmód és hozzáállás elengedhetetlen, a strukturált látásmód kialakulása nélkülözhetetlen. Mindez önálló gyakorlás nélkül elérhetetlen. Az előző tanévekben több, egymástól jelentősen eltérő vizsgáztatási rendszert is alkalmaztunk a Programozási alapok tantárgy számonkérésében [1]. A 2006/2007-es tanévben írásbeli/szóbeli vizsgákat szerveztünk. Ezek során a hallgatóknak számot kellett adniuk elméleti tudásukról, annak gyakorlati alkalmazási lehetőségeiről. A vizsgákra papíros feladatlapokat állítottunk össze, amelyet a hallgatók kitöltöttek, és velük együtt közösen értékeltünk [2]. A korábbi vizsgáztatási módszer előnye: az oktatóknak lehetőségük volt rákérdezni az esetlegesen nem érthető, vagy nem egyértelmű feladatmegoldás részleteire, a hozzájuk kapcsolódó elméleti tananyagrészekre. Így egyértelművé váltak a problémás területek, a tanárok számára kiderült, hol igényelnek részletesebb magyarázatot, mire kell több időt fordítani a kontaktórákon. Ez a későbbi oktatás során felhasználható, megtérül. Alapvetően öt probléma adódott: több oktató is vizsgáztatott, így az egységes értékelés fenntartása nehézségekbe ütközött, a vizsgákon szóbeli rész is szerepelt – legjobb szándékunk ellenére is – a hallgatók szubjektívnek érezték az értékelést, a sok vizsgára nagyszámú feladatlapot kellett készíteni, a vizsgák nagyon időigényesek voltak, a programozási készség és az algoritmikus gondolkodás szintjei nehezen mérhetők olyan vizsgáztatási módszerrel, ahol nincsenek alkalmazói típusú, és gyakorlati feladatmegoldást igénylő részek. A fenti problémák miatt a 2008/2009-es tanévtől a Programozási alapok, Programozási ismeretek és Programozási technológia tantárgyak számonkérésében számítógépes vizsgáztató szoftvert vezettünk be. Célunk, hogy az elmúlt félév tapasztalatai alapján megvizsgáljuk az új vizsgáztató szoftver alkalmazásának hatásait, és meghatározzuk a továbbfejlesztés lehetőségeit [3].
2
A TANTÁRGY TEMATIKÁJA, CÉLJA ÉS KÖVETELMÉNYEI A tematika főbb elemei: Valóság és szoftver, Feladatmegoldás, Objektumorientált program, Feladat és megoldás modellezése, Gyakorlatok, Bevezetés a programozásba, Objektumorientált paradigma, Integrált fejlesztői környezet, Alapfogalmak, Kifejezések, értékadás, Szelekciók, Iterációk, alapvető algoritmusok, Metódusok írása, Java osztályok használata, Osztály készítése, Tömbök, Rendezés, keresés, karbantartás, Vector osztály. A tantárgy célja, hogy [2] megismertesse a programozás alapfogalmait; megismertesse az alapvető strukturált és objektumorientált programozási technikákat; megismertesse egy programozási nyelv (Java) és osztálykönyvtár filozófiáját; kialakítsa az objektumorientált tervezési és programozási stílust. A hallgató legyen képes [2] egyszerűbb programokat objektumorientált módszerrel megtervezni és megvalósítani konzolos környezetben; egyszerű objektumorientált programok szerkezetének és funkcióinak, illetve a megoldás kivitelezési lépéseit megtervezni; a feladat és a megoldási elképzeléseket modellszerűen dokumentálni, szabványosan leírni; osztályt készíteni, az objektumokat rendezni és azok között keresni; alapalgoritmusokat használni; biztonsággal használni egy integrált fejlesztői környezet alapelemeit.
A TANTÁRGY ELEKTRONIKUS TANANYAGAI A GDF 2004 óta alkalmazza az ILIAS keretrendszert, ma már szinte minden – a Programozási alapok tantárgyhoz tartozó tananyag – elektronikus formában (is) elérhető (1. ábra) [4].
1. ábra. A Programozási alapok tantárgyi kezdőlapja (elektronikus tananyagok)
3
A Taneszköz tárolóban található Tantárgyi kezdőlapon jelenleg az alábbi elektronikus tananyagok érhetők el: Tantárgyi útmutató: kiindulópontot, szinte minden, tananyaggal, tanulmány-szervezéssel kapcsolatban felmerülő információt tartalmaz (9 oldal); Tantárgy leírása: a tematika és a számonkérés módja (3 oldal); Tesztkérdések: a tantárgy számonkérésében használt összes tesztkérdés, megoldásokkal együtt (47 oldal, 241 db tesztkérdés); Vizsga menete: képernyőképekkel ellátott nagyon részletes, körültekintő leírás, amely szinte minden felmerülő kérdésre választ ad (11 oldal); Előadásvázlatok: a teljes tananyag vetíthető dia formában (420 ppt lap); Önértékelő tesztek: a teljes tananyagot lefedő, többször kitölthető, 6 témakörben elérhető, önálló gyakorlásra szolgáló tesztkérdések (alkalmanként, tesztenként 20 db véletlenszerű kérdés); Telepítési, konfigurálási útmutató: lépésenként, képernyőképekkel ellátott leírás a Java fejlesztői környezet telepítéséhez, beállításához (3 oldal); javaprog2008.zip: a tananyag elektronikus (lemez)melléklete, az összes megoldott, házi feladatként feladott és gyakorló feladat Java nyelvű forráskódját tartalmazza (200 db fájl); Fejlesztői környezet: letölthető, ingyenes eszközök: JDK, JRE, Notepad++, NetBeans aktuális verziói; Java referenciakönyv: SCORM kompatibilis, hierarchikus tartalomjegyzékkel ellátott elektronikus tananyag a java.lang csomag osztályait röviden, néhány példával kiegészítve ismerteti (nyomtatható formában 161 oldal); Fogalomtár: a teljes tananyag összes alapfogalmát, definícióját tartalmazza, kereszthivatkozásokkal ellátva (103 db).
A TESZTKÉRDÉSEK JELLEMZŐI A Programozási alapok tantárgyhoz összesen 241 tesztkérdés tartozik. Minden vizsgán előforduló tesztkérdés a megoldásokkal együtt publikus. Az első 3 témakör konkrét programozási nyelvtől független. Itt főként a felismerés, megértés szintje dominál. Az utolsó 3 témakör a Java programozási nyelvvel kapcsolatos, absztrakciós készséget igényel, gyakorlatot feltételez. Szinte kizárólag az alkalmazásra, annak szintjére helyeződik a hangsúly. A tesztkérdések az alábbi kategóriákba sorolhatók. 1. teszt: Bevezetés a programozásba Ebben a témakörben 29 tesztkérdés található, amelyek a programozás alapfogalmaival kapcsolatosak. A kérdések egyszerűek, tömörek. Néhány az alapfogalmak közötti kapcsolatokra, összefüggésekre is vonatkozik. Főként a felismerés, megértés szintje dominál. 2. teszt: Objektumorientált paradigma Itt 45 tesztkérdés van, az objektumorientált programozás alapfogalmait tartalmazzák. A hangsúly a tervezési módszereken, UML jelölésrendszeren helyeződik.
4
Már többszintű elméleti hierarchiában való gondolkodásmód is szükséges a tesztkérdésekhez. 3. UML Ebben a témakörben 30 ábrát tartalmazó tesztkérdés található. Főként az elkészült UML ábrák értelmezése lényeges. 4. teszt: Java programozási alapok Ebbe a témakörbe 34 tesztkérdés tartozik bele. Főként a fejlesztői környezettel, a JDK-val, a Java osztályaival, csomagjaival, primitív adattípusokkal, deklarációval kapcsolatosak a tesztkérdések. 5. teszt: Osztályok használata, készítése Itt 78 tesztkérdés található. Kifejezésekkel, operátorokkal foglalkozó tesztkérdések fordulnak elő. Tudni kell a precedenciára vonatkozó szabályokat, az ismert logikai és aritmetikai operátorokat. Vannak igazságtáblát tartalmazó tesztkérdések is. A rövid forráskód-részleteknél kell tudni hibát keresni, meg kell tudni mondani egy rövid kódrészlet végrehajtódása után egy-egy változó, kifejezés értékét, eredményét. 6. teszt: Konténerek 38 tesztkérdés dolgozza fel a témakört. A String és StringBuffer osztályokon kívül a tömbökkel és Vector-okkal kapcsolatos tesztkérdések is ide kerültek. A referencia típusú változók inicializálásán, deklarációján túl, rövid forráskód-részleteket elemezni tudni kell. Minden tesztkérdésnél négy válasz közül kell bejelölni a pontosan 1, 2, vagy 3 helyes választ. Olyan tesztkérdés nem fordul elő, amelynél nincs helyes válasz, vagy minden válasz helyes. 100 db (41%) tesztkérdésnél pontosan 1 helyes válasz van, 97 db-nál (40%) pontosan 2 helyes válasz van, és 44 db-nál (19%) pontosan 3 helyes válasz van. Azt tekintve, hogy a tesztkérdés megfogalmazásában utalunk, vagy sem a helyes válaszok számára, a következőt mondhatjuk: 76 tesztkérdés (31,5%) szövegezése utal az 1 db helyes válaszra, és 165 (68,5%) tesztkérdés esetén található egyértelmű utalás – ragozás, többes szám használata, az „összes” szó előfordulása – a több helyes válaszra [5].
A VIZSGA MENETE A tantárgyból számítógépes vizsga van. Előzetesen ETR-ben nem jelentkezett hallgató nem vizsgázhat. A hallgató a vizsga során semmilyen segédeszközt nem használhat. A számítógépeken az internet nem érhető el, e-mail nem fogadható/küldhető. A flopi és a CD/DVD meghajtók, valamint az USB port letiltottak. Az elektronikus (lemez)melléklet nem érhető el a számítógépeken. A bejelentkezéshez azonosító és jelszó szükséges, amit a hallgató a vizsgáztató tanártól kap meg. A Programozási alapok vizsga két fordulóból áll. Az 1. fordulóban a hallgató 5 véletlenszerű tesztkérdést kap a nem UML-es témakörökből. Ezek kérdésenként 8%-ot érnek. Az 1. forduló 6. véletlenszerű tesztkérdése a fenti UML témakörből kerül ki, amely 10%-ot ér. A teszt kitöltése során visszalépésre nincs lehetőség, és az elért részeredményeket a hallgató nem látja. Képernyőképet a 2. ábra tartalmaz. A vizsgáztató program a tesztkérdéseket értékeli az 1. forduló végén és összegezve megmutatja az eredményt a hallgatónak.
5
2. ábra. Képernyőképek a Programozási alapok vizsgáztató programjából
A 2. fordulójában a hallgató kódolási feladatot kap, amely a tankönyvben megtalálható, gyakorlaton megoldott feladatok közül kerül kiválasztásra, vagy azokhoz nagyon hasonló. A vizsgán előforduló konkrét kódolási feladatok (jelenleg 143 db) nem publikusak. A hallgató a megoldás során tetszőleges előzetesen feltelepített fejlesztőeszközt (pl.: Notepad++, NetBeans) használhat. A programnak működőképesnek kell lennie, nem tartalmazhat szintaktikai hibát! A program csak a kiadott feladat megoldása lehet! A feladat kiírásában mindig szerepel példa, amely megkönnyítheti a feladat értelmezését. Ha a hallgató elkészítette feladatát, kipróbálta, ellenőrizte, tesztelte, akkor annak teljes forráskódját a fejlesztőeszközben a Vágólapra másolja, végül a vizsgáztató programba a Vágólapról beilleszti. A 2. fordulóban beadott forráskódot a vizsgáztató tanár értékeli. Az értékelés során részeredményeket is figyelembe veszünk. A két forduló külön-külön 50-50%-ot ér. Az 1. fordulóban legalább 30%-ot kell gyűjteni a továbblépéshez, a két fordulóban együtt legalább 60%-ot kell gyűjteni az elégségeshez. Az 1. és 2. forduló összesen 45 percig tarthat, fordulónként a részfeladatokra fordított időt a hallgató szabadon oszthatja be. A vizsgáztató program minden vizsgaeredményt tárol, és egyben a keletkező vizsgalapokat (3. ábra) archiválja. Ezeket utólagosan feldolgozhatjuk, az eredmények lekérdezhetők, könnyű különböző szempontok alapján statisztikát készíteni [6].
6
3. ábra. A vizsgáztató program által létrehozott vizsgalap
A VIZSGÁZTATÁS SZAKKAL ÉS LÉTSZÁMMAL ÖSSZEFÜGGŐ ADATAI A vizsgálati időszak 2008. november 27.-től 2009. január 22.-ig tartott. Ebben az időszakban vegyesen voltak elővizsgák, a tantárgyat korábbi évfolyamokon hallgatók számára az ismételt tantárgyfelvételt követően meghirdetett vizsgák, valamint külön a januári időszakban az elsőévesek számára kiírt vizsgák. A vizsgálati időszakban 116 db vizsgaidőpontot hirdettünk, amelyre alkalmanként 10-15 hallgató jelentkezhetett. A létszámok és a vizsgaeredmények az alábbiak szerint alakultak (1. táblázat). A 87 fő elégtelen elővizsgán szerzett eredményt igazoltan nem jelent meg bejegyzésnek tekintjük. Az elsőéves hallgatók kis létszámban éltek az elővizsga lehetőségével, az elővizsgára feljelentkezettek közül 55% próbálkozott a vizsgával, míg a vizsgára feljelentkezettek közül 78%. Létszám (fő) Vizsgatípus Meghirdetett Vizsgára Nem jelent meg Megjelent férőhely jelentkezett Igazolt Igazolatlan 1 2 3 4 Elővizsga 250 188 87 86 0 4 4 3 Vizsga 1180 837 21 163 552 39 20 22 Összesen 1430 1025 108 249 552 43 24 25 1. táblázat. Létszámok és vizsgaeredmények a meghirdetett vizsgákon
7
5 4 20 24
A vizsgahelyek telítettsége 71% volt, a jelentkezettek egyharmada nem jelent meg a vizsgán. Az érvényes jegyek arányai a következőképpen alakultak: 37% elégséges, 20,7% közepes, 21,6% jó, és 20,7% jeles. A 2. táblázatban megfigyelhető, hogy az egyes szakokon és képzési formákon belül hogyan alakultak a vizsgaeredmények. Látható, hogy a távoktatásban résztvevő hallgatók magasabb arányt mutatnak a sikeres vizsgázók számának és a vizsgára jelentkezettek hányadosát tekintve, az azonos szak nappali tagozatos hallgatóival összehasonlítva (BSc: 5 százalékpont, Főiskola: 10 százalékpont). Szak
Vizsgán megjelent (fő) 196 106 231 136 175 14 858
Képzési forma
BSc Főiskola Felsőfokú szakképzés Szakmérnök Összesen
N T N T N L
Értékelés (fő) 1 2 3 4 131 7 4 4 40 3 4 4 190 14 5 5 87 16 7 4 96 2 4 4 8 1 0 4 552 43 24 25
5 5 5 5 3 5 1 24
2. táblázat. Vizsgaeredmények szakonként és képzési formánként csoportosítva
A 3. táblázat megmutatja, hogy az 1025 vizsgajelentkezésből (összesen 352 fő) a hallgatóból hányszor próbálkoztak/tettek vizsgát. Átlagos esetben egy hallgató – a vizsgált időszakban – 1,7 alkalommal vizsgázott. Vizsgák száma (db) Előfordulás (fő)
1 588
2 283
3 104
4 29
5 12
6 7
7 2
3. táblázat. Vizsga próbálkozások száma csoportosítva
A TESZTEREDMÉNYEK JELENLEGI ADATAI, KÖVETKEZTETÉSEK Az elemzés kizárólag a vizsga 1. fordulójának tesztkérdéseire vonatkozik. Ebben a cikkben nem térünk ki a vizsga 2. fordulójában lévő kódolási feladatok elemzésére. Mind a 241 tesztkérdésnél, függetlenül a tesztkérdés témakörétől, a tesztkérdés megválaszolásához szükséges ismeretek képességek szintjétől és a helyes válaszok számától, ugyanazt az értékelési elvet alkalmaztuk. Összesen 745 vizsga tesztkérdéseit elemeztük. Ez összesen 4470 tesztkérdést jelent véletlenszerűen kiválogatva a 241 elemű kérdéshalmazból. Egy tesztkérdés átlagosan 19-szer fordult elő, a szórás 5. Ebből – a nagy minta elemszám ellenére – messzemenő következtetéseket levonni még korai lenne, így erre a tanév végén visszatérünk. A tesztkérdések jelenlegi kiértékelő mátrixa szigorú. Csak a tökéletes válaszkombináció bejelölésével kapható meg a tesztkérdésre járó teljes pontszám 100%-a. Ezek alapján a bejelölt válaszok számának előfordulásai a 4. táblázat szerint alakultak. Bejelölt válaszok száma (db) Előfordulás (db)
0 5
1 2017
2 1832
3 614
4. táblázat. A bejelölt válaszok számának előfordulásai
8
4 2
Ha megvizsgáljuk a 241 tesztkérdés és a 4470 db véletlenszerűen kiválasztott tesztkérdés esetén a válaszkombinációk előfordulásait, akkor a 4. ábrán látható grafikont kapjuk. Látható, hogy tesztkérdésenként, illetve véletlenszerűen kiválasztott tesztkérdésenként a válaszkombinációk előfordulásai szinte nem mutatnak eltérést. Az adott válaszokat tekintve, 5 esetben fordult elő, hogy egyetlen választ sem jelöltek be, 2 esetben pedig mindent bejelöltek. Az egy- és kétválaszos kérdéseknél az előfordulás és az adott válaszok lényegében nem különböznek, de amelyik tesztkérdésnél három helyes válasz van, ott 23%-os eltérés adódik az adott válaszok rovására. Tesztkérdések arányai a válaszkombinációk előfordulásai szerint tesztkérdések (241 db)
0 válasz 1 válasz
véletlenszerű tesztkérdés (4470 db)
2 válasz 3 válasz 4 válasz
adott válaszok (4470 db) 0%
20%
40%
60%
80%
100%
4. ábra. A tesztkérdések arányai a válaszkombinációk előfordulásai szerint
A vizsga 1. fordulójában a tesztkérdések értékelése 0%-tól 50%-ig terjed. Az elért százalékok átlaga 25,9%, szórása 14%, a medián 26%. Akik 0%-ot értek el, átlagosan 6 perc 11 másodperc alatt tették. Az összesített százalékos részeredmények eloszlása az 5. táblázatban látható. Részeredmény (%) Előfordulás (db) Összesen (db)
0 44
8 86
Sikertelen 10 16 18 14 104 30 432
24 90
26 64
32 68
Továbbjutott 34 40 42 63 40 73 313
50 69
5. táblázat. Összesített százalékos részeredmény (1)
A 745-ből 313 (42%) esetben volt sikeres a vizsga 1. fordulója, 432 (58%) esetben született sikertelen eredmény. Bár e cikknek nem része a vizsga 2. fordulójában megoldott kódolási feladatok szakmai értékelése, a teszt sikeres teljesítését követően a hallgatók az 5. ábrán látható arányban sikertelenek, összesítve. A vizsga 1. fordulójában maximális (50%) eredményt, 69 esetben kaptunk. Ez 60 hallgatót jelent, akik közül 9-en kétszer vizsgáztak. Ők maximális teszteredményt értek el, de a vizsga 2. fordulóját jelentő kódolási feladatot sikertelenül teljesítették. Ez a 60 fő az összes 352 főnek 17%-át jelenti.
9
Az 1. és 2. forduló eredményessége (745 eset) Sikeresen teljesített 16% (116 eset)
Nem megfelelő forráskóddal 20% (150 eset)
Továbbjutott 42% (313 eset)
Forráskód nélkül 45 percen túl 2% (13 eset)
Kiesett 58% (432 eset)
Forráskód nélkül 45 percen belül 4% (34 eset)
5. ábra. A vizsga 1. és 2. fordulójának eredményessége
A 313 továbbjutott eset során a teszt kitöltésének átlagos ideje 5 perc 26 másodperc, a szórás 56 másodperc, a medián pedig 4 perc 57 másodperc volt. A vizsgák során az alábbiakban látható időt vették igénybe hallgatók a teszt kitöltésére (6. táblázat). Akik 9 percnél több időt fordítottak a teszt kitöltésére, azok között senkinek sem sikerült továbbjutnia a 2. fordulóra. Idő (perc) Előfordulás (db) Idő (perc) Előfordulás (db)
0-1 0 10-11 0
1-2 8 11-12 15
2-3 37 12-13 2
3-4 78 13-14 2
4-5 98 14-15 3
5-6 79 15-16 0
6-7 48 16-17 0
7-8 27 17-18 1
8-9 19 18-19 1
9-10 14 19-20 0
6. táblázat. A teszt kitöltésének időigénye
A tesztkérdéseken továbbjutó 313 eset közül 34-en nem írtak forráskódot, időben befejezve a vizsgát. Ekkor megkapták a kódolási feladatot, de nem fogtak hozzá. A teszt kitöltését követően átlagosan 3 perc 20 másodperc alatt fejezték be vizsgájukat. 313-ból 13 esetben letelt a 45 perc, és nem illesztettek be forráskódot (6. ábra). Az 1. és 2. forduló eredményessége jegyek szerint (858 eset)
3-ast kapott 3% (24 eset)
4-es kapott 3% (25 eset) 5-öst kapott 3% (24 eset)
2-est kapott 5% (43 eset)
tényleg nem jelent meg 12% (103 eset)
njm bejegyzést kapott 22% (190 eset) igazoltan njm, elővizsgán bukott 10% (87 eset)
1-est kapott 64% (552 eset)
6. ábra. A vizsga 1. és 2. fordulójának eredményessége jegyek szerint
10
Ha a tesztkérdéseket – előfordulásuk arányában – eredményességük alapján kategorizáljuk, akkor a 7. táblázatot kapjuk meg. Az egyenlőséget az alsó határoknál engedtük meg. Az eredményességet a továbbiakban valószínűségnek tekintjük. Eredményesség Előfordulás (db)
0-0,1 1
0,1-0,2 8
0,2-0,3 25
0,3-0,4 40
0,4-0,5 40
0,5-0,6 37
0,6-0,7 35
0,7-0,8 40
0,8-0,9 12
0,9-1 3
7. táblázat. Tesztkérdések eredményessége gyakoriságuk arányában
Ha az eredményességet 20 kategóriára osztjuk, majd trendvonallal kiegészítjük, akkor a 7. ábrán lévő grafikont kapjuk. Tesztkérdések eredményessége gyakoriságuk arányában trendvonallal
Előfordulás (db)
30 25 20 15 10 5 1
0,9
0,95
0,85
0,8
0,7
0,75
0,6
0,65
0,55
0,5
0,4
0,45
0,35
0,3
0,2
0,25
0,15
0,1
0,05
0 Eredményesség
7. ábra. A tesztkérdések eredményessége gyakoriságuk arányában trendvonallal
A tesztkérdések eredményessége azok témakörei alapján is vizsgálhatók (8. táblázat, 8. ábra). Témakör Bevezetés a programozásba Objektumorientált paradigma UML Java programozási alapok Osztályok használata, készítése Konténerek
Eredményesség átlag szórás 0,657 0,147 0,514 0,190 0,419 0,197 0,622 0,170 0,539 0,170 0,393 0,179
8. táblázat. Tesztkérdések eredményessége témakörök szerint
Az első 3 témakör elméleti, az utolsó 3 témakör a gyakorlati ismereteket kéri számon. A szórás mindenhol elég nagynak tekinthető.
11
Bevezetés a program ozásba tém akör tesztkérdései
Java program ozási alapok tém akör tesztkérdései
Eredmény átlag Eredményesség
Eredményesség
0,8
0,657
0,6 0,4 0,2
0,8
0,622
0,6 0,4 0,2 0
0
34 kérdés
29 kérdés
Objektum orientált paradigm a tém akör tesztkérdései
Osztályok használata, készítése tém akör tesztkérdései
Eredmény átlag Eredményesség
0,8
0,514
0,6 0,4 0,2
átlag
0,8
0,539
0,6 0,4 0,2 0
0
78 kérdés
45 kérdés
UML tém akör tesztkérdései
Eredmény
Konténerek tém akör tesztkérdései
átlag
Eredmény átlag
1
Eredményesség
1 0,8
Eredmény
1
1
Eredményesség
átlag
1
1
Eredményesség
Eredmény
0,419
0,6 0,4 0,2
0,8
0,393
0,6 0,4 0,2 0
0
35 kérdés
30 kérdés
8. ábra. A tesztkérdések eredményessége témakörönként
A Bevezetés a programozásba és a Java programozási alapok témakör átlagai a legmagasabbak. Előbbi az elméleti bevezető könnyebbik, kevésbé absztrakt része, utóbbi a gyakorlati, konkrét, nyelvfüggő bevezetés tananyaga. A leggyengébb átlagot az UML és a Konténerek témakörből származó tesztkérdésekkel érték el a hallgatók. Előbbi az elmélet azon szintjét kéri számon, ahol az alapfogalmak közötti összefüggéseket is érteni/látni kell, szerteágazó módon több mindenre kell figyelni, alkalmazói szintű ismeretanyagot is tartalmaz, összetett, jelentős absztrakciós készséget igényel. Utóbbi összetett adatszerkezetekkel (egy- és kétdimenziós tömb, vektor) foglalkozik, épít az összes megelőző elméleti és gyakorlati témakörre, a tanult elemi algoritmusokra. Itt már tervezni is tudni kell, mindent összefüggéseiben kell látni, értelmezni. A vizsgán előforduló 241 tesztkérdés a fenti 6 témakörbe sorolva, az alábbi eredményességet mutatja, figyelme véve a helyes válaszok számát, valamint a rá utaló szövegezést. A 9. ábrán látható, hogyan alakult az átlagos sikeresség azon tesztkérdések esetén, amelyeknél egy helyes válasz van.
12
Ha a tesztkérdés szövege utal az egy darab helyes válasz mennyiségére, akkor annak átlagos eredményessége 0,636, amely meghaladja az összes „egy válasz csak a jó” típusú kérdésre vonatkozó átlagos eredményességet (9. ábra, bal oldal). Ha a tesztkérdés megfogalmazásból nem tudjuk kikövetkeztetni, hogy az egy darab helyes válasz van (9. ábra, jobb oldal), akkor a kérdéstípusra jellemző átlagos eredményességtől nagyon elmaradó eredményt kapunk (0,47). Összességében ebbe a kérdéstípusba tartozó tesztkérdések hozták a legmagasabb átlagos eredményességet (0,58). "Egy válasz csak a jó" típusú kérdés
Eredmény Átlag
1 0,9
Eredményesség
0,8 0,7 0,6
0,58
0,5 0,4 0,3
0,636
0,470
0,2 0,1 0 100 kérdés
9. ábra. A tesztkérdések átlagos eredményessége („Egy válasz csak a jó” típusú kérdés)
A 10. és 11. ábrán azt látjuk, hogy az átlagos sikeresség hogyan alakul, ha a tesztkérdéseknél több – pontosan kettő vagy három darab – helyes választ kell bejelölni.
Itt is igaz, hogy ha a tesztkérdés szövege utal a több helyes válaszra (megfogalmazás, többes szám), akkor annak átlagos eredményessége meghaladja az összes e kategóriába tartozó kérdésre vonatkozó átlagos eredményességet. Messze elmaradnak az átlagos eredményességtől azon teszteredmények, ahol nincs utalás az esetleges több helyes válaszra. Összességében ebbe a kérdéstípusokba tartozó tesztkérdések alacsonyabb átlagos eredményességet mutatnak. A „pontosan három válasz a jó” típusú kérdéseknél eltérés – a megfogalmazástól függetlenül – alig adódik, az eredményesség szórása kicsi. "Pontosan kettő válasz a jó" típusú kérdés
Eredmény Átlag
1 0,9 0,8 Eredményesség
0,534
0,7 0,6
0,520
0,5 0,4 0,3
0,322
0,2 0,1 0 97 kérdés
10. ábra. A tesztkérdések átlagos eredményessége („Pontosan kettő válasz a jó” típusú kérdés)
13
"Pontosan három válasz a jó" típusú kérdés
Eredmény Átlag
1 0,9
Eredményesség
0,8 0,7 0,6 0,5 0,4
0,406
0,3 0,2 0,1 0 44 kérdés
11. ábra. A tesztkérdések átlagos eredményessége („Pontosan három válasz a jó” típusú kérdés)
Négy válaszlehetőség közül egyet ugyanannyiféleképpen lehet kiválasztani, mint hármat. Ennek ellenére a teszteredmények jelentős eltérést mutatnak a 9. és 11. ábrán. Ennek oka lehet, hogy több helyes válasz esetén, utalva a több helyes válaszra – tippelés esetén –, még mindig nem egyértelmű, hogy kettő vagy három helyes választ kell megjelölni. A hallgatók nem mindig veszik figyelembe a segítő megfogalmazásokat a tesztkérdések szövegezésében. Például: a 4470 esetből 458 esetben jelöltek pontosan egy választ helyesnek, annak ellenére, hogy a kérdés megfogalmazása egyértelműen több helyes válaszra utal(t).
A GYAKORLÁSRA SZOLGÁLÓ ÖNÉRTÉKELŐ TESZTEK JELLEMZŐI, TESZTEREDMÉNYEI A 6 témakörből külön-külön készült az ILIAS-ban hozzáférhető önértékelő teszt. Mindegyik a témakörbe tartozó tesztkérdések közül 20 db-ot választ véletlenszerűen. Az önértékelő tesztek eredményét nem vesszük figyelembe, célja pusztán a gyakorlási lehetőség biztosítása a hallgatók számára. A tesztek kitöltése nem névtelen, többször is kitölthető, minden kitöltésnél véletlenszerűen kap kérdéseket a hallgató, a kitöltésre vonatkozó idő nem korlátozott. Természetesen bármilyen segítséget igénybe vehet a kitöltő: tankönyv, megoldások, Java referenciakönyv. Az értékelés teljesített, ha a kitöltés során a hallgató legalább 60%-ot elér. Az öszszes tesztkérdés pontozása, értékelése egységes. A 9. táblázatban látható, hogy a hallgatók milyen sikerességgel töltötték ki – gyakorlás céljából – az egy témaköröket, átlagosan mennyi időt töltöttek az önálló tanulás e formájával, és hogyan alakult a kitöltések száma témakörönként.
14
Témakör
Kitöltések száma (fő)
Tesztet elkezdők száma (fő) Tesztet befejezők aránya (%) Összes kitöltés (db) Átlagos kitöltési idő (ó:pp:mm) aránya (%) Sikeres átlagos kitöltési ideje tesztek átlagos eredménye (%) 1 2 3 4 5 6 7 8 9 10 több Maximális kitöltés száma hallgatónként (db) Átlagos kitöltés száma
Bevezetés a programozásba 382 87 1998 0:39:26 67 1:01:31 83 141 55 32 20 14 16 15 9 18 10 52
Objektumorientált paradigma 260 95 1687 1:01:26 76 1:17:30 79 76 36 21 19 12 15 11 8 6 5 51
243 87 1423 0:43:40 65 1:05:20 82 75 22 24 19 18 10 17 8 4 5 41
Java programozási alapok 243 94 1855 0:32:32 75 0:41:56 85 93 32 19 13 23 9 7 10 6 2 29
Osztályok használata, készítése 175 94 926 0:55:36 67 1:09:42 79 64 23 15 10 11 6 7 7 3 2 27
200 92 1043 0:43:51 68 1:00:54 81 66 34 14 14 15 8 7 3 7 5 27
39
52
32
30
47
35
5,23
6,49
5,29
5,25
5,86
4,63
UML
Konténerek
9. táblázat. Az önértékelő teszt eredményeinek adatai
A hallgatók ILIAS-os aktív tevékenységét kiválóan jellemző, hogy milyen sokan vették igénybe – csupán ennél az egy tantárgynál rendelkezésre álló – önértékelő tesztek által nyújtott segítséget. A keretrendszer a 416 hallgató számára véletlenszerűen összesen 8932 darab tesztet generált. Mivel egy-egy teszt 20 tesztkérdésből áll, így a kitöltők összesen 178640 tesztkérdést kaptak. Az 1. és a 4. teszt az elméleti illetve gyakorlati részek bevezető anyagát tartalmazzák, átlagos eredménye (83%, 85%) legmagasabb. Az 1. tesztet befejezők és a sikeresen befejező hallgatók aránya viszont alacsony. A teszteket elkezdők 91,5%-a be is fejezte azt. Egy-egy önértékelő teszt kitöltése átlagosan 63 percig tartott. Átlagosan 250 hallgató töltött ki egy-egy témakörbe tartozó tesztet. Közülük átlagosan 230 hallgató fejezte be a tesztet, ebből átlagosan 172 sikeres teszt született. Egy-egy hallgató átlagosan 5 alkalommal töltötte ki a teszteket. Például a hallgatók 13%-a pontosan kétszer töltött ki tesztet az általa választott tetszőleges témakörben (10. táblázat). A hallgatók egyharmada csupán egyszer töltött ki önértékelő tesztet. Teszt kitöltése (db) 1 Hallgatók aránya (%) 34%
2 13%
3 8%
4 6%
5 6%
6 4%
7 4%
8 3%
9 3%
10 2%
több 15%
10. táblázat. Az önértékelő teszteket kitöltő hallgatók aránya a kitöltés számának függvényében
AZ ÖNÉRTÉKELŐ TESZTEK ÉS A VIZSGA TESZTEREDMÉNYEINEK ÖSSZEHASONLÍTÁSA Tekintsük át a létszámokra vonatkozó adatokat (12. ábra) az önértékelő tesztek és vizsgák esetén. Összesen 552 főt mozgattunk meg. Közülük 136 fő (25%) vizsgázott, anélkül, hogy az ILIAS-ban található önértékelő teszteken gyakorolt volna. 300 fő (54%) igénybe vette az ön-
15
értékelő teszteket és vizsgát is tett. 116 fő (21%) még nem próbálkozott e tantárgyból a vizsgával, de már készül, és gyakorolt az önértékelő teszteken.
12. ábra. Önértékelő tesztek és vizsgák létszám adatai (fő)
Tekintsük át, hogyan alakult a vizsgákon elért teszteredmény, attól függően, hogy a hallgatók gyakoroltak-e az önértékelő teszteken vagy sem (11. táblázat). Vizsga részeredménye Sikertelen Továbbjutott Vizsgán elért százalék 0 8 10 16 18 24 26 32 34 40 42 50 Összes Előfordulás (%) 5,9 11,5 1,9 14,0 4,0 12,1 8,6 9,1 8,5 5,4 9,8 9,3 vizsga eset Összesen (db) 432 313 Csak Előfordulás (%) 11,1 18,0 2,1 14,3 4,8 8,5 2,6 15,3 7,9 7,4 3,7 4,2 vizsgázott Összesen (db) 116 73 Gyakorolt és Előfordulás (%) 4,1 9,4 1,8 13,8 3,8 13,3 10,6 7,0 8,6 4,7 11,9 11,0 vizsgázott Összesen (db) 316 240 11. táblázat. Összesített százalékos részeredmény (2)
Az alábbiakat állapíthatjuk meg:
Összességében a hallgatók az esetek 44%-ában jutottak át a vizsga 1. fordulóját jelentő tesztkérdéseken. Ezek negyedét olyan esetek adják, ahol a hallgatók nem gyakoroltak az önértékelő teszteken, csupán vizsgáztak. A fenti arányok a sikertelen vizsgatesztekre is igazak. Az önértékelő teszteken nem gyakoroló, csupán vizsgázó hallgatók esetében 57%-nak nem sikerült a vizsgatesztje. Az előzetesen gyakorolóknál ez az arány mindössze 44% volt. A teszteken elérhető két legalacsonyabb százalékot (0% és 8%) kétszer annyi esetben látunk, ha a hallgatók előzetesen nem gyakoroltak azt önértékelő teszteken. A teszteken elérhető két legmagasabb százalékot (42% és 50%) szintén kétszer annyi esetben látunk, ha a hallgatók előzetesen gyakoroltak azt önértékelő teszteken. Az önértékelő teszteken nem gyakoroló, csupán vizsgázó hallgatók esetében a vizsgán elért részeredmény átlagosan 22% volt, az előzetesen gyakorlók esetén pedig 27%-os részeredményt kaptunk.
A 13. ábrán láthatjuk, hogy kiemelkedően sokan foglalkoztak a 1. teszttel, nagyon kevesen az 5. teszttel. Ez a két szélsőség, arányuk kétszeres.
16
Az önértékelő teszteket kitöltő hallgatók arányai (416 fő) 500 400 300
3. teszt
50,5%
2. teszt
44,1%
39,3%
54,6%
100
59,2%
79,6%
200
5. teszt
6. teszt
0 1. teszt
4. teszt
Kitöltők aránya
Ki nem töltők aránya
13. ábra. Az önértékelő teszteket kitöltő hallgatók arányai (416 fő) A teszteket sikeresen kitöltő hallgatók arányai (352 fő) 100% 80%
4. teszt
5. teszt
39%
3. teszt
54%
42%
2. teszt
20%
62%
51%
40%
66%
60%
0% 1. teszt
Sikeres tesztek aránya
6. teszt
Sikertelen tesztek aránya
14. ábra. A vizsgateszteket sikeresen kitöltő hallgatók arányai (352 fő)
Vessük össze a 13. és 14. ábrákat. Vizsgáljuk, az önértékelő tesztek kitöltésének és a vizsgán elért teszteredmény sikerességének kapcsolatát. Megállapíthatjuk, hogy az első 3 témakör elméleti anyagrészhez kapcsolódó tesztjeit fokozatosan egyre kevesebben töltötték ki, és ezek a tesztkérdések a vizsgán is egyre kevésbé sikeresek. Az utolsó három témakör gyakorlati anyagrészhez kapcsolódó kitöltési arány és a vizsgaeredmény között nem ennyire szoros a kapcsolat. Mindkét ábrán a 4. tesztet elemezve arra jutunk, hogy az önértékelő tesztet viszonylagosan kevesen töltötték ki, de a kitöltők arányának (39,3%) másfélszerese a vizsgán e témakörbe tartozó tesztkérdések sikeressége (62%). Az 5. tesztnél is találunk hasonlóságot, de nem ennyire szélsőséges. A legtöbb tanulást, idő ráfordítást igénylő 6. teszt és a hozzátartozó gyakorlati feladatok esetén, az önértékelő teszteken gyakorló hallgatók aránya (50,5%) ellenére is, ettől jelentősen elmaradó sikerességet kapunk a vizsgán (39%). Témakör
Bevezetés a programozásba
Objektumorientált paradigma
UML
Önértékelő teszt eredményessége (%) Vizsga teszt eredményessége (%) Különbség (%)
83 65 18
79 51 28
82 41 41
Java programozási alapok 85 62 23
Osztályok használata, készítése
Konténerek
79 53 26
81 39 42
12. táblázat. Önértékelő és vizsgatesztek összehasonlítása témakörönként eredményesség szerint
Az önértékelő tesztek esetében a könnyebb témakörök eredményességétől alig maradnak el a nehezebb témakörök eredményességei (12. táblázat). A hat témakör eredményessége közötti különbség 6%, míg a vizsgatesztek esetében ez szignifikáns érték 24%. Ennek oka lehet, hogy az önértékelő tesztek esetében minden segédanyagot lehet használni és nincs időbeli korlátozás sem.
17
Témakörönként az önértékelő és a vizsga tesztek átlagos eredményességét összehasonlítva: Mind a hat témakörnél – nehézségtől függetlenül – az önértékelő tesztek eredményessége a magasabb. A gyakorlati és az elméleti tudást felmérő két-két könnyebb – felismerést, megértést igénylő – témakörnél az önértékelő és a vizsga teszt átlagos eredményességének különbsége átlagosan 23%. A következtetést, elvonatkoztatást igénylő nehezebb elméleti és gyakorlati témaköröknél ugyanez a különbség már átlagosan 49%. A nagyobb eltérés oka a témakör nehézsége lehet, a készségként elsajátított tudás mértéke a segítséggel kitöltött és az önállóan megoldott tesztek átlagos eredményességének különbségében mutatkozik.
A TESZTEREDMÉNYEK ÚJRAÉRTÉKELÉSI LEHETŐSÉGEI A Programozási alapok vizsga 1. fordulójában lévő tesztkérdések kiértékeléséhez jelenleg a 13. táblázatban látható – szigorú – kiértékelő mátrixot használjuk. Csak a tökéletes válaszkombinációért jár a tesztkérdésre adható pontszám 100%-a, minden egyéb esetben a pontszám 0%-át adja. Ez a kiértékelő mátrix – dichotómitásánál fogva – a részeredményeket nem veszi figyelembe [6, 7]. Ekkor minden tesztkérdés esetén – függetlenül a helyes válaszok számától – annak valószínűsége, hogy a tesztkérdésre helyes választ adunk, megegyezik annak esélyével, hogy a tesztkérdésre pontszámot kapunk (0,0625). Az 1. kiértékelő mátrix engedékenysége 0,0625. Az engedékenységet valószínűségnek tekintjük. Ha mind a hat tesztkérdésre csupán tippelünk, akkor az 1. fordulón való továbbjutás valószínűsége igen csekély, mindössze 0,000000954. Értékelés, ha a helyes válaszkombináció (%) Hallgató válasza d c cd b bd bc bcd a ad ac acd ab abd abc üres 0 0 0 0 0 0 0 0 0 0 0 0 0 0 d 100 0 0 0 0 0 0 0 0 0 0 0 0 0 c 0 100 0 0 0 0 0 0 0 0 0 0 0 0 cd 0 0 100 0 0 0 0 0 0 0 0 0 0 0 b 0 0 0 100 0 0 0 0 0 0 0 0 0 0 bd 0 0 0 0 100 0 0 0 0 0 0 0 0 0 bc 0 0 0 0 0 100 0 0 0 0 0 0 0 0 bcd 0 0 0 0 0 0 100 0 0 0 0 0 0 0 a 0 0 0 0 0 0 0 100 0 0 0 0 0 0 ad 0 0 0 0 0 0 0 0 100 0 0 0 0 0 ac 0 0 0 0 0 0 0 0 0 100 0 0 0 0 acd 0 0 0 0 0 0 0 0 0 0 100 0 0 0 ab 0 0 0 0 0 0 0 0 0 0 0 100 0 0 abd 0 0 0 0 0 0 0 0 0 0 0 0 100 0 abc 0 0 0 0 0 0 0 0 0 0 0 0 0 100 abcd 0 0 0 0 0 0 0 0 0 0 0 0 0 0 13. táblázat. A vizsgáztató program jelenlegi kiértékelő mátrixa (1. kiértékelő mátrix)
A vizsgálati időszak teszteredményeinek újraértékelését többféle alternatív kiértékelő mátrixszal is elvégeztük. Az alkalmazott kiértékelő mátrixtól függetlenül, a helyes válasz 0,0625 valószínűsége állandó (csak a tesztkérdések, és a válaszlehetőségek számától függ), a pontszerzés esélye ettől eltérhet. A 2. kiértékelő mátrix engedékenysége 0,277. Ha mind a hat tesztkérdésre csupán tippelünk, akkor az 1. fordulón való továbbjutás valószínűsége 0,0016.
18
Értékelés, ha a helyes válaszkombináció (%) Hallgató válasza d c cd b bd bc bcd a ad ac acd ab abd abc üres 0 0 0 0 0 0 0 0 0 0 0 0 0 0 d 100 0 50 0 50 0 0 0 50 0 0 0 0 0 c 0 100 50 0 0 50 0 0 0 50 0 0 0 0 cd 0 0 100 0 0 0 50 0 0 0 50 0 0 0 b 0 0 0 100 50 50 0 0 0 0 0 50 0 0 bd 0 0 0 0 100 0 50 0 0 0 0 0 50 0 bc 0 0 0 0 0 100 50 0 0 0 0 0 0 50 bcd 0 0 50 0 50 50 100 0 0 0 50 0 50 50 a 0 0 0 0 0 0 0 100 50 50 0 50 0 0 ad 0 0 0 0 0 0 0 0 100 0 50 0 50 0 ac 0 0 0 0 0 0 0 0 0 100 50 0 0 50 acd 0 0 50 0 0 0 50 0 50 50 100 0 50 50 ab 0 0 0 0 0 0 0 0 0 0 0 100 50 50 abd 0 0 0 0 50 0 50 0 50 50 50 50 100 50 abc 0 0 0 0 0 50 50 0 0 0 50 50 50 100 abcd 0 0 0 0 0 0 0 0 0 0 0 0 0 0 14. táblázat. A vizsgáztató program alternatív kiértékelő mátrixa (2. kiértékelő mátrix)
A 14. táblázatban látható 2. kiértékelő mátrix alapelve: a tökéletes válaszkombinációért jár a pontszám 100%-a; egy rossz válasz kiüt egy jó választ, de negatív eredmény nem lehet (50%, ha van legalább egy helyes válasz több válasz esetén, de nem minden válasz helyes). Két helyes válasz esetén a pontszerzés esélye 0,3125, valamint három helyes válasz esetén 0,4375. Mivel részpontszámot is adunk, így ez a kiértékelő mátrix engedékenyebb. A 15. táblázat a 3. kiértékelő mátrixot tartalmazza. Ez nagyon engedékeny, alapelve: a tökéletes válaszkombináció a pontszám 100%-át adja, ezenkívül részeredményként bármelyik helyes részeredményért a tesztkérdésre adható maximális pontszám arányos százaléka jár (33%, 50%, 67%). Ha a tesztkérdésre egyetlen helyes válasz van, akkor a pontszerzés valószínűsége 0,4375. Két helyes válasz esetén ez az esély 0,6875, három helyes válasz esetén 0,8125. A 3. kiértékelő mátrix engedékenysége 0,652. Ha mind a hat tesztkérdésre csupán tippelünk, akkor az 1. fordulón való továbbjutás valószínűsége igen magas, 0,1176. Hallgató válasza üres d c cd b bd bc bcd a ad ac acd ab abd abc abcd
d 0 100 0 50 0 50 0 33 0 50 0 33 0 33 0 0
c 0 0 100 50 0 0 50 33 0 0 50 33 0 0 33 0
cd 0 50 50 100 0 50 50 67 0 50 50 67 0 33 33 0
Értékelés, ha a helyes válaszkombináció (%) b bd bc bcd a ad ac acd ab 0 0 0 0 0 0 0 0 0 0 50 0 33 0 50 0 33 0 0 0 50 33 0 0 50 33 0 0 50 50 67 0 50 50 67 0 100 50 50 33 0 0 0 0 50 50 100 50 67 0 50 0 33 50 50 50 100 67 0 0 50 33 50 33 67 67 100 0 33 33 67 33 0 0 0 0 100 50 50 33 50 0 50 0 33 50 100 50 67 50 0 0 50 33 50 50 100 67 50 0 33 33 67 33 67 67 100 33 50 50 50 33 50 50 50 33 100 33 67 33 67 33 67 33 67 67 33 33 67 67 33 33 67 67 67 0 0 0 0 0 0 0 0 0
abd 0 33 0 33 33 67 33 67 33 67 33 67 67 100 67 0
abc 0 0 33 33 33 33 67 67 33 33 67 67 67 67 100 0
15. táblázat. A vizsgáztató program alternatív kiértékelő mátrixa (3. kiértékelő mátrix)
A 4. kiértékelő mátrix a 16. táblázatban látható. 19
Hallgató válasza üres d c cd b bd bc bcd a ad ac acd ab abd abc abcd
d 0 100 0 25 0 25 0 0 0 25 0 0 0 0 0 0
c 0 0 100 25 0 0 25 0 0 0 25 0 0 0 0 0
cd 0 20 20 100 0 12 12 0 0 12 12 0 0 0 0 0
Értékelés, ha a helyes válaszkombináció (%) b bd bc bcd a ad ac acd ab 0 0 0 0 0 0 0 0 0 0 20 0 0 0 20 0 0 0 0 0 20 0 0 0 20 0 0 0 12 12 25 0 12 12 25 0 100 20 20 0 0 0 0 0 20 25 100 12 25 0 12 0 0 12 25 12 100 25 0 0 12 0 12 0 0 0 100 0 0 0 0 0 0 0 0 0 100 20 20 0 20 0 12 0 0 25 100 12 25 12 0 0 12 0 25 12 100 25 12 0 0 0 0 0 0 0 100 0 25 12 12 0 25 12 12 0 100 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
abd 0 0 0 0 0 25 0 0 0 25 0 0 25 100 0 0
abc 0 0 0 0 0 0 25 0 0 0 25 0 25 0 100 0
16. táblázat. A vizsgáztató program alternatív kiértékelő mátrixa (4. kiértékelő mátrix)
A 4. kiértékelő mátrix alapelve: a tökéletes válaszkombináció itt is a pontszám 100%-át adja, részszázalék a három helyes lehetőséget tartalmazó kérdésnél – a tippelés elkerülésére – nincs, a többinél arányosnak tekinthető részszázalékok (12%, 20%, 25%) is vannak, tehát a hibásként bejelölt válaszokat büntetjük. A kiértékelő mátrix figyelembe veszi, hogy négy válaszlehetőség közül egyet ugyanannyiféleképpen lehet kiválasztani, mint hármat, így 0,25 valószínűséggel szerezhető pont akkor is, ha a helyes válaszok száma 1 vagy 3. Két helyes válasz esetén ez a valószínűség 0,4375. Ez a mátrix középútnak tekinthető a 2. és 3. között. A 4. kiértékelő mátrix engedékenysége 0,33. Ha mind a hat tesztkérdésre csupán tippelünk, akkor az 1. fordulón való továbbjutás valószínűsége 0,0039. A 17. táblázatban jól összehasonlíthatóak a tesztkérdések pontszerzési tulajdonságai a különböző kiértékelő mátrixok alkalmazásával, illetve összevethető a kiértékelő mátrixok engedékenysége is. Kiértékelő mátrix sorszáma 1. 2. 3. 4.
Helyes válaszok száma (db) 1 2 3 0,0625 0,0625 0,4375 0,2500
0,0625 0,3125 0,6875 0,4375
0,0625 0,4375 0,8125 0,2500
Engedékenység 0,0625 0,277 0,652 0,33
Továbbjutás valószínűsége (tippelés esetén) 0,000000954 0,0016 0,1176 0,0039
17. táblázat. A tesztkérdések pontszerzési tulajdonságai a kiértékelő mátrixtól függően
AZ ÚJRAÉRTÉKELÉS EREDMÉNYEI Az összehasonlítást először tesztkérdésenként, majd vizsgaesetenként, végül hallgatók létszámára vetítve végezzük el [6, 7]. Vessük össze az alternatív kiértékelő mátrixok által a 745 újraértékelt esetre vonatkozó teszteredmények pontszámait. A szigorúnak tekintett jelenlegi 1. kiértékelő mátrix eredményeihez képest, a 15., 16. és 17. ábrákon láthatjuk, hogyan alakultak volna a teszteredmények pontszámai. 20
A 2. kiértékelő mátrixszal szerezhető részpontszámok
0 pontszám 33,9% (1515 eset)
teljes pontszám 52,3% (2338 eset)
0 pontszám 47,7% (2132 eset)
részpontszám 13,8% (617 eset)
15. ábra. A 2. kiértékelő mátrixszal szerezhető részpontszámok (tesztkérdésenként) A 3. kiértékelő mátrixszal szerezhető részpontszámok
teljes pontszám 52,3% (2336 eset)
0 pontszám 15,9% (710 eset) 0 pontszám 47,7% (2132 eset)
részpontszám 31,8% (1422 eset)
16. ábra. A 3. kiértékelő mátrixszal szerezhető részpontszámok (tesztkérdésenként) A 4. kiértékelő mátrixszal szerezhető részpontszámok
0 pontszám 26,5% (1186 eset)
teljes pontszám 52,3% (2338 eset) 0 pontszám 47,7% (2132 eset)
részpontszám 21,1% (946 eset)
17. ábra. A 4. kiértékelő mátrixszal szerezhető részpontszámok (tesztkérdésenként)
A 18. táblázatban látható, hogy a különböző kiértékelő mátrixok alkalmazása milyen hatással van/lenne a tesztkérdésekre adott/adható pontszámokra, részpontszámokra. Az 1. kiértékelő mátrix – mivel nincs benne részeredmény –, 2132 esetben értékelte a tesztkérdéseket 0 pontszámmal. A 2. kiértékelő mátrix ennek 29%-ában, a 3. 67%-ában, végül a 4. 44%-ában részeredmény(ek)re is ad pontot. Az 1. kiértékelő mátrix az esetek 48%-ában adott 0 pontszámot, ezzel szemben a 2. kiértékelő mátrix az esetek 34%-ában, a 3. az esetek mindössze 16%-ában, végül a 4. az esetek 26%-ában értékelne 0 pontszámra.
21
Tesztkérdések értékeléseinek előfordulása (db) Teljes pontszám Részpontszám 0 pontszám
Kiértékelő mátrix sorszáma 2. 3. 2332 2332 617 1422 1515 710
1. 2332 0 2132
4. 2332 946 1186
18. táblázat. A kiértékelő mátrixokkal szerezhető pontszámok, részpontszámok (tesztkérdésenként)
Vessük össze, hogyan alakul(nának) a vizsga 1. fordulójának részeredményei. A jelenleg használt 1. kiértékelő mátrixszal az esetek 42%-a jutott tovább a vizsga 2. fordulójára. A 2., 3. és 4. kiértékelő mátrix esetén a fenti arány 52%, 67%, illetve 44% lenne (19. táblázat). Részeredmény előfordulás Sikertelen (eset) Továbbjutott (eset)
1. 432 313
Kiértékelő mátrix sorszáma 2. 3. 363 244 382 501
4. 416 329
19. táblázat. A tesztkérdések értékeléseinek előfordulása (vizsgaesetenként)
A 432 hallgató közül az 1. kiértékelő mátrix 232 főt engedett át a vizsga 1. fordulóján. A 2., 3. és 4. kiértékelő mátrix használata esetén továbbjutott volna 260 fő, 322 fő, illetve 238 fő (20. táblázat). Hallgatók száma Sikertelen (fő) Továbbjutott (fő)
1. 200 232
Kiértékelő mátrix sorszáma 2. 3. 172 110 260 322
4. 194 238
20. táblázat. A hallgatók értékeléseinek előfordulása (hallgatónként)
A négy kiértékelő mátrix összehasonlításából kiderült, hogy az értékelés egy-egy tesztkérdés esetén szembeötlő különbségeket mutat. Ez összefügg a mátrixokra jellemző engedékenységgel. A vizsga 1. fordulóját jelentő 6 db tesztkérdés együttes értékelésekor a továbbjutó hallgatók számában ez már kisebb eltérést ad.
KÖSZÖNETNYILVÁNÍTÁS A szerzők köszönetet mondanak a következő kollégáknak (betűrendben): Bencsik Szilveszter, Berecz Antónia, György László, Kállai Miklós, Littvay László, Nagy Zoltán, Szabó Zoltán. FELHASZNÁLT IRODALOM [1] Programozási alapok, Programozási ismeretek, Programozási technológia tantárgyi útmutatók a 2002/2003as tanévtől a 2005/2006-os tanévekre [2] Programozási alapok, Programozási ismeretek, Programozási technológia tantárgyi útmutatók a 2006/2007es tanévre [3] Kaczur, S.; Kopácsi, S.: Electronic Exam System for students ability in programming; European Distance and E-Learning Network (EDEN) 2009, Innovation in learning communities, What did you invent for tomorrow?, ISBN 978-963-87914-3-6, p. 1-6 [4] Gábor Dénes Főiskola Elektronikus Távoktatási Rendszer, http://ilias.gdf.hu [5] Kaczur, S.; Kiss, G.: A Programozási alapok tantárgy tesztkérdéseihez tartozó vizsgaeredmények értékelése; VII. Pedagógiai Értékelési Konferencia - PÉK 2009, Szeged, Szegedi Egyetem, 2009., poszter [6] Kaczur, S.; Kiss, G.: Tesztkészítés; hallgatói teszthasználat és vizsgaeredmények összevetése; 5. magyarországi ILIAS-workshop, Budapest, Gábor Dénes Főiskola, 2009., előadás [7] Csapó, B.: Az iskolai tudás, Műszaki Kiadó, Budapest, 2004, ISBN 963-16-2980-5 [8] Sitkuné Görömbei, C.: Mit mutatnak a számok? Az informatika alapjainak oktatási tapasztalatai, Informatika a felsőoktatásban 2008 CD, Debrecen, ISBN 978-963-473-129-0
22
