HALLGATÓI KÉRDŐÍV ÉS TESZT ÉRTÉKELÉSE

Informatika a felsőoktatásban 2008

Debrecen, 2008. augusztus 27-29.

HALLGATÓI KÉRDŐÍV ÉS TESZT ÉRTÉKELÉSE EVALUATION OF STUDENT QUESTIONNAIRE AND TEST

Daragó László, Dinyáné Szabó Marianna, Sára Zoltán, Jávor András Semmelweis Egyetem, Egészségügyi Informatikai Fejlesztő és Továbbképző Intézet Összefoglaló Intézetünk minőségbiztosítási rendszerének lényeges eleme a hallgatói kérdőívek feldolgozása, értékelése és a kapott eredmények visszacsatolása az oktatási, számonkérési tevékenységbe. Az itt bemutatott elemzés a 2007-2008-as tanév első szemeszterének végén készült. A vizsgálatban első éves, egyszintű képzésben résztvevő hallgatók által az Orvosi informatika c. tárgy értékelésének néhány elemét mutatjuk be. A hallgatói kérdőívek a tantárgy által tartalmazott témakörökre, a tantárgy (kurzus) egészére, valamint az előadók, gyakorlatvezetők személyére, felkészültségére és a hallgatókkal kialakított kapcsolatra is vonatkozik. Elemezzük az elektronikus vizsgáztatás eredményeit ugyanerre a hallgatói mintára. Összefüggést keresünk a hallgatók által adott tantárgy-minősítés és a vizsgaeredmények között. A tantárgy által felölelt egyes témaköröket pozitív, és negatív szempontból egyaránt minősíthetik a hallgatók. A vizsgálat egyik lényeges eleme a hallgatók által pozitív módon kiemelt témakörök szerint csoportosított kérdőívek elemzése és egymással, valamint a vizsga teszten elért, a témakörökre vonatkozó eredményekkel. A vizsgálat szerint a vizsga eredmények és a hallgatók által adott, közvetlenül a vizsga előtti értékelés határozottan eltér.

Kulcsszavak Hallgatói kérdőív, minőségbiztosítás, kurzus értékelés

Abstract An essential element of our institute's quality assurance system is the processing of the student questionnaires, the feedback of their assessment and the received results into the educational and evaluation activity. The analysis, presented here made at the end of the first semester in the 2007-2008 study year. In the examination some elements of the assessment are presented. The first year students, participating in one-level training, listeners of Medical informatics course are affected. The student questionnaires on the topics implied by the subject, the whole subject (course) and the lecturers, on instructors' person, concerns their preparedness and the contact developed with the students. Results of the electronic examining the same students and course are also analysed. A context between the subject classification given by the students and the exam results had been looked also. The individual topics covered by the subject were qualified by the students in positive and negative viewpoints equally. One of the essential elements of the examination is the analysis of the questionnaires grouped by the listeners according to topics emphasized on a positive manner and with each other, and the exam got away on a test, with the results concerning the topics. According to the examination the exam results and the listeners valuing them resolute before the exam differs directly.

Keywords Student questionnaire, quality assurance, course evaluation

1



Bevezetés Az Egészségügyi Informatikai Fejlesztő és Továbbképző Intézet a Semmelweis Egyetem Általános Orvostudományi Kar intézeteként egészségügyi informatikai, illetve orvosi informatikai képzést végez. Teljes egészében működteti az Egészségügyi Ügyvitelszervező (BSc), Egészségügyi Informatikai Menedzser (egyszintű, illetve MSc) szakokat, ezen túl az Orvosi informatika című tárgy oktatását végzi az Általános Orvostudományi Kar, a Fogorvostudományi Kar valamint a Gyógyszerésztudományi Kar hallgatói számára magyar, angol és német nyelven, valamint részt vesz a rezidensképzésben is. A 2007-2008. tanév első szemeszterének végén kérdőíves felmérés történt (többek között) a FOK hallgatóknak az intézet által tartott kurzus, valamint az abban előadást, illetve gyakorlatot tartó oktatók értékeléséről. Jelen tanulmányban a hallgatói kérdőívek, valamint ugyanezen hallgatók vizsgaeredményeinek néhány szempontból történt feldolgozásának eredményét mutatja be. Eszközök és módszerek A hallgatói kérdőív kitöltése A hallgatói kérdőívet a hallgatók a vizsgájuk megkezdése előtt kapták meg. A kérdőív papír alapú, így lehetőség volt a kérdések megválaszolása sorrendjének felcserélésére, egyes kérdésekre adott válasz átértékelésére, módosítására, kihagyására. A kitöltés anonim módon történt, ismételt vizsga esetén nem volt indokolt. Az egyes kérdéseket – a szöveges válaszadásúakat kivéve – a választ 1-5 skálán bejelölve válaszolhatták meg a hallgatók. A vizsgát felügyelő oktató nem ellenőrizte azt, hogy a hallgató valóban kitöltötte-e a kérdőívet, ennek ellenére a hallgatói létszámmal összevetve 95%-os volt a kitöltési arány, ami még a személyes kontaktusú kérdőíves részvételekhez képest is nagyon jó arány (Kósa et al, 2007). A kérdőívek összegyűjtése után az erre a célra kialakított Ms Access adatbázisba oktató rögzítette, majd dolgozta fel az adatokat. A vizsgáztatás menete Az orvosi informatika tárgy vizsgája elektronikusan történik. Az elméleti előadások minden esetben Powerpoint bemutatóval tartják az előadók, az előadások diáit az intézeti honlap felelőse, vagy maga az előadó az előadások megtartása után feltölti az intézeti szerverre. A szerverhez minden hallgató rendelkezik csoportos belépési azonosítóval és jelszóval, amely az általános és közérdekű információk mellett kizárólag az adott hallgatói csoport előadásainak letöltésére ad lehetőséget. Az idegen nyelvű hallgatók természetesen csak a saját, idegen nyelvű bemutatóikhoz férnek hozzá. A vizsgák anyaga az elméleti előadásoknak a honlapon is elérhető prezentációi alapján készül. A adott előadás megtartója minimum 5 (általában 10) tesztkérdést készít. A kérdések között legyen egyszerű válaszadásos, többszörös helyes és többszörös helytelen válaszadásos, valamint reláció analízis. Csak olyan kérdés kerülhet a vizsgakérdések közé, amely a feltöltött előadás diák alapján ellenőrizhetően szerepelt és le lett adva az előadáson. Minden kérdéstípusnál öt lehetséges válaszból kell a hallgatónak kiválasztani a helyes választ. A jelen tanulmányban említett teszt a 20 kérdésből állt. A kérdések egy kérdés adatbázis véletlen mintájának véletlen sorrendjében kerülnek a hallgató monitorjára. Bár a hallgatók számítógépes tanteremben írják a tesztet, ahol óhatatlanul láthatják a szomszéd monitorját, nagyon kicsi a valószínűséges, hogy ugyanazt a tételsort kapják, ráadásul még abban az esetben is, ha ugyanazt kapnák, a kérdések sorrendbe különböző.

2



1. ábra - A SE EII elektronikus vizsga felülete

2. ábra - Az eredmény közlése

3



A válaszadási idő kérdésenként 1 perc, de a hallgató az összes idővel gazdálkodik, így „átvihet” időt egyik kérdésről a másikhoz. A fennmaradó idő folyamatosan látható (1. ábra). Visszalépés nem lehetséges, így ha egy választ elküldött a hallgató, javításra nincs lehetőség. A teszt befejezésekor a hallgató azonnal látja az eredményt (2. ábra). A rendszer az összes kérdést és az adott válasz tárolja a vizsgarendszer adatbázisában, így később dokumentáláshoz és statisztikai célra egyaránt felhasználható. Eredmények A kérdőív során megkérdeztük, hogy a kurzus során hallgatott témakörök közül melyiket tartja hallgató a leginkább és legkevésbé hasznosnak tanulmányai szempontjából. A 3. ábra a kurzus egyes témakörei hasznosságának megítélését, ugyanakkor a számítógépes teszt megoldása során kapott eredményeket ábrázolja. A hasznosságot a leghasznosabbként való említésnek az összes említéshez viszonyított aránya jelenti. Az oszlopok a leginkább hasznosnak ítélt témakörökként említést ábrázolják az összes említés arányában. A függőleges vonalak az adott témakörben elért teszteredményeket ábrázolják a legalacsonyabb, legmagasabb, illetve átlagos százalékos értékben.

50%

50%

25%

25%

0%

0%

ez áz is k tb

ad a

in t

el lig

en s

ká r

el és

s tit ko sí tá

di gi tá

lis

al áí rá

s

&

In

2. W EB

or vo si is m

ty a

75%

te rn et

75%

0

100%

er et ek

100%

3. ábra – Hasznosság és teszteredmény

Fogorvostan hallgatók lévén nem meglepő az orvosi (informatikai) ismeretek favorizálása, az azonban már igen, hogy ehhez képest a leggyengébb vizsgaeredmények születtek. A kettes érdemjegy eléréshez 60%-os helyes válaszadási arány volt szükséges. A témakör pozitív megítélésének és az ezt a megítélést adó hallgató vizsgaeredményeinek átlaga -0,376-os korrelációt mutat. A 4. ábra az egyes témaköröket leghasznosabbként megjelölt hallgatóknak a kurzus egészének megítélést mutatja a hallgató vizsga előtt önértékelése szerint, párhuzamosan az egyes témakörökben elért teszteredménnyel. A diagram szerint az Internetet kedvelő hallgatók kivételével a hallgatók messze túlértékelték tudásukat.

4



90% 80% 70% 60% 50%

Teszt átlaga

40%

Tudás a témáról a végére

30% 20% 10%

er et ek

2. 0 or vo si

is

m

W EB

ká rty a en s

ke ze lé s

In te llig

ad at bá zis

di gi tá li s

al áí rá

s

&

t it ko sí tá s

In te rn et

0%

4. ábra – Önértékelés és teszteredmény összehasonlítása

A témáról meglévő tudás és a vizsgaeredmények korrelációja -0,28. (Megjegyzés: vajon mit mutatna az az ábra, amit a vizsga után töltöttek volna ki a hallgatók?) Az 5. ábra az egyes témakörök hasznosságát, valamint a hasznossági értéket a kurzus 1-5 skálán történő összértékelésével súlyozva ábrázolja az adott témakörben elért vizsgaeredményekkel. Látható, hogy a témakörök hasznosságának megítélése a hallgató általi kurzus összértékeléssel súlyozva sokkal kiegyenlítettebb. Meglepő, hogy az adatbáziskezelés hasznosságának megítélése a súlyozással az utolsó helyről az első helyre került. Ezek után nem meglepő az adatbáziskezelés témakörében elért – a többi témakörhöz képesti - jó eredmény. 100% 90% 80% 70% 60%

Hasznosság

50%

Összértékeléssel súlyozva

40%

Teszt átlag

30% 20% 10%

t it ko sí tá in s te l l ig en s ká r ty ad a at bá zis ke ze lé s

s

&

In te rn et al áí rá

W EB

2. 0

di gi tá li s

or vo si

is

m

er et ek

0%

5. ábra – Hasznosság és teszt átlag

5



Itt a korrelációs együttható (-0,75) abszolút értéke jóval nagyobb, azaz a témakör hasznosságának megítélése és a teszteredmények úgy tűnik, még ellentétesebb tendenciát mutatnak a leghasznosabbnak vélt témakörök megítélésében. A tesztátlagok csak az Internet és a digitális aláírás, valamint titkosítás témakörökben vannak a súlyozott hasznossági megítélés felett. 4,5 4 3,5

Internet

3

digitális aláírás & titkosítás

2,5

adatbáziskezelés

2

Intelligens kártya WEB 2.0

1,5

orvosi ismeretek

1 0,5

Cé l

Cé l

ok _m eg fo ga lm

az ás a ok _t el je sí Cé té se lo k_ re le va Ta nc r ta iá lo ja m _r el ev an ci Lo áj a Át gi ad ka i_ ot fe t_ lé is m pí té er s et _m Új _i en sm ny er is é et g _h oz zá Ér já de ru klő lá Tu sa d és dá t_ so f m ok _ oz a ta té _e m ár ól Ku _a rz _v us ég _ö ér ss e ze ss ég éb en

0

6. ábra – Válaszok a leghasznosabbnak ítélt témaköröket jelölő válaszadók szerint 4,5 4 3,5 3 2,5

Célok_megfogalmazása

2 1,5

Célok_relevanciája

1 0,5

Logikai_felépítés

Célok_teljesítése Tartalom_relevanciája Átadott_ismeret_mennyiség

0

or vo si

is m er et ek

2. 0 W EB

ká rt y a In te ll ig en s

ad at bá zi sk ez el és

Érdeklődést_fokozta_e Tudásom_ a témáról_a_végére Kurzus_összességében

di gi tá lis

al áí rá s

&

In te rn e

t

t it ko sí tá s

Új_ismeret_hozzájárulása

7. ábra – Szempontokra értékelése a leghasznosabbnak megítélt témaköröket választó hallgatók szerint

A 6. és 7. ábra az egyes indikátorok átlagos értékét mutatja a leghasznosabbként feltüntetett témakörök szerint. A két ábra egymás transzponáltja. A 6. ábrán látható, hogy pl. a digitális aláírás iránti érdeklődés, az átadott ismeretek mennyiségének és az új ismerettel történő hozzájárulás megítélése alacsony, ugyanakkor a kurzus végére szerzett tudás értékelése jónak mondható, míg a célok teljesítése szempontjából a legjobb mutatót kapta. Az orvosi ismeretek szinte minden mutató szerint a legjobb eredményt érték el, ugyanakkor a kurzus végén meglévő tudásban elbizonytalanodást mutatnak az indikátor. Érdekes, hogy az adatbáziskezelést tartották a hallgatók a leglogikusabbnak felépített témakörnek, miközben a legérdektelenebbnek vélték.

6



A 8. ábra buborékdiagramot ábrázol, ahol a vízszintes tengely a kurzus összességében történő értékelését, a függőleges pedig az „érdeklődést fokozta-e” kérdésre adott együttes válaszokat tartalmazza. A buborékok nagysága a válaszok előfordulásával arányos. Az ábrán látható, hogy a hallgatók a kurzust inkább érdektelennek tartják. Ez leginkább a közepes kurzus-értékelés melletti lecsengő érdeklődés mutatja.

6

5

4

3

2

1

0 0

1

2

3

4

5

6

8. ábra – Kurzus értékelése és a kurzus iránti érdeklődés

Ugyanilyen módon ábrázolva a témáról (a kurzus egészéről) szerzett tudást éppen ellentétes önértékelés és vélemény látszik (9. ábra). A hallgatók a kurzus anyagából meglévő tudásukat jóval magasabbra értékelik, mint magát a kurzust. A vízszintes vastag piros vonal a teszteken elért átlagos eredményeket mutatja. Mivel alapesetben a 60%-os eredmény értékelése kettes, így látszik, hogy az önértékelés és a teszt által adott értékelés erősen különbözik. (A 9. és 3. ábrákat összevetve megjegyzendő, hogy a 3. ábra a kérdéscsoportra adott válaszok eredményességét, míg a 9. ábra a teljes teszt eredményességét ábrázolja.)

7



6

5

4

3

57%

2

1

0 0

1

2

3

4

5

6

9. ábra – Kurzus értékelése és a témáról szerzett tudás

Következtetés A kérdőívek értékelése és a vizsgaeredményekkel történő összevetése több tanulsággal szolgált. Olyan kérdéseket vet fel, ami további elemzést érdemel. Ilyenek például:  Felül kell vizsgálnia kérdőívet abból a szempontból, hogy a hallgatók pontosan értik-e a kérdést?  Ellenőrző kérdéseket kell beépíteni a komolytalanul kitöltött kérdőívek kiszűrésére, a következetes válaszok megkülönböztetésére (adattisztítás).  Felül kell vizsgálni a kérdőív használatával elérendő célt, a kérdéseket ehhez/ezekhez kell igazítani. Megfontolandó a szemeszter elején, illetve év közbeni felmérés kidolgozása. Két, vagy több mérés során megcélozható a kurzus anyagának finomítása, felülvizsgálata. Kijelölhetőek azok a témakörök és szűkebb területek, amelyekre nagyobb hangsúlyt kell fektetni. Irodalomjegyzék [1]

Karolina Kósa, Ilona Balajti*, Éva Bíró, László Daragó**, Róza Ádány: Faculty of Public Health, University of Debrecen *College of Health Sciences, University of Debrecen **Institute of Health Informatics, Semmelweis University, Budapest Response rate by various means of survey methods among students of higher education Poster presented at the Annual Conference of ASPHER (Association of Schools of Public Health in the European Region), October 26-28, 2007 Valencia, Spain

8

HALLGATÓI KÉRDŐÍV ÉS TESZT ÉRTÉKELÉSE

Recommend Documents