Centura Szövegértés Teszt Megbízhatósági vizsgálata
Tesztfejlesztők:
Bóka Ferenc, Németh Bernadett, Selmeci Gábor
Megbízhatósági vizsgálatot végezte:
Bodor Andrea
Copyright tulajdonos:
Centura Kft.
Dátum:
2013.08.06.
Verzió:
1.0
Vizsgált minta A kérdőív kitöltését 115 fő kezdte el. A mintába azok a válaszadók kerültek, akik befejezték a kérdőív kitöltését. Összesen 104 fő által adott válaszok kerültek értékelésre. A kitöltők 73%-a (76 fő) nő, míg 27%-a (28 fő) férfi volt. A kitöltők átlagos életkora 35 év volt. A résztvevők felsőfokú végzettséggel rendelkeztek vagy felsőfokú tanulmányokat folytattak.
Eljárás A kérdőív kitöltésére online módon történt, a kitöltésre 21 perc állt rendelkezésre. Az adatok feldolgozása Microsoft Excel és IBM SPSS Statistics 19 programok segítségével történt.
Minta jellemzői A teszten a kitöltők által elért pontszámok átlagát, szórását, minimumát és maximumát az alábbi táblázat tartalmazza.
Pontszám
Kitöltők száma
Átlag
Szórás
Minimum
Maximum
104
16,587
4,428
8,00
27,00
A teszt kérdéseire adott helyes és helytelen válaszok számát kérdésenként az alábbi táblázat mutatja.
Centura Személyzeti Tanácsadó, Alkalmasságvizsgáló és Humáninformatikai Kft. 1027 Budapest, Fazekas u. 20. | +36 30 211 37 02 |
[email protected] | www.centura.hu
1
Kérdések
Helytelen
Helyes
Az utóbbi 25 éven belül…
45
59
Pár éven belül a Szantorini alatt található tűzhányó…
12
92
A vizsgált alig egy év alatt Szantorini…
24
80
Az alábbi szövegrészek közül melyikkel helyettesíthető azonos értelemben: “jobban megérteni”?
8
96
Az eurózónában az elmúlt öt évben...
30
74
A befektetési alapok vagyona...
37
67
A befektetési alapok által kezelt vagyon változását...
34
70
Mit jelent az “átértékelődés” kifejezés a fenti szövegben?
69
35
Namíbia északi részén...
19
85
Namíbia...
36
68
A felfedezett édesvízkészlet... A szövegben használt “akkreditált” szót melyik szóval lehetne helyettesíteni azonos értelemben? A túlmunka… …, hogy a munkavállalók kérik a jogellenesen megszüntetett munkaviszonyuk helyreállítását. A Nemzeti Gazdasági és Társadalmi Tanács… Mivel helyettesíthető a cikkben szereplő „garantált” szó azonos értelemben? A Tejútrendszerben...
8
96
46
58
30
74
40
64
43
61
26
78
30
74
A felfedezett röntgennóva...
51
53
A Swift űrteleszkóp által észlelt fényjelenség mire NEM utalhat?
47
57
Mely szavakat használ a szöveg egymással felcserélhetően?
42
62
Budapesten a harmadik negyedévben az előzőhöz képest…
68
36
Az FHB Lakásindex növekedése az utóbbi negyedév csökkenését…
79
25
A leggyakoribb 90 napon túli késedelemben levő hitelesek...
57
47
77
27
66
38
AZ EU ETS rendszer ...
56
48
A gazdasági válság ... Melyik fordulattal helyettesíthető a szövegben a “kibocsátás” szó?
61
43
46
58
A szövegben szereplő „nominálisan” szó melyik szóval helyettesíthető azonos értelemben? Az EU-ban a karbonadó ...
Centura Személyzeti Tanácsadó, Alkalmasságvizsgáló és Humáninformatikai Kft. 1027 Budapest, Fazekas u. 20. | +36 30 211 37 02 |
[email protected] | www.centura.hu
2
Normalitásvizsgálat A normalitásvizsgálat segítségével feltárható a minta eloszlása, valamint megállapíthatók a normacsoportok is. A normális eloszlás azt jelenti, hogy a vizsgált mintában a kitöltők által elért pontszámok nagy része az átlag körül ingadozik, míg az átlagtól távolabb lévő (szélsőséges) pontszámokat egyre kevesebb személy ér el. A minta normális eloszlásából arra következtethetünk, hogy a mérőeszköz a vizsgált populációban az adott képesség egész tartományát lefedi. Az adatok normalitásvizsgálatát Kolmogorov–Szmirnov-próba segítségével lehet elvégezni. Ennek nullhipotézise szerint a vizsgált minta normális eloszlású. A próba eredményeit az alábbi táblázat tartalmazza. Kolmogorov-Smirnov Z
1,105
Szignifikancia szint
0,174
Mivel a próba eredménye nem szignifikáns (p>0,05), ezért a próba nullhipotézise nem vethető el, tehát az adatok normális eloszlásúak lesznek. Az adatok ferdeségi és csúcsossági mutatói is a normális eloszlásra utalnak, hiszen abszolút értékük kisebb, mint 1.
ferdeség: 0,162 → megfelelő, abszolút értéke <1 csúcsosság: -0,757 → megfelelő, abszolút értéke <1
Az adatok eloszlását és a normális eloszlás Gauss-görbéjét az alábbi ábra mutatja.
Centura Személyzeti Tanácsadó, Alkalmasságvizsgáló és Humáninformatikai Kft. 1027 Budapest, Fazekas u. 20. | +36 30 211 37 02 |
[email protected] | www.centura.hu
3
Normacsoportok A normacsoportok meghatározásához az úgynevezett T értékek nyújthatnak segítséget. A T értékek esetén az átlag 50, a szórás pedig 10. A T értékek egyszerűen kiszámíthatóak a következő képlet segítségével:
Mivel a minta normális eloszlású, ezért a minta 68,2%-a 40 és 60 közötti T értéket vesz fel, a minta 95,4%-a 30 és 70 közötti T értéket vesz fel, és a minta 99,7%-a 20 és 80 közötti értéket vesz fel.Az alábbi ábrán normális eloszlás (így a vizsgált minta eloszlása) látható a T értékek, illetve ezek alatt zárójelben a teszt pontszámai mentén.
A teszt diszkriminációs érvényessége A teszt diszkriminációs érvényességének vizsgálatával bizonyítható a mérőeszköz függetlensége az egyes jellemzőktől, tulajdonságoktól. Jelen esetben a mintát csoportokra osztottuk nem és életkor alapján, és független mintás t-próba, valamint varianciaanalízis segítségével összehasonlítottuk a kialakított csoportokat. Nemi különbségek A tesztet összesen 76 nő és 28 férfi töltötte ki. Az elért pontszámok nemek szerinti lebontását az alábbi táblázat mutatja.
Centura Személyzeti Tanácsadó, Alkalmasságvizsgáló és Humáninformatikai Kft. 1027 Budapest, Fazekas u. 20. | +36 30 211 37 02 |
[email protected] | www.centura.hu
4
Nem
Elemszám
Pontszámok átlaga
Pontszámok szórása
Nő
76
15,947
4,082
Férfi
28
18,321
4,922
Mivel a kérdőívet lényegesen több nő töltötte ki, ezért véletlenszerű mintavétel segítségével 25 nő és 25 férfi által elért pontszám került vizsgálatra. A kiválasztott 50 fős minta eredményeit az alábbi táblázat mutatja. Nem
Kitöltők száma
Átlag
Szórás
Nő
25
16,44
3,22852
Férfi
25
18,36
4,92341
Független mintás t-próba segítségével megvizsgálható, hogy a nők és a férfiak által elért pontszámok között jelentkezik-e szignifikáns különbség. A próba nullhipotézise, hogy két csoport átlaga megegyezik. A próba eredményei a következők lettek:
t-próba: o t=-1,631; szabadságfok=48 o szignifikancia szint: 0,110
A próba eredménye nem lett szignifikáns, így nem vethető el a nullhipotézis, tehát a nemek között nincs szignifikáns eltérés a pontszámok tekintetében. Életkorbeli különbségek A mintában az alábbi életkori kategóriák lettek kialakítva:
kategóriák: o 1. kategória: 20-29 év o 2. kategória: 30-39 o 3. kategória: 40-49 o 4. kategória: 50-60
Az egyes kategóriák jellemzőit az alábbi táblázat szemlélteti. Elemszám
Átlag
Szórás
Minimum
Maximum
20-29
38
15,947
4,306
9
26
30-39
37
17,514
4,729
8
25
40-49
13
16,539
4,274
10
24
50-60
16
16,000
4,131
11
27
SUM:
104
16,587
4,428
8
27
Centura Személyzeti Tanácsadó, Alkalmasságvizsgáló és Humáninformatikai Kft. 1027 Budapest, Fazekas u. 20. | +36 30 211 37 02 |
[email protected] | www.centura.hu
5
Mivel jelen esetben a vizsgált kategóriák elemszámbeli különbsége kevésbe jelentős, ezért a kategóriák közötti különbségek vizsgálatához az egész minta felhasználható. A csoportok közötti különbségek vizsgálatára varianciaanalízis alkalmazható, melynek nullhipotézise kimondja, hogy az egyes csoportok átlagai megegyeznek. A próba eredményei a következők lettek:
Varianciaanalízis: o varianciaanalízis: F=0,896; szignifikancia szint: 0,446
Mivel a próba eredménye nem szignifikáns (p>0,05), ezért a nullhipotézis nem vethető el, tehát a teszten elért pontszámokban nincs szignifikáns különbség az egyes életkori csoportok tekintetében.
A teszt szövegeinek homogenitása A teszt szövegeinek megbízhatóságát a szövegek belső konzisztenciáját mutató Cronbach-alfa segítségével vizsgáltuk.Így vizsgálható a teszt homogenitása, valamint azt, hogy melyek azok a szövegek, melyek kevésbé illeszkednek a mérőeszközbe, melyek mérik kevésbé a vizsgálni kívánt képességet. Az alábbi táblázat azt szemlélteti, hogy az egyes szövegeknél átlagosan hány százalékban adtak jó válaszokat a kitöltők. Magmabuborékok
Helyes válaszok (%)
78,606
Háztartások Föld alatti A munkáltatói Karbonkereskedelmi Röntgennóva Lakásárak vagyona vízkészlet felmondás rendszer
59,135
73,798
66,587
59,135
32,452
44,952
A belső konzisztencia vizsgálata során az alábbi eredményt kaptuk: Cronbach-alfa: 0,632 A Cronbach-alfa értéke megmutatja a teszt szövegeinek homogenitását, valamint azt, hogy a szövegek összessége milyen mértékben alkalmas az egyének egymástól való megkülönböztetésére. A Cronbach-alfa értéke jelen esetben elfogadhatónak tekinthető, tehát a szövegek közötti együttjárása megfelelő, a teszt alkalmas az egyéni különbségek differenciálására. Az alábbi táblázat az egyes szövegek item-totál korrelációit illetve a Cronbach-alfa értékét mutatja az adott szöveg törlése esetén. Az első oszlopban az item totál korrelációt láthatjuk, mely megmutatja, hogy az adott szöveg milyen mértékben korrelál a teszt egészével. A második oszlop azt mutatja, hogy hogyan változik meg a Cronbach-alfa értéke, tehát a teszt homogenitása abban az esetben, ha az adott szöveget kivesszük a tesztből.
Centura Személyzeti Tanácsadó, Alkalmasságvizsgáló és Humáninformatikai Kft. 1027 Budapest, Fazekas u. 20. | +36 30 211 37 02 |
[email protected] | www.centura.hu
6
CorrectedItem-Total Correlation
Cronbach's Alpha if Item Deleted
Magmabuborékok
,320
,605
Háztartások vagyona
,179
,641
Föld alatti vízkészlet
,325
,603
A munkáltatói felmondás
,324
,601
Röntgennóva
,410
,572
Lakásárak
,498
,540
Karbonkereskedelmi rendszer
,374
,591
Az eredmények alapján a 2. szöveg elhagyása esetén nőne a Cronbach-alfa értéke, és ezzel együtt a tesztet alkotó szövegek homogenitása is. Mivel az eredmények kevésbé kiugróak, ezért célszerű a teszt belső konzisztenciáját nagyobb mintán is megvizsgálni.
Centura Személyzeti Tanácsadó, Alkalmasságvizsgáló és Humáninformatikai Kft. 1027 Budapest, Fazekas u. 20. | +36 30 211 37 02 |
[email protected] | www.centura.hu
7
