Měření kritického myšlení a studijních schopností studentů středních škol na Slovensku Analytická zpráva
podzim 2014
Zpracoval: Jan Hučín, www.scio.cz, s. r. o. (prosinec 2014) Datové podklady: •
odpovědi žáků v jednotlivých úlohách testu
•
odpovědi žáků v žákovském dotazníku
•
charakteristiky žáků a tříd (skupin) zadané školami do aplikace ScioDat
•
seznam a charakteristika účastnických škol z databáze Ústavu informácií a prognóz školstva SR
Kontakt: Matyáš Bautz www.scio.cz, s. r. o. Pobřežní 34, 186 00 Praha 8 tel.: 234 705 579 e-mail:
[email protected]
Obsah 1.
Souhrn nejzajímavějších zjištění ........................................................................................................... 4
2.
Podrobnosti o projektu ........................................................................................................................ 5 2.1 Popis a organizace projektu ........................................................................................................... 5 2.2 Test obecných studijních předpokladů ............................................................................................ 5 2.3 Žákovský dotazník ......................................................................................................................... 6 2.4 Zdroje dat a metodika zpracování................................................................................................... 7
3.
Účastníci testování .............................................................................................................................. 8 3.1 Počty a struktura účastníků ............................................................................................................ 8 3.2 Debatní kluby a další volnočasové aktivity žáků ............................................................................. 11 3.3 Školní prospěch účastníků ............................................................................................................ 18
4.
Výsledky testu a jejich souvislost s dalšími faktory ............................................................................... 20 4.1 Souvislost výsledku s demografickými znaky ................................................................................. 20 4.2 Souvislost výsledku s debatními a dalšími volnočasovými aktivitami ................................................ 23 4.3 Souvislost výsledku se školním prospěchem .................................................................................. 26
Příloha A: Statistické a psychometrické pojmy.............................................................................................. 29 Výklad použitých pojmů.......................................................................................................................... 29 Percentil, čistá úspěšnost a skóre ............................................................................................................ 32 Příloha B: Dotazník pro uchazeče ................................................................................................................ 33
1. Souhrn nejzajímavějších zjištění Ø Testování se zúčastnila téměř polovina ze všech gymnázií Slovenska. Ø Do činnosti v debatních klubech je zapojeno v různé intenzitě celkem 11,4 % respondentů z 28 škol, kde jsou kluby zřízeny. V některých školách je to však méně než 5 %, v jiných i více než 20 %. Míra zapojení je jen nepatrně větší u dívek (11,8 %) než u chlapců (10,8 %). Ø Volnočasové aktivity jsou u většiny žáků stálé a dlouhodobé. U debatních klubů však převažuje krátkodobé zapojení aktivních žáků, což může být dáno tím, že se s debatním klubem setkali až v poslední době. Ø Z uvedených typů volnočasových aktivit je nejrozšířenější sport, více než polovina žáků je zapojena ještě v jiných uměleckých aktivitách (mimo divadlo). Relativně nejméně rozšířené je zapojení do skautu, podíl zapojených žáků je zde nižší než u debatních klubů. Ø Činnost v debatním klubu je přibližně stejně atraktivní pro chlapce i dívky, se školním prospěchem téměř nesouvisí. Žáci angažovaní v debatním klubu se mnohem častěji zapojují i do humanitních či dobrovolnických aktivit, případně do práce ve školním parlamentu či v radě. Ø Na gymnáziích jsou dívky do volnočasových aktivit zapojeny celkově intenzivněji než chlapci, zejména pokud jde o umělecké a náboženské aktivity. Ø Průměry známek u gymnazistů ve třech sledovaných předmětech jsou lepší než u žáků negymnazijních oborů, rozdíly výsledků testu VŠP jsou však ještě větší, než by odpovídalo rozdílům v klasifikaci. Klasifikační nároky jednotlivých typů studia se liší i o celé stupně. Ø U všech typů škol mají dívky v průměru lepší známky než chlapci, přitom ale chlapci dosáhli v testu VŠP lepšího výsledku než dívky. Ø S výsledkem v testu VŠP statisticky významně souvisí pohlaví a ročník žáka, typ jeho SŠ studia a kraj, kde sídlí jeho škola. Nejvýznamnější je typ SŠ studia. Ø Čistý rozdíl úspěšnosti v celém testu ve prospěch žáků zapojených do debatních klubů jsou přibližně dva procentní body. U argumentačního oddílu, který ze všech oddílů nejtěsněji souvisí s činností v debatním klubu, činí čistý rozdíl úspěšnosti pět procentních bodů. Ø Po očištění od společného působení více faktorů souvisejí sportovní aktivity s výsledkem v testu VŠP negativně. Jiné umělecké aktivity vykazují s výsledkem v testu pozitivní vztah v podobné intenzitě jako činnost v debatních klubech. Poměrně silný vztah s výsledkem mají obecné humanitní a zejména přírodovědné aktivity. Ø Nejvyšší studijní předpoklady podle testu VŠP mají v průměru uchazeči o IT, lékařské, technické a přírodovědné obory. Nejhoršími jsou uchazeči o pedagogické, zdravotně-sociální a zemědělské obory.
4
Error! Style not defined.
2. Podrobnosti o projektu V této kapitole uvádíme informace o účelu, organizaci a průběhu projektu. Dále uvádíme parametry použitého testu, charakteristiku získaných dat a metodiku jejich zpracování.
2.1
Popis a organizace projektu
Testování kritického myšlení a studijních předpokladů na slovenských středních školách proběhlo ve spolupráci se Slovenskou debatní akademií (SDA) za finančního přispění Ministerstva školstva, vedy, výskumu a športu SR. Kromě hodnocení kritického myšlení společnost Scio školám nabídla podrobné porovnání studijních schopností jednotlivých žáků, tříd i srovnání s ostatními školami stejného typu. Žáci získali své individuální výsledky, z nichž kromě porovnání s ostatními vrstevníky zjistili i šanci na přijetí na vysoké školy, které test studijních předpokladů společnosti Scio používají v přijímacím řízení. Testování probíhalo on-line formou přímo ve školách od 20. října do 7. listopadu 2014. Registrace byla nabízena od září 2014 všem středním školám na Slovensku. Zapojení dalších škol nepřineslo dodatečné náklady a nabídlo školám zapojeným přímo do aktivit debatního klubu zajímavé srovnání. Kromě oslovení e-mailem probíhala i podpůrná telefonická a direct-mailová kampaň a pro potřeby měření byla zřízena webová stránka http://www.test-predpokladov.sk. Organizaci testování prováděli zástupci vybraní školou podle instrukcí a za informační podpory společnosti Scio, a to převážně v rámci školní výuky (testování bylo připraveno tak, aby mohlo proběhnout včetně instruktáže v rámci jedné vyučovací hodiny). Vyhodnocení dostali školy i žáci na konci listopadu v elektronické i tištěné podobě.
2.2
Test obecných studijních předpokladů
Všem účastníkům testování byl zadán stejný test obecných studijních předpokladů (OSP – ve slovenštině test všeobecných štúdijných predpokladov, dále VŠP), který zkoumá kritické myšlení i další schopnosti, které jsou nutné pro úspěšné studium bez ohledu na obor nebo typ školy. Test se členil do čtyř oddílů, které žáci řešili samostatně, na každý oddíl byl vyhrazen samostatný čas a mezi oddíly nebylo možné přecházet. Tabulka č. 1 uvádí oddíly zahrnuté v testu.
Tabulka č. 1: Složení testu VŠP Oddíl verbální logický argumentační kvantitativní celkem
Úloh 11 10 9 9 39
Čas (min) 10 10 10 10 40
Struktura testu VŠP tak byla stejná jako u testu používaného v rámci Národních srovnávacích zkoušek (NSZ), které řada škol v ČR i SR využívá v přijímacím řízení, a jde tedy o ověřený nástroj pro měření schopností a dovedností žáků i uchazečů o studium. Počet úloh byl ovšem nižší, test OSP u NSZ má 90 úloh. Všechny testy obsahovaly pouze uzavřené úlohy s výběrem odpovědi z nabídky. Za správně vyřešenou úlohu získal žák 1 bod, za nesprávně vyřešenou úlohu se mu odečítala část bodu: u úloh se čtyřmi možnostmi (A) až (D) jedna třetina bodu, u úloh s pěti možnostmi (A) až (E) jedna čtvrtina. Pokud žák úlohu vynechal, nic se nepřičítalo ani
Error! Style not defined.
5
neodečítalo. V testu tak bylo možné získat maximálně 39 bodů. V případě velké převahy špatně vyřešených úloh mohlo být skóre i záporné. Důvodem tohoto na pohled složitého výpočtu je eliminace vlivu tipování. Penalizace za nesprávnou odpověď je stanovena tak, aby se výsledek náhodně tipujícího uchazeče pohyboval kolem 0 bodů; pokud však dokáže v úloze vyloučit některé nabízené možnosti jako nesprávné a mezi ostatními hádá, může v testu získat alespoň několik bodů. Statistické charakteristiky testu i jednotlivých oddílů uvádí Tabulka č. 2.
Tabulka č. 2: Statistické charakteristiky testu VŠP a jeho oddílů verbální logický Počet úloh Počet účastníků1 Reliabilita (Cronb. alfa) průměr Skóre směr. odchylka Dosáhli max. skóre (počet a podíl) čistá hrubá Vynechanost Nečtenost Úspěšnost
11 14 193 0,614 5,0 2,7 341 2,4% 45,6% 54,4% 10,3% 6,7%
10 14 137 0,568 3,0 2,6 116 0,8% 30,3% 41,6% 13,4% 7,6%
argumentační kvantitativní celý test 9 14 036 0,658 3,2 2,8 507 3,6% 35,2% 46,5% 8,1% 3,2%
9 13 866 0,608 3,7 2,6 620 4,5% 41,1% 53,6% 9,0% 2,9%
39 14 224 0,840 15,0 8,4 2 0,0% 38,5% 48,6% 10,2% 6,3%
Význam jednotlivých pojmů je blíže vysvětlen v Příloze A. Úlohy v testu jsou určeny pro uchazeče o studium na VŠ, kdežto skupina účastníků zahrnovala jednak i žáky nižších ročníků, jednak i žáky negymnazijních oborů. Proto není překvapivé, že podle zjištěných údajů byl test pro celou skupinu žáků spíše těžký. I tak se v jednotlivých oddílech našly nemalé počty žáků, kteří dokázali vyřešit všechny úlohy oddílu správně. Čas pro řešení byl přiměřený, jak ukazují parametry vynechanosti a nečtenosti. Kvůli nízkému počtu úloh je vypovídající hodnota výsledků za jednotlivé oddíly spíše nízká, dostatečnou míru reliability pro individuální použití má až výsledek za celý test.
2.3
Žákovský dotazník
Po absolvování testu byli žáci požádáni o vyplnění krátkého dotazníku. V něm bylo zjišťováno zejména: • •
zda a jak dlouho se již věnuje debatním aktivitám nebo některé z dalších typů volnočasových aktivit, známky ze slovenského jazyka, anglického jazyka a matematiky na posledním vysvědčení,preferenci (vysokoškolského) studijního oboru.
Vyplnění dotazníku bylo nepovinné a na výsledek v testu nemělo žádný vliv, přesto 93 % žáků vyplnilo odpověď aspoň u jedné otázky v dotazníku a 72 % žáků vyplnilo odpověď u všech otázek. Ze žáků posledních ročníků SŠ, kteří tvořili největší a z hlediska analýzy nejzajímavější skupinu, vyplnilo odpověď aspoň u jedné otázky 95 % a u všech otázek 66 % z nich.
1
Počet žáků, kteří řešili aspoň jednu úlohu v daném oddílu. Někteří žáci předčasně ukončili svou práci, aniž se věnovali všem čtyřem oddílům testu.
6
Error! Style not defined.
2.4
Zdroje dat a metodika zpracování
U každého účastníka byly ihned po ukončení jeho testování k dispozici jeho odpovědi v úlohách testu i odpovědi na otázky dotazníku. Odpovědi testu se porovnaly s klíčem správných odpovědí a bylo vypočteno skóre. Tato data byla průběžně ukládána v databázi. Ke každému žákovi byly připojeny veřejné údaje o jeho škole (kraj, zřizovatel) a údaje zadané školou do aplikace ScioDat (pohlaví, ročník, typ oboru SŠ studia). Možné typy středoškolského studia byly GV (víceletá gymnázia), G4 (čtyřletá gymnázia), OA (obchodní akademie a ekonomické obory), SPŠ (obory středních průmyslových škol), SOŠ (ostatní obory středních odborných škol), SOU (střední odborné učiliště); případně byla žákovi přiřazena kategorie ZŠ, pokud se jednalo o žáka základní školy. V rámci jedné školy mohlo existovat víc různých typů SŠ studia. Správnost údajů zadaných do aplikace ScioDat nemohla být společností Scio ověřena, nicméně školy neměly žádný důvod uvádět úmyslně nepravdivé údaje. Po uzavření celého testování byly ze skóre spočteny percentily v oddílech a celkově. Za školy, za třídy i za jednotlivé žáky pak byly vygenerovány hodnotící zprávy obsahující jednak absolutní údaje (skóre v testu, úspěšnost), jednak údaje pro srovnání s ostatními žáky, třídami a školami, a to i s ohledem na různé typy středoškolského studia (percentily a skupinové percentily). Vzhledem k tomu, že účast v testování byla dobrovolná a zastoupení různých typů SŠ studia, různých ročníků i různých krajů ve vzorku účastníků neodpovídalo složení populace všech středoškoláků na Slovensku, byl vytvořen dílčí vzorek pouze z žáků posledních a předposledních ročníků gymnázií (čtyřletých i víceletých) a v tomto dílčím vzorku byly žákům přiřazeny váhy.2 Při použití vah pak dílčí vzorek reprezentuje celou populaci žáků předposledního a posledního ročníku slovenských gymnázií, reprezentativita je zaručena vzhledem k pohlaví, kraji, ročníku a typu gymnázia. V dílčím vzorku je zahrnuto celkem 105 škol, tedy téměř polovina z celkového počtu 242 slovenských gymnázií. Naopak ze všech škol s negymnazijními obory se testování zúčastnila poměrně malá část, nelze proto vyloučit, že účastnické školy s negymnazijními obory jsou nějak specifické, např. vyšší úrovní svých žáků. Pro účely této analýzy byla data importována do statistického prostředí R, v němž proběhly všechny výpočty. Výsledky byly prezentovány prostřednictvím aplikace MS Excel pomocí tabulek a grafů. Tato analýza používá kromě běžných metod popisné statistiky (četnosti, kontingenční tabulky) některé pokročilé metody matematické statistiky: • • •
faktorovou analýzu a graded-response model pro rozřazení volnočasových aktivit do skupin a výpočet souhrnných skórů, lineární regresi pro analýzu souvislosti průměrných známek ve školách a průměrné dosažené úspěšnosti, smíšený lineární model pro analýzu současného působení více vysvětlujících faktorů na jednu vysvětlovanou hodnotu, přičemž je třeba brát v úvahu i možnou korelaci výsledků žáků ze stejné školy.
Popis zmíněných metod je v Příloze A.
2
Hodnoty vah byly stanoveny pro každou kombinaci kraje, ročníku, pohlaví a typu gymnázia porovnáním skutečného počtu žáků s počtem žáků zastoupených ve vzorku. Skutečné počty se vztahují k začátku školního roku 2014/15.
Error! Style not defined.
7
3. Účastníci testování Tato kapitola popisuje vzorek účastníků a jeho strukturu. Zabývá se složením vzorku jak podle demografických znaků, tak podle školních výsledků, preferencí a aktivit účastníků.
3.1
Počty a struktura účastníků
Testování se zúčastnilo celkem 14 224 žáků ze 173 škol. V naprosté většině šlo o žáky sekundárního vzdělávání, a to z různých typů SŠ studia, někteří žáci však pocházeli z ročníků nižšího osmiletého gymnázia či z 2. stupně ZŠ. Počty a podíly účastníků a škol podle typu studia, ročníku, kraje a pohlaví uvádějí Tabulky č. 3 až č. 7. Jelikož test VŠP byl určen žákům sekundárního vzdělávání, popisujeme i složení vzorku po vyloučení žáků primárního vzdělávání, a to v Grafech č. 1 až č. 3.
Tabulka č. 3: Počty účastníků podle typu studia a ročníku
G4 GV OA SPŠ SOŠ SOU ZŠ
0 63 0 0 0 0 0
ročník ZŠ 7 8 0 0 77 95 0 0 0 0 0 0 0 0 0 23
celkem
69
84
6
126
9 0 104 0 0 0 0 0
1 486 295 44 73 54 0 0
113
953
ročník SŠ 2 3 1 005 2 143 241 1 090 47 438 21 298 64 378 0 46 0 0 1 380
4 3 383 1 294 809 508 1 123 22 0
celkem
7 143
14 224
SŠ 3 48 45 13
4 85 63 22
celkem 93 76 23
4 396
7 017 3 259 1 338 900 1 619 68 23
Tabulka č. 4: Počty škol podle typu studia3 a ročníku
G4 GV OA SPŠ SOŠ SOU ZŠ spolu
6 0 2 0
ročník ZŠ 7 8 0 0 2 3 0 0
ročník 2 18 9 2
9 0 4 0
1 12 15 1
0 0 0 0
0 0 0 0
0 0 0 1
0 0 0 0
1 3 0 0
2 5 0 0
4 15 1 0
10 33 1 0
12 35 1 1
2
2
4
4
26
34
91
156
173
Mezi účastníky převládají žáci gymnázií, především čtyřletých, i žáci negymnazijních typů studia jsou však zastoupeni několika desítkami škol. Testování se aktivně účastnila i jedna škola s učňovskými obory a jedna škola s 2. stupněm ZŠ, počty účastníků ze SOU a ZŠ jsou však malé a závěry z nich získané není možné zobecňovat. Několik víceletých gymnázií zadalo test i v ročnících nižšího stupně, což jim mohlo dát zajímavé srovnání žáků různých ročníků, z hlediska celé populace však zapojení nejvýše 100 žáků z každého ročníku samozřejmě není reprezentativní.
3
V rámci jedné školy mohlo být zastoupeno více typů studia, proto poslední řádek není součtem předchozích. V tabulce jsou započteny všechny školy, z nichž se pro danou kombinaci typu studia a ročníku zúčastnil testování aspoň jeden žák.
8
Error! Style not defined.
Tabulka č. 5: Počty žáků podle kraje a typu studia G4 Banskobystrický Bratislavský Košický Nitriansky Prešovský Trenčiansky Trnavský Žilinský celkem
GV
OA
SPŠ
SOŠ
SOU
ZŠ
Celkem
842 810 1 361 307 1 204 789 190 1 514
538 930 333 139 360 174 172 613
398 217 233 72 130 20 84 184
14 52 79 89 191 73 0 402
217 97 88 51 350 244 146 426
0 0 0 0 0 68 0 0
0 23 0 0 0 0 0 0
2 009 2 129 2 094 658 2 235 1 368 592 3 139
7 017
3 259
1 338
900
1 619
68
23
14 224
Tabulka č. 6: Počty škol podle kraje a typu studia
Banskobystrický Bratislavský Košický Nitriansky Prešovský Trenčiansky Trnavský Žilinský celkem
G4
GV
OA
14 10
13 14
6 4
SPŠ 1 3
SOŠ 4 3
SOU 0 0
ZŠ 0 1
Celkem 25 25
15 6 19 10 4
9 4 12 9 4
2 1 2 2 2
1 1 2 1 0
4 2 8 3 2
0 0 0 1 0
0 0 0 0 0
22 11 32 15 9
15
11
4
3
9
0
0
34
93
76
23
12
35
1
1
173
Do testování se zapojily školy a žáci ze všech krajů Slovenska, avšak zastoupení účastníků z Trnavského a Nitrianského kraje ve srovnání se zastoupením účastníků z ostatních krajů je výrazně menší, než jaký je poměr počtů žáků v celé populaci. Nízké zastoupení ze zmíněných krajů je způsobeno především malou účastí gymnázií. Jak však bylo uvedeno v kapitole 2.4, disproporce mezi počty žáků z různých skupin byly do značné míry vyrovnány pomocí vah.
Tabulka č. 7: Počty žáků podle typu studia a pohlaví chlapci
dívky
G4 GV OA SPŠ SOŠ SOU ZŠ
2 646 1 455 404 692 603 40 12
4 371 1 804 934 208 1 016 28 11
spolu
5 852
8 372
Podíly dívek a chlapců se ve školách různých typů liší. Odráží se to i ve složení vzorku účastníků podle pohlaví. Testování se zúčastnilo o polovinu více dívek než chlapců. Typy studia, kde nejvíc převažovaly dívky, byla čtyřletá gymnázia, obchodní akademie a ostatní střední odborné školy. Naopak na středních průmyslových školách se testování zúčastnili především chlapci, což odpovídá obecné početní převaze chlapců ve školách těchto typů.
Error! Style not defined.
9
Graf č. 1: Složení žáků podle typu studia – jen ročníky sekundárního vzdělávání SOU 0,5%
SOŠ 11,7% SPŠ 6,5%
OA 9,7% G4 50,6%
GV 21,1%
Graf č. 2: Složení žáků podle kraje a typu studia – jen ročníky sekundárního vzdělávání 100% 90% 80% 70%
SOU
60%
SOŠ
50%
SPŠ
40%
OA
30%
GV
20%
G4
10% 0% BB
BR
KO
NI
Kraj
PR
TN
TR
ŽI
Graf č. 2 ukazuje, že složení účastníků z různých krajů nebylo rovnoměrné, pokud jde o podíly jednotlivých typů SŠ studia. V Bratislavském a Košickém kraji tvořili gymnazisté přibližně 80 % všech účastníků, v Košickém kraji však pocházela naprostá většina gymnazistů ze čtyřletých gymnázií. SPŠ měly více než 10 % podíl ve vzorku v Nitrianském a Žilinském kraji, v Trnavském kraji byl každý čtvrtý účastník z oborů ostatních SOŠ (tj. oborů středních odborných škol jiných než obory OA a SPŠ). 10
Error! Style not defined.
Graf č. 3: Složení žáků podle typu studia a pohlaví – jen ročníky sekundárního vzdělávání 100% 90% 80% 70% 60% 50%
dívky
40%
chlapci
30% 20% 10% 0% G4
GV
OA
SPŠ
SOŠ
SOU
Typ studia
Graf č. 3 znázorňuje různé zastoupení dívek a chlapců (viz Tabulka č. 7) na různých typech studia, které zůstává i po omezení vzorku na žáky sekundárního vzdělávání. Nejblíže rovnováze je složení účastníků testování z víceletých gymnázií.
3.2
Debatní kluby a další volnočasové aktivity žáků
V dotazníku bylo žákům předloženo následujících deset typů volnočasových aktivit (viz též Příloha B): • • • • • • • • •
debatní klub sportovní (týmový i individuální, nejen ve škole) divadlo jiné umělecké (hudební nebo výtvarná škola, recitace, pěvecký kroužek apod.) náboženské (církevní sbor, biblická olympiáda, eRko, Domka, SEM apod.) přírodovědné a technické (matematická olympiáda, AMAVET, P-Mat, First Lego League, SOČ apod.)společenskovědní a humanitní (jazyková olympiáda, Olympiáda lidských práv, Euroscola, SOČ apod.) skauting žákovská školní rada, mládežnický parlament jiné dobrovolnické (ekologické, renovace památek, Červený kříž apod.)
U každého typu aktivit mohl žák vyznačit, zda se aktivitě věnuje a případně jak dlouho (v nabídce byl počet roků od „právě jsem začal(a)“ až po „5 a více let“. Volby od „2 roky“ do „5 a více let“ byly pro účely této analýzy sloučeny do kategorie „2 a více let“. Specifickým typem volnočasové aktivity jsou debatní kluby. Ty jsou zřízeny pouze u některých škol (v testování jich takových bylo 28), a tedy žáci jiných škol mají ztíženou možnost se do takové aktivity zapojit. Proto v přehledových tabulkách i dalších analýzách jsou statistiky zapojení do debatního klubu vztaženy pouze k 28 vybraným školám.
Error! Style not defined.
11
Počty žáků z 28 škol se zřízenými debatními kluby, kteří v dotazníku uvedli své zapojení (bez rozlišení délky) či nezapojení do debatního klubu, a podíly kladných odpovědí uvádí Tabulka č. 8.
Tabulka č. 8: Školy se zřízenými debatními kluby – počty zapojených a nezapojených respondentů
Gymnázium, Košice-Západ, Trebišovská 12 Gymnázium bilingválne, Žilina, Tomáša Ružičku 3 Bilingválne gymnázium, Bratislava-Petržalka, Beňadická 38 Gymnázium, Bratislava-Ružinov, Metodova 2 Evanjelické lýceum, Bratislava-Petržalka, Vranovská 2 Obchodná akadémia, Považská Bystrica, Jesenského 259/6 Spojená škola-Gymnázium, Bratislava-Ružinov, Novohradská 3 Gymnáz. gen. L. Svobodu, Humenné, Komenského 4 Gymnázium B.S.T., Lučenec, Haličská cesta 9 Spojená škola-Gymnázium, Bratislava-Karlova Ves, Tilgnerova 14 Evanjelické gymnázium, Tisovec, Jesenského 836 Ev.spoj.šk.-Ev.kol.gym., Prešov, Námestie legionárov 3 Gymnázium, Žilina, Varšavská cesta 1 Gymnázium, Košice-Staré Mesto, Šrobárova 1 Gymnázium A.K., Banská Štiavnica, A.Gwerk.-Göllnerovej 6 Gymnázium M.R., Žiar nad Hronom, Ul. J. Kollára 2 1. súkromné gymnázium, Bratislava-Ružinov, Bajkalská 20 Gymnázium M.R.Štefánika, Košice-Staré Mesto, Nám. L. Novomeského 4 Gymnázium, Martin, J. Lettricha 2 Gymnázium, Stropkov, Konštantínova 64 Gymnázium, Košice-Sever, Park mládeže 5 Súkromné gymnázium VJM, Galanta, Hodská 10 Spojená škola-SPŠ, Tvrdošín, Sídl. Medvedzie I. 133/1 Gymnázium, Dubnica nad Váhom, Školská 2 Gym. sv. Fr. z Assisi, Vranov nad Topľou, Školská 650 Gymnázium, Tvrdošín, Školská 837 Gymnázium J.G.T., Banská Bystrica, J.G.Tajovského 25 Gymnázium, Bratislava-Rača, Hubeného 23 Celkem
Podíl zapojených
nezapojených
Název školy
zapojených
Počet
Žáků celkem
38% 29% 29% 25% 24% 18% 17% 16% 16% 16% 14% 14% 13% 13% 13% 12% 10% 10% 8% 7% 7% 6% 6% 5% 4% 3% 3% 3%
8 21 4 6 10 2 50 13 20 3 4 3 11 25 19 20 5 4 10 7 28 5 4 2 2 2 1 5
13 52 10 18 32 9 240 66 104 16 24 19 75 171 132 143 45 36 123 95 401 81 68 39 46 58 29 146
21 73 14 24 42 11 290 79 124 19 28 22 86 196 151 163 50 40 133 102 429 86 72 41 48 60 30 151
11%
294
2 291
2 585
Celkem je do činnosti debatních klubů zapojeno v různé intenzitě 11,4 % respondentů (mezi dívkami 11,8 %, mezi chlapci 10,8 %). Jsou však i školy, kde je podíl zapojených žáků vyšší než 20 % (např. u bilingválního gymnázia v Žilině je takto vysoký podíl založen i na poměrně vysokém, a tedy relevantním počtu respondentů). Naopak v některých školách uvádí své zapojení 5 % nebo méně respondentů.
Graf č. 4 znázorňuje rozložení odpovědí žáků, jak dlouho se danému typu aktivity věnuje, za jednotlivé typy aktivit. Jak již bylo řečeno v této kapitole, u debatních klubů byly brány v úvahu jen odpovědi žáků ze škol se zřízenými debatními kluby. 12
Error! Style not defined.
Graf č. 4: Jak dlouho se účastníci věnují volnočasovým aktivitám Skaut
2 a více let
Debatní klub
1 rok začal(a)
Rada/parlament
ne
Typ ak/vity
Divadlo Náboženské Humanitní Dobrovolnické Přírodovědné Jiné umělecké Sport 0%
20%
40%
60%
80%
100%
U všech typů aktivit s výjimkou debatního klubu stojí za pozornost, že podíly žáků s odpověďmi „právě jsem začal(a)“ nebo „1 rok“ jsou nižší než podíly žáků s odpovědí „2 a více let“. Znamená to, že volnočasové aktivity jsou u většiny žáků stálé a dlouhodobé. U debatních klubů však převažuje krátkodobé zapojení aktivních žáků, což může být dáno tím, že se s debatním klubem setkali až v poslední době (resp. byl na škole zřízen nedávno). Jen přibližně 2 % žáků jsou zapojena v debatním klubu dva nebo více roků. Z uvedených typů volnočasových aktivit je nejrozšířenější sport. Věnují se mu tři čtvrtiny z dotázaných, přitom více než 60 % dotázaných se mu věnují dva a více let. Více než polovina žáků je zapojena ještě v jiných uměleckých aktivitách (mimo divadlo). Poměrně rozšířené jsou i poznávací (přírodovědné a humanitní), dobrovolnické a náboženské aktivity. Relativně nejméně rozšířené je zapojení do skautu, důvodem může být konkurence dalších mládežnických organizací, často náležících spíše do náboženského typu aktivit. Protože více než 70 % účastníků testování pochází z gymnázií, vystihuje Graf č. 4 především situaci na gymnáziích. Intenzita zájmu o jednotlivé typy volnočasových aktivit je však u různých typů SŠ studia různá, proto v dalším grafu oddělujeme jednotlivé typy studia (bez SOU a ZŠ). Vybrali jsme šest nejžádanějších typů aktivit a pro každý zjistili podíl žáků, kteří se dané aktivitě na daném typu SŠ studia věnují (bez ohledu na délku). Výsledky jsou znázorněny v Grafu č. 5.
Error! Style not defined.
13
Graf č. 5: Podíly žáků věnujících se vybraným typům volnočasových aktivit podle typu studia
SOŠ
Typ studia
SPŠ
Náboženské Humanitní Dobrovolnické
OA
Přírodovědné Jiné umělecké G4
Sport
GV
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Některé typy aktivit jsou oblíbené přibližně stejně u žáků všech typů SŠ studia – z vybraných typů to jsou sport a dobrovolnické aktivity. U ostatních typů aktivit již pozorujeme, že na určitých typech studia se jim daří lépe než na jiných. To je případ jiných uměleckých a náboženských aktivit (především gymnázia), přírodovědných (gymnázia a SPŠ) i humanitních (gymnázia a OA) aktivit. Vzhledem k určitým kulturním rozdílům mezi jednotlivými regiony Slovenska se nabízí otázka, zda je pro některé kraje charakteristické relativně vyšší nebo nižší zastoupení určitých typů aktivit. Odpověď nabízí následující Graf č. 6, v němž jsme se omezili jen na žáky 3. a 4. ročníků gymnázií a použili váhy, takže závěry z grafu lze považovat za reprezentativní pro celou populaci žáků posledních dvou ročníků gymnázií Slovenska.
14
Error! Style not defined.
Graf č. 6: Vážené podíly žáků věnujících se vybraným typům volnočasových aktivit podle kraje, jen 3. a 4. r. G
ŽI
TR
TN Náboženské PR Kraj
Dobrovolnické Humanitní Přírodovědné
NI
Jiné umělecké Sport
KO
BR
BB 0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Zapojení do náboženských aktivit souvisí s celkovou religiozitou kraje. Není tak překvapivé, že nejvyšší podíl gymnazistů v závěrečných ročnících studia zapojených do náboženských aktivit je v Prešovském a Žilinském kraji a naopak nejnižší podíl je v Bratislavském kraji. Dobrovolnické aktivity, které by bylo možné považovat za podobné náboženským aktivitám, jsou nejméně rozšířené v Trnavském a Trenčínském kraji, v ostatních krajích je rozšíření přibližně vyrovnané. Mezi podíly žáků věnujících se humanitním, přírodovědným, resp. jiným uměleckým aktivitám v jednotlivých krajích jsou jen nepatrné rozdíly, tento typ aktivit tedy u gymnazistů není příliš regionálně podmíněný. U sportovních aktivit vyčnívá Bratislavský kraj, kde více než 80% účast gymnazistů může být způsobena vyšší nabídkou a lepší dostupností sportovišť v hlavním městě; pozoruhodné je však i to, že v Prešovském kraji účast gymnazistů ve sportovních aktivitách nezaostává za ostatními kraji. Dalšími logickými otázkami jsou, nakolik se liší aktivity chlapců a dívek a zda je míra zapojení žáků v jednotlivých ročnících SŠ stejná. Na obě otázky nabízí odpověď Graf č. 7. V něm jsme se omezili jen na gymnázia, ale nedosáhli jsme striktní reprezentativity jako v předchozím grafu, neboť pro žáky 1. a 2. ročníku nemáme k dispozici váhy. Pro větší přehlednost vyjadřujeme míru zapojení žáků ve dvou skupinách pomocí skórů získaných aplikací faktorové analýzy a graded-response modelu na skupiny aktivit divadelních, jiných uměleckých a náboženských (skór uměleckých aktivit) a aktivit přírodovědných, humanitních, dobrovolnických a účasti ve školní radě či parlamentu (skór angažovaných aktivit). Ostatní aktivity nebyly do uvedených skupin zahrnuty.
Error! Style not defined.
15
Graf č. 7: Průměrné skóry skupin aktivit podle ročníku a pohlaví - jen gymnázia, ročníky sekundárního vzdělávání 0,6
Hodnota skóru
0,5 0,4 1
0,3
2
0,2
3
0,1
4
0,0 chlapci
dívky Umělecké
chlapci
dívky
Angažované Skupina ak/vit a pohlaví
Z grafu vyplývá, že na gymnáziích jsou dívky v obou skupinách aktivit angažovanější než chlapci, přičemž u uměleckých aktivit je rozdíl mezi pohlavími větší než u angažovaných aktivit. Pokud jde o jednotlivé ročníky, zájem o volnočasové aktivity u gymnazistů vrcholí ve 2., případně 3. ročníku sekundárního vzdělávání, v posledním ročníku je už nižší. Jiný pohled na zájmy chlapců a dívek nabízí Graf č. 8. Žáky rozdělíme u každého z vybraných typů aktivit do skupin zapojených (bez ohledu na dobu) a nezapojených a podíváme se na složení obou skupin z hlediska pohlaví.
Graf č. 8: Složení podle pohlaví ve skupinách zapojených a nezapojených žáků do vybraných aktivit 100% 90%
ženy
80%
muži
70% 60% 50% 40% 30% 20% 10% 0% ano
ne
Sport
16
ano
ne
ano
ne
ano
ne
ano
ne
ano
ne
Přírodovědné Debatní klub Humanitní Rada/parl. Dobrovolnické Zapojení žáků do ak/vit různých typů
Error! Style not defined.
Ve skupině žáků zapojených do sportovních aktivit mají chlapci zřetelně větší podíl než ve skupině opačné. To dokládá, že o sport mají výrazně větší zájem chlapci než dívky. Podobný jev, ale mnohem mírnější, je u přírodovědných aktivit, i k nim tíhnou chlapci o něco častěji než dívky. U debatních klubů4 je zastoupení chlapců vůči dívkám přibližně stejné ve skupině zapojených i ve skupině nezapojených – činnost v debatním klubu je tedy přibližně stejně atraktivní pro obě pohlaví. V podstatě podobně je tomu u angažovanosti ve školní radě či parlamentu. Dobrovolnické a humanitní aktivity jsou přitažlivější pro dívky, neboť ve skupině žáků zapojených do jednoho či druhého z těchto typů aktivit je vyšší podíl dívek než ve skupině nezapojených.
Graf č. 9 znázorňuje, se kterými dalšími typy aktivit souvisí zapojení žáků do debatního klubu.
Míra zapojení do ak/vity dalšího typu kromě deb. klubu
Graf č. 9: Zapojení do aktivit dalších typů podle toho, zda jsou žáci zapojeni v debatním klubu 100% 90%
deb. klub ano
80%
deb. klub ne
70% 60% 50% 40% 30% 20% 10% 0%
Typy ak/vit To, zda se žáci angažují v debatním klubu, podle grafu nesouvisí s tím, zda se kromě toho věnují sportu – míra zapojení do sportovních aktivit je přibližně stejná, ať je žák v debatním klubu zapojen, nebo není. Slabá souvislost se ukazuje s přírodovědnými aktivitami. S angažmá v humanitních či dobrovolnických aktivitách, případně ve školním parlamentu či radě, ovšem zapojení do debatního klubu souvisí poměrně silně. Žáci zapojení do činnosti debatního klubu mnohem častěji uvádějí, že se věnují i humanitním či dobrovolnickým aktivitám, případně že se účastní jednání školního parlamentu či rady.
4
U debatních klubů jsme brali v úvahu jen data ze škol, které debatní klub zřídily.
Error! Style not defined.
17
3.3
Školní prospěch účastníků
Hodnocení výsledků vzdělávání pomocí známek na vysvědčení je zdánlivě vhodným kritériem pro srovnání žáků mezi sebou. Klasifikační stupnice je na všech školách pětistupňová, a proto známkování navozuje dojem standardizovaného hodnocení. Pod tímto dojmem se pak využívají školní známky i jako kritérium k přijetí na VŠ. Ve skutečnosti ale školní známky vypovídají o studijních předpokladech žáků velmi málo. Zaprvé se ve školách známkují výkony v jednotlivých předmětech, v nichž se odměňují schopnosti se určité poznatky „nabiflovat“, a ne studijní předpoklady žáků. Zadruhé srovnatelnost je možná nanejvýš v rámci stejné školy, zatímco různé školy hodnotí různě přísně. A zatřetí, jak opakovaně prokazují studie v České republice, školní hodnocení chlapců a dívek majících stejnou úroveň studijních předpokladů se liší až o stupeň. Ukázala to i analýza testování VŠP na Slovensku – viz kapitola 4.4. V dotazníku byli účastníci požádáni, aby uvedli známku ze tří předmětů (slovenský jazyk, anglický jazyk a matematika) na posledním vysvědčení. Jednalo se o závěrečné vysvědčení za předchozí ročník, takže u žáků 4. ročníku jde o vysvědčení za 3. ročník, u žáků 3. ročníku o vysvědčení za 2. ročník atd. Nejprve zjistíme, zda lze předpokládat, že průměrné známky se mezi ročníky příliš nemění, abychom mohli v analýze využít žáky všech ročníků sekundárního studia. K tomu účelu použijeme vážené průměry na gymnáziích, tedy údaje přepočtené pomocí vah na reprezentativní vzorek slovenských gymnazistů 3. a 4. ročníku (tj. vysvědčení za 2. a 3. ročník).
Tabulka č. 9: Vážené průměry známek na závěrečném vysvědčení za 2. a 3. ročník gymnázií Sj
Aj
3
4
3
4
3
4
GV
1,89
1,91
1,73
1,76
2,11
2,12
G4
1,95
1,91
1,95
1,93
2,21
2,19
Z Tabulky č. 9 je patrné, že rozdíly mezi průměrem jen v řádech setin klasifikačního stupně. V analýze tedy dále předpokládat, že prospěch žáků nesouvisí proto již data všech účastníků testování s výjimkou průměrné známce.
18
Ma
známek na konci 2. a 3. ročníku slovenských gymnazistů jsou se tyto rozdíly ukázaly jako statisticky nevýznamné, budeme významně s ročníkem. Do následujícího Grafu č. 10 zahrneme slabě zastoupených ZŠ a SOU. Vyšší sloupce odpovídají lepší
Error! Style not defined.
Graf č. 10: Průměry známek podle typu studia a pohlaví 1,0
GV
1,2
G4
1,4
OA
Průměr
1,6
SPŠ
1,8
SOŠ
2,0 2,2 2,4 2,6 2,8 3,0 chlapci
dívky Sj
chlapci
dívky
chlapci
Aj Předmět a pohlaví
dívky Ma
Pro všechny tři předměty platí, že průměry známek u gymnazistů jsou lepší než u žáků negymnazijních oborů. Nejmenší rozdíl mezi průměrnou klasifikací na gymnazijních a negymnazijních oborech je u dívek v matematice. Dále je zřetelné, že u všech typů škol mají dívky v průměru lepší známky než chlapci, i zde je nejmenší rozdíl v matematice, a to u žáků a žákyň gymnázií. Závěrem se ještě podíváme, zda zapojení do vybraných typů volnočasových aktivit nějak souvisí s prospěchem žáků. Tuto informaci nám poskytne Graf č. 11.
Průměrná známka
Graf č. 11: Průměrná známka podle zapojení do volnočasových aktivit 1,5 1,6 1,7 1,8 1,9 2,0 2,1 2,2 2,3 2,4 2,5 ano
ne
Sport
ano
ne
ano
ne
ano
ne
Přírodovědné Debatní klub Humanitní Typy ak/vit
ano
ne
ano
ne
Rada/parl. Dobrovolnické
Nejsilnější, a to kladnou souvislost s prospěchem vidíme u zapojení do přírodovědných a humanitních aktivit. Zapojení do debatního klubu naopak s prospěchem téměř nesouvisí. V kapitole 4.4 probereme, jak souvisí školní klasifikace a výsledky v testu VŠP.
Error! Style not defined.
19
4. Výsledky testu a jejich souvislost s dalšími faktory V této kapitole se blíže seznámíme s výsledky testu VŠP a budeme zabývat možnými souvislostmi s nejrůznějšími charakteristikami žáků. Tyto charakteristiky se dělí do několika skupin statistických znaků.
4.1
Souvislost výsledku s demografickými znaky
První zkoumaná skupina charakteristik žáků z hlediska možných souvislostí s výsledkem testu VŠP zahrnuje pohlaví, věk (zde zastoupený ročníkem SŠ), kraj (podle sídla školy) a typ SŠ oboru. Jde o znaky, které žák může ovlivnit a měnit jen obtížně nebo vůbec ne. Než přistoupíme k analýze rozdílů mezi skupinami žáků, podívejme se na rozdělení úspěšnosti v testu VŠP.
Graf č. 12: Rozdělení úspěšnosti v testu – všichni účastníci 18% 16%
Rela/vní četnost
14% 12% 10% 8% 6% 4% 2% 0% -‐20%
0%
20%
40%
60%
80%
100%
Úspěšnost
Křivka popisující rozdělení úspěšnosti vyjadřuje pro každou hodnotu úspěšnosti (vodorovná osa), jak velký podíl účastníků dosáhl této úspěšnosti nebo jí blízké. Zvolíme-li si některou hodnotu úspěšnosti na vodorovné ose kromě krajních poloh a vyznačíme-li kolem zvolené hodnoty pásmo 5 procentních bodů na obě strany, získáme na svislé ose informaci, jaký podíl účastníků měl úspěšnost v tomto pásmu. Např. úspěšnost v pásmu 60±5 % (tj. 55–65 %) v testu zaznamenala desetina účastníků (křivka má pro úspěšnost 60 % hodnotu relativní četnosti 10 %). Pokud by testování probíhalo na celé populaci a test měl dostatečný počet úloh pro rozlišení mezi účastníky, mělo by rozdělení úspěšností odpovídat tzv. Gaussově křivce. V Grafu č. 12 ovšem o Gaussovu křivku nejde, gaussovský tvar má jen levá část křivky, kdežto pravá část křivky klesá mnohem pomaleji. Důvodem může být nerovnoměrné zastoupení žáků jednotlivých typů oborů SŠ, zejména nadměrné zastoupení žáků gymnázií (zejména víceletých). Dále se do rozdělení úspěšnosti promítá i nerovnoměrné zastoupení žáků různých ročníků. Tyto disproporce je nutné odstranit buď použitím vah (viz Graf č. 13), nebo mnohorozměrným modelováním (viz Graf č. 14).
Error! Style not defined.
20
Graf č. 13: Rozdělení úspěšnosti v testu podle typu studia – jen 3. a 4. G, vážené relativní četnosti 18% GV
16%
G4
Rela/vní četnost
14% 12% 10% 8% 6% 4% 2% 0% -‐20%
0%
20%
40%
60%
80%
100%
Úspěšnost Váhy máme k dispozici pouze pro podvzorek žáků (gymnázia, poslední dva ročníky studia). Rozdělení úspěšností popsané Grafem č. 13 tak znázorňuje reprezentativní odhad pro populaci žáků posledních dvou ročníků gymnázií. Vyplývá z něho, že žáci víceletých gymnázií byli z celkového pohledu v řešení testu úspěšnější než žáci čtyřletých gymnázií – křivka rozložení je pro žáky víceletých gymnázií umístěna víc vpravo, a tedy u vyšších hodnot úspěšností. Nízké úspěšnosti v testu do 40 % jsou typičtější pro žáky čtyřletých než víceletých gymnázií, naopak v pásmu úspěšností 60–80 % je zastoupen vyšší podíl žáků víceletých gymnázií, než je tomu u čtyřletých gymnázií. I když v populaci gymnazistů jako celku dopadli lépe žáci víceletých než čtyřletých gymnázií, z jediného testování nelze tvrdit, že by víceletá gymnázia byla kvalitnější než čtyřletá. Pro měření tzv. přidané hodnoty škol bychom potřebovali žáky testovat dvakrát: jednou při vstupu do školy a podruhé při odchodu z ní. Lepší výsledek žáků z víceletých gymnázií může souviset i s jinou strukturou žáků na těchto typech škol: např. z Grafu č. 3 vyplývá, že na víceletých gymnáziích je vyšší podíl chlapců než na čtyřletých, víceletá gymnázia také mohou být koncentrována v místech s vyšší vzdělaností obyvatel5 atd. Pro zjištění, se kterým z faktorů souvisí výsledek těsněji a se kterým méně těsně, je třeba provést mnohorozměrnou analýzu pomocí smíšeného lineárního modelu. V něm se jako faktory významně související s výsledkem ukázaly všechny čtyři znaky do modelu zařazené, tj. ročník, pohlaví, kraj i SŠ obor, každý z nich však v jiné intenzitě. Odhadnuté hodnoty čistých odchylek od společného průměru pro každou kategorii znázorňuje Graf č. 14.
5
Otázka na vzdělání rodičů v dotazníku zařazena nebyla, rozdíly ve vzdělanosti se však promítají do voleb typů SŠ studia a jsou částečně zachyceny i v údaji o kraji.
Error! Style not defined.
21
Pohlaví, ročník SŠ, typ studia, kraj
Graf č. 14: Očištěný vliv pohlaví, ročníku SŠ, typu studia a kraje na výsledek v testu VŠP ŽI TR TN PR NI KO BR BB SOU SOŠ SPŠ OA G4 GV 4. r. 3. r. 2. r. 1. r. dívky chlapci -‐30%
-‐25%
-‐20%
-‐15%
-‐10%
-‐5%
0%
5%
10%
15%
Odchylka úspěšnos/
Po očištění od vzájemných vztahů vychází jako nejsilnější souvislost výsledku s typem SŠ studia. Pominemeli žáky SOU, kterých se účastnilo málo a výsledky za učňovské obory tedy nemusí odpovídat situaci na celém Slovensku, vidíme značný rozdíl mezi očekávanou úspěšností v testu u žáků gymnázií a žáků ostatních oborů. Například žáci víceletých gymnázií mají přibližně o 15 procentních bodů vyšší očekávanou úspěšnost řešení testu než žáci obchodních akademií. K tomuto rozdílu se mohou ještě přičítat (nebo ho zmenšovat) rozdíly podle ročníků, pohlaví a kraje. Chlapci řeší test – po očištění od působení dalších demografických faktorů – přibližně o 7 procentních bodů úspěšněji než dívky. Také starší žáci jsou v řešení testu podle očekávání úspěšnější než mladší, jeden rok rozdílu odpovídá 2–4 procentním bodům. Pokud jde o jednotlivé kraje Slovenské republiky, nejvyšší úspěšnost (již opět očištěná od rozdílů ve struktuře škol a dalších faktorů) se očekává u žáků z Bratislavského a Trenčianského kraje, nejnižší je v Nitrianském a Prešovském kraji. Rozdíly v očekávané úspěšnosti podle krajů dosahují také jednotek procentních bodů. Jak již bylo řečeno, jednotlivé odchylky se sčítají, tedy například chlapci ze 4. ročníku víceletých gymnázií z Bratislavského kraje mají podle modelu o 33 procentních bodů vyšší očekávanou úspěšnost než dívky ze 3. ročníku obchodních akademií v Nitrianském kraji.
22
Error! Style not defined.
4.2
Souvislost výsledku s debatními a dalšími volnočasovými aktivitami
Své studijní předpoklady žáci rozvíjejí nejen ve škole, ale při mnoha dalších aktivitách, kterým se ve volném čase věnují. Například lze důvodně předpokládat, že žáci se zájmem o přírodovědné, jazykové, humanitní či podobné aktivity při nich získávají řadu dovedností, které pak uplatní při studiu – myšlení v souvislostech, jazykový cit, čtenářské dovednosti apod. Souvislost volnočasových aktivit s výsledkem v testu VŠP je ovšem třeba statisticky prokázat. K tomu použijeme opět mnohorozměrné modelování jako v kapitole 4.1. Budeme zkoumat, zda souběžně s působením pohlaví, ročníku, typu SŠ studia a kraje mají jednotlivé volnočasové aktivity také nějakou souvislost s výsledkem testu. Nejprve se zaměříme na souvislost výsledku v testu VŠP a zapojení do debatního klubu. Jak již bylo uvedeno v kapitole 3.2 (Tabulka č. 8), debatní klub byl zřízen na 28 zapojených školách. Proto při analýze vezmeme v úvahu pouze školy se zřízeným debatním klubem. U žáků jsme v této analýze – kvůli nižším počtům v jednotlivých kategoriích délky zapojení – nerozlišovali, jak konkrétně dlouho jsou v debatním klubu již zapojeni. Odhadnuté hodnoty čistých odchylek od společného průměru pro každou kategorii znázorňuje Graf č. 15.
Pohlaví, ročník SŠ, typ studia, kraj, zapojení do debatního klubu
Graf č. 15: Očištěný vliv pohlaví, ročníku SŠ, typu studia, kraje a zapojení do debatního klubu na výsledek v testu VŠP – pouze školy s existujícími debatními kluby debatní klub ano debatní klub ne ŽI TR TN PR KO BR BB SPŠ OA G4 GV 4. r. 3. r. 2. r. 1. r. dívky chlapci -‐30% -‐25% -‐20% -‐15% -‐10% -‐5% 0% Odchylka úspěšnos/
5%
10%
15%
U znaků ze skupiny demografických faktorů (pohlaví, ročník, typ SŠ studia, kraj) jsou čisté odchylky i na podskupině 28 škol podobné jako v předchozím Grafu č. 14. Očištěný rozdíl úspěšností mezi žáky, kteří se (jakkoli dlouho, tj. i začínající) zapojili do činnosti v debatním klubu a kteří se nezapojili, model odhaduje na 2 procentní body ve prospěch zapojených. Jde tedy o poměrně malý rozdíl, který je ovšem již očištěn od ostatních vlivů, které mohou mít na korelaci této aktivity a schopností žáků dopad. Lze proto důvodně předpokládat, že při větším počtu zapojených žáků či při opakovaném testování by se rozdíl prokázal významněji.
Error! Style not defined.
23
Kritické myšlení, na jehož rozvoj se debatní kluby mimo jiné zaměřují, se v testu VŠP uplatňuje především v argumentačním oddílu. Ten měl 9 úloh a jeho reliabilita byla tudíž příliš nízká (0,66), než aby bylo možné s výsledky v tomto oddílu pracovat na individuální úrovni – do výsledků se v příliš vysoké míře promítají náhodné vlivy, oddíl pak nemůže dostatečně rozlišovat mezi nejlepšími, resp. nejhoršími účastníky, neboť krajních výsledků dosáhne větší počet účastníků. Rozdělení úspěšnosti v oddílu je pak dost vzdálené od Gaussovy křivky, jak ukazuje Graf č. 16.
Graf č. 16: Rozdělení úspěšnosti v argumentačním oddílu – všichni účastníci 30%
Rela/vní četnost
25% 20% 15% 10% 5% 0% -‐40%
-‐20%
0%
20%
40%
60%
80%
100%
Úspěšnost
Přes výše zmíněná omezení lze určité závěry činit na úrovni skupin účastníků, pokud jsou dostatečně velké. Sestrojili jsme podobný model jako u Grafu č. 15, pouze místo úspěšnosti v celém testu jsme počítali s úspěšností pouze v argumentačním oddílu. V modelu pro argumentační oddíl se faktor kraje ukázal jako statisticky nevýznamný, proto jsme jej vyloučili. Vliv zapojení do debatního klubu je u argumentačního oddílu na hranici statistické významnosti, lze předpokládat, že při vyšším počtu zapojených žáků by se prokázal již jako významný. V následujícím Grafu č. 16 uvádíme odhadnuté hodnoty čistých odchylek od společného průměru pro každou kategorii. Je z něho vidět, že očištěný rozdíl úspěšností pro žáky zapojené a nezapojené do debatních klubů je v argumentačním oddílu 5 procentních bodů, což je více než v celém testu. Z toho je vidět, že argumentační oddíl více než ostatní oddíly testuje dovednosti kritického myšlení. Zapojení do debatního klubu se v testu VŠP může u žáků projevit právě v argumentačním oddílu.
24
Error! Style not defined.
Pohlaví, ročník SŠ, typ studia, zapojení do debatního klubu
Graf č. 16: Očištěný vliv pohlaví, ročníku SŠ, typu studia a zapojení do debatního klubu na výsledek v argumentačním oddílu testu VŠP – pouze školy s existujícími debatními kluby debatní klub ano debatní klub ne SPŠ OA G4 GV 4. r. 3. r. 2. r. 1. r. dívky chlapci -‐30% -‐25% -‐20% -‐15% -‐10% -‐5%
0%
5%
10% 15%
Odchylka úspěšnos/
Pro analýzu souvislosti délky zapojení do volnočasových aktivit a výsledku v testu VŠP jsme pro více vypovídající obraz o schopnostech a dovednostech žáků vybrali kromě debatního klubu ještě čtyři další typy aktivit. Význam každé volnočasové aktivity pro výsledek byl zkoumán v samostatném modelu, avšak v tomto modelu byly současně zahrnuty všechny čtyři demografické faktory (tj. podobně jako u předchozích grafů této kapitoly). V Grafu č. 17 jsou uvedeny očištěné odchylky pro každý z vybraných typů volnočasových aktivit.
Graf č. 17: Očištěný vliv délky zapojení do typů volnočasových aktivit na výsledek v testu VŠP 10% ne začal(a) 1 rok 2 a více roků
Odchylka úspěšnos/
8% 6% 4% 2% 0% -‐2% -‐4% Sport
Jiné umělecké
Humanitní
Přírodovědné
Typ ak/vity
Error! Style not defined.
25
Ne všechny volnočasové aktivity mají na úroveň studijních schopností a kritického uvažování pozitivní vliv. U sportovních aktivit vidíme dokonce obrácený vztah, kdy žáci bez zájmu o sport ve volném čase mají o 2– 3 procentní body vyšší očekávaný výsledek než žáci se stejnými demografickými parametry (tj. stejného pohlaví, ročníku, typu SŠ studia ve stejném kraji), ale věnující se aktivně sportu. Význam jiných uměleckých aktivit (tj. kromě divadelních) na výsledek je kladný, ale poměrně nevýrazný. Jinak je tomu u humanitních a přírodovědných aktivit, kde zejména dlouhodobá činnost signalizuje výrazně vyšší úspěšnost v testu VŠP, rozdíly mezi krajními skupinami („nevěnuje se“ versus „věnuje se 2 a více roků“) přesahují u přírodovědných aktivit 10 procentních bodů. Rozdíly jsou sice vyšší než u zapojení do debatního klubu (Graf č. 15), nicméně debatní klub je velmi specifický typ aktivity, zatímco pojmy „přírodovědné aktivity“ a „humanitní aktivity“ zahrnují široké pásmo možností a řada žáků vykonává i více aktivit podobného typu najednou. Výsledky naznačují, že zapojení do debatního klubu je z hlediska rozvoje kritického myšlení a ostatních studijních předpokladů v širším pojetí přínosný typ volnočasové aktivity.
4.3
Souvislost výsledku v testu VŠP se školním prospěchem
V závěrečné kapitole se zaměříme na souvislost studijních schopností zjištěných v testech VŠP a školního prospěchu. Pro tyto účely jsme každému žáku spočetli průměrnou známku jako zaokrouhlený průměr známek ze slovenského jazyka, angličtiny a matematiky na posledním vysvědčení. Jestliže žák některou z trojice známek neuvedl, žádnou průměrnou známku přiřazenou neměl. Základní otázkou je, zda školní známky aspoň částečně odrážejí celkový studijní potenciál žáků. Pokud by tomu tak bylo, měli by žáci se stejnou školní klasifikací (v našem případě se stejnou průměrnou známkou) dosahovat přibližně stejných výsledků v testu VŠP bez ohledu na pohlaví či typ studia. Zda je tomu tak i ve skutečnosti, nám napoví Graf č. 18. Každý sloupeček zahrnuje žáky se stejnou průměrnou známkou na stejném typu studia.
Graf č. 18: Průměrná úspěšnost podle zaokrouhleného průměru známek a typu studia, jen 4. r. 70% 60%
Úspěšnost
50% 40%
1 2
30%
3
20%
4
10% 0% GV
G4
OA
SPŠ
SOŠ
Typ studia
26
Error! Style not defined.
Výsledky žáků se stejnou průměrnou známkou se liší podle toho, na jakém typu SŠ studia jsou. Např. žáci s průměrnou dvojkou na víceletém gymnáziu dosáhli v průměru téměř 50 % úspěšnosti v testu, kdežto průměrná dvojka na čtyřletém gymnáziu odpovídá jen úspěšnosti lehce přes 40 % a u obchodních akademií je to přibližně 33 %. Je možný i jiný pohled: průměrné úspěšnosti kolem 40 % odpovídá na víceletých gymnáziích v průměru trojka, na čtyřletých gymnáziích dvojka a na obchodních akademiích jednička. Klasifikační nároky jednotlivých typů studia se tedy liší i o celé stupně a známky z různých typů SŠ tedy nejsou srovnatelné. Jiný příklad nesouladu klasifikace a výsledku v testu nabízí porovnání známek a výsledků chlapců a dívek. Kvůli rozdílům v zastoupení chlapců a dívek na různých typech studia a ve výsledcích žáků různých ročníků jsme se omezili jen na poslední ročník gymnázií a průměrné úspěšnosti spočítali s vahami. Výsledek v Grafu č. 19 tak reprezentativně odpovídá celé populaci slovenských gymnazistů v posledním ročníku.
Graf č. 19: Vážená průměrná úspěšnost podle zaokrouhleného průměru známek a pohlaví, jen 4. r. G 70% 60%
Úspěšnost
50% 40%
1 2
30%
3
20%
4
10% 0% chlapci
dívky Pohlaví
Vidíme, že při stejné klasifikaci dosahují chlapci v testu výrazně vyšších úspěšností než dívky. Průměrná úspěšnost chlapců majících průměrnou známku dvojku je přibližně stejná jako u dívek s jedničkou, podobný posun je vidět i u dalších klasifikačních stupňů. Školní známkování dívek a chlapců tedy příliš nesouvisí s úrovní jejich studijních předpokladů, dívky jsou v klasifikaci pravděpodobně odměňovány za něco, co test VŠP nezahrnuje. Podobný jev se objevuje dlouhodobě i v České republice a je přičítán např. větší pečlivosti a ukázněnosti dívek. Na samotný závěr popíšeme vztah průměru známek a průměru výsledku v testu po školách. Za každou školu, v níž aspoň u deseti žáků v posledním ročníku byl k dispozici jak výsledek testu, tak průměrná známka, jsme spočítali průměrnou úspěšnost a průměrnou známku za celou školu. V následujícím Grafu č. 20 odpovídá každé škole jeden bod s rozdělením na gymnázia a ostatní školy.
Error! Style not defined.
27
Graf č. 20: Průměrná úspěšnost a průměr známek za školy, jen 4. r. 80% 70%
Úspěšnost
60% 50% G
40%
neG
30% 20% 10% 0% 3,5
3
2,5
2
1,5
1
Průměr známek Pokud by u všech škol byl vztah úspěšnosti v testu a školní klasifikace stejný, ležely by body na jedné křivce, která by se pravděpodobně podobala přímce6 uvedené v grafu. Některé školy, a to jak gymnázia, tak ostatní, mají body výrazně nad přímkou, což znamená, že jejich žáci dosáhli výrazně vyšší úspěšnosti v testu, než by odpovídalo jejich školní klasifikaci. Naproti tomu školy pod přímkou mají žáky s horší úrovní studijních předpokladů, než by odpovídalo školní klasifikaci. Z toho lze vyvodit, že i celé školy, nejen jednotliví učitelé, se mezi sebou liší tím, v jaké míře zohledňují studijní předpoklady žáků při klasifikaci.
6
Přímka odpovídá vážené lineární regresi z bodů v grafu, kde vahami jsou počty žáků v jednotlivých školách.
28
Error! Style not defined.
Příloha A: Statistické a psychometrické pojmy Výklad použitých pojmů
Skóre Je dáno součtem bodů účastníka za test. Za každou správně vyřešenou úlohu získává účastník 1 bod, za nesprávně vyřešenou úlohu se mu odečítá část bodu: u úloh se čtyřmi možnostmi (A) až (D) jedna třetina bodu, u úloh s pěti možnostmi (A) až (E) jedna čtvrtina. Pokud účastník úlohu vynechá, nic se nepřičítá ani neodečítá. Nejvyšší možné získatelné skóre je rovno celkovému počtu úloh v testu. V případě velké převahy špatně vyřešených úloh může mít skóre i zápornou hodnotu. Důvodem tohoto na pohled složitého výpočtu je eliminace vlivu tipování. Penalizace za nesprávnou odpověď je stanovena tak, aby se výsledek náhodně tipujícího účastníka pohyboval kolem 0 bodů; pokud však dokáže v úloze vyloučit některé nabízené možnosti jako nesprávné a mezi ostatními hádá, může v testu získat alespoň několik bodů.
Hrubá úspěšnost Vyjadřuje podíl účastníkem správně vyřešených úloh ze všech úloh testu. V úvahu se přitom nebere, zda u ostatních úloh účastník odpověděl špatně, nebo je vynechal. Hrubá úspěšnost bývá zpravidla vyšší než čistá úspěšnost a nemůže dosáhnout záporných hodnot.
Čistá úspěšnost Vyjadřuje poměr mezi skóre, kterého účastník v testu dosáhl, a maximálním možným počtem bodů, kterého lze v testu dosáhnout. Maximální možný zisk bodů odpovídá počtu úloh v testu. Čistá úspěšnost může nabývat i záporných hodnot (v případě záporného skóre uchazeče). Není-li uvedeno jinak, myslí se v této zprávě pod pojmem „úspěšnost“ vždy čistá úspěšnost.
Vynechanost a nečtenost Vyjadřují, v jakém podílu případů se stalo, že účastník u úlohy neuvedl žádnou odpověď (vynechanost), resp. že se účastník k řešení úlohy pravděpodobně ani nedostal (nečtenost). Úloha označená za nečtenou se považuje i za vynechanou. Hodnoty nečtenosti nad 10 % signalizují, že účastníci měli na řešení testu pravděpodobně příliš málo času nebo byli velmi málo motivováni. Hodnoty vynechanosti nad 20 % při nízké nečtenosti upozorňují na to, že zadání testu bylo pro účastníky pravděpodobně příliš komplikované či nesrozumitelné.
Směrodatná odchylka Vyjadřuje, jak se hodnoty z určitého souboru odchylují od svého průměru – tedy jak moc jsou rozptýlené. Přibližně dvě třetiny všech hodnot souboru dat se nacházejí ve vzdálenosti max. jedné směrodatné odchylky od průměru. Ve vzdálenosti max. dvou směrodatných odchylek se nachází téměř všechny hodnoty (přibližně 95 %) souboru dat.
Error! Style not defined.
29
Percentil Udává pořadí účastníka v testu vyjádřené na stupnici 0 až 100 (0 = nejhorší, 50 = střed, 100 = nejlepší). Percentil lze též interpretovat jako počet procent ostatních účastníků, které uchazeč svým výsledkem předstihl. Pokud se např. testu zúčastnilo 501 účastníků, pak uchazeč s percentilem 80 předstihl 80 % ze zbylých 500 účastníků, tj. 400 účastníků, a umístil se na 101. místě (před ním skončilo zbylých 20 % ostatních účastníků, tj. 100).
Skupinový percentil Používá se pro porovnání uchazečů majících stejný typ oboru, tj. je počítán v rámci určité skupiny uchazečů.
Typy oborů Jednotlivé obory středoškolského studia lze rozdělit do několika skupin příbuzných oborů. V testování VŠP se použilo členění na víceletá (GV) a čtyřletá (G4) gymnázia, obchodní akademie (OA), střední průmyslové školy (SPŠ), ostatní střední odborné školy (SOŠ), střední odborná učiliště (SOU) a základní školy (ZŠ).
Testy ověřovací a srovnávací Na vyhodnocení každého testu lze pohlížet ze dvou úhlů. Pokud nás zajímá, co umí každý z účastníků bez ohledu na to, co umějí druzí, pak využíváme test jako ověřovací (též test absolutního výkonu). Takové testy by se měly používat u klasifikace a certifikace (čtvrtletní písemná práce, maturita, autoškola). Jestliže chceme zjistit, kteří z žáků umějí nejvíc bez ohledu na to, co přesně umějí, využíváme test jako srovnávací (též test relativního výkonu). Takové testy jsou vhodné pro výběrové a soutěžní účely, např. v přijímacích zkouškách či olympiádách. Ve srovnávacích testech není obtížnost testu až tolik důležitá, neboť předpokládáme, že pořadí účastníků by bylo podobné při mírně těžší i mírně lehčí variantě. Nejlepší parametry však mají obvykle testy s průměrnou hrubou úspěšností 50–60 %, tj. s čistou úspěšností okolo 50 % nebo mírně pod touto hranicí.
Reliabilita Každé testování je měřením výkonu. A jako každé měření, i toto může být přesnější nebo méně přesné. Standardně se pro stanovení spolehlivosti měření používá tzv. reliabilita. Reliabilita je číslo pohybující se teoreticky mezi minus nekonečnem a 1, v praxi nabývá hodnot mezi 0 a 1. Čím je reliabilita vyšší, tím menší vliv na výsledek má náhoda. Při reliabilitě 0 by šlo o výsledky zcela náhodné, při reliabilitě 1 by naopak šlo o zcela spolehlivé výsledky. Protože však měříme intelektuální dovednosti, hodnoty 1 ani jí velmi blízké se nikdy nedosahuje. Zpravidla se reliabilita pohybuje mezi 0,5 a 0,95. Všeobecně uznávané hranice reliability jsou: •
test s reliabilitou nad 0,95 je pokládán za vynikající,
•
reliabilita nad 0,85 se pokládá za dostatečnou k tomu, aby na základě výsledků takového testu bylo možné činit rozhodnutí o jednotlivci,
•
nad 0,65 lze test použít jako jeden z podkladů pro rozhodnutí,
•
pod 0,65 již nelze test pokládat za spolehlivý ukazatel a neměl by být použit k rozhodování o jednotlivci. To ovšem neznamená, že testy s reliabilitou nižší než 0,65 jsou nepoužitelné. Naopak, mohou dobře posloužit v pedagogickém procesu k motivaci, k diagnostikování konkrétních nedostatků apod. Rozhodně by však neměly být použity jako jediné kritérium u přijímacího řízení.
30
Error! Style not defined.
Lineární regrese Máme-li u každého prvku z množiny dat zjištěné nějaké dvě číselné veličiny, hledáme někdy matematický vztah, který je spojuje. Zpravidla se nedá najít vztah, kterému by obě veličiny vyhovovaly matematicky zcela přesně – ze všech vztahů, které přicházejí v úvahu, vybereme takový, při kterém jsou odchylky v úhrnu nejmenší. Jako úhrn se obvykle používá součet druhých mocnin (tzv. metoda nejmenších čtverců). Nejjednodušším vztahem je lineární vztah (resp. lineární funkce). Lineární regrese tedy hledá takový lineární vztah mezi dvěma veličinami, při kterém je úhrn odchylek od tohoto vztahu co nejmenší. Graficky si to můžeme představit jako proložení přímky množinou bodů, které jsou vyneseny do grafu, a to tak, aby úhrn vzdáleností (součet druhých mocnin) bodů od přímky ve svislém směru byl co nejmenší.
Lineární model Pokoušíme-li se zjistit vliv několika různých veličin (faktorů, znaků) na určitou veličinu (tj. „vysvětlit“ veličinu pomocí daných faktorů), můžeme se dostat do problémů s interpretací výsledků v případě, kdy mezi vysvětlujícími veličinami existuje nějaká souvislost. Např. se může ukázat, že se mezi sebou významně liší výsledky žáků v určitých krajích a že se významně liší výsledky žáků podle jejich ekonomického zázemí. Je ovšem známo, že ekonomické zázemí žáků se v různých krajích liší. Na místě je pak otázka, zda odlišnosti mezi různými kraji nejsou zprostředkovány právě pouze různým ekonomickým zázemím žáků. Jinými slovy, zda by i po očištění od vlivu ekonomického zázemí zůstala v datech ještě nějaká zbytková závislost výsledku žáka na konkrétním kraji. Analýzu současného působení většího množství veličin na jednu veličinu lze účinně provést pomocí lineárního modelu. Ten zjišťuje, jak který faktor ovlivňuje vysvětlovanou veličinu a zda některé faktory nejsou zastupitelné jinými. Lineární model předpokládá, že vysvětlovaná veličina je kvantitativní. Výstupy analýzy pomocí lineárního modelu jsou: • určení statisticky významných a nevýznamných vysvětlujících veličin, • konkrétní koeficienty náležící jednotlivým hodnotám vysvětlujících veličin. Zmíněné koeficienty vyjadřují čistý vliv každé vysvětlující veličiny na vysvětlovanou veličinu, tedy po očištění od zprostředkujícího vlivu všech ostatních vysvětlujících veličin. Z toho lze tudíž usoudit, jak která veličina skutečně ovlivňuje vysvětlovanou veličinu. Pokud lze zkoumané jedince sdružit do skupin, uvnitř kterých mohou být silné vnitřní vztahy (např. třída nebo škola), používá se obecnější lineární smíšený model, který bere v úvahu i existenci těchto skupin, vliv jejich vnitřních vztahů dokáže odhadnout a eliminovat.
Lineární smíšený model Lineární smíšený model je zobecněním lineárního modelu. Vychází z předpokladu, že se zkoumaná měření nebo jedinci (např. účastníci testu) člení do skupin, uvnitř kterých mohou existovat nezanedbatelné vazby. Např. žáci se člení do tříd nebo škol a každou skupinu učí stejný učitel nebo na ni stejně působí vliv konkrétní školy. Lineární smíšený model hledá lineární vztah mezi hodnotou vysvětlované veličiny na straně jedné a hodnotami několika vysvětlujících veličin (faktorů, znaků) a společnými vlivy skupin (např. tříd či škol) na straně druhé. Výstupy lineárního smíšeného modelu jsou podobné jako výstupy lineárního modelu, navíc je možné vyčíslit, jakou část variability vysvětlované proměnné vysvětluje dělení do skupin. Lineární smíšený model je výpočetně mnohem náročnější, jeho použití je však korektnější, pokud si nejsme jisti, že měření jsou mezi sebou opravdu nezávislá.
Error! Style not defined.
31
Faktorová analýza Máme-li u každého sledovaného jedince k dispozici několik různých charakteristik (např. měření různých částí těla, odpovědi v dotazníku, výsledky několika testů apod.), můžeme si klást otázku, zda na všechny tyto charakteristiky má vliv nějaká společná, avšak neměřená charakteristika neboli faktor (inteligence, mohutnost stavby kostry, sebedůvěra apod.). Pokud je odpověď kladná, lze se dále ptát, zda je takových faktorů víc, zda lze jejich působení číselně vyjádřit a zda lze hodnoty faktorů zpětně spočítat. Model faktorové analýzy předpokládá, že mezi neznámými hodnotami faktorů a pozorovanými (měřenými) hodnotami existuje lineární vztah. V tom je obsažen předpoklad, že hodnoty faktorů i pozorované hodnoty jsou číselné a spojité (tj. vyjadřují množství a nejsou sdruženy do několika málo kategorií). Pokud stanovíme, kolik faktorů do modelu zahrneme, poskytne faktorová analýza odhad lineárního převodu faktorů na pozorované hodnoty a pro každého jedince odhady hodnot jednotlivých faktorů.
Graded-response model IRT Item-response theory (IRT) je statistický model, který pracuje s odpověďmi respondentů v položkách testu nebo dotazníku a předpokládá, že: • existuje vlastnost nebo vlastnosti, které mají významný vliv na odpovědi respondentů, • respondenti mají tuto/tyto vlastnost(i) v různých mírách (latencích), které se dají číselně vyjádřit. Z hodnoty latence lze předpovědět, s jakou pravděpodobností respondent vyřeší správně položku testu nebo dá určitou odpověď v dotazníku. Cíl IRT je podobný jako cíl faktorové analýzy o jednom faktoru, tedy na základě odpovědí v testu či dotazníku odhadnout pro každého respondenta hodnotu/y latence/í. Existuje několik modelů IRT, kterých lze pro tento účel využít. Graded-response model (GRM) je nejobecnějším modelem používaným v situaci, kdy respondent může v každé položce volit z více než dvou odpovědí a tyto odpovědi jsou kvalitativní (vyjadřují vlastnost nebo kategorii, nikoli množství). To je typická situace pro žákovský dotazník. Pomocí GRM se z odpovědí dotazníku odhadne latence (hodnota faktoru) respondenta.
Percentil, čistá úspěšnost a skóre Z předchozího výkladu vyplývá, že účastník s vyšším skóre má vyšší čistou úspěšnost i vyšší hodnotu percentilu. Výsledky testu by bylo možné prezentovat pomocí kterékoliv z těchto tří veličin. V této analýze jsme se rozhodli použít čistou úspěšnost, neboť to je známější pojem než percentil, má oproti němu i lepší statistické vlastnosti. Použití skóre je zase vázáno na konkrétní délku testu, při jiném počtu úloh by rozdíly ve skóre mezi skupinami byly jiné, naopak při použití úspěšnosti zůstávají závěry analýzy v platnosti i pro jiné počty úloh. Při interpretaci výsledků testu a zejména rozdílů úspěšností mezi skupinami je nutné si uvědomit, že se jednalo o test srovnávací. Dosáhla-li jedna skupina oproti druhé v průměru o 10 procentních bodů vyšší úspěšnosti (tj. v tomto testu o 4 body vyššího skóre neboli 3–4 správně vyřešených úloh navíc), nemůžeme jednoznačně říct, co přesně tato první skupina umí a druhá neumí, dokud nezjistíme, ve kterých konkrétních úlohách došlo k největšímu rozdílu. Primárně jsou tedy možné pouze kvantitativní interpretace, nikoli kvalitativní.
32
Error! Style not defined.
Příloha B: Dotazník pro uchazeče
Otázky na známky z angličtiny a matematiky byly formulovány obdobně.
Error! Style not defined.
33
www.scio.cz