TESTOVÁNÍM KE KVALITĚ VZDĚLÁVÁNÍ? 2013

TESTOVÁNÍM KE KVALITĚ VZDĚLÁVÁNÍ? 2013

SBORNÍK PŘÍSPĚVKŮ Z KONFERENCE

|1

|2 Sborník příspěvků z konference Testováním ke kvalitě vzdělávání 2013, kterou pořádala společnost Scio ve spolupráci s Fakultou informatiky a statistiky a Národohospodářskou fakultou VŠE dne 5. června 2013. Konference se konala u příležitosti 60. výročí založení Vysoké školy ekonomické v Praze.

Programový výbor konference: RNDr. Vladimír Burjan, Exam testing, s.r.o. doc. Ing. Jakub Fischer, Ph.D., Fakulta informatiky a statistiky VŠE v Praze PhDr. David Greger, Ph.D., Pedagogická fakulta UK Praha Ing. Filip Karel, Ph.D., www.scio.cz, s.r.o. Ing. Petr Mazouch, Ph.D., Fakulta informatiky a statistiky VŠE v Praze Mgr. Jaroslava Simonová, www.scio.cz, s.r.o. doc. Ing. Daniel Šťastný, Ph.D., Národohospodářská fakulta VŠE v Praze doc. PhDr. Arnošt Veselý, Ph.D., Fakulta sociálních věd UK Praha

Publikace neprošla jazykovou úpravou. Za obsahovou správnost odpovídají autoři příspěvků. © www.scio.cz, s.r.o Praha, 2013 ISBN 978-80-7430-101-8

|3 Obsah Znalosti uchazečů o studium na VŠE Petr DOUCEK, Miloš MARYŠKA, Hana MIKOVCOVÁ, Lea NEDOMOVÁ, VŠE���������������������������������������������������������������������������� 5

Mezinárodní šetření v České republice Jana Palečková, ČŠI����������������������������������������������������������������������������������������������������������������������������������������������������������������������������14

Maturitní zkoušky 2011 a 2012 – vybraná data Jiří Zíka, CERMAT��������������������������������������������������������������������������������������������������������������������������������������������������������������������������������17

Jací budou maturanti 2016? Jan Hučín, Scio�������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������28

|4 Program konference 08.45 – 09.30 09.30 – 09.45

registrace zahájení

1. BLOK Vyhlédnutí z rámce regionálního školství – standardizovaná šetření na vysokých školách a mezinárodní výzkumy 09.45 – 10.25

Jaké jsou znalosti uchazečů o studium na VŠE? Ing. Miloš Maryška, Ph.D. / Vysoká škola ekonomická

10.25 – 11.05

Mezinárodní šetření v České republice RNDr. Jana Palečková / Česká školní inspekce

11.05 – 11.30

občerstvení

2. BLOK Maturita v ČR – co jsme se z ní dozvěděli o kvalitě vzdělávacího systému? 11.30 – 12.10

Maturitní zkoušky 2011 a 2012 – vybraná data Ing. Jiří Zíka / Centrum pro zjišťování výsledků vzdělávání (CERMAT)

12.10 – 13.10

přestávka na oběd

13.10 – 13.30

Odpolední osvěžení – Co se testuje v Bhutanu? RNDr. Ondřej Šteffl, CSc. / Scio

3. BLOK Zjištění soukromých společností poskytujících hodnocení výsledků vzdělávání – co jsme se z nich dozvěděli o kvalitě vzdělávacího systému? 13.30 – 14.10

Slovenské školstvo vo svetle dát z projektu KOMPARO RNDr. Vladimír Burjan / Exam, s. r. o.

14.10 – 14.30

občerstvení

14.30 – 15.10

Jací budou maturanti 2016 Mgr. Jan Hučín / Scio, oddělení vědy, výzkumu a vývoje

15.10 – 15.20

oficiální zakončení

Konference se konala u příležitosti 60. výročí založení Vysoké školy ekonomické v Praze.

|5

Znalosti uchazečů o studium na VŠE Petr DOUCEK, Miloš MARYŠKA, Hana MIKOVCOVÁ, Lea NEDOMOVÁ1 VŠE v Praze Nám. W. Churchilla 4, Praha 3, 130 67 {doucek,maryskam,mikovcova,nedomova}@vse.cz 1

Abstrakt: V našem příspěvku se zabýváme analýzou výsledků přijímacích zkoušek na Vysokou školu ekonomickou v Praze z matematiky a cizích jazyků. Pro identifikovaná a anonymizovaná data získaná z  materiálů předložených pro přijímací řízení a  z  výsledků přijímacích testů jsme provedli analýzu časové řady pro roky 2010 – 2012. Analytickými výstupy podle jednotlivých přijímacích testů jsou pak přehledy získaných bodů uspořádané podle země původu uchazečů o studium. U českých uchazečů jsme zjišťovali i závislost počtu získaných bodů na typu střední školy, kterou úspěšně dokončili. Závěry pak poukazují na zjištěné lepší výsledky přijímacích testů u studentů zahraničních a klesající počet získaných bodů v čase pro všechny uchazeče a všechny předměty. Kromě toho je zajímavá identifikace klesajícího počtu bodů v čase podle střední školy uchazeče. Celkově lze analýzu vyhodnotit jako klesající počet bodů, získávaných při zachování obtížnosti zkoušky Příspěvek představuje dílčí výstupy z projektu analýzy studijních předpokladů pro ekonomická studia. Klíčová slova: přijímací zkoušky, typ střední školy, matematika, anglický jazyk, německý jazyk, francouzský jazyk, španělský jazyk

1. Úvod Spolu s tím, jak se v České republice mění demografické rozložení obyvatelstva zejména ve skupině “náctiletých”, mění se zvolna i modely podle nichž se řídí vzdělávací systém (Fischer, Finardi, 2010), (Finardi, Fischer, Mazouch, 2012). Nerovnoměrná populační křivka různých období zapříčiňuje nedostatek žáků a studentů na jednotlivých úrovních vzdělávacího systému (Doucek et al, 2012). Tyto propady v počtech pak způsobují snižování počtu vzdělávacích institucí na straně jedné při poklesu počtu studentů a jejich nedostatek v situacích opačných, kdy jejich počty narostou. Současná situace, kdy od roku 2011 dochází k očekávanému poklesu populace ročníků, které by mohly vstupovat do terciárního vzdělávacího sektoru, zanechá zcela jistě, spolu s dlouhodobě trvající hospodářskou recesí, výrazné stopy jak v počtu, tak i ve struktuře vysokého školství v České republice (Finardi, Fischer, 2011). S vyhlídkou očekávaných strukturních změn jsme na VŠE v Praze připravili a rozpracovali projekt, který se zabývá analýzou dat z přijímacích zkoušek na VŠE v členění podle typu zkoušky, fakulty a případně i oboru a následně pak vyhodnocuje v nejjednodušší verzi dosažené výsledky v čase, ve složitějších verzích pak zkoumá i vztahy mezi výsledky přijímacích zkoušek a výsledky dosaženými v jednotlivých kurzech studia, včetně bakalářských státních zkoušek. Cílem projektu je zejména odpovědět na následující otázky: Jaká je úroveň znalostí studentů, kteří se hlásí ke studiu na VŠE, ze středních škol z předmětů “Matematika” a “ Cizí jazyk”? Jak se tyto znalosti vyvíjejí v čase, případně jsou tyto znalosti závislé na středoškolském systému v zemi původu studenta? –– Jsou nějaké vztahy mezi dosaženými výsledky u přijímacích zkoušek a výsledky v kurzech v průběhu studia? –– Jsou vztahy mezi dosaženými výsledky u přijímacích zkoušek a výsledky státních bakalářských zkoušek? V  tomto článku jsou, vzhledem k  omezenému prostoru, presentovány pouze výsledky základních analýz přijímacího řízení z “Matematiky” a z “Cizích jazyků”. Jeho cílem je tedy analyzovat výsledky studentů, ucházejících se o přijetí na VŠE v Praze v letech 2010 – 2012 podle národnosti a v čase v předmětu zkoušky. Východiskem pro navržené modely a analýzy byla zejména studie (Psacharopoulos, 1995) a zkušenosti získané na VŠE v Praze v dříve řešených projektech s obdobnou tématikou (Scholleová, Mikovcová, 2011) a výzkum vzdělávacích systémů zemí Evropy (Maryška, Doucek, 2011).

2. Sběr dat a metodika zpracování Data pro tento projekt jsou pravidelně sbírána během přijímacího řízení od všech uchazečů o studium. V souladu s ustanovením zákona č. 101/2000 Sb., o ochraně osobních údajů, jsou pro potřeby zpracování data uchazečů anonymizována a dále se s nimi pracuje tak, že jsou od nich odděleny osobní identifikátory a jsou zpracovávána bez možnosti zjistit, jakého uchazeče dříve označovala. Další data o  výsledcích zkoušek jsou získávána z  universitního informačního systému jednorázovým přenosem dat. Vlastní analýza a modelování pak probíhá nad propojenými plně anonymizovanými daty. Databáze neobsahuje všechna data uchazečů o studium všech fakult VŠE v Praze, protože některé fakulty nemají úplně shod-

|6

Znalosti uchazečů o studium na VŠE

né přijímací řízení a jedna z fakult přijímá české studenty na základě SCIO testů. Proto nemáme k dispozici údaje o výsledcích jejich přijímacích zkoušek. Máme ovšem k dispozici data o výši získaných SCIO bodů a data z následných zkoušek z jednotlivých předmětů. I tyto skutečnosti podrobíme další analýze, ovšem vzhledem k omezenému prostoru nikoli v tomto článku.

2.1 Metodika zpracování Primární data použitá pro vyhodnocení byla importována do database MS SQL Server prostřednictvím extraktů v podobě textových souborů. Tyto byly exportovány z centrální databáze VŠE v Praze. Podobně byly k dispozici i související číselníky, které umožňují vysvětlit primární data. Pro zpracování dat byl vytvořen datový model v aplikaci MS SQL Server 2008 R/2. Tento model respektuje principy business intelligence, díky čemuž bylo možné vytvořit analytické datové kostky (OLAP). (Kimbal, Caserta, 2004; MacLennan, Tang, Crivat, 2009). Pro analýzu dat jsme využily dva odlišné přístupy. První přístup byl založen na využití OLAP kostek v MS SQL Server 2008 R/2, ve  kterých byl vytvořen větší počet statistických ukazatelů (např. median, průměr, maximum, minimum, směrodatná odchylka a další), které umožnily data statisticky popsat. Druhý přístup k hodnocení dat byl založen na využití aplikace Microsoft Excel 2010. Jejím prostřednictvím byla získaná data rovněž analyzována prostřednictvím statistických metod. Kombinace vhodných dimenzí (např. Rok přijímací zkoušky, Zvolený studijní obor, Jazyk přijímací zkoušky atd.) ke zvoleným ukazatelům (Počet žadatelů o studium, Průměrná hodnota získaných bodů z přijímací zkoušky z jazyka, Střední hodnota výsledku přijímací zkoušky z matematiky, Korelace mezi dosaženými body atd.) umožnila data účinně a velmi detailně analyzovat a identifikovat jak trendy, tak i vzájemné závislosti mezi daty. Kombinace dvou výše uvedených přístupů umožnila jak vzájemnou verifikaci výsledků získaných funkcemi různých technologií, tak zejména rozšířit paletu možných statistických analýz. Důvodem je skutečnost, že množiny funkcí v aplikacích MS SQL Server a MS Excel jsou částečně disjunktní.

3. Zjištěné výsledky Propad počtu studentů z České republiky může být na českých vysokých školách nahrazen i přijímáním studentů z jiných zemí, případně tzv. odloženou poptávkou (studium po absolvování několika let praxe) (Kunstová, 2012). Proto je součástí prováděných analýz nejen počet zahraničních studentů, žádajících o přijetí na VŠE, ale také podrobnější analýza výsledků jejich přijímacího řízení. V tomto článku ale není prostor na hlubší detaily, proto zde v Tabulce 1 uvádíme pouze podíly prvních šesti zemí v počtu studentů, ucházejících se o studium na VŠE v Praze.

Tabulka 1. Podíly uchazečů o studium na VŠE podle zemí Země původu uchazeče

2010

2011

2012

Česká republika

85,51%

84,22%

83,36%

Slovenská republika

8,05%

8,07%

7,85%

Ruská federace

2,11%

3,18%

3,07%

Vietnamská socialistická republika

0,81%

1,29%

1,47%

Ukrajina

1,06%

1,26%

1,45%

Kazachstán

0,60%

0,85%

0,92%

Podíl studentů z České republiky není překvapivý, ani umístění Slovenska na druhém místě není překvapivé. Další země v pořadí Ruská federace a zejména Vietnam ovšem již překvapením jsou, stejně tak jako umístění Republiky Kazachstánu na šestém místě. Překvapivý je nárůst studentů, kteří se hlásí k vietnamské národnosti. Zde nemůžeme rozlišit, jestli se jedná opravdu o studenty přímo z Vietnamu nebo studenty, kteří mají trvalé bydliště na území České republiky a hlásí se k vietnamské národnosti. Tabulku 1 je možné vyhodnotit jako pomalý, leč trvalý úbytek českých a slovenských studentů na úkor studentů z dalších zemí, což je potvrzením očekávaného demografického trendu (Doucek et al, 2012).

|7

Znalosti uchazečů o studium na VŠE

3.1 Matematika Soubor zjištěných dat z přijímacích zkoušek z “Matematiky” má základní statistické charakteristiky uvedené v Tabulce 2.

Tabulka 2. Základní statistické charakteristiky souboru dat “Matematika” Matematika

Celkem za tři roky

2010

2011

2012

N

34 172

7 460

13 281

13 430

Avg.

62,81

67,18

62,23

60,96

Med.

65,00

70,00

65,00

62,00

Mod.

100,00

100,00

60,00

100,00

σ2

569,87

564,74

561,51

566,69

σ

23,87

23,76

23,70

23,81

δ

-0,24

-0,43

-0,22

-0,16

τ

-0,85

-0,76

-0,83

-0,85

Celkově lze o výsledcích přijímacích zkoušek z “Matematiky” říci, že průměrná výše získaných bodů v jednotlivých letech klesá. Šikmost souboru se zvolna vrací k normálnímu rozdělení z negativních hodnot (počet menších hodnot oproti střední hodnotě klesá) a špičatost souboru naopak roste (více hodnot se hromadí kolem střední hodnoty). Rozptyl se de facto nemění. Velmi zajímavým zjištěným faktem je hodnota charakteristiky Modus – ve výši 100,00 bodů. K této veličině poskytujeme bližší informace na Obr. 1.

Obr. 1

Obr. 1. Četnosti výskytu počtu získaných bodů z přijímací zkoušky z “Matematiky” v letech 2010 – 2012

Pokud bychom vycházeli z optimálního stavu, tak by hodnoty, uvedené na Obr. 1., měly nabývat přibližně tvaru normálního rozdělení. Z vynesených hodnot na Obr. 1. je patrné, že se zjištěná data tímto rozdělením neřídí. To může být způsobeno zejména tím, že přijímací zkouška z “Matematiky” je postavena na učivu, které je všeobecně známo mezi studenty všech typů středních škol (detail je uveden v Tabulce 4) a většina lepších studentů jej zvládá. Druhou stránkou věci je potom absence těžších příkladů, které by roztřídily uchazeče na horním konci bodového spektra. Otázkou ovšem je, jestli je takové roztřídění nezbytně nutné zejména při klesající demografické křivce a jestli pro potřeby přijetí na VŠE v Praze nestačí rozdělit uchazeče na ty, kteří získají při zkoušce počet bodů kolem mediánu a na ty, které přijmeme. Zde hraje důležitou roli i počet přijímaných studentů na jednotlivé fakulty nebo obory. Při analýze výsledků přijímacích zkoušek z  “Matematiky” jsme se také zabývali dosaženými výsledky podle národnosti uchazeče.

|8

Znalosti uchazečů o studium na VŠE

Tabulka 3. Výsledky přijímací zkoušky z „Matematiky“ podle zemí původu studentů 2010

Matematika

2011

2012

Avg.

Med.

Avg.

Med.

Avg.

Med.

Česká republika

65,53

70,00

61,36

60,00

59,72

60,00

Slovenská republika

73,57

80,00

67,63

70,00

67,37

70,00

Ruská federace

79,44

85,00

71,89

75,00

77,81

80,00

Vietnamská socialistická republika

69,16

70,00

68,03

70,00

68,36

70,00

Ukrajina

74,69

80,00

71,29

75,00

64,65

65,00

Kazachstán

78,53

80,00

68,04

85,00

73,86

80,00

Při prvním pohledu na Tabulku 3 vidíme, že úroveň počtu získaných bodů je u českých studentů nejmenší. Jedním z důvodů může být celkový počet uchazečů z České republiky, kteří se ucházejí se o studium na tuzemské škole. U studentů, kteří přicházejí ze zahraničí, pak bývá obvykle větší motivace, protože musí opustit svůj zaběhnutý způsob života. Země bývalého Sovětského svazu vykazují tradičně dobrou připravenost z exaktních věd, kterou náš průzkum také potvrdil. Leč i zde v čase počet získaných bodů vykazuje určitý pokles. Detailnější pohled na  české studenty, resp. na  výsledky jejich přijímací zkoušky poskytuje následující Tabulka 4. Tato tabulka ukazuje, že podle očekávání mají nejlepší výsledky studenti gymnázií, kteří jsou také majoritní skupinou uchazečů o studium na VŠE v Praze (Tabulka 4). Leč i v tomto ukazateli můžeme pozorovat ve sledovaném období pokles získaných bodů z přijímací zkoušky prakticky na všech typech škol.

Tabulka 4. Výsledky přijímací zkoušky z “Matematiky” podle typu střední školy Matematika

2010

2011

2012

n %

Avg.

Med.

n %

Avg.

Med.

n %

Avg.

Med.

Gymnázium

68,25

72,28

75,00

65,74

66,96

70,00

62,14

65,11

68,00

Ekonomické školy

17,75

58,29

60,00

20,57

53,14

50,00

21,95

52,37

50,00

Odborné školy

14,00

49,87

45,00

13,69

47,42

45,00

15,92

48,62

45,00

Z Tabulky 5 vyplývá, že v průběhu tří po sobě následujících období identifikujeme pouze sestupný trend úrovně znalostí reprezentovaný průměrným počtem bodů dosažených z přijímací zkoušky. Výjimkou jsou pouze Odborné školy, které v roce 2012 vykázaly mírný růst v zisku bodů.

3.2 Cizí jazyky Přijímací zkouška z cizího jazyka je povinnou zkouškou přijímacího řízení na pět fakult VŠE v Praze. Při vyhodnocování četností testů z jazyků jsme pro tento příspěvek vybrali pouze čtyři nejčastěji poptávané jazyky. Jejich přehled je uveden na Tabulce 5.

Tabulka 5. Zájem uchazečů o jazyk přijímací zkoušky Jazyk

Celkem za tři roky

2010

2011

2012

Anglický

77,31%

76,63%

76,95%

78,04%

Německý

12,98%

14,33%

12,77%

12,43%

Francouzský

6,08%

5,58%

6,61%

5,85%

Španělský

3,63%

3,46%

3,67%

3,68%

Celkem

100,00%

100,00%

100,00%

100,00%

Výrazně nejrozšířenějším jazykem pro přijímací zkoušky na VŠE je jazyk anglický, z něhož skládají přijímací zkoušky více jak tři čtvrtiny uchazečů o studium a jejich podíl neustále roste. Zájem o ostatní jazyky je zejména podmíněn zkouškami na FMV (Fakultu mezinárodních vztahů), kde je povinná přijímací zkouška ze dvou jazyků. Kromě zde uvedených jazyků se v přijímacím řízení objevují ještě jazyky Ruština a Italština, ale ty jsou ve srovnání s ostatními jazyky marginální. Při jejich zahrnutí do procentního podílu, představují oba tyto jazyky přibližně 1,5 % datového vzorku.

|9

Znalosti uchazečů o studium na VŠE

Anglický jazyk Tabulka 6. Výsledky přijímací zkoušky z “Anglického jazyka” podle zemí původu studentů 2010

2011

2012

Anglický jazyk N=37636

Avg.

Med.

Avg.

Med.

Avg.

Med.

Česká republika

66,50

68,00

66,95

68,00

65,99

67,50

Slovenská republika

74,79

78,00

72,06

74,00

72,44

74,00

Ruská federace

74,29

78,00

71,59

74,00

72,07

74,00

Vietnamská socialistická republika

66,98

70,00

73,16

76,00

72,91

76,00

Ukrajina

74,69

80,00

71,63

74,00

67,56

68,00

Kazachstán

75,60

78,00

66,98

70,00

71,84

76,00

Celkově můžeme zhodnotit, že průměrná hodnota získaných bodů u uchazečů ze všech zemí ve sledovaném období klesá, s výjimkou uchazečů z Vietnamské socialistické republiky. Nárůst získaných bodů zde však není příliš velký. Zarážející je fakt, že ze všech sledovaných národností je nejnižší průměrný počet bodů u českých studentů.

Obr. 2

Obr. 2. Četnosti výskytu počtu získaných bodů z přijímací zkoušky z “Anglického jazyka” v letech 2010 – 2012

Počty získaných bodů za  sledované období jsou uvedeny na  Obr. 2. Zde je vidět, že zjištěné hodnoty poměrně dobře kopírují normální rozdělení a tedy, že přijímací zkouška je správně navržena a uchazeči mají odpovídající znalosti v souladu s očekávaným rozdělením. V roce 2012 se objevují větší skoky v počtu získaných bodů v rozmezí 52 – 92 bodů.

Tabulka 7. Výsledky přijímací zkoušky z “Anglického jazyka” podle typu střední školy Anglický jazyk

2010

2011

2012

n %

Avg.

Med.

n %

Avg.

Med.

n %

Avg.

Med.

Gymnázium

60,83

72,53

74,00

65,26

72,13

74,00

61,40

71,78

74,00

Ekonomické školy

23,36

59,32

58,00

20,20

58,45

58,00

21,65

57,18

56,00

Odborné školy

15,80

54,69

54,00

14.53

55,61

54,00

16,96

56,23

56,00

Tabulka zisku bodů z anglického jazyka ukazuje na mírný pokles získaných bodů uchazeči z gymnázií a ze středních ekonomických škol, naopak ukazuje mírný nárůst získaných bodů u  uchazečů ze škol odborných. Většina uchazečů, kteří vykonávají zkoušku z anglického jazyka pak vystudovala gymnázium.

| 10

Znalosti uchazečů o studium na VŠE

Německý jazyk Počet uchazečů, kteří skládají přijímací zkoušku z německého jazyka je významně menší než z jazyka anglického. Celkově se jedná o 6317 zkoumaných záznamů za tři sledované roky. Jak je vidět v Tabulce 8, německý jazyk již není u přijímacího řízení rozšířen tak jako jazyk anglický.

Tabulka 8. Výsledky přijímací zkoušky z “Německého jazyka” podle zemí původu studentů 2010

2011

2012

Německý jazyk N=6317

Avg.

Med.

Avg.

Med.

Avg.

Med.

Česká republika

67,09

70,00

67,12

68,00

64,47

65,00

Slovenská republika

74,20

76,00

74,68

78,00

67,71

66,25

Ruská federace

63,11

64,00

69,31

70,00

55,14

55,00

Vietnamská socialistická republika

73,77

80,00

73,58

76,00

68,58

67,50

Ukrajina

59,26

56,00

55,63

57,00

61,91

65,00

Kazachstán

73,00

73,00

62,50

67,00

55,80

64,00

Z tabulky 8 také vyplývá pokles získaných bodů v období 3 let. Jedinou výjimkou jsou uchazeči z Ukrajiny, kde sice počet bodů vzrostl, ale nikterak dramaticky. Zde se bude spíš jednat o momentální dispozice statistického vzorku v roce 2012, jak tomu nasvědčují i hodnoty získaných bodů v roce 2011. Podobná situace je i pro uchazeče z Ruské federace, kdy nárůst bodů, získaných v roce 2011 je kompenzován o to hlubším poklesem v roce 2012.

Obr. 3

Obr. 3. Četnosti výskytu počtu získaných bodů z přijímací zkoušky z “Německého jazyka” v letech 2010 – 2012

Počty získaných bodů v roce 2010 byly poměrně rovnoměrně rozloženy, stejně tak tomu bylo i v roce 2011. Z výskytu četnosti dosažených bodů v roce 2012 pak vyplývá, že testy obsahují úlohy, které jsou ohodnoceny deseti body, proto je zvýšený výskyt četností získaných bodů po hodnotách deseti bodů. Zvláštním fenoménem je situace, kde konec rozdělení získaných bodů nesměřuje k nule, ale ve všech letech směřoval k hranici dvaceti uchazečů.

Tabulka 9. Výsledky přijímací zkoušky z “Německého jazyka” podle typu střední školy Německý jazyk

2010

2011

2012

n %

Avg.

Med.

n %

Avg.

Med.

n %

Avg.

Med.

Gymnázium

70,05

71,35

74,00

75,59

70,43

72,00

72,10

68,20

70,00

Ekonomické školy

17,70

61,40

62,00

13,00

57,57

56,00

14,50

58,68

57,50

Odborné školy

12,25

51,40

47,00

11,41

56,10

56,00

13,40

50,66

45,00

U přijímacích zkoušek z německého jazyka se výrazně projevují trendy dominance počtu získaných bodů u uchazečů z gymnázií. Pokles počtu získaných bodů je v uplynulých třech letech u gymnázií a středních ekonomických škol trvalý. Relativní rychlost poklesu získaných bodů je nejpomalejší u uchazečů z odborných škol.

| 11

Znalosti uchazečů o studium na VŠE

Francouzský jazyk Francouzský jazyk je ještě méně četnější u přijímacích zkoušek než jazyk německý. Zejména se jedná o uchazeče Fakulty mezinárodních vztahů. Z toho vyplývá, že většina uchazečů považuje tento jazyk za svůj druhý cizí jazyk. Výsledky v letech 2012 – 2012 podle zemí původu uchazečů o studium jsou uvedeny v následující Tabulce 10.

Tabulka 10. Výsledky přijímací zkoušky z “Francouzského jazyka” podle zemí původu studentů 2010

2011

2012

Francouzský jazyk N=2961

Avg.

Med.

Avg.

Med.

Avg.

Med.

Česká republika

58,20

56,00

54,89

54,00

55,63

55,00

Slovenská republika

64,62

68,00

56,13

54,00

61,01

62,50

Ruská federace

58,35

62,00

54,70

60,00

51,79

48,75

Vietnamská socialistická republika

48,40

50,00

50,22

54,00

58,61

62,50

Ukrajina

54,89

54,00

66,75

72,00

49,72

42,50

Kazachstán

53,00

53,00

44,00

46,00

92,50

92,50

Je jasně vidět, že počty získaných bodů jsou výrazně nižší než u anglického jazyky. U jednotlivých národností uchazečů je viditelný opětovný pokles získaných bodů. Výjimkou je nárůst u uchazečů z Vietnamské socialistické republiky a Kazachstánu. U uchazečů z Kazachstánu je vidět, že se jedná o velmi malý počet testů. Tuto anomálii zkusíme ověřit v dalších průzkumech.

Obr. 4

Obr. 4. Četnosti výskytu počtu získaných bodů z přijímací zkoušky z “Francouzského jazyka” v letech 2010 – 2012

V zjištěních se statisticky začíná projevovat menší vzorek dat za sledované období. U tohoto jazyka jsou jasně vidět změny způsobu přijímacích zkoušek. V letech 2010 a 2011 bylo více otázek, které byly ohodnoceny menším počtem bodů. V roce 2012 se pak objevuje celkově méně otázek, které jsou však hodnoceny pěti a deseti body, což se odráží i v získaném vzorku dat. Pozitivním faktorem je, že zjištěné hodnoty počtu získaných bodů z přijímacího řízení v zásadě respektují normální rozdělení.

Tabulka 11. Výsledky přijímací zkoušky z “Francouzského jazyka” podle typu střední školy Francouzský jazyk

2010

2011

2012

n %

Avg.

Med.

n %

Avg.

Med.

n %

Avg.

Med.

Gymnázium

80,97

61,81

62,00

84,98

57,88

56,00

86,23

58,09

57,50

Ekonomické školy

12,61

48,11

44,00

9,51

41,56

38,00

8,30

45,90

42,50

Odborné školy

6,42

49,52

40,00

5,51

44,48

45,00

5,46

51,41

50,00

Hodnocení počtu získaných bodů z přijímacího řízení ukazuje na klesající trend uchazečů i podle typu střední školy. Výjimkou jsou uchazeči z odborných škol.

| 12

Znalosti uchazečů o studium na VŠE

Španělský jazyk Přijímací zkoušky ze španělského jazyka využívá ještě méně uchazečů než z jazyků předchozích. Podobně jako pro francouzský jazyk platí, že většina uchazečů je z FMV a že se jedná o druhý jazyk uchazečů. Počty získaných bodů podle národností uchazečů jsou uvedeny v Tabulce 12.

Tabulka 12. Výsledky přijímací zkoušky ze “Španělského jazyka” podle zemí původu studentů 2010

2011

2012

Španělský jazyk N=1766

Avg.

Med.

Avg.

Med.

Avg.

Med.

Česká republika

65,48

72,00

55,63

56,00

57,98

57,50

Slovenská republika

70,11

74,00

70,39

76,00

60,22

57,50

Ruská federace

66,35

64,00

39,82

37,00

40,33

37,50

Vietnamská socialistická republika

0,00

0,00

63,00

63,00

80,00

80,00

Ukrajina

36,86

40,00

51,67

46,00

44,17

37,50

Kazachstán

59,00

59,00

36,67

30,00

56,25

56,25

Opět je vidět, že trend v počtu bodů je klesající. Vzorek počtu uchazečů z Vietnamské socialistické republiky není významný, ale tento fakt ověříme při vyhodnocení dalšího roku přijímacího řízení.

Obr. 5

Obr. 5. Četnosti výskytu počtu získaných bodů z přijímací zkoušky z “Španělského jazyka” v letech 2010 – 2012

Čestnosti výskytu vypadají poměrně neuspořádaně. V roce 2010 jsou počty relativně nejbližší normálnímu rozdělení s posunem většího počtu uchazečů, kteří získali vyšší počet bodů (posunutá šikmost). V  roce 2011 nejsou získané hodnoty příliš rozdílné s tím, že poměrně dost uchazečů získalo 90 bodů. Počty zjištěné v roce 2012 vypovídají o změně způsobu přijímací zkoušky (významně vyšší počty hodnot po deseti bodech v intervalu 20 až 90 bodů). Počty získaných bodů jsou na počátku i konci hodnotového spektra nulové nebo nule blízké.

Tabulka 13. Výsledky přijímací zkoušky ze “Španělského jazyka” podle typu střední školy Španělský jazyk

2010

2011

2012

n %

Avg.

Med.

n %

Avg.

Med.

n %

Avg.

Med.

Gymnázium

72,98

73,57

76,00

70,92

61,49

62,00

78,39

62,65

62,50

Ekonomické školy

13,71

54,18

47,00

16,34

46,70

44,00

12,09

49,43

45,00

Odborné školy

13,31

58,36

56,00

12,09

45,13

38,00

9,52

48,22

40,00

I u španělského jazyka je viditelný klesající trend v počtu získaných bodů podle typu střední školy.

| 13

Znalosti uchazečů o studium na VŠE

4. Závěry a diskuse Výzkum přijímacího řízení na VŠE v Praze je veden snahou získat podklady pro posílení kvalifikovanosti rozhodování děkanů fakult o způsobu přijímání uchazečů na školu. Pro tyto potřeby jsme na data, která jsme získali z přijímacího řízení, použili statistické metody. Pro potřeby tohoto článku a to i vzhledem k jeho omezeným možnostem, zde prezentujeme část výsledků, dosažených pro předmět “Matematika” a cizích jazyků. Při analýze získaných dat jsme dospěli zejména k těmto výsledkům: –– Rozhodující podíl uchazečů o studium na VŠE v Praze pochází z České republiky (jejich podíl velmi zanedbatelně klesá), druhou nejčetnější skupinou jsou uchazeči ze Slovenské republiky (jejich podíl také velmi mírně klesá), další skupinou jsou studenti z Ruské federace (jejich počet vzrostl za tři sledované roky o jeden procentní bod), následovaní studenty z Ukrajiny. –– Počty bodů, získaných z přijímací zkoušky z “Matematiky”, trvale klesají při zachované náročnosti těchto testů. A to bez ohledu na národnost studentů nebo na typ střední školy, z níž uchazeči pocházejí. Dosažené výsledky přijímacího řízení se neřídí normálním rozdělením, ale mají tendenci oddělit průměrné a podprůměrné uchazeče od těch ostatních – hranice je někde kolem 55,00 – 60,00 bodů. Přijímací zkouška také neidentifikuje výrazně špičkové uchazeče v matematice. –– Uchazeči z gymnázií získávají výrazně vyšší počet bodů z matematiky než uchazeči z jiných typů středních škol. –– Anglický jazyk je nejfrekventovanějším jazykem v přijímacím řízení na VŠE v Praze; pro přijímací řízení si jej volí vice jak ¾ uchazečů; nejlepší výsledky v počtu získaných bodů ve sledovaném období vykazovali uchazeči z Vietnamské socialistické republiky, Slovenské republiky a Ruské federace. –– Četnost výskytu získaných bodů z přijímací zkoušky vyhovuje normálnímu rozdělení, což odpovídá jednak korektně připraveným testům, jednak měří poměrně dobře znalosti uchazečů. –– Nejlepší výsledky, co do počtu získaných bodů v anglickém jazyce mají uchazeči z gymnázií. –– U německého, francouzského a španělského jazyka se projevuje relativně malá četnost zjištěných výsledků. –– Kvalita výuky i ostatních jazyků na gymnáziích výrazně převyšuje kvalitu výuky na ostatních typech středních škol (je symbolizována počtem získaných bodů z přijímacích zkoušek).

Reference Doucek, P., Maryška, M. et al. Konkurenceschopnost českého ICT sektoru. Professional Publishing, Praha, 2012, ISBN 987-80-7431-077-5. Finardi, S., Fischer, J., Mazouch, P.  Returns on private investment in education and fair tuition fees estimates: the case of the Czech Republic. Praha 07.06.2012 – 08.06.2012. In: Efficiency and Responsibility in Education. Prague: Czech University of Life Sciences in Prague, 2012, s. 113–119. ISBN 978-80-213-2289-9. Finardi, S., Fischer, J. Measuring Returns on Investments in Human Capital by Mincer Model and its Impact on Czech Higher Education System. Jindřichův Hradec 07.09.2011 – 09.09.2011. In: IDIMT-2011. Linz: Trauner Verlag universität, 2011, s. 43–50. ISBN 978-3-85499-873-0.

Fischer, J., Finardi, S. Czech tertiary education on the way to competitiveness. Jindřichův Hradec 08.09.2010 – 10.09.2010. In: IDIMT-2010 Information Technology – Human Values, Innovation and Economy. Linz: Trauner, 2010, s. 231–236. ISBN 978-3-85499-760-3. Kimbal, R., Caserta, J. The Data Warehouse ETL Toolkit. Wiley Publishing. 2004. ISBN: 0-764-57923-1. Kunstová, R. Analysis of study results and the use of e-learning materials within distance education. Journal of Efficiency and Responsibility in Education and Science [online], 2012, roč. 5, č. 4, s. 185–194. ISSN 1803-1617. URL: http://www.eriesjournal.com/_ papers/article_179.pdf. MacLennan, J.; Tang, Z.; Crivat, B. Data Mining with SQL Server® 2008. Wiley Publishing, Inc., Indianapo-

lis, Indiana, 2009. ISBN: 978-0-470-27774-4. Maryška, M., Doucek, P.  Comparison of the Czech and Austria Education Systems. Jindřichův Hradec 07.09.2011 – 09.09.2011. In: IDIMT-2011. Linz: Trauner Verlag universitat, 2011, s. 23–34. ISBN 978-3-85499-873-0. Psacharopoulos, G. The Profitability of Investment in Education: Concepts and Methods. December 1995. [cit. 2013-02-15]. Dostupné z WWW: . Scholleová, H., Mikovcová, H. Perspectives of economic education in the Czech Republic. SCIENTIFIC PROCEEDINGS, 2011, roč. 19, č. 2, s. 899–905. ISSN 1313-7123.

ANNOTATION In our paper we deal with the analysis of the results of the entrance examinations for the University of Economics, Prague in the subject of “Mathematics” and “Foreign Languages”. The paper presents the partial outputs from the project of the analysis of the study requirements for the study of economics. For the identified and anonymous data acquired from the material submitted for the admission procedure and from the results of the admission tests we carried out the calculation of the basic statistical characteristics and then carried out an analysis of the time series for the years 2010-2012. The level of difficulty of the entrance exams in “Mathematics” and “Foreign Languages” was unchanged in analysed period. A further analytical output is the overview of the points acquired from the entrance exams arranged according to the country of origin of the applicants for study. The conclusions then point to the better results in the admission tests found in the case of foreign students and the declining number of points acquired in time for all applicants. Apart from this it is interesting that there was identification of a declining number of points in time according to the secondary school attended by the applicant. Overall the analysis may be evaluated as a declining number of points acquired while maintaining the unchanged difficulty of the examination.

| 14

Mezinárodní šetření v České republice Jana PALEČKOVÁ Česká školní inspekce ČR, oddělení hodnocení výsledků vzdělávání Fráni Šrámka 37, Praha 5, 150 21 [email protected]

Abstrakt: V  České republice jsou mezinárodní šetření spojená s  testováním žáků uskutečňována od  devadesátých let 20. století. Jedná se o  projekty dvou organizací IEA a  OECD. V současné době probíhá příprava nového cyklu projektu OECD/PISA, jehož hlavní sběr dat proběhne ve školách na jaře roku 2015 a který je zaměřen na zjišťování přírodovědné gramotnosti patnáctiletých žáků. Česká republika se v rámci projektu účastní též volitelného testování v oblasti týmového řešení problémů. Kromě toho dochází v roce 2015 v PISA k úplnému přechodu od papírového k elektronickému testování. Teoretický základ pro hodnocení čtenářské, matematické, přírodovědné a finanční gramotnosti a pro hodnocení v oblasti týmového řešení problémů představuje koncepční rámec projektu PISA 2015. Klíčová slova: mezinárodní šetření, kompetence, gramotnost, PISA

1. Úvod Školy, zřizovatelé, orgány státní správy a v neposlední řadě odborná pedagogická veřejnost v České republice vnímají stále intenzivněji potřebu dobrých kvalitativních změn ve vzdělávání. Jedná se o dlouho očekávaný proces, který je nezbytný v důsledku mohutného a rychlého rozvoje ve všech oblastech lidského konání, měnící se společnosti a z toho plynoucí potřeby nové funkce školy. Smysluplnou a efektivní podobu účinného školského systému hledají s různým úspěchem poskytovatelé vzdělávání na celém světě. Je samozřejmé, že změny prováděné na všech úrovních systému je třeba následně pečlivě vyhodnotit. Jedním ze způsobů objektivního ověřování kvality výstupů vzdělávání může být dobře připravené testování dovedností a znalostí žáků, jehož prostřednictvím lze získat celou škálu cenných informací například o tom, s jakou účinností bylo v praxi aplikováno zamýšlené kurikulum a do jaké míry si jej žáci osvojili. Od padesátých let 20. století provádějí rozvinuté země světa v různých oblastech vzdělávání testování žáků, jehož cílem je mezinárodní srovnávání výsledků žáků jednotlivých zemí. Protože jsou součástí testových nástrojů také dotazníky pro poskytovatele vzdělávání, ředitele škol, učitele, rodiče a samozřejmě pro samotné žáky, lze získaná data využít pro stanovení charakteristik vzdělávacích systémů a pro tvorbu a sledování indikátorů, které mohou poskytovat užitečné informace o stavu a podobě vzdělávacích prostředí a o jejich vývoji.

2. Mezinárodní šetření v České republice Česká republika se do mezinárodního testování žáků zapojila v roce 1991, kdy se tehdejší Výzkumný ústav pedagogický stal členem1 organizace IEA (International Association for Evaluation of Educational Achievement) založené v roce 1959. Tato organizace sdružuje výzkumné a jiné instituce v zemích celého světa a jejich prostřednictvím realizuje mezinárodní šetření zaměřená na sledování úrovně výsledků žáků v různých oblastech vzdělávání a v různých věkových populacích žáků. V roce 1997 začala připravovat svůj první vzdělávací projekt zaměřený na výsledky vzdělávání také organizace OECD (Organisation for Economic Cooperation and Development). Vznikl tak velmi rozsáhlý a nyní již i v České republice poměrně známý mezinárodní projekt PISA (Programe for International Student Assessment). Do tohoto projektu a do jeho přípravy se Česká republika v důsledku svého členství v OECD zapojila v samém počátku a zúčastnila se všech jeho cyklů.

2.1 Projekty IEA a OECD V České republice byla realizována následující šetření organizace IEA: –– Trendy v matematickém a přírodovědném vzdělávání (TIMSS) v letech 1995, 1999, 2007 a 2011, –– Mezinárodní výzkum informačních a komunikačních technologií (SITES) v letech 1999 a 2001, –– Mezinárodní výzkum výchovy k občanství (CivEd a ICCS) v letech 1999 a 2009, –– Mezinárodní výzkum čtenářské gramotnosti (PIRLS) v letech 2001 a 2011, –– Mezinárodní výzkum počítačové a informační gramotnosti (ICILS) v roce 2013.

1) V období 1996–2011 převzal členství Ústav pro informace ve vzdělávání, v současné době zastupuje Českou republiku v IEA Česká školní inspekce.

Mezinárodní šetření v České republice

| 15

Program OECD pro mezinárodní hodnocení žáků PISA je v České republice realizován od svého počátku. Sběry dat proběhly v letech 2000, 2003, 2006, 2009 a 2012, přičemž v každém cyklu je hlavní pozornost věnována jedné z oblastí čtenářské, matematické a přírodovědné gramotnosti. Kromě toho jsou jednotlivé cykly projektu rozšiřovány o další oblasti, které nejsou úplně obvyklé, ale které se ukazují být klíčové pro úspěšný budoucí život žáků, např. oblast řešení problémů či oblast finanční gramotnosti.

2.2 PISA 2015 Projekt PISA ověřuje, jak jsou patnáctiletí žáci připraveni na samostatný život a jaké jsou jejich předpoklady pro další celoživotní vzdělávání. Kromě pravidelného monitorování vědomostí a dovedností patnáctiletých žáků v oblastech tří výše uvedených funkčních gramotností a v dalších vybraných oblastech je projekt zaměřen na zjišťování faktorů souvisejících s osobností a zázemím žáka a školou, kterou navštěvuje. Výzkum klade důraz na vědomosti a dovednosti důležité pro plnohodnotné uplatnění žáků v moderní společnosti a zaměřuje se zejména na takové druhy vědomostí a dovedností, které jedinci poskytují výhodu na trhu práce, v osobním životě nebo v životě obce či jiného společenství. Koncepce projektu umožňuje sledování vývoje v čase, jeho dalšími záměry jsou například sledování homogenity jednotlivých systémů nebo problematika imigrantů. Cyklus PISA 2015 se od  předchozích cyklů projektu v  mnohém odlišuje. Kromě toho že se proměnilo konsorcium institucí, které se na přípravě a realizaci cyklu podílejí, změnil se i způsob zadávání testu. Od převážně papírových testů, kdy žáci psali své odpovědi na otázky do testových sešitů, se kompletně přechází k elektronickému testování žáků. PISA 2015 je zaměřena na detailnější zjišťování přírodovědné gramotnosti žáků, a proto je většina testových úloh z oblasti přírodních věd. V oblasti matematické a přírodovědné gramotnosti budou na menším počtu úloh použitých v minulých šetřeních sledovány trendy výsledků v průběhu času. Česká republika se v současném cyklu zapojila i do volitelného testování v oblasti týmového řešení problémů, což je jak v projektu PISA tak v České republice zcela nový prvek. V rámci přírodovědného testu jsou počítače využity k popisům a simulacím přírodovědných jevů, ke shromažďování, třídění a zobrazování získaných dat, k vyhodnocování pokusů a k tvorbě vědeckých závěrů. V úlohách z oblasti týmového řešení problémů se žák uvede do problémové situace a v prostředí připomínajícím sociální sítě se k němu připojí virtuální spolupracovníci. Hodnotí se schopnost a míra součinnosti žáka při řešení situace. Individuální dotazníky pro žáky, učitele a ředitele škol jsou pro šetření v roce 2015 připravené také v elektronické podobě.

2.3 Koncepční rámec PISA 2015

Obr. 1

K tomu, aby bylo možné vytvořit kvalitní testový nástroj, je třeba mít předem stanovené cíle a záměry, což znamená, že je třeba pregnantně zformulovat, k čemu má testování sloužit, a vymezit, co přesně bude zjišťovat. Ve všech mezinárodních projektech realizovaných jak OECD, tak IEA slouží tomuto účelu tzv. koncepční rámce. Tyto rámce jsou vytvářeny týmy celosvětově uznávaných expertů z různých oblastí vzdělávání. Země účastnící se testování mají vždy na počátku tvorby těchto rámců možnost vyjádřit se k jejich struktuře a obsahu a poskytnout tak mezinárodnímu konsorciu svá doporučení, připomínky či výhrady. Koncepční rámec projektu PISA 2015, který tvoří teoretický základ pro hodnocení čtenářské, matematické, přírodovědné a finanční gramotnosti a hodnocení v oblasti týmového řešení problémů, vychází z revidované Bloomovy taxonomie vzdělávacích cílů. Při jeho tvorbě byla největší pozornost věnována přírodovědnému koncepčnímu rámci a rámci pro týmové řešení problémů. To proto, že přírodovědná gramotnost je v roce 2015 hlavní testovanou oblastí a oblast týmového řešení problémů je v projektu PISA zcela novým prvkem. Koncepční rámce pro oblast čtenářské, matematické a finanční gramotnosti jsou s určitými úpravami převzaty z minulých cyklů projektu PISA. Pro celé šetření přírodovědné gramotnosti žáků je zásadním prvkem dokumentu definice přírodovědné gramotnosti uvedená na Obr. 1. Je nutné zdůraznit, že se nejedná o definici přírodovědné gramotnosti jako takové, ale o definici přírodovědné gramotnosti pro účely výzkumu PISA 2015.

DEFINICE PŘÍRODOVĚDNÉ GRAMOTNOSTI PISA 2015 Přírodovědná gramotnost je schopnost přemýšlet a jednat jako aktivní občan ve všech věcech souvisejících s přírodními vědami a jejich principy. PŘÍRODOVĚDNĚ GRAMOTNÝ ČLOVĚK JE SCHOPEN A OCHOTEN ZAPOJIT SE DO VĚCNÉ DEBATY O PŘÍRODNÍCH VĚDÁCH A TECHNOLOGIÍCH, K ČEMUŽ MUSÍ MÍT NÁSLEDUJÍCÍ KOMPETENCE1: 1. Vysvětlovat jevy vědecky Rozpoznávat, nabízet a hodnotit vysvětlení různorodých přírodních jevů a technologií. 2. Vyhodnocovat a navrhovat přírodovědný výzkum Popisovat a hodnotit přírodovědná zkoumání a navrhovat vědeckovýzkumné otázky. 3. Vědecky interpretovat data a důkazy Analyzovat a vyhodnocovat různé podoby dat, tvrzení a důkazů a vyvozovat odpovídající vědecké závěry.

Mezinárodní šetření v České republice

| 16

V koncepčním rámci přírodovědné gramotnosti PISA 2015 jsou vymezeny tři typy dovedností (jednoznačně popsané v definici), tři druhy znalostí a tři úrovně poznání tak, aby byly účelné pro metodicky správné vytváření otázek, úloh a testů zkoumajících přírodovědnou gramotnost žáka. Pro vystižení podstatných aspektů přírodovědného vzdělávání byly vybrány znalosti v obsahové, procedurální a epistemické dimenzi. Obsahovou znalostí se rozumí znalost základních teorií a principů vědy a znalost obsahu přírodovědných oblastí, procedurální znalostí je označena znalost běžných postupů a strategií používaných při vědeckém zkoumání a epistemickou znalostí se rozumí znalost postupů ověřování a zdůvodňování vědeckých informací a tvrzení při procesech vědeckého objevování. Velký důraz se klade na to, aby znalosti odpovídaly znalostní vývojové úrovni patnáctiletých žáků, měly význam pro skutečné životní situace a představovaly významné přírodovědecké poznatky nebo zásadní, trvale platné principy. V koncepčním přírodovědném rámci PISA 2015 jsou stanovené pouze tři úrovně poznávacího procesu, a to podle množství žákem zvládnutých kroků daného postupu. Z důvodu rozdílného pojetí výuky přírodovědných předmětů v jednotlivých zemích a z důvodu velkého rozsahu učiva jsou pro potřeby šetření PISA 2015 definovány tři přírodovědné oblasti: Fyzikální systémy, Živé systémy a Systémy Země a vesmíru. Z nich jsou dále vybrána témata Zdraví a nemoci, Přírodní zdroje, Kvalita životního prostředí, Ohrožení přírodního prostředí, Další pozoruhodné oblasti vědy a techniky, a to s přihlédnutím k jejich zakotvení v kontextu osobním, místním/národním a globálním. Hodnocení postojů žáků k přírodním vědám a jejich problematice je nedílnou součástí projektu PISA 2015. Je zjišťován zájem o vědu a techniku, povědomí o životním prostředí a vědecký přístup k problému. Tyto postoje jsou považovány za základ pro přírodovědnou gramotnost a jsou zjišťovány prostřednictvím otázek v žákovském dotazníku. Kromě charakteristiky kognitivní oblasti obsahuje koncepční rámec též předpokládané složení a strukturu testu. V dokumentu je například obsaženo, jaké bude zastoupení testových otázek měřících jednotlivé typy dovedností a druhy znalostí, jaké bude zastoupení otázek různé obtížnosti a různých formátů nebo jaké druhy škál budou použity k vyhodnocení výsledků žáků. Ve své definitivní podobě bude Koncepční rámec PISA 2015 zveřejněn ve druhé polovině roku 2013, informace uvedené v tomto v příspěvku vycházejí z jeho pracovní neveřejné verze.

ANNOTATION: International Educational Studies in the Czech Republic The Czech Republic has been participating in the international educational assessment studies since the last decade of 20th century. These studies are projects of two organisations: IEA and OECD. A preparation phase of the new OECD/PISA cycle is currently implemented. The main survey and data collection in schools will be realised in spring 2015 and aims mainly at scientific literacy. The Czech Republic also takes part in the PISA international option called a cooperative problem-solving. In PISA 2015 the paper-based assessment is replaced by the computer-based assessment. The PISA 2015 Framework will represent an important document containing a theoretical background of the study, definitions of literacy domains, structure of assessment etc.

| 17

Maturitní zkoušky 2011 a 2012 – vybraná data Jiří ZÍKA Centrum pro zjišťování výsledků vzdělávání Jankovcova 63, Praha 7, 170 00 [email protected] Abstrakt: V  souvislosti s  implementací maturitní zkoušky a  zejména její společné části se stále častěji diskutuje o jejím postavení v rámci vzdělávacího systému. Tento článek nabízí čtenáři data a argumenty k zamyšlení nad rozsahem a významem některých funkcí maturitní zkoušky a nad možnostmi využití analytických výstupů pro strategická i okamžitá rozhodování. Článek nemá ambice být komplexním ani detailním analytickým vhledem do problematiky. Chce být spíše impulsem k racionálním diskusím o možnosti efektivního využití maximálního množství přímých i synergických efektů maturitní zkoušky. Klíčová slova: maturita, skór, evaluace, certifikace, motivace

1. Úvod K zavedení státní maturitní zkoušky v roce 2011 přistoupila Česká republika po mnoha diskusích v 90. letech 20. století na základě doporučení OECD, které jako jednu z překážek rozvoje vzdělávání u nás definovalo nevyhovující systém hodnocení výsledků žáků na celonárodní úrovni a zároveň roztříštěnost školského systému, ve kterém většina populačního ročníku získávala maturitní vysvědčení, ovšem s velmi omezenou výpovědní hodnotou o kvalitě a rozsahu dosaženého vzdělání. Expertní posudek OECD k hodnoticím systémům našeho vzdělávání ze začátku roku 2012 se dané problematice věnoval znovu. Tentokrát již ale pozitivně hodnotil zavedení externí dimenze hodnocení žáků formou společné části státní maturity s poukázáním na skutečnost, že maturitní zkouška obsahuje jak národní společnou část, tak i část specifickou pro školu, na které se podílejí učitelé školy. V hodnocení se dále objevuje konstatování, že tento model umožňuje takové hodnocení žáků, které je celostátně konzistentní ve formátu i obsahu napříč všemi školami, ale také bere v potaz hodnocení, které je nejlépe realizováno učiteli. OECD zároveň vyslovila jasné doporučení, že standardizované testy by měly být úzce spjaty s cíli vzdělávání žáků, a jasné varování, že testy měří pouze omezenou část znalostí žáka. I když je při tvorbě zkoušek a didaktických testů státní maturity zohledňována maximální šíře ověřování vědomostí a dovedností žáka, nelze při aplikaci jednotného testu postihnout u jednotlivých skupin oborů vzdělání výrazně odlišný podíl jejich vzdělávacích cílů (jako příklad lze uvést gymnázia). Lze předpokládat, že dlouhodobé zúžení záběru zkoušek vzdělávacímu systému přinese velmi nežádoucí dopady. Výše uvedené požadavky lze z určitého úhlu pohledu vnímat jako protichůdné. Na jedné straně je nutné udržet srovnatelnost zkoušky vzhledem k jejímu certifikačnímu charakteru pro všechny typy škol, na straně druhé je však nezbytné umožnit testování v potřebném rozsahu, tedy nikoli jen omezené části vědomostí a dovedností žáka. To vyžaduje nastavit zkoušku jako evaluační nástroj schopný hodnotit i vzdělávací cíle gymnázií a některých odborných SOŠ. Možným řešením je nabídka širšího spektra ověřovaného učiva a jeho obtížnosti formou nepovinných zkoušek. Touto cestou by nedošlo k porušení principu srovnatelnosti a zároveň by bylo vyhověno požadavkům na zohlednění odpovídající šíře ověřovaných vědomostí a dovedností.

Maturitní zkoušky 2011 a 2012 – vybraná data

| 18

2. Základní charakteristika Maturitní zkouška má za sebou dva ročníky (2011 a 2012) a přihlašování k ročníku 2013. Počet přihlášených „prvomaturantů“, těch, kteří ji konali nebo se hlásí k jejímu konání v řádném termínu, kopíruje populační křivku. Od roku 2011 klesl jejich počet z 98,8 tis. na cca 90,5 tis. Tento trend znázorňuje následující graf na Obr. 1.

Obr. 1

Obr. 1 Vývoj počtu žáků přihlášených k řádnému termínu maturitní zkoušky

Obr. 2

Společná část maturitní zkoušky si po celou dobu zachovává základní strukturu povinných zkoušek. Český jazyk a literatura je zkouškou povinnou pro všechny žáky. Jako druhou povinnou zkoušku si může žák zvolit buď matematiku, nebo cizí jazyk, přičemž může volit z pěti cizích jazyků (anglický jazyk, německý jazyk, ruský jazyk, francouzský jazyk, španělský jazyk). Jaká byla strategie volby druhého povinného předmětu podle skupin oborů vzdělání, je zobrazeno grafem jak pro rok 2012 (Obr. 2), tak i pro rok 2011 (Obr. 3). Oproti roku 2011 se v následujícím roce podíl matematiky na 2. povinné zkoušce výrazně zvýšil, a to o celé 4 procentní body (tj. o celou jednu desetinu). Nejvyšší nárůst zájmu o matematiku byl patrný právě v technických oborech SOŠ, SOU a u nástavbového studia. Zjevným důvodem byla snaha maturantů snížit riziko neúspěchu a vyhnout se náročnější realizaci komplexní zkoušky z cizího jazyka sestávající ze tří dílčích zkoušek. Tato strategie se však v konečném důsledku projevila na  meziročním nárůstu neúspěšnosti u zkoušky z matematiky a na mírném poklesu neúspěšnosti u  zkoušky z  německého jazyka. Na zvýšení počtu neúspěšných maturantů z matematiky v  r. 2012 se podílela i  skupina maturantů, které škola k prvnímu konání společné části maturitní zkoušky z obav z neúspěchu raději ještě nepřihlásila (opakování ročníku, přerušení studia apod.). Zdá se, že nesprávnost popsané strategie potvrzují i čísla z přihlášek k maturitní zkoušce 2013. Podíl volby matematiky v rámci druhé povinné zkoušky se vrátil na úroveň 40 % tak, jako tomu bylo v roce 2011

| 19

Obr. 3

Maturitní zkoušky 2011 a 2012 – vybraná data

Při posuzování všech číselných porovnání roku 2011 a 2012 je nutné do úvah zahrnout několik zásadních skutečností, které mohly mít a  dozajista měly vliv na výsledky. Jedná se zejména o to, že v roce 2011 měli žáci možnost volit nepovinné zkoušky v rozdílné úrovni souběžně se zkouškami povinnými, což bylo pro rok 2012 neuplatnitelné. V roce 2012 došlo k zásadní změně v hodnocení písemných prací z českého jazyka a  literatury a  cizích jazyků. Na  rozdíl od  roku 2011 hodnocení prováděli tzv. centrální hodnotitelé, resp. „kalibrovaná“ skupina certifikovaných hodnotitelů. Další významnou změnu přinesla úprava podmínek opakování zkoušky. Pro rok 2012 vstoupila v  platnost úprava, na  jejímž základě je možné v komplexní zkoušce opakovat jen neúspěšnou dílčí zkoušku, a není tedy nutné opakovat celou komplexní zkoušku.

3. Postavení maturitní zkoušky v rámci evaluace a její hlavní funkce Ve všech diskusích se nakonec vždy vynoří otázka po smyslu a cíli maturitní zkoušky. Diskutující kladou dotazy typu „Proč vlastně stát maturitní zkoušku potřebuje?“, „Jaké funkce má maturitní zkouška plnit?“. Za prvé je potřeba vnímat vzdělávací systém jako investici. Stát vynakládá na vzdělávání nemalé prostředky a jako řádný hospodář musí dbát na to, aby byly vynakládány efektivně. A tak pro stát vyvstala a stále vyvstává potřeba rozhodnutí, jak onu efektivitu měřit. Jednou z možností je využití výsledků zákonem stanovené maturitní zkoušky. Jistě je možné široce diskutovat o mnoha dalších způsobech a formách kontroly. Nicméně, diskuse efektivitu nezměří. Navíc se zdá, že problémem není sama maturitní zkouška, ale schopnost využít její výsledky. Obdobně jako o potřebnosti maturitní zkoušky lze diskutovat o rozsahu a šíři dalších jejích funkcí. V rámci tohoto článku se zaměříme na tři, na nichž, jak očekáváme, bude v obecné rovině spíše shoda. Jedná se po řadě o funkci certifikační, informační a motivační. Diskusi pak doprovodíme ukázkami některých datových výstupů, které mohou posloužit v  rozhodování dotčeným skupinám odborné veřejnosti.

Funkce certifikační Nejprve začněme konstatováním, že se jedná o zkoušku stanovenou zákonem. Tím je přímo vymezen její status. Jde o zkoušku, jejíž certifikát (vysvědčení) je nejen obecně uznáván, ale (a to je důležitější) je i předpokládán jinými zákony (např. živnostenský zákon) jako relevantní osvědčení o  dosažení úrovně vzdělání. Lze proto předpokládat, že „spotřebitelé“, tedy převážně vysoké školy a  zaměstnavatelé, oprávněně očekávají od  informací nesených maturitním vysvědčením nemalou míru garance validity a srovnatelnosti. Z pohledu srovnatelnosti jde jednak o dodržení standardních podmínek pro konání zkoušky v rámci maturitního ročníku, jednak ale také o srovnatelnost v čase. Hlavními pilíři srovnatelnosti v rámci jednoho zkušebního období jsou: jeden test pro všechny a relativně rigidní metodiky zaručující přiměřenou, rozumně dosažitelnou stejnost procesu i auditovatelnost všech rozhodných kroků zkoušky. Pro meziroční srovnatelnost má zásadní význam specifikační tabulka testu a její aplikace při tvorbě testu jako takového. Jako příklad může být uvedena stručná metodika sestavování testu z matematiky. Specifikační tabulka testu obsahuje 3 základní parametry specifické pro test z konkrétního předmětu. Jedná se o tematický celek, obtížnost a typ úlohy. Zastoupení témat v testu se kvantifikuje počtem bodů za úlohy, v nichž jsou témata obsažena. (Podobně se kvantifikují i ostatní parametry.) Test z matematiky v základní úrovni obtížnosti by měl obsahovat 54 % – 60 % bodů za úlohy v základní úrovni (tzv. základní úlohy) a 40 % – 46 % bodů za standardní a nadstandardní úlohy, přičemž bodové hodnocení nadstandardních úloh nesmí překročit 10 % celkového počtu bodů za test. Základní úlohy by měl být schopen řešit každý „minimální“ žák, tedy žák splňující minimální požadovanou úroveň u maturitní zkoušky. Předpokládá se, že „minimální“ žák může v polovině z těchto úloh chybovat, tedy může získat 27 % – 30 % bodů. Vzhledem ke standardnímu počtu uzavřených úloh v testu lze stanovit náhodné skóre testu z matematiky kolem 9 %, tedy minimální žák by měl v testu dosáhnout alespoň na 36% úspěšnost. Měl by tedy překročit stanovenou hranici cut off score 33 %. Pokud od této hranice odečteme náhodné skóre testu, dostáváme se těsně pod 25 %, což bývá tradičně hranice pro známku 4 v klasickém známkování ve škole při písemných pracích sestavovaných pouze z otevřených úloh. Dalším kritériem je typ úlohy. V didaktickém testu z matematiky je rozložení úloh podle typů pevně stanoveno. Test musí splňovat ještě mnoho dalších kritérií, která se při sestavování testů kontrolují (způsob zadání úlohy, pracnost řešení, stupeň osvojení určité dovednosti atd.). Každá úloha testu tedy zahrnuje určitou kombinaci hodnot mnoha parametrů (kritérií). Při sestavování testu je třeba hlídat, aby se v testu konkrétní kombinace neopakovaly. Podobně jako kterákoli jiná forma zkoušky ani test nemůže ověřit kompletní škálu testovatelných položek vhodných pro daný předmět. Nicméně výběr položek musí zajistit

Maturitní zkoušky 2011 a 2012 – vybraná data

| 20

Obr. 5

Obr. 4

dostatečnou šíři i variabilitu, aby bylo dosaženo požadovaných specifických cílů a  nedocházelo pouze k nácviku předvídatelného. V kontextu s certifikační funkcí je nutné se zabývat i  fenoménem srovnatelnosti zkoušky jako takové. Jsou-li totiž s  maturitním vysvědčením spojena stejná práva před zákonem pro všechny jeho držitele, mělo by platit, že s  jeho získáním musí být spojeny i  stejné povinnosti. Maturitní zkouška by tak měla být všemi konána za  srovnatelných podmínek a  její výsledky by měly být hodnoceny stejně tak srovnatelným způsobem. Po  prvních dvou letech máme v této souvislosti k dispozici dostatek dat, abychom se na jejich základě mohli pustit minimálně do úvah o  tomto parametru. Jedním z  příkladů vhodných k takovým úvahám je srovnání hodnocení písemných prací centrálními hodnotiteli a hodnotiteli ve školách a druhým pak je vlastní relace mezi hodnocením společné části maturitní zkoušky a hodnocením profilové části. Očekávalo se, že přechod na  centrální, na  škole nezávislé hodnocení písemných prací, může výrazným způsobem zvýšit nejen hladinu neúspěšnosti žáků, ale i distribuci neúspěšnosti mezi obory vzdělávání. Příčinu tohoto nepříznivého důsledku lze hledat v připravenosti škol a žáků na tuto změnu. Ukázalo se však, že situace v jednotlivých předmětech je zásadně odlišná. Přesněji řečeno, výrazné odlišnosti se objevily mezi českým jazykem a cizími jazyky. Lze je dobře demonstrovat na  grafech prezentovaných na Obr. 4 a Obr. 5. V  českém jazyce došlo k  výraznému nárůstu neúspěšnosti, a  to napříč všemi skupinami oborů. Evidentně tu byl podceněn možný dopad onoho zásadního faktoru, tedy anonymity hodnocení. Možné riziko nebylo dobře a s dostatečným předstihem komunikováno a zdá se, že ani dodatečně nebyla dostatečně identifikována míra důsledků nastolené změny. Nade vši pochybnost došlo k  tomu, že se metoda zkoušení dramaticky odchýlila od metody výuky. V případě anglického jazyka v oborech s nejlepšími výsledky (tj. gymnázia, lycea, obchodní akademie apod.) došlo se změnou systému hodnocení písemných prací naopak ke snížení neúspěšnosti, zatímco v oborech s tradičně vysokou neúspěšností (nástavbové studium) neúspěšnost ještě mírně vzrostla. V případě angličtiny se tak potvrdilo, že didaktická praxe výuky písemného projevu, resp. jeho hodnocení je na většině škol v přiměřeném souladu s metodikou ověřování těchto dovedností v rámci maturitní zkoušky. Maturitní zkoušce byla často veřejností i médii podsouvána nízká kvalita testů, nesrovnatelnost testů, netransparentnost atd. Hlubší diskuse nad těmito nařčeními je nad rámec a mimo cíl tohoto článku. Protože jsme ale v úvodu akcentovali srovnatelnost v čase, pokusíme se demonstrovat její úroveň dvěma příklady srovnání testů ekvipercentilovou metodou. Učiníme tak i přesto, že nemůžeme prokázat plnou srovnatelnost porovnávaného vzorku maturitní populace jarního zkušebního období roku 2011 a jarního zkušebního období 2012. Porovnání byly podrobeny výsledky žáků, kteří konali zkoušku v řádném termínu jako povinnou a byli hodnoceni.

| 21

Obr. 6

Maturitní zkoušky 2011 a 2012 – vybraná data

Obr. 7

Z grafu na Obr. 6 je patrná výrazná shoda průběhů závislosti dosaženého procentního skóru a percentilu u didaktického testu z anglického jazyka v základní úrovni obtížnosti. Obdobně je tomu tak i na Obr. 7 u didaktického testu z matematiky v základní úrovni obtížnosti. Zdrojem odchylky křivky pro rok 2012 v oblasti vyšší úspěšnosti může být zejména zásadní změna v konceptu nepovinných zkoušek. V roce 2012 neměli totiž žáci možnost konat povinnou a nepovinnou zkoušku souběžně.

| 22

Maturitní zkoušky 2011 a 2012 – vybraná data

K dokreslení kvalitativních parametrů testů uvedeme ještě tabulku reliability vyjádřenou hodnotou Cronbachova alfa. POČET KONANÝCH ZKOUŠEK

TEST

ČESKÝ JAZYK A LITERATURA

ANGLICKÝ JAZYK

NĚMECKÝ JAZYK

FRANCOUZSKÝ JAZYK

ŠPANĚLSKÝ JAZYK

RUSKÝ JAZYK

MATEMATIKA

CRONBACHOVO ALFA

2011 – J*

2012 – J*

2011 – J*

2012 – J*

rozdíl 11/12 jaro

Z

79 648

84 225

0,74

0,69

-0,05

V

5 250

2 932

0,71

0,70

-0,01

Z

37 575

39 100

0,89

0,90

0,01

V

6 418

2 872

0,89

0,84

-0,05

Z

7 630

7 113

0,88

0,89

0,01

V

401

157

0,93

0,89

-0,04

Z

245

189

0,86

0,87

0,01

V

111

52

0,90

0,87

-0,03

Z

162

154

0,90

0,92

0,02

V

88

55

0,87

0,83

-0,04

Z

1 205

1 403

0,84

0,84

-0,01

V

61

26

0,90

0,76

-0,13

Z

33 396

38 892

0,87

0,86

-0,01

V

6 400

2 049

0,82

0,79**

-0,03

* J = jarní zkušební období ** V testu ve vyšší úrovni způsobuje nižší hodnotu Crombachova alfa velký rozptyl učiva (aritmetika, geometrie, kombinatorika), jehož míra osvojení je požadována na relativně dobré úrovni. Projevují se zde specifické rozdíly žáků podobně jako rozdíly mezi výkony v jednotlivých disciplínách u desetibojařů na vyšší výkonnostní úrovni.

Funkce informační

Obr. 7

Maturitní vysvědčení poskytuje v podstatě dva druhy informací o úrovni dosaženého vzdělání. Známky ze společné části maturitní zkoušky spolu s Protokolem o výsledcích společné části maturitní zkoušky obsahujícím informace o procentní úspěšnosti a percentilovém postavení poskytují jednak informaci o míře zvládnutí určitého, předem daného rozsahu vědomostí a dovedností, jednak informaci o relativním postavení dosaženého výsledku v rámci maturitního ročníku. Výhodou je, že se jedná o  výsledky s  větším či menším přiblížením (podle typu dílčí zkoušky) srovnatelné a  nezávislé. Známky z  profilové části pak poskytují informace o tom, jak žák zvládl učivo odborných a dalších všeobecně vzdělávacích předmětů. K  této informaci, aby byla přijatelně vypovídající, je potřeba znát ještě identifikaci konkrétní školy a  její renomé atd. V  následující části tohoto článku se pokusíme zobrazit se stručnými komentáři příklady některých informací, které jsou jako výstup maturitní zkoušky poskytovány cílovým skupinám.

Maturitní zkoušky 2011 a 2012 – vybraná data

| 23

Nejprve se budeme věnovat „globálním“ informacím postihujícím maturitní ročníky jako celek. Žák může složit maturitní zkoušku až ve třech pokusech v průběhu pěti let od úspěšného ukončení středního vzdělávání. Jak to tedy vypadá např. s maturanty, kteří se hlásili k první reformované maturitní zkoušce ve školním roce 2010/2011? Z celkového počtu přihlášených v listopadu 2010 dosud maturitní vysvědčení nezískalo necelých 13 % žáků, tj. 12,8 tis. V následujících termínech, tedy podzimním 2011, resp. jarním 2012, resp. podzimním 2012, se k původním 72 % úspěšných připojilo postupně 9 %, resp. 5 %, resp. 1 % žáků přihlášených v roce 2010. Varovnost tohoto sdělení podtrhuje skutečnost, že 3 % přihlášených, tj. 23 % těch, kteří dosud maturitu nevykonali úspěšně, vyčerpalo všechny opravné pokusy a maturitní zkoušku bez opětovného absolvování střední školy již nezískají vůbec. Jedná se v absolutním vyjádření o celkem 2,9 tis. žáků. Přes 8 % přihlášených, tj. 64 % těch, kteří dosud maturitu nevykonali úspěšně, se v uplynulých 4 zkušebních termínech nedostavilo ani k jedné zkoušce. S vysokou pravděpodobností se jedná o ty, kteří na získání maturitního vysvědčení rezignovali. Pouhých 1,7 % přihlášených, tj. 13 % těch, kteří dosud maturitu nevykonali úspěšně, se o absolvování maturitní zkoušky aktivně snaží. Velmi pravděpodobně tak dojde k tomu, že z celkového počtu 98,8 tis. přihlášených v roce 2010 maturitní zkoušku nezíská zhruba 12 % bývalých žáků středních škol. Jde o objem rovnající se zhruba polovině ročního počtu všech maturantů na gymnáziích. V obou zkušebních obdobích roku 2012 složilo maturitní zkoušku z českého jazyka a literatury úspěšně 97,4 % žáků, kteří zkoušky konali. Čistá míra neúspěšnosti tak činí pouhých 2,6 %. Proti roku 2011 se čistá neúspěšnost snížila o půl procentního bodu, a to navzdory tomu, že hodnocení písemných prací, tedy druhé dílčí zkoušky, probíhalo na rozdíl od roku 2011 v roce 2012 nezávisle na školách (tedy centrálně). Ve srovnání s rokem 2011 se mezioborové rozdíly neúspěšnosti snížily. Zřetelně jsou patrné tři skupiny oborů – (1) gymnázia a lycea, (2) obory SOŠ a (3) obory SOU a nástavbového studia. Výsledky, podobně jako v  roce 2011, nepotvrdily skeptické informace o  nízké či klesající úrovni čtenářské gramotnosti českých maturantů. Díky centrálnímu hodnocení písemných prací se však ukázaly poměrně zásadní, nicméně očekávané rozdíly v úrovni stylistických schopností, tedy ve schopnosti písemného projevu našich maturantů. Čistá míra neúspěšnosti žáků u  maturitní zkoušky (podíl neúspěšných ke konajícím) činila po jarním zkušebním období v případě zkoušky v základní úrovni obtížnosti 10,0  %, v  případě zkoušky ve  vyšší úrovni obtížnosti 1,6  % (v  oborech SOU a  nástavbového studia se pohybovala mezi 17 % až 22 %). Je pravděpodobné, že významný vliv zde měl faktor na škole nezávislého hodnocení písemných prací. Neúspěšnost žáků, kteří konali druhou povinnou zkoušku společné části maturitní zkoušky z  cizího jazyka, činí po dvou zkušebních obdobích roku 2012 necelá 4  %. Meziročně klesla čistá neúspěšnost v  cizím jazyce o  bezmála 3 procentní body (v  roce 2011 6,8 %). Jedním z významných faktorů zlepšení je skutečnost, že zejména žáci se slabším studijním potenciálem dali při volbě předmětu druhé povinné zkoušky přednost matematice. Tato skutečnost se proto projevila v případě cizích jazyků poměrně výrazným zlepšením výsledků v těch oborech, které lze zahrnout do  skupiny rizikových oborů. Přes toto relativně pozitivní konstatování je však třeba říci, že úroveň dovedností je v  jednotlivých cizích jazycích velmi odlišná a zejména z pohledu oborové struktury maturantů velmi nevyrovnaná. Zatímco v  případě angličtiny (ke  zkouškám se přihlásilo 44,1 tis. žáků) se průměrná neúspěšnost ve skupinách oborů pohybovala v intervalu od 0,4 % do 14,3 %, v případě němčiny (ke zkoušce se přihlásilo 7,1 tis. žáků) v intervalu od 0,0 % do 27,5 %. Úroveň čisté neúspěšnosti žáků konajících druhou povinnou zkoušku z  matematiky dosáhla po  dvou zkušebních obdobích roku 2012 hodnoty 11,7  %. Ve  srovnání s  rokem 2011 jde o  nárůst zhruba jednoho procentního bodu. Rozhodujícím faktorem byla

Maturitní zkoušky 2011 a 2012 – vybraná data

| 24

zvýšená preference matematiky jako předmětu druhé povinné zkoušky, a to zejména u žáků rizikových oborů, tj. zejména oborů SOU, oborů nástavbového studia a některých humanitně orientovaných oborů SOŠ. V těchto případech je meziroční snížení neúspěšnosti u cizích jazyků kompenzováno nárůstem neúspěšnosti v matematice. Z pohledu rizika neúspěchu v matematice lze poměrně jednoznačně definovat 3 základní skupiny oborů: 1.) gymnázia, lycea a  vybrané technické obory SOŠ s hodnotami čisté neúspěšnosti pod 4 % žáků konajících zkoušku; 2.) technické obory SOU a  nástavbového studia a  ekonomické, hotelové a  zemědělské obory vzdělání SOŠ s  průměrnými hodnotami čisté neúspěšnosti mezi 11 % až 18 % žáků konajících zkoušku; 3.) humanitní, umělecké a  zdravotnické obory SOŠ a netechnické obory SOU a nástavbového studia, kde po  dvou zkušebních obdobích vykonalo zkoušku neúspěšně od 24 % do 35 % žáků konajících zkoušku. Relativně velkou vypovídací hodnotu s ohledem na rozsáhlost a strukturu vzorků má srovnání výsledků jednotlivých krajů. Jako ukázku uvádíme vývoj a strukturu čisté neúspěšnosti v kalendářním roce 2012, a to v porovnání neúspěšnosti po jarním termínu a po podzimním termínu. Porovnání je zobrazeno samostatně pro maturitní zkoušku jako celek a samostatně pro profilovou část. Jak je patrno z  grafu, neúspěšnost „nových“ maturantů, kteří zkoušky konali, činila téměř 22  %. V  tradičně nejméně úspěšném Ústeckém kraji však na  jaře neodmaturovala téměř třetina těch, kteří se ke zkouškám dostavili. Nejúspěšnější v podzimním termínu byli maturanti ve  Zlínském, Pardubickém a  Královéhradeckém kraji, dále v kraji Vysočina a v Praze. Naopak nejméně klesla neúspěšnost v Karlovarském a Ústeckém kraji. Úroveň čisté neúspěšnosti u profilové části MZ se pohybovala v  jarním termínu mírně nad 6  %. Po podzimním zkušebním termínu klesla pod 2 %, a to celorepublikově i v 10 krajích. Zbývající čtveřici krajů tvoří západní kraje s hodnotami čisté neúspěšnosti mezi 2,7 % a 3,7 %. Největší relativní pokles lze zaznamenat ve Zlínském, Královéhradeckém a Pardubickém kraji. Domníváme se, že tato data mohou být přinejmenším výrazným impulzem pro strategická rozhodování. Fenomén, který je také zřetelně prezentován výsledky maturitní zkoušky, je tzv. nadměrná koncentrovaná neúspěšnost, která se projevuje zejména zvýšeným až vysokým podílem žáků jedné školy či oboru, kteří neuspěli u maturitní zkoušky, resp. u  zkoušek její společné části v  určitém definovaném segmentu. Její rozpoznání je jedním z  přímých důsledků plošné objektivity (srovnatelnosti hodnocení) společné části maturitní zkoušky. Po dvou zkušebních termínech roku 2012 existuje celkem 90 škol, kde v příslušné skupině oborů vzdělání nesložilo úspěšně maturitní zkoušku více než 60 % žáků, a škol s nadpoloviční neúspěšností je celkem 184. S více než 30% neúspěšností v dané skupině oborů se pak vyrovnává celkem 553 škol, tj. plná pětina škol. Největší míra koncentrované neúspěšnosti je zřejmá ve skupině oborů středních odborných učilišť a v nástavbovém studiu. V netechnických oborech nástavbového studia odmaturovala po dvou zkušebních termínech méně než polovina maturantů na plné pětině středních škol a obdobně je tomu i v případě netechnických oborů SOU (17 % škol). Nejmenší podíl škol s rizikem neúspěš-

Maturitní zkoušky 2011 a 2012 – vybraná data

| 25 nosti větším než 30 % je v segmentu odborného školství ve  skupině vybraných technických oborů (strojírenství, elektrotechnika, informační technologie, stavebnictví a chemie), přesto se však jedná o každou desátou z celkem 227 škol. Proti roku 2011 se podíl rizikových škol poměrně výrazně zvýšil. Jestliže v  roce 2012 je možné za  extrémně rizikové školy (s  více než 50% neúspěšností) označit více než 180 škol, v roce 2011 to bylo o plnou stovku méně. Jak bylo výše konstatováno, na  zvýšení počtu neúspěšných maturantů z  matematiky v  r. 2012 se jistě podílí skupina maturantů, které škola k prvnímu konání společné části maturitní zkoušky z obav z neúspěchu raději nepřipustila. (Opakováním ročníku či přerušením studia se však nepříznivá situace oddálila zpravidla jen o jeden rok.)

Maturitní zkoušky 2011 a 2012 – vybraná data

| 26

Funkce motivační Stále častěji a ve stále větší míře se na různých setkáních odborné pedagogické veřejnosti hovoří o poklesu úrovně vědomostí a dovedností žáků. Stejně často jsou tyto stesky doprovázeny úvahami o  absenci motivace, zejména pak té, kterou lze označit jako motivaci profesní, s poukázáním na skutečnost, že míra korelace mezi studovanou profesí a vykonávanou profesí je minimální. V této souvislosti je zcela na  místě otázka, jak a  do  jaké míry může do  motivačního procesu vstoupit evaluace a  specificky s  ohledem na téma tohoto článku maturitní zkouška. Možná, s trochou nadsázky, jde o podobný fenomén, jakým je otázka, zda bylo dříve vejce nebo slepice. Tedy o problém vyjádřený následujícími úvahami. Platí spíše tvrzení „Co se učí, to se zkouší”, nebo „Co se zkouší, to se učí”? A dále pak „Zkouší se tak, jak se učí”, nebo „Učí se tak, jak se zkouší”? Asi není pochyb, a pravděpodobně každý soudně uvažující člověk by odpověděl, že v dobře fungujícím kvalitním vzdělávacím systému platí prvně jmenované premisy. Jinými slovy, určujícím by mělo být kurikulum a jeho naplňování ve vzdělávacím systému a evaluace by měla sloužit pouze jako indikace kvality naplňování této chtěné zásady. Co když tomu ale tak není? Existují příklady, které tento optimistický pohled poněkud zakalují. Zdá se, že pragmatický přístup profesně nemotivovaných žáků je takovou silou, která dokáže i kvalitní a poctivé pedagogy směrovat ke stejně pragmaticky orientované výuce, tedy k posílení nebo zcela dominantnímu zařazení učební látky odpovídající racionálnímu cíli v podobě úspěšně složené zkoušky. Je nasnadě, že to není nebo by alespoň (dle mého soudu) neměl být chtěný cíl. Nicméně, jde o realitu, s níž je potřeba počítat a zahrnout ji do úvah o struktuře a rozsahu zkoušených vědomostí a dovedností a rozsahu a struktuře evaluace. Odhalení motivačního efektu v rámci maturitních zkoušek 2011 a 2012 je obtížné. Do strategie žáků pro maturitní zkoušku totiž zasáhly významnou měrou legislativní změny. Rozhodným způsobem tak bezesporu fungovalo omezení možnosti konat jednu a tutéž zkoušku v obou úrovních úspěšnosti pro rok 2012. Z následujícího grafu zobrazujícího změny průměrné úspěšnosti skupin oborů v matematice základní mezi rokem 2011 a 2012 je zřetelně vidět, že k výraznějšímu poklesu úspěšnosti dochází u oborů tradičně v  matematice úspěšnějších. Naopak mírnější pokles nebo dokonce nárůst úspěšnosti zaznamenaly spíše obory na  opačném konci pomyslné stupnice úspěšnosti skupin oborů. Identifikovaný trend mírně koriguje skutečnost, že cca 500  nejlepších žáků gymnázií a  technických škol si v  roce 2012 volilo zkoušku ve  vyšší úrovni obtížnosti. Obdobný fenomén s uvedenou korekcí lze pozorovat i v případě porovnání odstupu průměrné úspěšnosti gymnázií od  průměrné úspěšnosti

Maturitní zkoušky 2011 a 2012 – vybraná data

| 27

maturitního ročníku a téhož porovnání SOUO (Střední odborná učiliště ostatní). Jak je patrno z grafu, u valné většiny skupin úloh došlo u gymnázií ke ztrátě „postavení“ mezi léty 2011 a 2012 na rozdíl od SOUO, kde graf prokazuje opačný trend. Na základě obou jednoduchých hrubých porovnání lze s jistou mírou opatrnosti vyřknout hypotézu, že stávající model maturitní zkoušky vede k nivelizaci. K jejímu potvrzení by však bylo nutné podrobit výstupní data detailnější analýze. Jisté však je, soudě podle poznatků pracovníků CZVV ze škol, že konkrétně v  matematice dochází v některých gymnáziích ke snahám o snížení hodinových dotací a k eliminaci seminářů motivovaných zkouškou ve vyšší úrovni obtížnosti. K podpoře motivační funkce maturitní zkoušky lze bezesporu uvést příklad výrazně rozdílného lokálního zastoupení úrovní obtížnosti v  matematice. Pokud tedy interpretujeme data z  následujících grafů, je možné konstatovat, že v  Praze i  Jihomoravském kraji (v  grafu značeno jako Brno) byl v roce 2012 velmi podobný podíl volby matematiky jako druhého povinného předmětu (něco málo pod 40 %). Co se však velice liší, je rozdělení žáků do  základní a  vyšší úrovně obtížnosti. Na  základě izolovaného posouzení průměrného výsledku (nebo průměrného percentilového umístění) základní úrovně má Jihomoravský kraj lepší výsledky. Při pohledu na  výše uvedené grafy však musíme dojít při hodnocení všech žáků k opačnému výsledku. Jedním z dobrých vysvětlení je, že v Praze se projevil motivační faktor ochoty vysokých škol přihlížet k výsledkům vyšší úrovně v rámci přijímacích řízení. Dle mého názoru není možné se vyhýbat při úvahách o maturitní zkoušce faktu, že školy se realisticky přizpůsobí požadavkům maturit. Tedy slabší školy, pro něž je základní úroveň vysoce motivační, budou nuceny postupně zlepšovat svoji úroveň výuky (tento trend byl již naznačen výše), dobré školy si minimálně udrží dosavadní standard, možná se slabší žáci z dobrých škol také zlepší. Určitě se však budou zejména gymnázia zhoršovat právě v oblastech, které maturita nebude ověřovat.

3 Závěr Tento krátký exkurz do možností užití dat získaných v rámci maturitní zkoušky mohl jen velmi obecně poukázat na jejich analytický potenciál. Problémem není nedostatek dat či jejich „síla“. Problém je spíše v ochotě je využít a ve schopnosti je správně interpretovat. ANNOTATION In relation to implementing the Maturita exam and in particular its state joint part, its position within the education system is more and more frequently discussed. This article is an attempt at offering readers data and arguments for considering the extent and significance of certain functions of the Maturita exams and also the possibilities of using the analytical output for strategic and immediate decision-making. The article does not have the ambition of providing a thorough or detailed analytical overview of the situation, rather it aims to be an impulse for rational discussion on the possibilities of effectively using the maximum amount of direct and synergetic effects of the Maturita exam.

| 28

Jací budou maturanti 2016? Jan HUČÍN1 Scio, oddělení vědy, výzkumu a vývoje Pobřežní 34, Praha 8, 186 00 [email protected]

1

Abstrakt: Pro zjištění zajímavých závěrů ze sebraných údajů dat je kromě validních dat nutné mít i vhodný model. Promyšlený záměr a fungující model umožňují efektivně vytěžit i malý objem dat. Článek přináší odhad výsledků středoškoláků, především gymnazistů, ve výstupních testech projektu Vektor ve  školním roce 2015/16 ve  srovnání s  předchozími stejně starými žáky. Pro konstrukci předpovědí jsou použita data testování v  1. a  4. ročnících na  podzim 2009 a 2012 spolu s dvěma typy modelů: dvouparametrický model IRT propojuje data ve stejných ročnících mezi různými roky, lineární regresní model pak výsledky stejných žáků ve vstupním a výstupním testování. Klíčová slova: testování, střední školy, předpověď, IRT, propojení testů

1. Úvod Leckterý analytik se během své profesionální kariéry již setkal s požadavkem „máme nějaká data a potřebujeme z nich vytáhnout něco zajímavého“. Představa, že zkušený statistik dokáže libovolná data proměnit v  atraktivní analytickou zprávu, je bohužel stejně tak rozšířená jako naivní a falešná. Ani velké množství údajů sebraných na reprezentativním vzorku totiž samo o sobě k cíli nevede. Stejně důležité je mít jasný výzkumný záměr, případně připravený datový model. To platí zejména pro konstrukci předpovědí. Abychom získali věrohodnou předpověď, není vždy nezbytné disponovat mnoha údaji, podstatný je dobře fungující předpovědní model. Například pro úspěšnou krátkodobou předpověď přechodu studené fronty postačuje pozorování nízko létajících vlaštovek a model spojující chování hmyzu s poklesem atmosférického tlaku. Tento příspěvek se sice nezabývá ptactvem ani meteorologickými jevy, i tak však ukazuje, že lze pomocí jednoduché konstrukce odhadnout pro skupinu žáků jejich úspěšnost v testech výsledků vzdělávání od současnosti za tři roky. Postačují k tomu údaje ze středoškolského testování Vektor, konkrétně z testování 1. a 4. ročníků na podzim 2009 a 2012, a aplikace dvou statistických metod: tzv. item-response theory (IRT) a lineární regrese. Kvůli omezené reprezentativitě vzorku nelze sice vztahovat předpověď na celou populaci středoškoláků, nicméně u gymnázií je zobecnění možné. Více na téma reprezentativity v kapitole Diskuse a závěr. Ještě je třeba dodat, že výpověď o budoucích maturantech budeme formulovat jako jejich srovnání s předchozími kohortami, konkrétně s maturanty v letech 2010 a 2013. Testy projektu Vektor byly totiž tzv. srovnávací, jak je v tuzemských poměrech obvyklé, nikoli tzv. ověřovací. Věříme nicméně, že ani toto omezení neubere našim zjištěním na zajímavosti. Společnost Scio má sice v současné době k dispozici i ověřovací testy, ty však ještě nemají dostatečně dlouhou historii, abychom je mohli využít k jakékoliv předpovědi.

2. Jak jsme dospěli k předpovědi 2.1 Data a model Projekt Vektor nabízí již od roku 2005 středním školám možnost zadat svým žákům srovnávací testy v 1. a 4. (v dřívějších letech ve 3.) ročníku, a to z českého jazyka, matematiky, anglického jazyka i z několika dalších všeobecně vzdělávacích předmětů. Součástí balíčku testů je i test obecných studijních předpokladů (OSP). Pokud žák absolvuje vstupní testování na začátku středoškolské docházky i výstupní testování před jejím koncem, získá informaci, jak se ve kterém předmětu (případně v OSP) mezi ostatními žáky posunul v pořadí – tzv. relativní posun. Testy v 1. ročníku a o tři roky později ve 4. ročníku jsou tedy propojeny přes stejné účastníky. Pro účely tohoto článku jsou důležitá testování v letech 2009 a 2012. Počty účastníků ve vybraných testech uvádí Tabulka 1.

Tabulka 1. Celkové počty účastníků vybraných vstupních a výstupních testů Vektor v letech 2009 a 2012 2009

2012

test

1. r.

4. r.

1. r.

4. r.

účast i v 1. r.

Aj

9 568

12 576

5 650

7 497

6 074

Čj

10 824

15 355

5 845

8 428

6 926

Ma

10 707

8 224

5 806

8 085

6 696

OSP

10 766

14 638

5 646

8 174

6 849

| 29

Jací budou maturanti 2016?

Testování bylo pro školy dobrovolné, počty účastníků se tedy mohly v každém roce i značně lišit. Rozdílné mohlo být (a také bylo) i složení účastníků podle typu středoškolského oboru (pro zjednodušení budeme užívat termín „typ školy“). Projektu Vektor se účastní především víceletá a čtyřletá gymnázia, naopak účast žáků ze SOU je mizivá. Zastoupení žáků ve vzorku účastníků SOŠ bylo v roce 2009 přibližně stejné jako gymnazistů, v roce 2012 byla účast SOŠ oproti gymnáziím již jen poloviční. Z toho mimo jiné vyplývá, že výsledky je třeba prezentovat s ohledem na nestejné složení vzorku. Počty účastníků z různých typů SŠ v testech let 2009 a 2012 uvádí tabulka 2.

Tabulka 2. Počty účastníků vybraných vstupních a výstupních testů Vektor podle typu SŠ v letech 2009 a 2012 1. r.

4. r.

GV

G4

ost. SŠ

GV

G4

ost. SŠ

Aj

1 915

2 945

4 708

2 408

4 573

5 595

Čj

1 996

3 092

5 736

2 703

5 095

7 557

Ma

1 998

3 095

5 614

2 009

3 602

2 613

OSP

2 072

3 164

5 530

2 694

5 034

6 910

Aj

1 702

2 151

1 797

1 838

2 589

3 070

2009

Čj

1 726

2 203

1 916

1 924

2 760

3 744

Ma

1 696

2 159

1 951

1 820

2 626

3 639

OSP

1 729

2 157

1 760

1 879

2 728

3 567

2012

Každoročně obsahovaly testy projektu Vektor novou sadu úloh. Pro podzim 2012 však byly jak ve vstupním, tak ve výstupním testování připraveny testy obsahující několik úloh již použitých před třemi roky, tj. na podzim 2009. Opakování úloh právě po třech letech nebylo stanoveno náhodně, jde o stejný časový odstup jako mezi vstupním a výstupním testováním. Školy na opětné zařazení několika stejných úloh nebyly předem upozorněny, a proto lze předpokládat, že účastníkům testování – snad až na zcela ojedinělé výjimky – tyto úlohy nebyly předem známy a při řešení tedy nebyli nijak zvýhodněni. Testy ve stejných ročnících mezi roky 2009 a 2012 tedy byly propojeny přes některé (tzv. kotvicí) úlohy. Počty úloh opakovaně zařazených do testů roku 2012 v jednotlivých a ročnících uvádí tabulka 3.

Tabulka 3. Počty úloh převzatých z testů v roce 2009 do roku 2012 1. r.

4. r.

Aj

10

15

Čj

8

8

Ma

6

7

OSP

12

16

Mají-li dva testy některé úlohy společné, je možné přepočítat jejich výsledky na společnou škálu (pro tento postup, zvlášť pokud to jsou testy administrované současně nebo v nevelkém časovém odstupu, se používá pojem harmonizace). Pro přepočet výsledků existuje několik metod, například ekvipercentilová metoda ([1], [2]) nebo aplikace některého z modelů IRT ([3], [4]). U projektu Vektor jsme se rozhodli použít dvouparametrický model IRT, a to proto, že je jednak komplexnější než jednoparametrický Raschův model, jednak umožňuje další propojování testů v budoucnosti.

Obr. 1

Obrázek 1. Schéma propojení testů

Jací budou maturanti 2016?

| 30

V každé testové doméně (předmětu, resp. testu OSP) tak vznikl propojený řetězec testů pro 1. a 4. ročníky v letech 2009 a 2012. Zabývali jsme se však pouze testy z českého jazyka, matematiky, anglického jazyka a OSP, neboť ostatní testy měly příliš nízký počet účastníků. Právě dostatečně velké vzorky jsou nezbytné k tomu, aby každé propojení testů bylo patřičně přesné i na menším počtu úloh. Jak jsme nyní předpověď konstruovali? Postup se u každé domény skládá ze čtyř kroků postupně propojujících jednotlivé testy a využívajících toto propojení. 1.) Výsledky výstupního testování v letech 2009 a 2012 jsme pomocí IRT přepočetli na stejnou škálu se střední hodnotou 100 a směrodatnou odchylkou 15.1 Jako vedlejší produkt jsme tak dostali srovnání žáků výsledků 4. ročníků v uvedených letech. 2.) Je třeba zjistit, jaký je vztah mezi výsledky stejného žáka ve  vstupním testování (podzim 2009) a  ve  výstupním testování (podzim 2012). Na individuální úrovni je samozřejmě vztah zatížen mnoha vlivy, ať už systematickými, nebo náhodnými. Při mnohatisícovém vzorku se ovšem individuální odchylky navzájem kompenzují a vztah lze vyjádřit pomocí regresní křivky. Ukázalo se, že u všech uvažovaných testů postačuje použít lineární regresi, tedy přímku. Regresní přímka pak každému výsledku ve vstupním testu v roce 2009 přiřazuje očekávaný výsledek ve výstupním testu v roce 2012. 3.) Nakonec jsme podobně jako u výstupního testování (krok 1) provedli přepočet na stejnou škálu u vstupního testování. Tím jsme získali srovnatelnost výsledků žáků 1. ročníku v roce 2009 a v roce 2012. 4.) Nyní můžeme pro každého účastníka vstupního testování z podzimu 2012 vzít jeho výsledek a zjistit, jaký je jeho očekávaný výsledek ve výstupním testování podle regresní přímky stanovené v kroku 2. Pokud toto provedeme pro všechny účastníky vstupního testování na podzim 2012, je průměr jejich očekávaných výsledků ve výstupním testování vlastně předpovědí průměrného výkonu v testu pro 4. ročník na podzim 2015, což odpovídá skládání maturitní zkoušky na jaře 2016.

2.2 Kalibrace a přepočet mezi testy stejného ročníku Odpovědi účastníků ve všech úlohách každého testu (pro 1. i pro 4. ročník) byly převedeny na kódy 1 (správná odpověď) a 0 (nesprávná odpověď). Tato data byla následně dosazena do  dvouparametrického modelu IRT, v  němž byly odhadnuty parametry každé úlohy (obtížnost a diskriminace) a také latence (IRT skóre) každého účastníka. Pro tyto výpočty jsme použili vlastní skript TAPIR využívající prostředí R a v něm speciálně knihovny ltm a irtoys ([5], [6], [7]). Jako kotvicí úlohy byly vybrány ty, které měly nejvyšší odhady parametru diskriminace a jejichž parametry obtížnosti byly rozprostřeny po intervalu (–1,5; 1,5) aspoň přibližně rovnoměrně.

2.3 Vstupní a výstupní výsledky stejných účastníků Každý žák, který se ve stejné doméně zúčastnil vstupního testu v roce 2009 a výstupního v roce 2012, měl přiřazeny dvě hodnoty IRT skóre, jednu na stupnici pro 1. ročník a druhou na stupnici pro 4. ročník. Pro regresní model bylo skóre ve výstupním testu bráno jako vysvětlovaná proměnná a skóre ve vstupním testu jako vysvětlující proměnná. Regresní model jsme odhadli v prostředí R, porovnali jsme modely s lineární a kvadratickou křivkou a ukázalo se, že model lineární regrese je pro všechny testy postačující. Grafy 1 až 4 znázorňují modely lineární regrese na datech u všech čtyř uvažovaných domén. Tabulka 4 pak uvádí hodnoty koeficientu determinace pro jednotlivé regresní modely.

Bylo samozřejmě možné použít skóre v testech z roku 2009 a výsledky z roku 2012 na ně přepočítat, avšak pak by bylo komplikované porovnávat jednotlivé domény mezi sebou – každá měla test o jiném počtu úloh (např. OSP 60, kdežto český jazyk 45) a v každé mohl být vstupní test jinak obtížný a v jiné míře rozlišující mezi lepšími a horšími účastníky (tzv. diskriminující). Proto je výhodné výsledky v testech standardizovat na jednotné stupnici.

| 31

Jací budou maturanti 2016?

Graf 1. Lineární regrese na skóre ve vstupním a výstupním testu z Aj

Graf 2. Lineární regrese na skóre ve vstupním a výstupním testu z Čj

Graf 3. Lineární regrese na skóre

Graf 4. Lineární regrese na skóre ve vstupním a výstupním testu z OSP

ve vstupním a výstupním testu z Ma

Tabulka 4. Koeficienty determinace R2 pro regresní modely Aj

Čj

Ma

OSP

0,565

0,374

0,23

0,534

| 32

Jací budou maturanti 2016?

3. Předpověď pro rok 2015 ve srovnání s roky 2009 a 2012 v jednotlivých doménách Nyní si ukážeme, jaké průměrné hodnoty očekávaných výsledků výstupního testování v jednotlivých doménách vyšly a jaké jsou ve srovnání s průměrnými hodnotami v letech 2009 a 2012.

stand. skóre ve výstupním testu

3.1 Obecné studijní předpoklady Graf 5. Průměrné skóre ve výstupním testu (4. ročník) OSP v letech 2009 a 2012 a předpověď pro rok 2015

120 110

GV

100

G4

90

ost. SŠ

80 70 2009

2012

2015 (odhad)

rok

Pokles výsledků testu obecných studijních předpokladů a následný nárůst je číselně nižší než u angličtiny či matematiky. Přesto se jedná o statisticky významnou změnu. Je významná i v souvislosti s tím, že obecné studijní předpoklady jsou velmi stabilní dovednost, na jejíž rozvoj má škola i mimoškolní aktivity podstatně nižší vliv než na dovednosti v matematice, českém jazyce či angličtině. Jediným typem školy, kde obecné studijní předpoklady neklesají, jsou víceletá gymnázia.

stand. skóre ve výstupním testu

3.2 Anglický jazyk Graf 6. Průměrné skóre ve výstupním testu (4. ročník) z Aj v letech 2009 a 2012 a předpověď pro rok 2015

120 110

GV

100

G4

90

ost. SŠ

80 70 2009

2012

2015 (odhad)

rok

Na všech typech škol se výsledky v angličtině mezi roky 2009 a 2012 zlepšily a model předpovídá, že k dalšímu zlepšení dojde i za tři roky. U angličtiny je zřejmé, že na její lepší úrovni se nepodílejí zdaleka jen školy, ale s vysokou pravděpodobností také znalosti a dovednosti získané mimo školu. Jako u jediné z uvažovaných domén totiž není zlepšení výsledků v angličtině vázáno na typ školy.

| 33

Jací budou maturanti 2016?

stand. skóre ve výstupním testu

3.3 Český jazyk Graf 7. Průměrné skóre ve výstupním testu (4. ročník) z Čj v letech 2009 a 2012 a předpověď pro rok 2015

120 110

GV

100

G4

90

ost. SŠ

80 70 2009

2012

2015 (odhad)

rok

Další ze všeobecně vzdělávacích předmětů – český jazyk – nabízí ve srovnání výsledků testů 2009 a 2012 optimistický obrázek, aspoň pokud jde o gymnázia. Jelikož jde o povinný maturitní předmět, je možné, že lepší výsledky současných maturantů jsou i odrazem obav z výsledku u státní maturity. Výhled na rok 2015 ovšem žádné další zlepšování nepředpokládá, ani na víceletých gymnáziích nepůjde patrně o statisticky významný rozdíl.

stand. skóre ve výstupním testu

3.4 Matematika Graf 8. Průměrné skóre ve výstupním testu (4. ročník) z Ma v letech 2009 a 2012 a předpověď pro rok 2015

120 110

GV

100

G4

90

ost. SŠ

80 70 2009

2012

2015 (odhad)

rok

Úroveň výsledků z matematiky i na relativně nejlepších víceletých gymnáziích stagnuje a u ostatních typů SŠ se snižuje. Trend bude zřejmě pokračovat, matematický model naznačuje, že na podzim 2015 dosáhnou účastníci výstupního testu v matematice ještě horších výsledků než účastníci výstupního testování na podzim 2012.

| 34

Jací budou maturanti 2016?

4. Závěr Jak se ukazuje, každá testovaná doména vykazuje – při zahrnutí předpovězených hodnot – specifický trend, který přitom vcelku odpovídá očekávání či empirickým poznatkům. Nabízí se porovnání vývoje v matematice a angličtině, a to z hlediska obliby předmětu. Dřívější mezinárodní šetření i zjištění společnosti Scio opakovaně poukazují na neoblíbenost matematiky. Zhoršování výsledků s tím může souviset. To je v přímém protikladu s angličtinou, která je naopak považována za oblíbený předmět. Vývoj výsledků v testu OSP může odrážet vývoj výsledků mezinárodního šetření PISA. To u patnáctiletých žáků ČR v roce 2009 zaznamenalo zhoršení oproti roku 2006 ([8]), což je v souladu se zhoršením žáků 4. ročníků SŠ ve školním roce 2012/13 oproti stejně starým žákům ve školním roce 2009/10. U každého šetření, které není založeno na striktně náhodném výběru nebo nedosahuje reprezentativity vzorku jiným způsobem, vyvstává otázka, zda vůbec lze jeho závěry korektně zobecnit na celou populaci či na některou její část. Se stejným problémem se potýká i předmět tohoto článku. Počet gymnazistů je ve všech testech i v obou sledovaných rocích vysoký a počet zúčastněných škol s gymnazijními obory převyšuje stovku, což přibližně odpovídá nejméně třetině z celkového počtu gymnázií. Navíc účastnické školy pocházejí ze všech krajů ČR a účastní se opakovaně, tudíž lze důvodně předpokládat, že trend vypozorovaný na nich platí i pro ostatní gymnázia. Naopak zastoupení středních odborných škol je poměrně malé a velkou diverzitu oborů (a tomu odpovídající diverzitu dovedností jejich žáků) nemůže reprezentovat dostatečně. Tudíž závěry týkající se SOŠ je třeba brát spíš jako orientační. O středních odborných učilištích pak není možné obecně tvrdit na základě testování Vektor nic určitého. Předpovědi prezentované v tomto článku přirozeně mohou selhat, pokud nebude správně fungovat předpovědní model. Ten totiž předpokládá určitý vztah mezi dovednostmi žáka v 1. a 4. ročníku, určitý vývoj během docházky do střední školy, a ten může u současných žáků 1. ročníku SŠ probíhat jinak, pokud se například podmínky ve školách změní. V češtině a matematice bychom dokonce byli rádi, aby se podmínky změnily pozitivním směrem a předpověď se tak nenaplnila. Článek ovšem nemá ambice být sám o sobě příčinou příznivých změn. Na rozdíl od mnoha jiných článků popisujících situaci ve vzdělávání a přicházejících s různými interpretacemi jsou závěry tohoto článku snadno ověřitelné. Vyžaduje to jen dostatek trpělivosti a provedení měření v maturitním ročníku 2015/16 tak, aby bylo možné porovnat výsledky vzdělávání s předchozími roky. Společnost Scio meziroční srovnání a ověření předpovědí na podzim 2015 v nějaké formě plánuje. Konečně je potřeba posoudit vhodnost nasazení modelu IRT. Přísně vzato, žádný z klasických modelů IRT nemůže přesně odpovídat situaci u testů společnosti Scio – modely IRT předpokládají, že u žáků se v úloze rozlišuje pouze špatná a správná odpověď (vynechání odpovědi je totéž, co špatná odpověď), zatímco v testech Scio jsou případy špatné a vynechané odpovědi bodově rozlišeny. Tradiční skóre v testu a odhad latence pomocí IRT má ovšem velmi vysokou korelaci (vesměs nad 0,9 a v některých případech i nad 0,95), úspěšnost řešení úloh ve skupinách podle celkové úspěšnosti také odpovídá charakteristickým křivkám modelu IRT. V globálním měřítku se proto nedopouštíme systematické chyby, i když na individuální úrovni jistě existují ojedinělé případy, kdy výpočet tradičního skóre a odhad latence pomocí IRT vedou k diametrálně odlišnému pořadí účastníka.

Reference Braun, H. I., Holland, P. W. (1982). Observed-score test equating: A  mathematical analysis of some ETS equating procedures. In P.  W. Holland and D. B. Rubin (Eds.), Test Equating (pp. 9–49). New York: Academic Kolen, M. J., Brennan, R. L. (2004). Test Equating, Scaling, and Linking. (2nd ed.), New York: Spring Jelínek, M., Květoň P., Vobořil D. (2011). Testování

v psychologii – teorie odpovědi na položku a počítačové adaptivní testování. Praha: Grada Baker, F. and Kim, S-H. (2004). Item Response Theory, 2nd ed. New York: Marcel Dekker The R Project for Statistical Computing, bezplatný software: http://www.r-project.org. Rizopoulos, D. (2006). ltm: An R package for latent variable modelling and item response theory ana-

lyses. Journal of Statistical Software, 17(5), 1–25. http://www.jstatsoft.org/v17/i05/ irtoys, doplňková knihovna funkcí pro výpočty IRT v  prostředí R: http://cran.r-project.org/web/packages/irtoys/irtoys.pdf Palečková, J., Tomášek, V., Basl, J. (2010). Hlavní zjištění výzkumu PISA 2009: umíme ještě číst? Praha: Ústav pro informace ve vzdělávání

ANNOTATION: What will be the 2016 graduates like? For making interesting conclusion on gathered data, a proper model is required. Well thought-out research intention and a working model enable us to exploit a dataset efficiently, no matter how small it is. This article brings a prediction of high-school (first of all gymnasium) pupils‘ outcomes in last-year tests to be carried out in 2015/16 season – compared with outcomes of the pupils in the same grade some years earlier. For the prediction, data of input and output tests in autumn 2009 and 2012 are used together with two types of models: two-parameter IRT model links data in the same grades between different years; the linear regression model links outcomes of the same pupils both in the input and output testing.