OBSAH 1. ÚVOD CÍLE PROJEKTU CÍLOVÉ SKUPINY PROJEKTU NÁSTROJE PROJEKTU DIDAKTICKÉ TESTY A DOTAZNÍK Zaměření testů

ZÁVĚREČNÁ ZPRÁVA Z PROJEKTU Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií 2008

Praha, červenec 2008

Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií 2008

OBSAH 1. ÚVOD ................................................................................................................................ 3 2. CÍLE PROJEKTU ................................................................................................................ 4 3. CÍLOVÉ SKUPINY PROJEKTU ............................................................................................ 5 4. NÁSTROJE PROJEKTU – DIDAKTICKÉ TESTY A DOTAZNÍK .............................................. 6 4.1. Zaměření testů .................................................................................................................... 6 4.1.1. Komplexy úloh v testu Dovednosti v českém jazyce ............................................................ 7 4.1.2. Komplexy úloh v testu Matematické dovednosti .................................................................. 9 4.1.3. Komplexy úloh v testu Obecné dovednosti ........................................................................10 4.2. Počet úloh, typy úloh a bodování .........................................................................................11 4.3. Žákovský dotazník ..............................................................................................................12 5. ORGANIZACE A PRŮBĚH PROJEKTU ............................................................................... 13 6. ÚČAST ŠKOL A ŽÁKŮ ....................................................................................................... 15 6.1. Počet přihlášených žáků ......................................................................................................15 6.2. Počet testovaných žáků ......................................................................................................16 6.3. Počet žáků se speciálními vzdělávacími potřebami (SVP) .......................................................16 7. VÝSLEDKY TESTŮ ............................................................................................................ 18 7.1. Vymezení základních psychometrických charakteristik ...........................................................18 7.2. Celkové výsledky žáků v testech ..........................................................................................19 7.3. Výsledky žáků v testech podle typu školy .............................................................................20 7.4. Výsledky komplexů úloh v testu Dovednosti v českém jazyce ................................................21 7.5. Výsledky komplexů úloh v testu Matematické dovednosti ......................................................22 7.6. Výsledky komplexů úloh v testu Obecné dovednosti .............................................................22 7.7. Výsledky žáků se speciálními vzdělávacími potřebami (SVP) ..................................................24 7.8. Výsledky dívek a chlapců v testech ......................................................................................26 7.9. Výsledky v testech podle známek ........................................................................................28 7.10. Výsledky žáků podle střední školy ......................................................................................30 7.11. Výsledky žáků podle odhadu testových výkonů ...................................................................30 7.12. Struktura žáků podle způsobu řešení úloh z matematiky a českého jazyka ...........................32 8. VÝSTUPY Z PROJEKTU .................................................................................................... 34 8.1. Osvědčení o výsledcích pro jednotlivé žáky ..........................................................................34 8.2. Souhrnná zpráva pro školy ..................................................................................................34 8.3. Agregované výsledky pro krajské úřady ...............................................................................35 8.4. Závěrečná zpráva pro MŠMT ...............................................................................................35 9. ZÁVĚR ............................................................................................................................. 36 PŘÍLOHY ............................................................................................................................. 37

2


1. ÚVOD Projekt Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií 2008 byl realizován Centrem pro zjišťování výsledků vzdělávání (CERMAT) jako pátý a poslední ročník dlouhodobého projektového cyklu. Testování se uskutečnilo v rámci projektu Kvalita I, který je financován z Evropského sociálního fondu a státního rozpočtu České republiky. Cílem projektu Kvalita I je vytváření systému monitorování a hodnocení výsledků vzdělávání žáků základních a středních škol. Rozpracování systému pedagogického hodnocení je doporučováno mezinárodními expertními zprávami i národními školskými dokumenty. Jednou z aktivit projektu Kvalita I byla příprava tzv. Národní hodnotící zkoušky, jejímž prostřednictvím měly být ověřovány výsledky vzdělávání žáků v období ukončování základního vzdělávání. Národní hodnotící zkouška byla plánována jako povinné hodnocení žáků v 5. a 9. ročnících ZŠ a odpovídajících ročnících víceletých gymnázií. V tomto smyslu se mělo jednat o obdobu nové jednotné maturitní zkoušky. V průběhu realizace projektu Kvalita I došlo k odklonu od původního cíle, tj. plošné povinné zkoušky. Potřeba evaluačních nástrojů pro základní školy však byla potvrzena. Součástí projektu Kvalita I měly být přípravné kroky k zavedení Národní hodnotící zkoušky. Jednotlivé ročníky přípravného testování nazvané Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií plnily funkci pilotních projektů, prostřednictvím kterých se ověřovalo složení zkoušky, obsah didaktických testů, organizace testování a podoba výsledků pro žáky a školy. Účast škol v projektech byla dobrovolná a každým rokem zvyšovala. V roce 2008 se projektu Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií zúčastnilo velké množství základních škol a víceletých gymnázií ze všech krajů České republiky vyjma Prahy, kde účast nebyla možná z důvodu podmínek Evropských sociálních fondů. Kromě jednotlivých škol se do realizace projektu výrazně zapojily i odbory školství, mládeže a tělovýchovy všech krajských úřadů. Předkládaná závěrečná zpráva z projektu Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií 2008 shrnuje podstatné informace o přípravě a realizaci projektu a dále o jeho výsledcích. Předkládá tak zhodnocení projektu z obsahového a organizačního hlediska.

3


2. CÍLE PROJEKTU Projekt Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií 2008 navazoval na předcházející ročníky projektového cyklu, který byl testováním v roce 2008 završen. Cílem celého projektového cyklu bylo připravit a ověřit nový způsob hodnocení výsledků vzdělávání na konci druhého stupně základních škol a na nižším stupni víceletých gymnázií. Pro tento vzdělávací stupeň dosud neexistovaly externí evaluační nástroje, které by se vztahovaly k platným pedagogickým dokumentům a zároveň respektovaly aktuální trendy v pedagogickém hodnocení. Z tohoto důvodu si projektový cyklus předsevzal za úkol zavést srovnatelné a zároveň státem garantované testy ověřující klíčové znalosti a dovednosti žáků 9. ročníků ZŠ a odpovídajících ročníků víceletých gymnázií. V původní představě měly být testy součástí tzv. Národní hodnotící zkoušky, kterou by plošně procházeli všichni žáci 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií. Národní hodnotící zkouška měla sloužit jako zdroj srovnatelných informací o znalostech a dovednostech jednotlivých žáků, které by mohly vstoupit do přijímacího řízení na střední školy, a dále jako dílčí parametr kvality vzdělávání na jednotlivých školách. Povinný charakter Národní hodnotící zkoušky byl postupně opuštěn a jednotlivé ročníky projektového cyklu následně vycházely z toho, že testy jsou a do budoucna budou nabízeny školám jako dobrovolný nástroj hodnocení. Tomu se přizpůsobil obsah a podoba dílčích projektů. Projekt Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií 2008 sledoval následující cíle:

zjistit aktuální úroveň vzdělávacích výsledků žáků 9. tříd a jim odpovídajících ročníků víceletých gymnázií přihlášených do projektu

prohloubit zpětnou vazbu o vzdělávacích výsledcích poskytovanou žákům, školám, krajským úřadům a MŠMT

ověřit vhodnost obsahového zaměření jednotlivých testů

zdokonalit organizační a bezpečnostní podmínky testování

4


3. CÍLOVÉ SKUPINY PROJEKTU Projekt Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií 2008 jako jeden z dílčích ročníků projektového cyklu se soustředil na širokou škálu cílů. Každý z nich je vázán na odlišnou cílovou skupinu. Cílovými skupinami projektu jsou:

základní školy

žáci 9. tříd základních škol a odpovídajících ročníků víceletých gymnázií

střední školy

krajské úřady

ostatní sociální partneři (rodiče, zaměstnavatelé atd.)

Ministerstvo školství, mládeže a tělovýchovy

Pro každou z uvedených skupin jsou z projektu připravovány specifické výstupy. Aby tyto výstupy přinášely skutečně potřebné a potenciálně užitečné informace, je s jednotlivými skupinami diskutován obsah a forma hodnocení a výstupů z něho. Pro konkrétní žáky a žákyně představuje účast v projektu jedinečnou příležitost ověřit si své znalosti a dovednosti v českém jazyce, v matematice a dále obecné studijní dovednosti. Informace pak mohou dále využít k plánování své vzdělávací dráhy. Základní školy a víceletá gymnázia využívají projekt k prohloubení informací o kvalitě vlastního vzdělávání, a to jak diferencovaně uvnitř dané školy, tak v porovnání s dalšími školami. Na základě informací z projektu mohou školy zvýšit efektivitu svého pedagogického působení. Střední školy mohou využívat výsledky žáků jako doplňkové nástroje pro hodnocení uchazečů o studium. Tímto způsobem dojde k ulehčení v rámci organizace přijímacího řízení a zároveň je zvýšena srovnatelnost mezi uchazeči. Pro rodiče žáků, laickou veřejnost, zaměstnavatele a další sociální partnery představuje účast konkrétních škol v projektu signál o jejich aktivitě a snaze zlepšovat vlastní pedagogickou práci. V případě, že školy souhrnné výsledky svých žáků zveřejní, jedná se o zajímavou doplňující informaci o kvalitě vzdělávání na dané škole. Krajské úřady jakožto zřizovatelé většiny středních škol a koordinátoři celého regionálního školství získávají prostřednictvím projektu hlubší údaje o vzdělávacím systému v kraji. Ty mohou použít k dalšímu plánování rozvoje školství. Ministerstvo školství, mládeže a tělovýchovy prostřednictvím projektu monitoruje vzdělávací výsledky zúčastněných žáků a škol. V současné době se jedná o nejhlubší a nejširší údaje o českém základním školství, které mohou být zváženy při plánování vzdělávací politiky.

5


4. NÁSTROJE PROJEKTU – DIDAKTICKÉ TESTY A DOTAZNÍK V projektu Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií 2008 byly použity čtyři základní nástroje pro sběr informací – tři didaktické testy a žákovský dotazník. Složení a obsah testů i dotazníku vycházelo ze zkušeností uplynulých ročníků projektu. Stejně jako v minulých letech i v roce 2008 se jednalo o tři testy:

test Matematické dovednosti

test Dovednosti v českém jazyce

test Obecné dovednosti

Vedle testů byl podstatným nástrojem projektu rovněž žákovský dotazník. Jeho prostřednictvím byly zjišťovány údaje využitelné k hlubším analýzám testových výsledků.

4.1. Zaměření testů Test Matematické dovednosti a test Dovednosti v českém jazyce vycházejí ze školních předmětů a ověřují povinné učivo obsažené v pedagogických dokumentech. Test Obecné dovednosti přesahuje rámec běžně vyučovaných předmětů. Jeho cílem je ověřit předpoklady žáků pro úspěšné studium. Jak zdůrazňují názvy testů, jejich hlavním cílem je ověřit dovednosti žáků, tj. operace, které by měly být činěny s dílčími znalostmi. Takto pojaté testy zjišťují z hlediska kognitivních procesů vyšší operace, tj. nejen pouhé zapamatování a reprodukci, ale také porozumění a aplikaci. Nejsilněji se popsaná koncepce uplatňuje v případě testu Obecné dovednosti, který pro úspěšné řešení úloh nepředpokládá žádné specifické předmětové znalosti. Ověřování nejen znalostí, ale zejména dovedností žáků koresponduje se zaváděnými rámcovými vzdělávacími programy. Kurikulární reforma, jejíž jsou RVP součástí, klade v požadovaných vzdělávacích výstupech větší důraz na operace se získanými informacemi oproti pouhému (i když nezbytnému) osvojení znalostí. Školy si tak mohou vytvořit na základě výsledků žáků v testech představu, v jaké míře jejich současná výuka odpovídá novému obsahu a formě vzdělávání. Zaměření uvedených testů bylo původně zvoleno s ohledem na hlavní směr základního vzdělávání a současně na obvyklé složení přijímacích zkoušek na střední školy. Každoroční ověřování opakovaně ukázalo, že školy i ostatní cílové skupiny se složením testů souhlasí. Proto se v jednotlivých ročnících neměnilo celkové zaměření testů, nýbrž se ověřovaly jen mírné posuny ve specifikačních tabulkách. Ty představují podrobný popis jednotlivých testových úloh z hlediska jejich kognitivních cílů a ověřovaného učiva, případně typu úloh. Specifikační tabulky umožňují správně interpretovat testové výsledky a zároveň vytvářet srovnatelné testy v různých variantách či napříč časem. V roce 2007 bylo poprvé použito členění testových úloh do tzv. komplexů úloh, což se osvědčilo. V roce 2008 proto byly komplexy úloh zahrnuty nejen do vyhodnocování testů, ale také do specifikačních tabulek, na jejichž základě jsou vytvářeny konkrétní testové úlohy. Komplex úloh je skupina jednotlivých testových úloh, které sledují shodný či obdobný specifický cíl. Protože k řešení daných úloh žáci musí využívat obdobné znalosti a dovednosti, mohou být jejich výsledky propojeny. To je z hlediska zpětné vazby pro žáky a pro školy velmi přínosné. Namísto (respektive vedle) dílčího, obtížně interpretovaného výsledku v jednotlivých úlohách tak žáci a školy obdrží údaje za celé komplexy úloh. Na základě toho si vytvoří lepší představu, které dovednosti jsou pro žáky slabým místem. Komplexy úloh v jednotlivých testech jsou popsány v následujících podkapitolách.

6


4.1.1. Komplexy úloh v testu Dovednosti v českém jazyce Komplex úloh bez výchozího textu (KCJ-VT0) Úlohy zahrnuté do tohoto komplexu úloh jsou vesměs zaměřeny na ověřování žákovských dovedností rozeznat jazykově správný/nesprávný jev nabízený přímo v těle úlohy. Pokud žáci v tomto komplexu úloh, resp. jednotlivých úlohách, dosahují slabších výsledků, lze z toho usuzovat, že mají potíže s osvojením základních pravopisných principů českého jazyka a jejich aplikací v běžných situacích. Tento komplex úloh má minimální význam pro hodnocení čtenářských dovedností žáků. Do komplexu patří následující úlohy: varianta A – 1, 2, 3, 12, 22, 23; varianta B – 1, 2, 3, 13, 22, 23.

Komplex úloh s výchozími texty (KCJ-VT) Všechny úlohy zařazené v tomto komplexu úloh jsou odvozeny od výchozích textů, včetně úlohy 11/A, resp. 14/B, kde má znění alternativ charakter částí výchozího textu. Jestliže žáci dosahují nižší úspěšnosti v řešení těchto úloh, může to signalizovat problémy v oblasti čtenářských dovedností nebo potíže při aplikaci základních, zejména jazykovědných, znalostí na jednotlivé výchozí texty. Do komplexu patří následující úlohy: varianta A – 4, 5, 6, 7, 8, 9, 10, 11, 13, 14, 15, 16, 17, 18, 19, 20, 21, 24; varianta B – 4, 5, 6, 7, 8, 9, 10, 11, 12, 14, 15, 16, 17, 18, 19, 20, 21, 24.

Komplex úloh s výchozími texty uměleckými (KCJ-VTU) Úlohy spadající do tohoto komplexu úloh se vztahují ke klasickému prozaickému textu a komiksu. Pokud žáci dosahují dobrých výsledků v řešení těchto úloh, lze předpokládat, že se dovedou orientovat v základních charakteristikách uměleckých textů a zároveň prokazují porozumění celku textu i jeho částem. Porovnáním úspěšnosti žáků v tomto komplexu úloh s komplexem úloh s výchozími texty neuměleckými lze získat hrubou představu o poměru ovládnutí čtenářských dovedností ve vztahu k uměleckým/neuměleckým textům. Do komplexu patří následující úlohy: varianta A – 8, 11, 24; varianta B – 14, 17, 24.

Komplex úloh s výchozími texty neuměleckými (KCJ-VTN) Úlohy, které jsou zařazeny do tohoto komplexu úloh, se vztahují zejména k publicistickým textům, v menší míře k textům prostě sdělovacího a populárně-naučného stylu. Pokud žáci dosahují v tomto komplexu slabších výsledků, může to ukazovat na jejich potíže s porozuměním čtenému, zároveň (zvláště, pokud je takový výsledek „podpořen“ i podobným výsledkem u komplexu úloh jazykové správnosti) může jít o signál upozorňující na žákovy nedostatky ve zvládání základních znalostí a dovedností v „jazykové“ části vyučovacího předmětu. Porovnáním úspěšnosti žáků v tomto komplexu úloh s komplexem úloh s výchozími texty uměleckými lze získat hrubou představu o poměru ovládnutí čtenářských dovedností ve vztahu k uměleckým/neuměleckým textům. Do komplexu patří následující úlohy: varianta A – 4, 5, 6, 7, 9, 10, 13, 14, 15, 16, 17, 18, 19, 20, 21; varianta B – 4, 5, 6, 7, 8, 9, 10, 11, 12, 15, 16, 18, 19, 20, 21.

Komplex úloh s výchozími texty neuměleckými publicistickými (KCJ-VTNP) Úlohy v tomto komplexu úloh jsou odvozeny od výchozích textů převzatých z denního/týdenního tisku, a to celostátního i regionálního; není zařazen tzv. bulvár. Pokud žáci dosahují v tomto komplexu úloh slabších výsledků, může to signalizovat jejich problémy při porozumění čteným publicistickým útvarům i nedostatky ve zvládnutí základního mluvnického učiva.

7


Do komplexu patří následující úlohy: varianta A – 4, 5, 6, 7, 14, 15, 16, 17, 20, 21; varianta B – 4, 5, 8, 9, 10, 11, 18, 19, 20, 21.

Komplex úloh s výchozími texty neuměleckými ostatními (KCJ-VTNO) Úlohy zařazené do tohoto komplexu úloh se vztahují k prostě sdělovacímu, populárně-naučnému a v jednom případě (úloha 10/A, resp. 15/B) odbornému stylu. Tyto úlohy ověřují především dovednosti spojené s porozuměním čtenému textu nebo dovednosti syntakticko-stylistické, takže úspěšnost/neúspěšnost žáků v řešení úloh tohoto komplexu úloh odkazuje k míře jejich osvojení této oblasti učiva. Do komplexu patří následující úlohy: varianta A – 9, 10, 13, 18, 19; varianta B – 6, 7,12, 15, 16.

Komplex úloh jazykové správnosti (KCJ-JS) Úlohy zahrnuté do komplexu úloh jazykové správnosti ověřují znalost pravidel českého pravopisu a dovednost aplikace těchto znalostí v konkrétních souvislostech, tvaroslovnou správnost, identifikaci chyb v textu, znalost mluvnických kategorií a jejich aplikaci na konkrétní texty. Pokud dosahují žáci v tomto komplexu úloh vysoké úspěšnosti, znamená to, že velmi dobře zvládají základní principy českého mluvnického systému. Do komplexu patří následující úlohy: varianta A – 1, 2, 3, 7, 15, 22, 23; varianta B – 1, 2, 3, 10, 18, 22, 23.

Komplex úloh porozumění textu a významu slov (KCJ-PTV) Komplex úloh má svým pojetím nejblíže k ověřování čtenářských dovedností. Charakterizují je úlohy ověřující odhad významu slova a jeho doplnění do vynechaného místa v textu (lze vyřešit jedině při pochopení smyslu celého textu nebo jeho podstatné části), doplnění chybějícího slova do textu, nahrazení výrazu synonymickým vyjádřením v daném kontextu, posouzení správnosti tvrzení o skutečnostech obsažených ve výchozím textu. Úspěšnost žáků v tomto komplexu úloh je tak definovatelná jako úspěšnost v oblasti čtenářských dovedností. Do komplexu patří následující úlohy: varianta A – 4, 5, 9, 10, 12, 13, 14, 17, 19, 20; varianta B – 5, 6, 8, 11, 12, 13, 15, 16, 20, 21.

Komplex úloh výstavby textu (KCJ-VYT) Úlohy spadající do tohoto komplexu úloh ověřují především následující dovednosti: nalezení závadného místa v textu z hlediska jeho výstavby a výběr jazykově korektní opravy závadného místa, identifikaci chybně/nevhodně užitého slova v daném kontextu, rozeznání výstavby prozaického textu, odhadnutí nejpravděpodobnější možnosti z hlediska textové návaznosti (pokračování textu, uspořádání úryvků textu v patřičném sledu). Jestliže žáci dosahují v řešení této úlohy nižších hodnot úspěšnosti, lze u nich předpokládat významné nedostatky v míře pochopení principů výstavby uměleckých i neuměleckých textů. Do komplexu patří následující úlohy: varianta A – 6, 8, 11, 16, 18, 21, 24; varianta B – 4, 7, 9, 14, 17, 19, 24.

8


4.1.2. Komplexy úloh v testu Matematické dovednosti Komplex úloh ověřujících dovednost používat základní matematické operace (KMA-ZMO) Při řešení úloh zařazených do této skupiny se ověřuje úroveň osvojení základních matematických pojmů a postupů (jejich pochopení a užití). Žáci využívají svých znalostí o číslech (přirozených, celých a racionálních) a proměnné (ve výrazu, v rovnici) a znalostí základních pojmů (procento, dělitel, násobek apod.). K nim se vztahují dovednosti jako sčítání, odčítání, násobení, dělení, porovnávání, dosazování čísla do výrazu, úpravy výrazů, řešení rovnic, kreslení grafů a další výpočty s definovanými objekty. Do komplexu patří následující úlohy: varianta A i B – 2, 3, 4, 13. Zatímco úlohy 2, 3 a 4 se omezují na operace s konkrétními číselnými objekty, které se liší pouze obsahem (v úloze 3 se operuje přímo s čísly, úloha 2 ověřuje pochopení základního pojmu nejmenšího společného násobku a největšího společného dělitele dvou čísel a konečně úloha 4 prověřuje opět dovednost v určování procent), úloha 13 obsahuje proměnnou či neznámou označenou písmenem. Podúlohy 13.1 a 13.2 pak ověřují správnost výběru posloupnosti kroků a jejich bezchybné použití při řešení. U všech úloh uvedených v této kategorii žáci sami tvoří odpověď (výsledek).

Komplex úloh ověřujících dovednost zpracovat číselné informace (KMA-ZČI) Úlohy v této podskupině se odlišují od první skupiny způsobem zadání i řešením problému. Vesměs jde o úlohy, v nichž si žáci musí sami stanovit, jakou početní operaci či jaký postup by měli použít. Potřebné informace jsou předkládány v grafech nebo v textech. Do komplexu patří následující úlohy: varianta A i B – 1, 5, 6, 7, 14. Nenáročná úloha 1 předpokládá užití operací s racionálními čísly pro stanovení jednotky na číselné ose. V úloze 5 se při výpočtech užívá notoricky známého aritmetického průměru a potřebné informace se vyčtou z grafu. V časově nenáročné úloze 6 je pro vyjádření požadovaného poměru třeba najít doplněk k části vyjádřené racionálním číslem. Úloha 7 je jednoduchou úlohou o pohybu vyžadující zejména orientaci v používaných jednotkách. V úloze 14 založené na kombinaci přímé a nepřímé úměry by měl žák správně rozhodnout, kdy k požadovanému výpočtu užít dělení a kdy násobení. V úlohách 6 a 7 žáci vybírají správnou odpověď z uvedené nabídky, v úloze 14 odpověď sami tvoří a v úloze 5 uvádějí i postup řešení.

Komplex úloh ověřujících dovednost řešit problémy s geometrickou tematikou (KMA-G) Do komplexu patří následující úlohy: varianta A i B – 8, 9, 10, 11, 12. Tato skupina úloh má společnou geometrickou tematiku. Jde o úlohy ověřující dovednosti a znalosti žáků týkající se geometrických útvarů v rovině (8, 9, 10 a 12) či v prostoru (11). Do tohoto testu nebyla zařazena konstrukční úloha (částečně se tak zjednodušilo elektronické hodnocení testu: nižší požadavky na citlivost rozlišení při snímání archu a současně menší nároky na internetové vybavení hodnotitelů), i když při řešení úlohy 10 bylo možné sestrojit konstrukci a výsledek určit měřením. Úlohy 8 a 10 prověřují, zda žáci porozuměli základním geometrickým vztahům (vlastnosti dvojic úhlů, poměr, podobnost). K řešení úlohy 9 postačí základní dovednost orientovat se v rovině a vhodným způsobem rozdělit plochu jednoduchého geometrického obrazce. O něco složitější je osamocená prostorová úloha 11, v níž je dovednost užívat vzorců pro výpočet povrchu a objemu podmíněna jejich porozuměním. V jediné planimetrické úloze (12) žáci uváděli kromě výsledku i postup řešení. V úloze se snoubí dva základní požadavky: dopočítat chybějící údaj v rovnoramenném trojúhelníku a použít Pythagorovu větu. I tato úloha ověřuje dovednost pro matematiku zcela typickou – propojování

9


elementárních znalostí. V jediné úloze je (podle platných pedagogických dokumentů) ověřováno i učivo 9. třídy.

4.1.3. Komplexy úloh v testu Obecné dovednosti Komplex úloh vyhledání a porovnání dílčí informace slovního charakteru (KOD-VS) Úlohy v tomto komplexu úloh ověřují dovednost zpracovat jednotlivé údaje obsažené v kratších či delších článcích, v nichž žáci podle pokynů vyhledávají jednu či více dílčích informací. Ty reprodukují a dále porovnávají mezi sebou nebo s jinými předkládanými údaji. Pokud žáci dosahují v tomto komplexu úloh dobrých výsledků, vypovídá to o dovednosti pozorného čtení a dovednosti vracet se k textu na základě vnějších otázek. Naopak špatný výsledek v tomto komplexu úloh může poukazovat na případné obtíže žáka se soustředěním a pamětí při čtení. Vyhledání a porovnání jednotlivých informací z textu je podmínkou všech pokročilejších operací souvisejících se čtenářskou gramotností. Do komplexu patří následující úlohy: varianta A – 2, 8, 14, 19; varianta B – 2, 6, 8, 20.

Komplex úloh globálního porozumění informacím slovního charakteru a vysouzení nové informace (KOD-GS) Úlohy v tomto komplexu úloh ověřují dovednost vyhledat a porozumět hlavní myšlence výchozího textu a dále vytvořit na základě textu novou informaci, kterou celkové porozumění předpokládá. Globální porozumění textu vychází z přijetí dílčích informací v textu obsažených, avšak dále jej překračuje. Významnou složkou porozumění je jazykový cit, který umožňuje rozlišovat významové nuance. Pokud žáci v tomto komplexu úloh dosahují slabších výsledků, znamená to, že zaostává jejich dovednost zaujímat k textu odstup a interpretovat jej jako celek. Dovednost vyhledání a porovnání dílčích údajů, které jsou méně komplexními operacemi, tím však nemusí být dotčena. Do komplexu patří následující úlohy: varianta A – 3, 7, 9, 13, 21; varianta B – 1, 4, 5, 7, 19.

Komplex úloh vyhledání a porovnání dílčí informace číselného charakteru (KOD-VC) Úlohy v tomto komplexu úloh pracují s čísly, která jsou buď uvedena v textu, nebo v tabulce. Úlohy ověřují, zda žáci dokáží výchozí informace pozorně vnímat a na základě jednotlivých úloh se k nim vracet. Podmínkou k porovnání dílčích údajů jsou jednoduché matematické operace (sčítání, odčítání, násobení, dělení). Slabší výsledky v tomto komplexu úloh svědčí zejména o malé pozornosti a nízké úrovni orientace v informacích daného druhu. Uvedený komplex úloh je obdobou komplexu úloh KODVS, který je však spojen s výchozími informacemi v podobě slovního textu. Do komplexu patří následující úlohy: varianta A – 1, 4, 17, 20; varianta B – 3, 11, 13, 21.

Komplex úloh globálního porozumění informacím číselného charakteru a vysouzení nové informace (KOD-GC) Úlohy v tomto komplexu úloh ověřují komplexnější operace s čísly. Žáci mají v úlohách za úkol získat orientaci v předkládaných údajích a na základě práce s nimi dospět k informaci nové. Svojí podstatou se jedná o obdobu komplexu úloh KOD-GS. Pokud žáci v úlohách zařazených do této skupiny selhávají, vypovídá to o jejich slabší dovednosti provádět náročnější operace s číselnými údaji a celkově jim rozumět. Obvykle to však neznamená, že by žáci selhávali v dovednostech pracovat s dílčími údaji. Do komplexu patří následující úlohy: varianta A – 6, 15, 16, 18; varianta B – 9, 10, 12, 15.

10


Komplex úloh vyhledání a porovnání dílčí informace grafického charakteru (KOD-VG) Úlohy v tomto komplexu úloh předpokládají jednoduchou práci s grafy či schématy. Žáci v nich vyhledávají dílčí údaje a případně je porovnávají mezi sebou či s jinými předloženými údaji. Graficky znázorněné informace nejsou ve školním prostředí pro žáky zcela běžné, a proto tyto úlohy mohou vykazovat sníženou úspěšnost řešení. Současně však tyto úlohy mají velmi úzkou vazbu na informace, s nimiž se žáci setkávají v každodenním mimoškolním životě. Snížené výsledky v uvedených úlohách mohou svědčit o menší obeznámenosti s daným způsobem prezentace informací, o slabší prostorové orientaci nebo o nepozornosti. Naopak dobrých výsledků dosahují žáci, kteří jsou schopni propojovat a převádět informace z různých podob a kontextů. Do komplexu patří následující úlohy: varianta A – 5, 11; varianta B – 14, 17.

Komplex úloh globálního porozumění informacím grafického charakteru a vysouzení nové informace (KOD-GG) Úlohy v tomto komplexu úloh ověřují dovednost celkové orientace v graficky znázorněných informacích a dále dovednost vysuzovat z těchto informací nové údaje. Podstatná je zde prostorová představivost a dovednost převádět graficky znázorněné údaje do jiné podoby, například do textu či tabulky. Nižší výsledky v těchto úlohách svědčí o slabší prostorové představivosti a menší komplexnosti prováděných operací s takto prezentovanými údaji. Uvedený komplex úloh je obdobou výše popsaných komplexů úloh KOD-GC a KOD-GS. Do komplexu patří následující úlohy: varianta A – 10, 12; varianta B – 16, 18.

4.2. Počet úloh, typy úloh a bodování Vzhledem k dobrým výsledkům v uplynulých ročnících projektu byly i do letošních didaktických testů zahrnuty ověřené typy testových úloh. Jedná se o:

úlohy s výběrem ze čtyř nabízených odpovědí

svazky dichotomických úloh

úlohy přiřazovací

úlohy uspořádací

úlohy otevřené se stručnou odpovědí

úlohy otevřené se širokou odpovědí

Úlohy otevřené bývají používány pouze v testu Matematické dovednosti. Zbývající dva testy mohou ověřit specifické cíle i prostřednictvím uzavřených úloh. Bodování úloh variuje podle specifického cíle a časové náročnosti řešení. Oba parametry také korespondují s typem úlohy. Úlohy s výběrem ze čtyř nabízených odpovědí jsou hodnoceny nižším počtem bodů než jiné typy úloh, neboť jsou méně časově náročné. O počtu bodů informuje záhlaví úlohy, a žáci tak mohou informaci využít při volbě strategie řešení (viz testové sešity a klíče odpovědí v příloze). Maximálně lze v jednotlivých testech získat tento maximální počet bodů: test Dovednosti v českém jazyce – 51 bodů, test Matematické dovednosti – 50 bodů, test Obecné dovednosti – 30 bodů. Počet úloh v testu odpovídá časovému limitu pro řešení testu. V případě testů Dovednosti v českém jazyce a Obecné dovednosti je rozsah omezen na 40 minut, což odpovídá přibližně 20–25 úlohám. Počet je volen tak, aby průměrně silní žáci byli schopni dospět k řešení všech testových úloh. Časový tlak při řešení testu existuje, ale není nikterak silný, což je důležité pro ověření skutečné znalosti a dovednosti žáků, nikoliv však tempa jejich práce.

11


Test Matematické dovednosti vyžaduje větší časový prostor, neboť řešení úloh je časově náročné. Aby se neomezila šířka ověřovaných specifických cílů, a test tak stále reprezentoval učivo 2. stupně základní školy, bylo nutné časový limit v porovnání se zbývajícími testy prodloužit. K tomu došlo již v loňském projektu, kdy pro test Matematické dovednosti bylo vyčleněno 60 minut. Počet úloh zařazených do testu se tak rozšířil na 14.

4.3. Žákovský dotazník Doplňkovým nástrojem testování byl žákovský dotazník. Ten byl zadán v rámci jednotného testovacího schématu po vyřešení všech tří didaktických testů, tj. na závěr testového dne. Účelem dotazníku bylo získat údaje, které umožní podrobnější statistické analýzy testových výsledků. Výsledky žáků v testech tak mohou být porovnávány z hlediska prospěchu či střední školy, na niž se žáci hlásí. To je zajímavé především pro konkrétní školy a krajské úřady, kterým následně přicházejí souhrnné zprávy využívající jednotlivé údaje jako třídící znaky. Z těchto poznatků vyplývají také důležitá zjištění pro CERMAT či MŠMT, neboť prostřednictvím shromažďovaných údajů lze lépe porozumět některým jevům a vysvětlit některé rozdíly ve výsledcích žáků a připravit případně opatření na podporu jejich školní výkonnosti. Dotazník zjišťoval mimo jiné následující informace:

známka z matematiky a z českého jazyka na posledním vysvědčení

střední škola, na kterou se žáci hlásí

odhad vlastního výsledku v řešených testech

strukturu žáků podle způsobu řešení úloh

Porovnání výsledků žáků v testech v závislosti na uvedených údajích nabízí kapitola 7.

12


5. ORGANIZACE A PRŮBĚH PROJEKTU Základní schéma organizace projektu Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií 2008 navazovalo na předchozí ročníky. Oslovení škol, termín testování, průběh testování, způsob zpracování výsledků – to vše bylo rámcově shodné s předešlými projekty. Současně však byla patrná snaha o zvyšování kvality, bezpečnosti a rychlosti jednotlivých fází projektu. Příprava projektu byla zahájena v létě 2007 po vyhodnocení testování z roku 2007. Spolupráce se školami byla zahájena v říjnu 2007, kdy byl všem základním školám a víceletým gymnáziím (s výjimkou Prahy) zaslán oslovující dopis s nabídkou účasti v projektu. V dopise adresovaném ředitelům škol byly obsaženy veškeré informace o cílech projektu, jeho organizačním zabezpečení a postupu pro přihlášení škol do projektu. Pokud školy měly o účast na testování zájem, přihlásily se prostřednictvím ředitele/ky či pověřené kontaktní osoby. K přihlašování byly zřízeny formuláře na webovém rozhraní (IS CERTIS), které byly otevřené od 5. do 16. listopadu 2007. Tato forma se již v minulých letech ověřila jako fungující. V letošním projektu se pozornost soustředila na snadnější orientaci pro uživatele a na přesnější popisy pohybu v přihlašovacích formulářích, které byly popsány v Příručce uživatele pro školy a v manuálu Postup přihlášení do projektu. Školy měly také možnost se s dotazy týkajícími se přihlašování telefonicky nebo e-mailem obrátit na uživatelskou podporu a s dotazy technického rázu na technickou podporu. Změny se ukázaly jako přínosné. Součástí přihlášky byly podrobné údaje o třídách, které se testování zúčastní. Nahlášena byla jména jednotlivých žáků tak, aby jim mohl být následně vystaven identifikační štítek s čárovým kódem pro označení záznamových archů. V případě žáků se speciálními vzdělávacími potřebami byly požadavky na úpravy testů uvedeny již v přihlášce. Podle počtu přihlášených žáků byly vytištěny testové materiály, tj. tři didaktické testy, žákovský dotazník, záznamové archy, identifikační štítky. Testové materiály byly spolu s podrobnými instrukcemi zkompletovány pro jednotlivé školy. Distribuce materiálů do škol probíhala od 21. do 25. ledna 2008. Nově byla k rozvozu materiálů najata externí dopravní služba, která adresné zásilky doručila přímo do škol. V uplynulých ročnících se distribuce realizovala s pomocí krajských úřadů, které zajišťovaly rozvoz materiálů na jednotlivé školy. Navzdory výběrovému řízení a přesně stanoveným podmínkám došlo při rozvozu k značným potížím, za které byla plně zodpovědná najatá firma. Za další bezpečné uskladnění materiálů odpovídala škola. S ohledem na zajištění optimálního průběhu testování a získání objektivních výsledků bylo koncepčně připraveno školení zadavatelů, kterými byli učitelé dané školy. Pro zadavatele byla stanovena podmínka neaprobovanosti pro předměty český jazyk a matematika. Školení zadavatelů proběhlo ve školách formou samostudia. Na webových stránkách CERMATu byly v lednu 2008 uveřejněny školicí materiály určené zadavatelům testů, ředitelům a kontaktním osobám. Jejich prostudování mělo nahradit školení připravované pro zadavatele v minulých letech. Pokyny pro organizaci testování a pro zadávání testů byly dostatečně informativní. V případě dotazů bylo možné kontaktovat projektový tým CERMATu a dotazy ohledně školení byly zodpovězeny telefonicky a nebo e-mailem. Samotné testování proběhlo v úterý dne 29. ledna 2008 podle jednotného testovacího schématu. Ve všech školách tak žáci řešili ve stejný čas stejný test. Spolu s dodržením dalších instrukcí se tím zvyšuje standardnost podmínek a srovnatelnost výsledků. Testováni byli všichni přihlášení žáci 9. tříd základních škol a odpovídajících ročníků víceletých gymnázií včetně žáků se speciálními vzdělávacími potřebami (dále jen SVP). Zadávání testů probíhalo podle jednotného testovacího schématu, ve kterém byly respektovány rozdílné časové limity pro žáky se SVP, tj. časové navýšení až o 100 %.

13


Testy včetně žákovského dotazníku ve třídě zadával vyškolený učitel dané školy splňující stanovené podmínky. Kontaktní (pověřená) osoba ve škole zodpovídala za předání vyplněných záznamových archů v bezpečnostní obálce opatřené průvodkou externí dopravní službě. V letošním projektu se testování účastnili také žáci s příslušností k polské národnostní menšině. Ve školách s polským vyučovacím jazykem proběhlo běžné testování 29. ledna a druhý den, tj. 30. ledna 2008, následovalo řešení testu Dovednosti v polském jazyce. V den testování byla pracovníky CERMATu provedena v náhodně vybraných školách kontrola průběhu testování a dodržování pokynů k zajištění objektivních podmínek testování. Po testování se ve dnech 30. a 31. ledna 2008 uskutečnil svoz všech materiálů k dalšímu zpracování. Dopravu materiálů opět realizovala externí firma. Záznamové archy a žákovské dotazníky byly následně digitalizovány, tj. údaje byly převedeny do elektronické podoby umožňující statistické zpracování. Digitalizaci zajišťovala externí firma. Test Matematické dovednosti, který obsahuje otevřené úlohy, byl po digitalizaci vyhodnocen hodnotiteli, kteří jsou externími spolupracovníky CERMATu a předem prošli podrobným školením. Hodnocení otevřených úloh probíhalo v období 21. 2. – 13. 3. 2008 prostřednictvím elektronického hodnotícího modulu IS CERTIS. Po hromadném zpracování a kontrole získaných dat všech testů byla data předána analytickému oddělení CERMATu ke zpracování výsledků. To zahrnovalo jednak rámcové souhrnné výsledky pro zjištění psychometrické kvality testů, jednak podrobné adresné výsledky určené jako zpětná vazba jednotlivým cílovým skupinám. Výsledky pro žáky, školy a krajské úřady byly připraveny ve formě osvědčení a výstupních sestav. Jejich rozsah a podoba navazovaly na minulý ročník projektu, avšak došlo k dalšímu rozšíření prezentovaných údajů. Podrobnější údaje o výstupech z projektu uvádí kapitola 8. Účast základních škol a víceletých gymnázií v projektu byla dobrovolná. Testování i zpracování výsledků bylo pro zúčastněné školy poskytnuto zdarma.

Harmonogram projektu Písemné oslovení škol

do 25. 10. 2007

Elektronické přihlašování škol do projektu

5. – 16. 11. 2007

Distribuce testových materiálů do škol

21. – 25. 1. 2008

Testování 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií

29. 1. 2008

Zadání testu Dovednosti v polském jazyce

30. 1. 2008

Svoz vyplněných záznamových archů

30. – 31. 1. 2008

Pořízení dat

4. – 22. 2. 2008

Elektronické hodnocení otevřených úloh

21. 2. – 13. 3. 2008

Analytické zpracování výsledků

10. – 21. 3. 2008

Osvědčení pro žáky – odeslání poštou

7. 4. 2008

Souhrnné zprávy pro školy – uveřejnění v IS CERTIS

duben 2008

Agregované výsledky pro krajské úřady

červen 2008

Závěrečná zpráva z projektu

červenec 2008

14


6. ÚČAST ŠKOL A ŽÁKŮ Do projektu Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií 2008 se zapojilo téměř 69 000 žáků základních škol a víceletých gymnázií. Struktura těchto žáků podle krajů, typu školy a dalších charakteristik je popsána v následujících podkapitolách.

6.1. Počet přihlášených žáků V roce 2008 se do projektu Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií přihlásilo přes 77 tisíc žáků z 1 800 škol. To představuje více než 70 % všech žáků, pro něž byl projekt určen. V porovnání s předcházejícími ročníky projektového cyklu došlo k dalšímu nárůstu zájmu. Následující tabulka uvádí absolutní počet přihlášených žáků ze základních škol a víceletých gymnázií podle krajů a podíl, který přihlášení žáci tvořili vůči všem existujícím žákům. Z tabulky je patrné, že účast v jednotlivých krajích byla značně rozdílná. Nejvyšší účast vykazuje Liberecký kraj, kde se zúčastnily téměř všechny školy. Důvodem je zvýšená podpora krajského úřadu, který s CERMATem dlouhodobě spolupracuje a umožňuje ověřování novinek v organizačním zajištění testování. Projekt v Libereckém kraji proto běží v mírně odlišných podmínkách.

Počet přihlášených žáků

Středočeský kraj Jihočeský kraj Plzeňský kraj Karlovarský kraj Ústecký kraj Liberecký kraj Královéhradecký kraj Pardubický kraj Kraj Vysočina Jihomoravský kraj Olomoucký kraj Zlínský kraj Moravskoslezský kraj

Přihlášení žáci 8 089 5 578 4 420 2 640 6 878 4 757 3 785 5 112 5 336 9 301 6 163 4 134 10 768

Podíl ze všech žáků 64 % 75 % 74 % 77 % 74 % 96 % 59 % 82 % 80 % 70 % 83 % 58 % 72 %

Počet škol celkem

76 961

73 %

Kraj

Tabulka zobrazuje údaje o všech přihlášených žácích. Je však třeba připomenout, že zájem základních školy o účast v projektu je výrazně vyšší než zájem víceletých gymnázií. Zatímco ze základních škol bylo přihlášeno 78 % ze všech žáků, v případě víceletých gymnázií pouze 42 %.

15


6.2. Počet testovaných žáků Údaje o přihlášených a reálně testovaných žácích se liší. Reálná účast je každoročně zhruba o 10 % nižší než počet přihlášených žáků. Důvodem je zvýšená nemocnost dětí v zimním období, kdy probíhá testování. Samotného testování se tedy zúčastnilo 68 877 žáků (zúčastnili se alespoň jednoho testu nebo alespoň vyplnili žákovský dotazník). Z hlediska škol odstoupily od účasti na projektu čtyři z přihlášených. Celkem tedy testování proběhlo na 1 796 základních školách a víceletých gymnáziích. Následující tabulka uvádí počet žáků, kteří řešili jednotlivé testy. Ačkoliv testování probíhalo v jeden den, počet žáků řešících jednotlivé testy se mírně odlišoval. Příčinou byly pozdní příchody žáků z důvodu lékařských vyšetření. Celkově se jednalo o velmi malé počty, a proto rozdíly nebyly v dalších analýzách zohledňovány.

Počet testovaných žáků

Kraj Středočeský kraj Jihočeský kraj Plzeňský kraj Karlovarský kraj Ústecký kraj Liberecký kraj Královéhradecký kraj Pardubický kraj Kraj Vysočina Jihomoravský kraj Olomoucký kraj Zlínský kraj Moravskoslezský kraj ČR

Test MD

Test DČJ

Test OD

7 083 5 009 3 779 2 371 6 109 4 652 3 466 4 653 4 780 8 057 5 389 3 689 9 612 68 649

7 101 5 016 3 793 2 375 6 124 4 654 3 373 4 655 4 782 8 067 5 332 3 692 9 621 68 585

7 056 5 001 3 779 2 368 6 098 4 654 3 368 4 637 4 764 8 028 5 316 3 687 9 601 68 357

6.3. Počet žáků se speciálními vzdělávacími potřebami (SVP) V kontextu projektu je za žáka se SVP považován žák se zdravotním postižením nebo zdravotním znevýhodněním, jehož rozumové schopnosti dávají předpoklad osvojení učiva ZŠ v požadovaném rozsahu při zohlednění jeho speciálních vzdělávacích potřeb. Za žáka se SVP zde tedy není považován žák se sociálním či kulturním znevýhodněním. Žákům, jejichž znevýhodnění negativně intervenuje do písemného řešení didaktických testů, byla poskytnuta organizačně-technická uzpůsobení podmínek testování ve shodě s jejich individuálními vzdělávacími potřebami a dosavadní studijní praxí. Uzpůsobené podmínky byly žákům poskytnuty na základě doporučení školských poradenských zařízení a následného rozhodnutí ředitele školy.

16


Pro účely testování byly stanoveny 4 kategorie úprav podmínek v závislosti na druhu postižení. V rámci těchto kategorií byly dále rozlišeny tři skupiny, a to podle míry požadovaných uzpůsobení podmínek testování. Počty žáků v jednotlivých skupinách uvádí tabulka. V roce 2008 se testování zúčastnilo 3363 žáků se SVP. Jednalo se o 4,9 % všech testovaných žáků.

Počet testovaných žáků se SVP Kategorie

Skupina I

Skupina II

Skupina III

CELKEM

Specifické poruchy učení Zrakové postižení Sluchové postižení Tělesné postižení CELKEM

2829 10 19 26 2884

426 27 10 9 472

0 2 5 7

3255 37 31 40 3363

17


7. VÝSLEDKY TESTŮ Na základě řešení testů jednotlivými žáky jsou zpracovány výsledky. Ty lze rozdělit do několika skupin podle použitých psychometrických charakteristik a způsobu jejich interpretace. Jedná se o:

individuální výsledky popisující znalosti a dovednosti konkrétních žáků

souhrnné výsledky skupin žáků či skupin škol

parametry testů

V následující kapitole budou představeny vybrané údaje z druhé a třetí skupiny. Na jejich základě lze: a) učinit rozhodnutí, zda jsou testy dostatečně kvalitními evaluačními nástroji na to, abychom jejich prostřednictvím mohli činit závěry o úrovni znalostí a dovedností žáků; b) popsat úroveň znalostí a dovedností žáků jako skupiny, a to podle různých kritérií, například kraje, typu školy, známky na vysvědčení atd.

7.1. Vymezení základních psychometrických charakteristik Pro účely lepšího porozumění testových výsledkům uvádíme stručné definice hlavních psychometrických charakteristik. Podrobnější informace o statistických procedurách a jejich výstupech jsou uvedeny na webových stránkách www.cermat.cz. Celkové skóre: představuje počet bodů, které žák obdržel při řešení jednotlivých úloh v testu. Za každou úlohu, kterou žák správně zodpoví, získává příslušný počet bodů. V případě některých úloh je možné částečné hodnocení, které rozlišuje odpověď zcela správnou, částečně správnou a chybnou. Celková úspěšnost žáka: vyjadřuje v procentech poměr celkového skóre konkrétního žáka a nejvyššího možné skóre, které lze v testu dosáhnout. Příklad: je-li nejvyšší možné skóre 60 a dosáhl-li žák 30 bodů, pak je jeho celková úspěšnost 50 %. Úspěšnost žáka v úloze: vyjadřuje v procentech počet bodů, které žák získal za řešení dané úlohy, z nejvyššího počtu bodů, které bylo možné za správné řešení úlohy získat. Příklad: je-li za zcela správnou odpověď možné získat 2 body a uvedl-li žák odpověď za 2 body, pak je jeho úspěšnost v úloze 100 %. Průměrné skóre: představuje průměrný počet bodů dosažený všemi testovanými žáky v testu. Vypočítá se jako součet skóre jednotlivých žáků dělený jejich počtem, tedy jako aritmetický průměr. Průměrná úspěšnost žáků: vyjadřuje v procentech poměr průměrného skóre a nejvyššího možného skóre v testu. Příklad: je-li průměrné skóre 40 a nejvyšší možné skóre 80, pak je průměrná úspěšnost rovna 50 %. Diskriminace úlohy: vypovídá o schopnosti úlohy rozlišovat mezi žáky s většími znalostmi a dovednostmi a žáky s menšími znalostmi a dovednostmi. K rozlišení žáků na „lepší“ a „slabší“ se používá jejich celkový výsledek v testu. Vysokou citlivost má taková úloha, kterou řeší „lepší“ žáci podstatně úspěšněji než žáci „slabší“. V případě, že jsou v řešení úlohy úspěšnější „slabší“ žáci, obsahuje úloha pravděpodobně nějakou konstrukční chybu, případně měří jinou dovednost než většina zbývajících úloh. Nejčastěji se diskriminace vypočítá jako Pearsonův lineární korelační koeficient mezi skóre dosaženém v dané testové úloze a celkovým skóre (při vyloučení dané úlohy). Nabývá hodnot od -1 do 1. Záporné hodnoty znamenají, že žáci, kteří správně řešili danou testovou úlohu, dosáhli spíše nízkého celkového skóre ve zbytku testu a naopak. Kladné hodnoty svědčí o tom, že žáci úspěšní v řešení dané úlohy byli rovněž úspěšní při řešení ostatních úloh, tj. celého testu. Aby bylo možné

18


označit úlohu za přiměřeně citlivou, měla by diskriminace RIR dosahovat nejméně hodnoty 0,25–0,3. Jiný způsob výpočtu představuje tzv. ULI index. Vypočítá se jako rozdíl v úspěšnosti řešení konkrétní úlohy poloviny žáků s vyšším celkovým výsledkem v testu a poloviny žáků s nižším celkovým výsledkem.

7.2. Celkové výsledky žáků v testech Základní představu o testech si lze vytvořit na základě průměrné úspěšnosti žáků v nich. Tento údaj spolu s průměrným skóre uvádí následující tabulka. Z tabulky je patrné, že průměrná úspěšnost žáků v jednotlivých testech se značně liší.

Průměrná úspěšnost v testech Kraj Středočeský kraj Jihočeský kraj Plzeňský kraj Karlovarský kraj Ústecký kraj Liberecký kraj Královéhradecký kraj Pardubický kraj Kraj Vysočina Jihomoravský kraj Olomoucký kraj Zlínský kraj Moravskoslezský kraj

Test MD 34,7 % 38,6 % 35,7 % 32,5 % 31,1 % 39,4 % 37,0 % 37,2 % 39,8 % 37,3 % 35,7 % 38,0 % 34,3 %

Test DČJ 55,3 % 58,0 % 55,3 % 54,8 % 52,7 % 60,6 % 56,7 % 56,4 % 57,0 % 57,7 % 56,3 % 58,1 % 54,5 %

Test OD 47,9 % 50,0 % 47,7 % 46,6 % 45,4 % 53,3 % 48,9 % 48,9 % 49,7 % 50,0 % 48,5 % 50,5 % 47,1 %

ČR

36,1 %

56,3 %

48,7 %

Nejobtížnější byl test Matematické dovednosti, který žáci řešili jen s průměrnou úspěšností 36 %. Nižší výsledek se v matematických testech vyskytuje dlouhodobě. Příčin je více. Jedna spočívá v míře požadovaných znalostí a dovedností žáků ve vztahu k intelektuálním možnostem žáků i k podmínkám a způsobu výuky ve školách (skladba a počet žáků ve třídách, výběr vhodných metod práce, motivace žáků, počet vyučovacích hodin věnovaných matematice apod.). Protože test vychází z platných pedagogických dokumentů, nemůže být jeho obtížnost snížena tím, že do testu budou zahrnuty snazší úlohy. Další důvod spočívá v konstrukci testu. Zatímco druhé dva testy používají výhradně uzavřených úloh, v testu Matematické dovednosti jsou obsaženy i otevřené úlohy, které umožňují lépe posoudit kreativitu a samostatnost úsudku zkoušeného. Není výjimkou, že správně uvedený výsledek bývá podložen chybným řešením a úloha je pak hodnocena jako neúspěšná. Testové úlohy zařazené v testu Matematické dovednosti jsou s výjimkou několika počátečních úloh časově náročnější než ve zbývajících oblastech. Proto byl časový limit pro řešení testu navýšen. Přesto se zejména v uzavřených úlohách mnozí žáci „nezdržují“ přemýšlením a nutnými výpočty, ale pokouší se výsledek odhadovat. Takové chování vede s velkou pravděpodobností k neúspěchu v úloze a ke zbytečnému poklesu celkových výsledků.

19


Zbývající dva testy byly žáky řešeny s podstatně vyšší úspěšností. Test Dovednosti v českém jazyce si dlouhodobě drží shodné výsledky, test Obecné dovednosti byl v letošním ročníku pro žáky mírně náročnější než v uplynulých ročnících. To se však vzhledem k úpravě specifikační tabulky a na základě pilotáží úloh předpokládalo. Oba uvedené údaje jsou z psychometrického hlediska přiměřené. Z tabulky je dále patrné, že průměrné výsledky žáků variují podle jednotlivých krajů. Vzhledem k vysoké účasti žáků je i rozdíl několika málo procentních bodů statisticky signifikantní, a nelze jej proto považovat za důsledek náhody. Silným faktorem je jistě váha, kterou školy, a tedy i žáci přikládají účasti v projektu. Čím vyšší váhu projektu přikládají, tím více stoupá motivace žáků, a tedy i úspěšnost jejich řešení. To ilustruje celkově vysoký výsledek žáků z Libereckého kraje, kde krajský úřad apeloval na školy, aby se projektu zúčastnily, a kde střední školy při přijímacím řízení přihlížejí k výsledkům žáků v testech. Z toho plyne, že současné výsledky žáků v ostatních krajích zřejmě nepředstavují své maximum a mohly by být ještě zvýšeny. Ačkoliv každý z testů se soustřeďuje na ověřování jiných znalostí a dovedností, výsledky žáků v nich spolu výrazně souvisí. Na to ukazuje síla korelací mezi testy, které jsou uvedeny v následující tabulce.

Korelace mezi testy

Test MD Test DČJ Test OD

Test MD 0,637** 0,687**

Test DČJ 0,637** 0,701**

Test OD 0,687** 0,701** -

Jedná se o logický a zároveň požadovaný výsledek. Vyplývá z něj, že větší část žáků má srovnatelné výsledky v testech z obou předmětů. Test Obecné dovednosti má o málo těsnější vazbu ke čtenářské gramotnosti než k matematickým dovednostem. Zároveň si však lze položit otázku, zda by nemělo dojít k většímu rozptylu specifických tabulek jednotlivých testů či zda je efektivní provádět testování prostřednictvím všech tří testů.

7.3. Výsledky žáků v testech podle typu školy Testování se účastnili žáci základních škol a víceletých gymnázií. Podle očekávání byly jejich průměrné výsledky velmi rozdílné. Žáci gymnázií řešili testy výrazně úspěšněji než žáci základních škol. Rozdíl je ukázán v následujícím grafu.

Průměrná úspěšnost v testech podle typu školy

ZŠ G celkem

100% 80% 60% 40% 20% 0% MD

DČJ

OD

20


Největší rozptyl mezi výsledky žáků ze základních škol a gymnázií je v testu Matematické dovednosti. Úspěšnost gymnazistů je vyšší o 28 procentních bodů. Ve zbývajících testech je rozdíl 23 procentních bodů. Aby interpretace tohoto výsledku nebyla zjednodušující, je třeba mít na paměti, že účast základních škol je vyšší než účast víceletých gymnázií (73 % ze všech žáků ZŠ, ale jen 42 % ze všech žáků gymnázií). To může zkreslit výsledky v tom smyslu, že do projektu se mohla zapojit jen tak gymnázia, která předpokládala úspěch svých žáků. Zatímco úroveň ZŠ byla vzhledem k jejich množství pestřejší, úroveň gymnázií v porovnání se všemi existujícími gymnázii mohla být vyšší. Rozdíl v testových výsledcích žáků základních škol a víceletých gymnázií byl očekáván a v předchozích projektech potvrzen. Přesto z něho vyplývá řada otázek, které se týkají kurikulární reformy a monitorování výsledků vzdělávání. Aby byla ve stávající heterogenitě vzdělávacího systému posílena výpovědní hodnota výsledků monitorování a nedošlo případně k chybné interpretaci výsledků na straně zřizovatelů škol, bylo by vhodné zahrnout do konceptu zjišťování výsledků vzdělávání i měření „přidané hodnoty“. Toto porovnání umožňuje sledovat relativní změnu úrovně znalostí a dovedností jednotlivých žáků a zároveň dovoluje zjišťovat efektivitu pedagogické práce jednotlivých škol bez ohledu na charakter žákovské populace.

7.4. Výsledky komplexů úloh v testu Dovednosti v českém jazyce Test Dovednosti v českém jazyce řešilo celkem 68 585 žáků. Žáci dosáhli v řešení testu průměrného skóre 28,7 bodů, což představuje průměrnou úspěšnost 56,3 %. Psychometrické charakteristiky testu jsou přiměřeně kvalitní. Realiabilita, vynechanost a diskriminace dosahuje dobrých hodnot. Test tak lze považovat za relativně přesný a spolehlivý nástroj měření žákovských znalostí a dovedností. Test byl zadáván ve dvou variantách, které se od sebe lišily pouze pořadím úloh a variant odpovědí; samotné úlohy byly shodné. Výsledky v obou variantách byly srovnatelné. Výsledky žáků základních škol a víceletých gymnázií byly velmi rozdílné. Žáci ZŠ dosáhli průměrné úspěšnosti 54,3 %, zatímco žáci gymnázií 76,6 %. Detailnější pohled na výsledky ukazuje, že úspěšnost žáků v jednotlivých částech testu byla proměnlivá. Lepší představu než údaje za jednotlivé úlohy poskytnou výsledky v komplexech úloh. Následující tabulka uvádí výsledky za komplexy úloh. Test DČJ: Průměrná úspěšnost v komplexech úloh

Komplexy úloh CJ_VTO CJ_VTU CJ_VTNP CJ_VTNO CJ_JS CJ_PTV CJ_VYT DČJ

Úspěšnost celkem

Úspěšnost žáků ZŠ

Úspěšnost žáků G

54,0 % 39,2 % 60,7 % 58,9 % 50,4 % 61,4 % 52,9% 56,3 %

51,6 % 37,2 % 58,9 % 57,1 % 48,3 % 59,4 % 51,1 % 54,3 %

79,2 % 59,8 % 79,3 % 77,6 % 71,9 % 82,0 % 76,6 % 76,6 %

21


Nejnižší úspěšnosti dosáhli žáci při řešení komplexu úloh s uměleckými výchozími texty. Naopak nejméně náročné pro ně byly úlohy týkající se porozumění výchozímu textu a významu slov a úlohy s publicistickými výchozími texty. To platí jak pro žáky základních škol, tak víceletých gymnázií.

7.5. Výsledky komplexů úloh v testu Matematické dovednosti Test Matematické dovednosti řešilo celkem 68 649 žáků. Žáci dosáhli v řešení testu průměrného skóre 18 bodů, což představuje průměrnou úspěšnost 36,1 %. Stejně jako v testu Dovednosti v českém jazyce i v testu Matematické dovednosti dosáhly psychometrické charakteristiky dobrých hodnot. Test tak lze rovněž považovat za relativně přesný a spolehlivý nástroj měření žákovských znalostí a dovedností. Test byl zadáván ve dvou variantách, které měly zcela shodnou specifikační tabulku i pořadí úloh. Charakter úloh byl stejný; konkrétní údaje, s nimiž žáci prováděli matematické operace, se však lišily. Výsledky v obou variantách byly srovnatelné. Výsledky žáků základních škol a víceletých gymnázií byly velmi rozdílné. Žáci ZŠ dosáhli průměrné úspěšnosti 33,6 %, zatímco žáci gymnázií 62,1 %.

Test MD: Průměrná úspěšnost v komplexech úloh

Komplexy úloh MA_ZMO MA_ZCI MA_G MD

Úspěšnost celkem



45,5 % 33,3 % 24,4 % 36,1 %

42,9 % 30,2 % 22,6 % 33,6 %

72,6 % 63,5 % 43,6 % 62,1 %

Z hlediska komplexů úloh byly pro žáky nejobtížnější úlohy geometrické. Nedostatky ve výuce geometrie se v posledních letech výrazně prohlubují. Záměrem autorů bylo na tuto negativní situaci upozornit, proto byl tento komplex úloh v testu posílen. Nedostatky žáků v geometrii však negativně ovlivnily celkový výsledek testu. Pouze úlohy prvního komplexu ověřující základní matematické operace a použití standardních naučených postupů byly pro žáky méně náročné. Výsledky tohoto komplexu odpovídají výsledkům v testu Matematické dovednosti v předchozích letech. Podobně jako jiné mezinárodní projekty hodnocení odhalil i test Matematické dovednosti nedostatky v úsudku žáků, ve strategiích a zdůvodňování řešení, což bylo obsaženo ve druhém komplexu Zpracování číselné operace..

7.6. Výsledky komplexů úloh v testu Obecné dovednosti Test Obecné dovednosti řešilo celkem 68 357 žáků. Žáci dosáhli v řešení testu průměrného skóre 14,6 bodů, což představuje průměrnou úspěšnost 48,7 %. Stejně jako oba předcházející testy i test Obecné dovednosti splňuje z psychometrického hlediska všechny podmínky pro to, aby byl považován za dostatečně přesný spolehlivý nástroj měření žákovských výkonů. Test byl zadáván ve dvou variantách. Ty byly tvořeny shodnými úlohami, avšak v rozdílném pořadí. Obě varianty jsou plně srovnatelné.

22


Výsledky žáků základních škol a víceletých gymnázií byly velmi rozdílné. Žáci ZŠ dosáhli průměrné úspěšnosti 46,6 %, zatímco žáci gymnázií 70,2 %. Zde představujeme výsledky podle komplexů úloh. Průměrnou úspěšnost žáků v řešení úloh spadajících do stejného komplexu ukazuje následující tabulka.

Test OD: Průměrná úspěšnost v komplexech úloh

Komplexy úloh OD_VS OD_GS OD_VC OD_GC OD_VG OD_GG OD

Úspěšnost celkem



45,2 % 46,7 % 53,3 % 41,1 % 56,1 % 58,0 % 48,7 %

43,2 % 44,3 % 51,2 % 38,9 % 54,2 % 56,6 % 46,6 %

65,6 % 71,7 % 75,3 % 64,8 % 75,5 % 71,8 % 70,2 %

Z tabulky je patrné, že největší potíže měli žáci v úlohách vyžadujících náročnější operace s informacemi číselného charakteru. Jednoduché vyhledání či porovnání údajů jim nečiní problémy, globální porozumění takovým údajům či vysouzení nové informace je však již obtížnější. Naopak nejméně náročné byly úlohy týkající se grafických informací (tj. grafy a schémata). Toto zjištění je vzhledem k předcházejícím projektům překvapivé. Dříve naopak patřily úlohy vycházející z grafů k náročnějším. Stále však platí, že přibližně poloviční úspěšnost v úlohách představuje přiměřený údaj, který umožňuje náležitě rozlišovat mezi slabšími a silnějšími žáky.

23


7.7. Výsledky žáků se speciálními vzdělávacími potřebami (SVP) Jak již bylo uvedeno, součástí projektu bylo testování všech žáků, tedy i žáků se speciálními vzdělávacími potřebami, přičemž podmínky testování byly upraveny tak, aby byl minimalizován vliv postižení či znevýhodnění na řešení testů a následnou úspěšnost. Všem žákům se SVP byl navýšen časový limit, pro některé z nich byla rovněž provedena další opatření (zejména formální, ale v některých případech i obsahová). Z hlediska celkové průměrné úspěšnosti byli žáci se SVP ve shodě s výsledky dalších šetření a následnými očekáváními v řešení testů méně úspěšní než žáci intaktní populace. Celkový průměrný rozdíl mezi úspěšností všech kategorií žáků se SVP a žáků intaktní populace se v jednotlivých testech dovedností pohyboval od 9 procentních bodů (v testu Obecné dovednosti) až ke 12 procentním bodům (v testu Dovednosti v českém jazyce), vždy ve prospěch intaktní populace. Následující graf ukazuje průměrné úspěšnosti žáků podle druhu postižení ve všech třech testech.

Průměrná úspěšnost v testech podle druhu postižení 100%

TP

80%

ZP

60%

SP SPU

40% 20% 0% DČJ

MD

OD

V grafu i následujících tabulkách jsou používány k označení jednotlivých skupin žáků tyto zkratky: TP – žáci s tělesným postižením, ZP – žáci se zrakovým postižením, SP – žáci se sluchovým postižením, SPU – žáci se specifickými poruchami učení. K nejúspěšnější kategorii z hlediska průměrné úspěšnosti lze jednoznačně zařadit kategorii žáků s tělesným postižením, kde se oproti intaktní populaci žáků objevil v průměrné úspěšnosti řešení testu Dovednosti v českém jazyce pouze nepatrný rozdíl (4 procentní body). O něco vyšší rozdíly byly zjištěny v průměrné úspěšnosti řešení testu Obecné dovednosti (7 procentních bodů) a v testu Matematické dovednosti (8 procentních bodů). Zajímavé jsou výsledky žáků se sluchovým postižením, kteří v průměru relativně slabě řešili test Dovednosti v českém jazyce (rozdíl oproti populaci intaktních žáků činil 13 procentních bodů), v testech Matematické dovednosti a Obecné dovednosti však byla jejich průměrná úspěšnost poměrně vysoká (rozdíly činily pouze 9 a 6 procentních bodů). Pro žáky se zrakovým postižením byl nejobtížnější test Obecné dovednosti (rozdíl 13 procentních bodů) a test Matematické dovednosti (rozdíl 10 procentních bodů). V testu Dovednosti v českém jazyce byli žáci uvedené kategorie ve vztahu k intaktní populaci žáků poměrně úspěšní (rozdíl činil 7 procentních bodů). Kategorie žáků se SPU se dle celkových výsledků jeví jako nejproblematičtější. V porovnání s průměrnou úspěšností intaktní populace žáků bylo zjištěno následující: v testu Dovednosti v českém jazyce činil rozdíl 12 procentních bodů, v testu Matematické dovednosti 11 procentních bodů a v testu Obecné dovednosti pak 9 procentních bodů.

24


Podrobnější výsledky zobrazující průměrnou úspěšnost žáků se SVP podle jednotlivých skupin a kategorií a průměrnou úspěšnost intaktních žáků uvádí následující tabulky.

Test Matematické dovednosti Druh postižení TP

ZP

SP

SPU

Skupina

Počet žáků

Průměrná úspěšnost

I

26

25,1 %

II

9

27,6 %

III

5

46,8 %

I

10

24,6 %

II

27

27,1 %

I

19

29,9 %

II

10

27,6 %

III

2

12,0 %

I

2818

25,9 %

II

425

23,5 %

65298

36,6 %

intaktní žáci

Test Dovednosti v českém jazyce Druh postižení

Skupina

Počet žáků

I

26

50,2 %

TP

II

9

58,6 %

III

5

53,7 %

I

10

42,4 %

II

27

52,4 %

ZP

SP

SPU intaktní žáci


I

19

51,9 %

II

10

37,1 %

III

2

15,7 %

I

2820

44,9 %

II

426

41,8 %

65231

56,9 %

25


Test Obecné dovednosti Druh postižení TP

ZP

SP

SPU

Skupina

Počet žáků


I

25

40,5 %

II

9

45,6 %

III

5

44,0 %

I

10

30,3 %

II

27

37,8 %

I

19

45,3 %

II

10

44,0 %

III

2

16,7 %

I

2803

40,3 %

II

422

38,3 %

65025

49,1 %

intaktní žáci

Z tabulek je zřejmé, že rozdíly v průměrných úspěšnostech žáků jsou velmi odlišné, a to v závislosti na druhu postižení a následné míře uzpůsobení podmínek testování. Svou roli zde však hrají i další faktory. Podrobnější rozbor včetně zmapování problémových oblastí a popisu příčin výsledků žáků se SVP je zpracován v dílčí zprávě z projektového cyklu s názvem Analýza výsledků žáků se SVP

v projektech Hodnocení výsledků vzdělávání žáků 9. ročníků ZŠ a odpovídajících ročníků víceletých gymnázií 2006–2008.

7.8. Výsledky dívek a chlapců v testech České i zahraniční výzkumy ukazují, že vzdělávací výsledky dívek a chlapců se ve většině oblastí výrazně liší. Ve školním hodnocení dívky dosahují v průměru lepších známek, a to na všech stupních škol a ve všech předmětech. V externích evaluačních nástrojích jsou výsledky nekonzistentní. V jazykových oblastech obvykle dopadají lépe dívky, v přírodovědných a matematických naopak chlapci. Ukazuje se, že rozdíly v chlapeckých a dívčích výsledcích mohou být částečně způsobeny vnitřními parametry testů. V tomto ohledu se proto požaduje, aby test byl genderově neutrální, tj. aby nevyužíval takové obsahy či formulace úloh, které by výrazně zvýhodňovaly dívky či chlapce. Jedním z ukazatelů, zda je test genderově nezatížený, je pak shodnost průměrné úspěšnosti dívek a chlapců. V roce 2008 se testování zúčastnilo 34 473 chlapců a 34 404 dívek. Jejich účast tak byla relativně vyrovnaná. Počet žáků a žákyň podle typu školy se však mírně odlišoval. Mezi chlapci bylo 92,6 % žáků ze základních škol a 7,4 % z víceletých gymnázií, zatímco mezi dívkami bylo 90,2 % žákyň ze základních škol a 9,8 % z víceletých gymnázií. Z genderového hlediska je však i složení studujících na základních školách a na víceletých gymnáziích podstatná informace.

26


Následující graf ukazuje, jaké byly průměrné výsledky dívek a chlapců v jednotlivých testech. Celkově lze výsledky považovat za relativně dobré.

Průměrná úspěšnost v testech 100% dívky chlapci

80% 60% 40% 20% 0% MD

DČJ

OD

Téměř žádný rozdíl není v chlapecké a dívčí úspěšnosti v testu Obecné dovednosti. Poměrně malé jsou rozdíly v testu Matematické dovednosti, a to o 1 procentní bod ve prospěch chlapců. Největší rozdíly jsou v testu Dovednosti v českém jazyce, kde byla průměrná úspěšnost dívek o 5 procentních bodů vyšší. Zajímavé je, že v případě víceletých gymnázií se rozdíly mezi dívkami a chlapci v testu Obecné dovednosti a Matematické dovednosti výrazně prohloubily a jsou podstatně větší než mezi žáky na základních školách. V obojím případě chlapci dosahují výrazně vyššího skóre. Nabízí se možné vysvětlení, že na víceletá gymnázia se kromě nadaných dětí dostávají i průměrně nadané děti s dobrými učebními návyky a volními vlastnostmi, k nimž, vzhledem k rozdílům mezi dívčí a chlapeckou výchovou, patří častěji dívky. Tomuto rozporu mezi základními školami a víceletými gymnázii by bylo vhodné věnovat výzkumnou pozornost. Vedle průměrné úspěšnosti nabízí zajímavý pohled také rozdělení výsledků podle percentilů. Percentil vyjadřuje výsledek v testu (úspěšnost), který nepřekročilo uvedené procento žáků (například 10. percentil, nazývaný též dolní decil, určuje hranici úspěšnosti desetiny nejhorších žáků; 90. percentil, nazývaný horní decil, určuje hranici úspěšnosti desetiny nejlepších žáků). Rozdíly mezi dívkami a chlapci ukazuje následující tabulka.

Výsledky dívek a chlapců podle percentilů Test MD

Percentily [%] 10 20 30 40 50 60 70 80 90

dívky 12,0 16,0 22,0 28,0 32,0 38.0 44,0 54,0 64,0

% % % % % % % % %

chlapci 12,0 % 18,0 % 22,00 % 28,0 % 32,0 % 38,0 % 46,0 % 56,0 % 68,0 %

Test DČJ dívky 35,3 43,1 49,0 52,9 58,8 64,7 68,6 76,5 82,4

% % % % % % % % %

Test OD

chlapci 29,4 37,3 43,1 47,1 52,9 58,8 64,7 70,6 78,4

% % % % % % % % %

dívky 23,3 30,0 36,7 43,3 46,7 53,3 60,0 66,7 73,3

% % % % % % % % %

chlapci 23,3 30,0 36,7 40,0 46,7 53,3 60,0 66,7 76,7

% % % % % % % % %

27


7.9. Výsledky v testech podle známek Porovnání testových výsledků podle prospěchu je zajímavý údaj sloužící pro vnitřní evaluaci škol i celého školského systému. Vypovídá totiž o míře shody kritérií používaných k hodnocení žáků prostřednictvím testů a ve výuce. Pokud jsou testy kvalitními nástroji, pak tyto údaje svědčí o přesnosti a obsahu klasifikačních norem používaných na jednotlivých školách. V rámci testování uváděli žáci známky na posledním vysvědčení v žákovském dotazníku. Následně byli rozděleni do skupin podle známky z předmětu český jazyk a literatura a z předmětu matematika. Pro skupiny žáků podle známek z jednotlivých předmětů byla vypočtena průměrná úspěšnost v testu Dovednosti v českém jazyce a v testu Matematické dovednosti. Údaje uváděné žáky neprošly žádnou další kontrolou, a proto je nutné mít na paměti možné zkreslení. Analýzy testových výsledků podle známky vycházejí z předpokladu, že žáci s dobrými známkami budou dosahovat dobrých výkonů v testu a opačně. Znamená to, že žáci s klasifikací 1 na vysvědčení by měli dosáhnout lepších výsledků než žáci s klasifikací 2, ti by měli dosáhnout lepších výsledků než žáci s klasifikací 3 atd. Pokud tomu tak není, znamená to, že kritéria školní klasifikace a požadavky ověřované v testu se zásadním způsobem liší. Z toho vyplývá, že se škola ve výuce a v hodnocení žáků například soustřeďuje na jiné učivo, než které bylo ověřováno prostřednictvím testů, nebo že do školní klasifikace vstupují faktory nesouvisející přímo se zvládnutím učiva, jako je ochota spolupracovat při výuce, či dokonce osobní sympatie vyučujících k žákům. Neodpovídá-li porovnání testových výsledků a známky na vysvědčení obvyklému očekávání (čím lepší známka, tím lepší průměrné výsledky v testu), je to impuls k zamyšlení nad klasifikačními normami, které jsou v dané škole používány, a nad strukturou kritérií při jejich aplikaci. Podle očekávání úspěšnost v závislosti na známkách klesá. Korelace mezi známkou na vysvědčení a testovým výsledkem je relativně vysoká. Tato skutečnost znamená, že kritéria testu se přibližně shodují s kritérii školní klasifikace.

Následující tabulka a grafy uvádějí průměrné úspěšnosti žáků podle známek z matematiky a z českého jazyka na pololetním vysvědčení v 9. ročníku či odpovídajícím ročníku víceletého gymnázia.

Průměrné úspěšnosti žáků v testech podle známky na pololetním vysvědčení Známka 1 2 3 4 5

Test MD Počet žáků Úspěšnost 10 494 57,2 % 21 529 43,1 % 20 183 30,4 % 13 941 19,6 % 829 16,2 %

Test DČJ Počet žáků Úspěšnost 9 964 72,6 % 24 806 62,3 % 21 801 50,2 % 10 413 40,1 % 248 37,2 %

28


Průměrná úspěšnost v testu MD podle známek 100%

G

80%

ZŠ

60% 40% 20% 0% 1

2

3

4

5

Průměrná úspěšnost v testu DČJ podle známek 100%

G

80%

ZŠ

60% 40% 20% 0% 1

2

3

4

5

Grafy ukazují, jak se mění úspěšnost podle známky u žáků na ZŠ a na gymnáziích. V obou předmětech jsou výsledky podobně průkazné jako v celkovém pohledu. Výjimkou je však český jazyk na gymnáziích. Na průměrných úspěšnostech je patrné, že mezi žáky s jednotlivými známkami nejsou příliš velké rozdíly (hodnoty klesají méně průkazně než v ostatních případech), a u „pětkařů“ dokonce dochází ke zvýšení úspěšnosti. To je poměrně častý jev, který naznačuje, že kritéria pro známku 5 zahrnují jiné charakteristiky než kritéria pro ostatní známky. Test DČJ byl pro žáky gymnázia relativně dostupný a do známky se pravděpodobně promítají další náročnější požadavky. Test Matematické dovednosti roztřídil žáky základních škol i víceletých gymnázií ve shodě se školní klasifikací. Výsledky testu ve vztahu ke klasifikaci prokazují zásadní rozdíly v nárocích na žáky v obou typech škol. Pouze „jedničkáři“ ze ZŠ by dle testových výsledků obstáli v klasifikaci na gymnáziu, všichni ostatní žáci ZŠ mají nižší úspěšnost než „pětkaři“ na gymnáziu. Vzhledem k tomu, že na ZŠ i na nižších stupních víceletých gymnázií je obsah povinného učiva stejný, můžeme usuzovat na to, že na žáky gymnázií jsou kladeny vyšší nároky.

29


7.10. Výsledky žáků podle střední školy Dalším znakem zjišťovaným prostřednictvím žákovského dotazníku byla střední škola, na niž si žáci podávali přihlášku. Tato položka byla relevantní pouze pro žáky základních škol. Žáci byli následně rozděleni podle typu střední školy do šesti skupin, pro které byla spočítána průměrná úspěšnost v řešení testů. Jednalo se o následující skupiny: gymnázia, střední odborné školy, střední odborná učiliště s maturitou, střední odborná učiliště s vyučením, učební obor bez maturity i vyučení, žádné studium. Údaje jsou uvedeny v následující tabulce.

Průměrná úspěšnost žáků v testech podle přihlášky na střední školu (pouze žáci ZŠ) Známka

Test DČJ

Test MD

Test OD

Počet žáků

Úspěšnost

Počet žáků

Úspěšnost

Počet žáků

Úspěšnost

Gymnázia

9 494

70,1 %

9 480

51,8 %

9 500

62,2 %

SOŠ

30 778

57,5 %

30 691

36,3 %

30 788

49,7 %

SOU (mat.)

8 571

46,8 %

8 523

25,9 %

8 570

39,5 %

SOU (vyuč.)

11 862

40,5 %

11 738

19,2 %

11 866

32,9 %

OU, U (bez)

233

36,3 %

230

17,7 %

233

29,4 %

nehlásí se

587

39,4 %

575

18,3 %

587

39,0 %

Podle očekávání postupně klesala průměrná úspěšnost žáků v závislosti na typu střední školy. Nejvyšší úspěšnost dosáhli žáci hlásící se na gymnázia, nejnižší žáci hlásící se na učební obory bez maturity i bez vyučení. Rozdíl mezi žáky ZŠ hlásícími se na gymnázia a žáky víceletých gymnázií činil několik procentních bodů (test MD: 10 procentních bodů, test DČJ: 7 procentních bodů, test OD: 8 procentních bodů). Zajímavé je, že rozdíl se proti předchozím letům nezměnil.

7.11. Výsledky žáků podle odhadu testových výkonů Zajímavý pohled na žákovské řešení didaktických testů nabízí srovnání odhadovaných a reálných výsledků. Součástí dotazníku byla položka, která zjišťovala, jak žáci odhadují své výsledky v právě dokončených testech. Žáci měli určit, kolika bodů zřejmě v testu dosáhnou. Následně byl jejich odhad porovnán se skutečným počtem bodů. Na základě rozdílu mezi oběma údaji byli žáci rozděleni do pěti skupin – silné přecenění, přecenění, reálný odhad, podcenění, silné podcenění. Reálně odhadovala své výkony pouze pětina žáků. Ostatní měli tendenci spíše k přeceňování, a to zejména na ZŠ. To platí o testu Matematické dovednosti a Obecné dovednosti. Naopak v testu Dovednosti v českém jazyce se větší část žáků gymnázií výrazně podceňovala. Tendence k přeceňování jsou u žáků ZŠ relativně očekávané, minulá šetření vedla k podobným výsledkům.

30


Následující tabulka ukazuje podíl žáků podle míry shody mezi reálným a odhadovaným výsledkem.

Reálnost odhadů vlastních výkonů na základních školách

Silné podcenění Podcenění Reálný odhad Přecenění Silné přecenění

Test MD 7,5 % 11,1 % 17,3 % 19,5 % 44,6 %

Test DČJ 21,8 % 17,5 % 20,2 % 17,7 % 22,8 %

Test OD 2,2 % 7,4 % 19,1 % 27,7 % 43,6 %

Reálnost odhadů vlastních výkonů na víceletých gymnáziích


Test MD 18,9 % 18,3 % 24,9 % 19,4 % 18,5 %

Test DČJ 36,3 % 24,1 % 21,6 % 12,0 % 5,9 %

Test OD 5,9 % 16,2 % 31,6 % 30,1 % 16,2 %

Reálnost odhadů vlastních výkonů celkem v ČR


Test MD

Test DČJ

Test OD

8,5 % 11,7 % 18,0 % 19,5 % 42,3 %

23,1 % 18,0 % 20,4 % 17,3 % 21,3 %

2,5 % 8,2 % 20,2 % 27,9 % 41,2 %

Nízká reálnost odhadu svědčí o malém důrazu na kvalitní sebepoznání v rámci školního vzdělávání. Žáci spíše přijímají hodnocení druhých a málo rozvíjejí svoji znalost vlastních silných a slabých stránek. Podceňování i přeceňování coby projev nízkého sebepoznání ovlivňuje efektivitu samotného procesu učení a úroveň výkonů.

31


Zajímavé je srovnání žáků základních škol a víceletých gymnázií, které přináší následující graf. Ten uvádí pouze podíl žáků, kteří se přeceňují (spojení kategorií „přecenění“ a „silné přecenění“).

Podíl žáků přeceňujících své výkony podle typu školy 100%

G ZŠ

80% 60% 40% 20% 0% MD

DČJ

OD

Z grafu je patrné, že žáci ZŠ mají výrazně silnější sklony k přeceňování. Je pravděpodobné, že přeceňování je částečně způsobeno neznalostí charakteru úloh, které byly do testu zahrnuty.

7.12. Struktura žáků podle způsobu řešení úloh z matematiky a českého jazyka Jedna z položek v žákovském dotazníku mapovala zkušenosti žáků s řešením úloh ve školním prostředí. Nutným předpokladem pro zdárné osvojení učiva je procvičování dostupných úloh. Pokud žáci ani při výuce nejsou schopni samostatně řešit úlohy a necítí se k tomu kompetentní, nemohou dosahovat ani v samotných didaktických testech dobrých výsledků. Podíl žáků, kteří v dotazníku uvedli jednotlivé odpovědi, představuje následující tabulka.

Struktura žáků podle způsobu řešení úloh z matematiky a českého jazyka

řeším zcela samostatně

řeším s drobnou nápovědou

při řešení potřebuji vedení

i s pomocí mám při řešení problémy

nedokážu řešit úlohy

během výuky úlohy z ČJ …

ZŠ

35,7 %

52,6 %

8,7 %

2,5 %

0,5 %

G

40,1 %

54,5 %

3,9 %

0,9 %

0,7 %

domácí úlohy z ČJ ...

ZŠ

60,9 %

31,1 %

5,4 %

1,6 %

1,0 %

G

67,6 %

27,7 %

2,7 %

0,7 %

1,4 %

během výuky úlohy z M ...

ZŠ

35,7 %

44,4 %

13,9 %

4,6 %

1,5 %

G

39,8 %

44,1 %

12,0 %

2,9 %

1,2 %

domácí úlohy z M ...

ZŠ

50,9 %

33,7 %

9,2 %

3,9 %

2,3 %

G

55,4 %

32,3 %

7,2 %

2,9 %

2,1 %

32


Z tabulky je patrné, že v českém jazyce pracuje přibližně třetina žáků zcela samostatně. Jen s mírnou pomocí řeší úlohy více než polovina třídy. V menšině jsou žáci, kteří vyžadují individuální pomoc od učitele a dále ti, pro které jsou úlohy za hranicí jejich možností. Při hodinách matematiky je podíl žáků, kteří řeší úlohy samostatně či s mírnou pomocí, jen o něco nižší. Naopak v obou typech škol je vyšší podíl žáků, kteří vyžadují pomoc učitele (12–14 %), i těch, kteří v řešení zcela selhávají (1,2–1,5 %). Z výsledků můžeme usoudit, že vyučující se jak v hodinách českého jazyka, tak i v hodinách matematiky citlivě přizpůsobují možnostem většiny žáků ve třídě. Pokud mnozí žáci zejména v matematice nezvládají základní učivo, je třeba hledat příčiny tohoto stavu. Dotazníkové šetření naznačuje, že jednou z cest k nápravě je dělení žáků podle studijních předpokladů (specializované třídy pro nadané žáky, třídy víceletých gymnázií, studijní skupiny, třídy s posílením výuky základního učiva apod.).

33


8. VÝSTUPY Z PROJEKTU Výstupy z projektu Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií 2008 byly připravovány v návaznosti na cíle a cílové skupiny projektu. Konkrétně se jednalo o následující výstupy:

Osvědčení pro žáky

Souhrnná zpráva pro školy

Agregované výsledky pro krajské úřady

Závěrečná zpráva pro MŠMT

8.1. Osvědčení o výsledcích pro jednotlivé žáky Osvědčení představovalo stručnou informaci o výsledcích konkrétního žáka v řešených testech. Jeho/její výsledky (skóre a úspěšnost) byly porovnány s průměrnými výsledky žáků v rámci školy, kraje a všech testovaných žáků v ČR. K porovnání sloužily jednak číselné údaje v tabulkách, jednak přehledné grafy. Součástí osvědčení byly vysvětlivky k uváděným údajům. Osvědčení byla vytištěna jmenovitě pro každého testovaného žáka. Na začátku dubna 2008 pak byla rozeslána do jednotlivých škol, které zajistily jejich předání žákům. Osvědčení do škol dorazila před konáním přijímacích zkoušek, aby je žáci mohli při přijímacím řízení využít. Po dobrých zkušenostech z roku 2007 se přistoupilo i v letošním projektu k ocenění nejúspěšnějších žáků v řešení testů. Tito žáci dostali od CERMATu osobní dopis s dárkem a zároveň byli o jejich úspěchu informováni ředitelé škol.

8.2. Souhrnná zpráva pro školy Každá zúčastněná škola obdržela souhrnnou zprávu obsahující řadu údajů. Jejich výběr vycházel ze zkušeností z uplynulých ročníků projektu, kdy školy rovněž dostávaly výstupní sestavy a následně byly dotazovány, jaké další údaje by pro ně byly zajímavé a užitečné. Cílem souhrnné zprávy je poskytnout školám informace, na jejichž základě si mohou vytvořit či doplnit představu o vlastní žákovské populaci a svých vzdělávacích výsledcích. K tomu slouží jednak absolutní hodnoty vyjadřující výkony žáků dané školy v testech, jednak porovnání s výsledky ostatních zúčastněných škol. Z porovnání se školy mohou dozvědět, v jakém vztahu (tj. lepší, stejné, horší) jsou výkony jejich žáků vzhledem k výkonům ostatních žáků v kraji. Souhrnná zpráva pro školu obsahovala následující skupiny informací:

souhrnné výsledky školy (průměrné skóre a průměrná úspěšnost žáků školy a jednotlivých tříd)

porovnání výsledků s ostatními školami v ČR

výsledky žáků v testech, komplexech úloh a úlohách

sebehodnocení žáků a hodnocení průběhu testování

výsledky podle volby střední školy (týká se pouze žáků devátých tříd základních škol)

výsledky žáků podle odpovědí na dotazníkové položky týkající se školní výuky

popis komplexů úloh jednotlivých testů

34


Školy byly upozorněny na rizika spojená s interpretací statistických údajů. Na výkony v testech má vliv řada faktorů, z těch nejvýznamnějších to jsou: a) školní potenciál daných žáků, b) pedagogické vedení, c) kvalita a zaměření testu. Stejně jako vloni i v letošním projektu nebyly souhrnné zprávy do škol zasílány v tištěné formě, nýbrž byly v elektronické podobě uloženy v systému IS CERTIS. Školy se do systému mohly přihlásit prostřednictvím hesla. Souhrnné zprávy byly k dispozici pouze jednotlivým školám. Žádná třetí strana nemohla výsledky konkrétní školy získat. Veškeré výsledky zveřejňované z projektu byly pouze agregovanými údaji, které neumožňují určit výsledky žáků konkrétní školy.

8.3. Agregované výsledky pro krajské úřady Odbory školství, mládeže a tělovýchovy krajských úřadů obdržely souhrnnou zprávu. Jejím cílem bylo nabídnout krajským úřadům doplňkové informace o úrovni školského systému v kraji v porovnání s ostatními kraji ČR. S jejich pomocí mohou krajské úřady lépe připravovat rozhodnutí týkající se školské politiky v kraji. Souhrnná zpráva obsahovala následující agregované údaje:

početní zastoupení žáků, tříd a škol zúčastněných v testování

průměrné úspěšnosti žáků v testech

porovnání počtu zúčastněných žáků a jejich výsledků mezi kraji

sebehodnocení žáků ve vztahu k výuce

subjektivní očekávání žáků

průběh testování

Výsledky poskytnuté krajským úřadům měly výhradně agregovanou podobu, neobsahovaly žádné adresné informace o konkrétních školách.

8.4. Závěrečná zpráva pro MŠMT Posledním výstupem z projektu Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií 2008 je předkládaná Závěrečná zpráva. Ta je určena Ministerstvu školství, mládeže a tělovýchovy, které je zřizovatelem Centra pro zjišťování výsledků vzdělávání – CERMAT. Zpráva slouží zároveň pro monitorování projektů v rámci Evropských sociálních fondů, z nichž bylo testování finančně podpořeno. Po schválení MŠMT bude zpráva dána k dispozici veřejnosti prostřednictvím webových stránek CERMATu.

35


9. ZÁVĚR Projekt Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií 2008 byl pátým a posledním ročníkem projektového cyklu. Záměrem celého projektového cyklu bylo přinést do českého vzdělávacího systému pozitivní změny v oblasti hodnocení výstupní úrovně žáků základních škol a víceletých gymnázií. Závěrečný ročník projektu pokračoval v osvědčených podobách testování po obsahové i organizační stránce a současně ověřoval některé novinky, zvláště v technickém a logistickém zajištění testování. Tento cíl byl bezezbytku splněn. Projekt přinesl školám a žákům příležitost zjistit prostřednictvím kvalitních externích evaluačních nástrojů úroveň jejich znalostí a dovedností. Projekt zároveň odhalil některá slabá místa týkající se zejména distribuce testových materiálů do škol, která však naštěstí neohrozila úspěšnou realizaci projektu. Tato slabá místa byla podrobně zmapována, aby v případě budoucího testování bylo možné přijmout opatření vedoucí k jejich odstranění. Při realizaci ani při hodnocení projektu nebyly shledány žádné zásadní nedostatky, které by snižovaly výpovědní hodnotu testových výsledků. Projekt tak přispěl k prohloubení informací o úrovni znalostí a dovedností jednotlivých žáků a rozšířil zdroje pro autoevaluaci vyučujících a škol. Dosavadních pět ročníků celého projektového cyklu Hodnocení výsledků vzdělávání žáků 9. tříd ZŠ a odpovídajících ročníků víceletých gymnázií bude představeno a analyzováno ve společné závěrečné zprávě.

36


PŘÍLOHY Test Dovednosti v českém jazyce – testový sešit, záznamový arch, klíč správných řešení Test Matematické dovednosti – záznamový arch se zadáním úloh, pokyny pro vyplnění záznamových archů, klíč správných řešení Test Obecné dovednosti – testový sešit, záznamový arch, klíč správných řešení Test Dovednosti v polském jazyce – testový sešit, záznamový arch, klíč správných řešení Polská mutace testu Matematické dovednosti – testový sešit, záznamový arch Polská mutace testu Obecné dovednosti – testový sešit, záznamový arch Žákovský dotazník Polská mutace žákovského dotazníku Fiktivní osvědčení pro žáky Fiktivní souhrnná zpráva pro školy

37

OBSAH 1. ÚVOD CÍLE PROJEKTU CÍLOVÉ SKUPINY PROJEKTU NÁSTROJE PROJEKTU DIDAKTICKÉ TESTY A DOTAZNÍK Zaměření testů

Recommend Documents