ZÁVĚREČNÁ ZPRÁVA Z PROJEKTU HODNOCENÍ VÝSLEDKŮ VZDĚLÁVÁNÍ ŽÁKŮ 5. ROČNÍKŮ ZÁKLADNÍCH ŠKOL 2006

ZÁVĚREČNÁ ZPRÁVA Z PROJEKTU HODNOCENÍ VÝSLEDKŮ VZDĚLÁVÁNÍ ŽÁKŮ 5. ROČNÍKŮ ZÁKLADNÍCH ŠKOL 2006

Praha, listopad 2006

Centrum pro zjišťování výsledků vzdělávání CERMAT

Hodnocení výsledků vzdělávání žáků 5. ročníků ZŠ 2006

OBSAH 1. ÚVOD ................................................................................................................................ 3 2. CÍLE PROJEKTU ................................................................................................................ 4 2.1. Dlouhodobé cíle................................................................................................................. 4 2.2. Aktuální cíle ...................................................................................................................... 4 3. VÝZKUMNÉ NÁSTROJE PROJEKTU.................................................................................... 5 3.1. Test dovedností v českém jazyce ........................................................................................ 5 3.2. Test matematických dovedností .......................................................................................... 7 3.3. Test studijních dovedností .................................................................................................. 9 3.4. Žákovský dotazník ........................................................................................................... 11 4. ORGANIZACE PROJEKTU ................................................................................................ 12 4.1. Příprava projektu............................................................................................................. 12 4.2. Tvorba testů, pilotáže testových úloh ................................................................................ 12 4.3. Komunikace se školami, přihlašování žáků ......................................................................... 12 4.4. Školení zadavatelů........................................................................................................... 13 4.5. Tisk a distribuce testových materiálů ................................................................................. 13 4.6. Průběh testování ............................................................................................................. 13 4.7. Zpracování žákovských výsledků ....................................................................................... 13 4.8. Prezentace výsledků cílovým skupinám.............................................................................. 14 4.9. Slabá místa průběhu projektu ........................................................................................... 14 5. ÚČAST ŠKOL A ŽÁKŮ....................................................................................................... 16 5.1. Počet přihlášených škol, tříd a žáků do projektu....................................................... 16 5.2. Počet škol zúčastněných v projektu podle krajů.................................................................. 16 5.3. Počet žáků řešících jednotlivé testy podle krajů .................................................................. 16 6. ANALÝZA VÝSLEDKŮ TESTŮ ........................................................................................... 17 6.2. Test matematických dovedností ........................................................................................ 19 6.3. Test studijních dovedností ................................................................................................ 21 6.4. Porovnání testových výsledků z různých hledisek................................................................ 23 6.4.1. Celkové výsledky ....................................................................................................... 23 6.4.2. Výsledky podle známek .............................................................................................. 24 6.4.3. Výsledky dívek a chlapců............................................................................................ 25 7. ANALÝZA VYBRANÝCH POLOŽEK ŽÁKOVSKÉHO DOTAZNÍKU........................................ 26 7.1. Trávení volného času ....................................................................................................... 26 7.2. Příprava do školy ............................................................................................................. 26 7.3. Obliba českého jazyka a matematiky ................................................................................. 27 7.4. Plnili žáci ve vyučování obdobné úlohy, jaké byly v testech? ................................................ 28 1



7.5. Hodnocení obtížnosti testů ............................................................................................... 28 8. VÝSTUPY Z PROJEKTU .................................................................................................... 30 U

8.1. Osvědčení pro žáky.......................................................................................................... 30 8.2. Souhrnné zprávy pro školy ............................................................................................... 30 8.3. Souhrnné zprávy pro krajské úřady ................................................................................... 31 8.4. Závěrečná zpráva pro MŠMT............................................................................................. 31 8.5. Semináře, publikace......................................................................................................... 31 9. ZÁVĚR ............................................................................................................................. 32 10. PŘÍLOHY ....................................................................................................................... 33

2



1. ÚVOD Projekt Hodnocení výsledků vzdělávání žáků 5. ročníků ZŠ 2006 byl realizován Centrem pro zjišťování výsledků vzdělávání ve spolupráci s odbory školství, mládeže a tělovýchovy krajských úřadů krajů Karlovarského, Libereckého a Vysočina za podpory Ministerstva školství, mládeže a tělovýchovy. Projekt navazoval na pilotní projekt Hodnocení dovedností z českého jazyka žáků 5. tříd ZŠ 2005 v Karlovarském kraji a na projekty Hodnocení výsledků vzdělávání žáků 9. ročníků v letech 2004–2005. Je dalším krokem v dlouhodobé přípravě zavádění nového způsobu zjišťování vzdělávacích výsledků žáků základní školy. V rámci projektu byly žákům 5. ročníků základních škol zadány tři testy a žákovský dotazník. Testy byly zaměřeny na tyto oblasti: matematické dovednosti, dovednosti v českém jazyce a studijní dovednosti. Skladba testů projektu byla zvolena v souladu se skladbou testů v projektech pro 9. třídy. Naplňuje se tak proces zavádění systematického sledování vzdělávacích výsledků žáků v uzlových bodech jejich vzdělávací dráhy a propojování výsledků evaluace na 1. a 2. stupni škol. Další pokračování projektu je podmínkou k postupné realizaci dlouhodobého záměru zkvalitnit přípravu na základních školách. Informace o výsledcích vzdělávání žáků, které se získávají nyní, se ještě zhodnotí časem při sledování vývoje v této oblasti. Navíc zjištění výsledků vzdělávání žáků v 5. ročnících je i nutným předpokladem pro sledování přidané hodnoty škol a individuálního pokroku žáků na konci povinné školní docházky. Závěrečná zpráva z projektu Hodnocení výsledků vzdělávání žáků 5. ročníků základních škol 2006 se věnuje přípravě projektu, jeho průběhu a výsledkům. Má sloužit ke zhodnocení projektu z hlediska organizátora a zároveň jako zdroj informací pro rozhodování o podobě následného projektu Hodnocení výsledků vzdělávání žáků 5. ročníků ZŠ v roce 2007.

3



2. CÍLE PROJEKTU Projekt Hodnocení výsledků vzdělávání žáků 5. ročníků ZŠ 2006 byl připraven ve snaze naplnit dvě skupiny cílů. Jedna skupina se vztahuje k dlouhodobému procesu proměny českého školství – rozšíření informací sloužících vnitřnímu systému řízení kvality škol a zavedení prvků externí evaluace výsledků vzdělávání do základních škol. Druhá skupina se váže na monitorování aktuální úrovně vzdělávacích výsledků žáků 5. tříd. 2.1. Dlouhodobé cíle Aktuální stav českého školství lze charakterizovat dvěma základními trendy – decentralizací a kurikulární reformou. Jak ukazují zkušenosti ze zahraničí, oba tyto procesy vyžadují úpravy ve způsobu hodnocení výsledků vzdělávání. Decentralizace školství spolu s kurikulární reformou poskytuje školám více autonomie. Do pozadí tak ustupují vzdělávací standardy, které každý úspěšný absolvent určitého stupně školy musí splnit. Proto je nezbytné, aby alespoň v uzlových bodech vzdělávacího systému (tj. na přechodech žáků mezi jednotlivými vzdělávacími stupni) existoval monitoring znalostí a dovedností žáků, který by umožnil jejich vzájemné porovnání a zároveň by ho bylo možné vztáhnout ke vzdělávacím standardům. Tuto funkci může naplnit pouze externí evaluace výsledků vzdělávání, která bude zdrojem informací pro řízení školy a zároveň umožní vzájemné porovnání škol. Monitorování výsledků vzdělávání žáků 5. ročníků ZŠ umožní také sledovat tzv. přidanou hodnotu vzdělávání, která představuje rozdíl mezi vstupní a výstupní úrovní žákovských znalostí a dovedností. Konkrétně bude možné vždy po čtyřech letech porovnat rozdíl úrovně výsledků vzdělávání mezi pátým a devátým ročníkem základních škol. 2.2. Aktuální cíle Vedle výše uvedených dlouhodobých a obecných cílů je projekt zaměřen jednak na praktické potřeby zúčastněných škol a jejich žáků, jednak na potřebu krajského úřadu získat podrobnější informace o školském systému v daném kraji, případně na zájem Ministerstva školství, mládeže a tělovýchovy rozšířit zdroje informací o úrovni českého školství. Cílovými skupinami projektu tak jsou: − Základní školy, kterým se rozšíří zdroje informací sloužící k vnitřnímu systému řízení kvality škol. − Žáci 5. tříd základních škol, kteří získají zdroj informací pro autoevaluaci. − Krajský úřad, který má k dispozici údaje o kvalitě školského systému v kraji. − Ostatní sociální partneři (rodiče atd.). − Ministerstvo školství, mládeže a tělovýchovy. Pro každou z uvedených skupin byly připravovány specifické výstupy, jejichž obsah a forma byly s jednotlivými skupinami diskutovány.

4



3. VÝZKUMNÉ NÁSTROJE PROJEKTU Projekt Hodnocení výsledků vzdělávání žáků 5. ročníků základních škol 2006 využíval čtyři základní nástroje pro sběr informací – tři didaktické testy a žákovský dotazník. Testy se zabývaly následujícími oblastmi: matematické dovednosti, dovednosti v českém jazyce a studijní dovednosti. Tyto oblasti byly zvoleny s ohledem na hlavní směr základního vzdělávání. Uvedené oblasti byly ověřovány již v projektu Hodnocení výsledků vzdělávání žáků 9. ročníků ZŠ a odpovídajících ročníků víceletých gymnázií 2006, v něm se prokázaly jako funkční a vyhovující z hlediska všech cílových skupin. Test matematických dovedností a test dovedností v českém jazyce vycházejí ze školních předmětů, a tedy z pedagogických dokumentů (Standard základního vzdělávání, Praha, Fortuna 1999; Vzdělávací program Základní škola, 2. upravené vydání, Praha, Fortuna 1998), které stanovují povinné učivo. Zohledněn ovšem byl i současný vývoj ve školství – důležitým východiskovým materiálem se stal Rámcový vzdělávací program pro základní vzdělávání. Test studijních dovedností přesahuje rámec běžně vyučovaných předmětů. Jeho cílem je ověřit předpoklady žáků pro úspěšné studium. Testy jsou zaměřeny na ověřování dovedností žáků. Toto zaměření se snaží zdůrazňovat také názvy testů, které se odlišují od označení vyučovacích předmětů, z nichž vycházejí. Cílem testů je zjišťovat vedle jednoduchých znalostí (tj. zapamatování informací) rovněž dovednosti práce s nimi. Převážná část testových úloh se soustřeďuje na operace, které by měly být činěny s vědomostními elementy učiva. Takto pojaté testy zjišťují z hlediska kognitivních procesů vyšší operace, tj. nejen pouhé zapamatování a reprodukci, ale také porozumění a aplikaci. Nejsilněji se popsaná koncepce uplatňuje v případě testu studijních dovedností, který je orientován výhradně na ověřování dovedností – úspěšné řešení úloh nepředpokládá žádné specifické předmětové znalosti. Tato koncepce testů zohledňuje a podporuje probíhající kurikulární reformu, která v požadovaných vzdělávacích výstupech zdůrazňuje spíše operace s informacemi než pouhé (i když nezbytné) osvojení znalostí. Školy si tak mohou vytvořit na základě výsledků žáků v testech představu, v jaké míře jejich současná výuka odpovídá novému obsahu a formě vzdělávání. Při řešení testů žáci pracovali se dvěma dokumenty. Zadání a pokyny četli z testového sešitu, řešení uváděli do záznamového archu, který je uzpůsoben k dalšímu elektronickému zpracování. Vedle testů byl podstatným nástrojem projektu rovněž žákovský dotazník. Jeho prostřednictvím byly zjišťovány údaje využitelné k hlubším analýzám testových výsledků. Následující podkapitoly uvádějí podrobný popis jednotlivých nástrojů projektu. 3.1. Test dovedností v českém jazyce Koncepce testu dovedností v českém jazyce Posláním testu Dovednosti v českém jazyce bylo prověření znalostí a dovedností žáků na konci prvního stupně vzdělávání na základní škole. Zaměření testu Testem byly ověřovány základní dovednosti žáků v oblasti mateřského jazyka, jimiž mají podle citovaných dokumentů disponovat po absolvování prvních pěti ročníků povinné školní 5



docházky. Všechny texty použité v testových úlohách byly autentické – převzaté ze sdělovacích prostředků (televize, novin, časopisů a internetu) a z běžných komunikačních situací mluvených. Jednotlivé dovednosti tedy nejsou ověřovány na izolovaných jevech, které by byly konstruovány pouze pro účely testování. Takto konstruovaný test sice vyžaduje větší pozornost žáků při čtení, ale zmírňuje rozevírání nůžek mezi jazykově-slohovou a literární složkou předmětu. Ucelenější představu o ověřovaných dovednostech lze získat na základě specifikační tabulky, na jejímž základě byl test sestaven. Tab. 1 Specifikační tabulka pro test dovedností z českého jazyka 2006

Dovednost

Učivo Tvarosloví, Celkem Pravopis Morfologie lexikologie, Syntax Stylistika úloh sémantika

Určit slovnědruhovou platnost slova 1

1

Rozeznat nesprávně užitý tvar slova 2

3

Ovládat základní pravopisná pravidla 3 Posoudit význam slov 4 Rozeznat spisovnost/nespisovnost 5

1 2

7

5 1

1

2

8 1

1

4 1

Porozumět obsahu celého textu i jeho částí 6

1

1

Rozeznat základní charakter textu 7

1

1

Posoudit výstavbu textu5

1

1

1

Zařazení dovednosti do testu vyplývá z důrazu na osvojování této dovednosti ve školské praxi. Nebylo tudíž možné tuto oblast zcela pominout. 2 Dovednost jdoucí napříč několika oblastmi učiva. 3 Ověřováno je ovládnutí základních pravopisných pravidel v běžných situacích; pozornost je soustředěna zejména na psaní -i/-y a interpunkci. S výjimkou testových úloh ověřujících zvládání interpunkce je zadání úloh konstruováno tak, aby nebyl specifikován charakter ověřovaného pravopisného jevu. Ověření dovednosti je tak přesnější ve srovnání se specifikovaným zadáním ověřovaného jevu. 4 Vždy je ověřováno posouzení významu slov (výrazů) v daném kontextu. 5 Dovednost je charakterizována nalezením závadného místa v textu a jeho opravou, resp. výběrem nejvhodnější úpravy (opravy). 6 Tato dovednost je svým charakterem nejbližší testovým úlohám obsaženým v testu studijních dovedností. 7 Ověřováno je rozeznání charakteru textu ze stylistického hlediska. 6



Počet a typ testových úloh Test dovedností v českém jazyce byl tvořen 22 uzavřenými testovými úlohami – všechny s výběrem odpovědi. U tohoto typu úloh lze předpokládat nejnižší riziko ovlivnění výsledků žáků tím, že by nezvládli testovou úlohu z hlediska postupu při zaznamenání správné odpovědi. Bodové hodnocení Za správné vyřešení všech úloh v testu mohli žáci získat maximálně 42 bodů. Většině úloh (dvaceti) byla přiřazena dvoubodová hodnota. Za správné vyřešení první a poslední úlohy mohli žáci získat po jednom bodu. Varianty testu Test byl konstruován ve dvou variantách. Varianty testu A a B byly tvořeny stejnými testovými úlohami, jejichž odlišné uspořádání zajistilo žákům stejné podmínky bez ohledu na to, kterou z variant řešili. Oběma variantami testu byly tedy ověřovány tytéž žákovské dovednosti. 3.2. Test matematických dovedností Koncepce testu matematických dovedností Posláním testu Matematické dovednosti bylo prověření znalostí a dovedností žáků na konci prvního stupně vzdělávání na základní škole. Zaměření testu Při sestavování testu matematických dovedností byly využity zkušenosti z testování žáků v 9. třídách ZŠ. V ověřovacích fázích i při určování definitivní podoby byly konkrétní úlohy, jejich obtížnost a adekvátnost konzultovány se zkušenými pedagogy 1. stupně ZŠ. Souhrnnou představu o ověřovaných dovednostech poskytuje specifikační tabulka, na jejímž základě byl test sestaven. Pro lepší orientaci v testu uvádíme i podrobnější specifikaci jednotlivých úloh podle témat: Úloha 1 – přirozená čísla (1.1 operace odčítání, 1.2 operace násobení, 1.3 operace dělení jednociferným dělitelem). Úloha 2 – přirozená čísla – ověření správnosti nalezeného čísla zkouškou (2.1 nalezení činitele, 2.2 využití vlastností operace sčítání a násobení při zkoušce, 2.3 využití vlastností dělení a odčítání při zkoušce). Úloha 3 – jednoduché konstrukce základních rovinných útvarů (3.1 konstrukce přímky procházející daným bodem a kolmé k dané přímce, 3.2 konstrukce přímky procházející daným bodem rovnoběžně s danou přímkou, 3.3 konstrukce a popis průsečíku dvou přímek). Úloha 4 – určování společných a oddělených částí rovinných útvarů – představivost (4.1 nalezení viditelné části částečně zakrytého rovinného útvaru, 4.2 označení zakryté části trojúhelníku, 4.3 nalezení společných částí překrývajících se dvojic rovinných útvarů). Úloha 5 – čtení z grafu, operace s přirozenými čísly, volba správných hodnot a příslušné operace, tvorba písemné odpovědi. Úloha 6 – čtení z grafu, zaokrouhlování na stovky, sčítání a tvorba písemné odpovědi. Úloha 7 – čtení z grafu, volba správných hodnot a adekvátní operace, tvorba písemné odpovědi. Úloha 8 – část celku, násobení. 7



Úloha 9 – praktická slovní úloha – porozumění textu, výpočty v oboru přirozených čísel. Úloha 10 – orientace v čase, převod jednotek. Úloha 11 – čtverec a jeho základní vlastnosti včetně velikosti jeho obvodu (11.1 určení rovnoběžných stran, 11.2 porovnání obvodu s délkou strany čtverce, 11.3 určení nerovnoběžných stran). Úloha 12 – obvody a obsahy rovinných obrazců zakreslených do čtvercové sítě (12.1 porovnání obvodů obdélníků, 12.2 porovnání obsahů trojúhelníku a nepravidelného tělesa, 12.3 porovnání obvodů obdélníku a nepravidelného tělesa). Tab. 2 Specifikační tabulka pro test matematických dovedností 2006 8 Úroveň osvojení 9 Dovednost Používat přirozená čísla k modelování reálných situací, umět je zobrazit na číselné ose, porovnávat, zaokrouhlovat, vyjadřovat v desítkové soustavě. Provádět všechny elementární operace s přirozenými čísly, využívat vlastností operací, realizovat odhady výsledků řešení. Řešit a tvořit úlohy a aplikovat v nich osvojené početní operace v celém oboru přirozených čísel. Vyhledávat, sbírat a třídit data. Číst a sestavovat jednoduché tabulky a diagramy. Orientovat se v čase, provádět převody jednotek, popisovat jednoduché závislosti z běžného života. Rozeznat základní rovinné útvary a prostorová tělesa, poznávat je i v reálné podobě; užívat jednoduché konstrukce; rozpoznat osově souměrné útvary, rovnoběžky a kolmice. Určit délku úsečky, obvody a obsahy jednoduchých obrazců, ovládat jednotky délky a jejich převody. Řešit jednoduché praktické slovní úlohy, jejichž řešení je do značné míry nezávislé na obvyklých školních postupech, 10 (úlohy s „antisignálem“).

A

B

C

2

1

D

6

2 3 1

2

2

1

3

1

3

8

Vzhledem k tomu, že některé úlohy ověřují více dovedností, je počet úloh ve specifikační tabulce vyšší než celkový počet úloh, tj. 24. 9 Úroveň osvojení je stanovena podle Niemierkovy taxonomie výukových cílů (zdroj: Didaktické testy, doc. PhDr. Miroslav Chráska, CSc.), kde jednotlivé stupně představují: A – zapamatování poznatků, B – porozumění poznatkům, C – používání vědomostí v typových situacích, D – používání vědomostí v problémových situacích. 10 Je přednostně náplní testu studijních dovedností. 8



Počet a typ testových úloh Test obsahoval celkem 12 úloh (s podúlohami 24). Úlohy 1–7 byly otevřené a jejich řešení bylo hodnoceno skupinou hodnotitelů podle jednotných kritérií. Úlohy 8, 9 a 10 byly jednoduché uzavřené úlohy s volbou odpovědi, úlohy 11 a 12 byly úlohy dichotomické s možnou odpovědí ANO–NE hodnocené jako svazek úloh. Bodování Maximální skóre testu v obou variantách bylo shodně 50 bodů. Z toho otevřeným úlohám (1–7) připadlo 31 bodů, uzavřeným úlohám (8–12) včetně svazků dichotomických úloh (11, 12) 19 bodů. Bodové ohodnocení otevřených úloh bylo vesměs odstupňováno podle předem stanovených kritérií (viz příloha 8). Dílčí kroky byly hodnoceny 1–2 body podle své časové náročnosti. Úlohám s volbou odpovědi byly přiděleny pevně 3 body. Dichotomické úlohy (11, 12) byly hodnoceny maximálně 6 body, neboť jsou složeny ze tří podúloh. Hodnocení otevřených úloh Pokyny, podle kterých byly otevřené úlohy hodnoceny, jsou v příloze 8. Vyhodnocení testu probíhalo ve dnech 23.–29. 5. 2006 a zúčastnilo se ho celkem 26 hodnotitelů. Po úvodním školení a orientaci ve škále žákovských odpovědí pracovali hodnotitelé samostatně a případné výjimky či nejasnosti řešili formou individuálních konzultací. Varianty testu Pro testování žáků byly vytvořeny dvě sobě si odpovídající varianty testu, které bylo možné porovnat prostřednictvím dosažených výsledků. Ty doložily, že obě varianty nelze pokládat za zcela identické, jak bude zmíněno v kapitole 6.2. 3.3. Test studijních dovedností Koncepce testu studijních dovedností Test studijních dovedností byl zaměřen na ověřování žákovských dovedností pracovat s informacemi různého druhu. Šlo o test nadpředmětový, jeho prostřednictvím nebylo zjišťováno, v jaké míře si žáci osvojili znalosti a dovednosti požadované určitými vyučovacími předměty. Dovednosti práce s informacemi odkazují k tzv. funkční gramotnosti a spolupodílejí se na školní úspěšnosti žáků. Většina úkolů, které žáci ve škole řeší, spočívá v tom, zda jsou schopni přijímat, zpracovávat a produkovat informace. Test studijních dovedností se soustřeďuje na tyto dovednosti v písemné formě. Název testu „studijní dovednosti“ není zcela přesný a v současné době se uvažuje o změně tohoto názvu (např. na test obecných dovedností), který by měl odkazovat k širšímu kontextu. Koncepce testu navazuje na test studijních dovedností pro žáky 9. ročníků základních škol a odpovídajících ročníků víceletých gymnázií. Ověřované dovednosti odpovídají dovednostem, jejichž úroveň je zjišťována právě v testu pro 9. ročníky. Výhledově tato skutečnost bude umožňovat, aby se monitorování výsledků vzdělávání zaměřovalo na tzv. přidanou hodnotu vzdělávání, která představuje rozdíl mezi vstupní a výstupní úrovní žákovských znalostí a dovedností. Zaměření testu Jak vyplývá z názvu, test je orientován na zjišťování dovedností, nikoliv znalostí. Dovednosti práce s informacemi jsou ověřovány tak, že žákům jsou v úlohách předloženy všechny (respektive téměř všechny) informace potřebné k úspěšnému zvládnutí úlohy. Úkolem pak je 9



tyto informace zpracovat. Na základě úloh, které nepředpokládají žádné specifické předmětové znalosti, s nimiž by žáci měli k řešení úloh přicházet, je možné činit závěry o tom, zda žáci ovládají jednotlivé dovednosti práce s informacemi. Tento závěr je specifický, nepřináší jej žádný z dalších použitých testů, které ačkoliv jsou orientovány rovněž dovednostně, předpokládají v úlohách vždy i některé předmětové znalosti. Konkrétní specifické cíle, které jsou testem studijních dovedností ověřovány, jsou rozděleny podle typu operací a podle typu informací. Informace jsou slovního charakteru (text odborný, text publicistický, text beletristický), číselného charakteru (čísla umístěná v textu či v tabulce) a grafického charakteru (graf, schéma, obrázek). Operace, které žáci s těmito informacemi provádějí, jsou zejména: vyhledání detailní informace, porozumění celkovému významu, porovnání více informací, vysouzení nové informace, aplikace informací do nového kontextu. Následující specifikační tabulka uvádí konkrétní počty úloh podle typu informací a typu operací. Tab. 3 Specifikační tabulka pro test studijních dovedností 2006 Druh výchozí informace Dovednosti

Souvislý text krátký

Souvislý text dlouhý

Vyhledání detailní informace

5

1

Porovnání více informací

1

3

Vysouzení nové informace

1

2

Aplikace do nového kontextu

Tabulka

Graf

Schéma

1

2

1 1

1

Globální porozumění

1

Jazykový cit 11

2

Matematické operace11

1

1

1

2

1

1 1

Počet a typ testových úloh Test studijních dovedností obsahoval celkem 18 testových úloh. Ty byly rozděleny do šesti sad po třech úlohách. Každá sada byla tvořena společnými výchozími informacemi (např. textem či tabulkou), z nichž následně vycházely tři testové úlohy. V testu studijních dovedností byly použity tři typy testových úloh – úlohy s čtyřnásobnou volbou odpovědi (počet úloh – 14), úloha uspořádací (počet úloh – 1) a svazky dichotomických úloh (počet úloh – 3). Každý typ úlohy se liší nejen způsobem výběru odpovědi, ale také kognitivními operacemi, které ověřuje. Svazky dichotomických úloh ověřují nacházení detailních informací nebo platnost vysouzených informací. Úlohy s čtyřnásobnou volbou odpovědi mají největší škálu použití – slouží k nalézání detailní 11

Jazykový cit a matematické operace jsou ověřovány v základní úrovni a jsou považovány za podmínku úspěšného řešení vybraných testových úloh. Aby bylo možné odlišit, zda žáci úlohy řešili neúspěšně z důvodu nepřiměřené úrovně jazykového citu či matematických operací, jsou v testu zastoupeny i některé úlohy výhradně k těmto specifickým cílům. Vzhledem k tomu, že jazykový cit a matematické operace jsou u některých úloh dílčí součástí specifického cíle, přesahuje součet úloh ve specifikační tabulce celkový počet úloh v testu, tj. 24. 10



informace, k vysuzování nové informace, k porovnání více nabízených informací i k aplikaci informace do nového kontextu. Bodové ohodnocení úloh a testu V testu bylo možné získat 22 bodů. Jednotlivé úlohy byly bodovány s ohledem na časovou náročnost, a to zjednodušeně podle typu úlohy. Úlohy se čtyřnásobnou volbou odpovědi byly hodnoceny jedním bodem, úloha uspořádací a svazky dichotomických úloh byly hodnoceny dvěma body s možností částečně správné odpovědi. Varianty testu Test byl připraven ve dvou variantách – A a B. Obě varianty tvořily stejné testové úlohy, které se lišily svým pořadím uvnitř testu, uvnitř sad úloh a pořadím distraktorů. Výsledky v obou variantách byly srovnatelné, a lze je tedy považovat za shodné. 3.4. Žákovský dotazník Žákovský dotazník sloužil jako zdroj informací o jednotlivých žácích, které pomohly hlouběji analyzovat testové výsledky (např. známky) a poskytly zajímavé údaje týkající se školní výuky. Obsahoval 8 položek s následujícím obsahovým zaměřením: 1. Pohlaví žáka/žákyně. 2. Aktivity žáků ve volném čase. 3. Příprava do školy. 4. Obliba českého jazyka, matematiky a cizího jazyka. 5. Známky na posledním vysvědčení z českého jazyka, matematiky a cizího jazyka. 6. Zda se žák hlásí na jinou školu (víceleté gymnázium, výběrovou školu nebo do výběrové

třídy). 7. Zda žáci ve výuce řeší podobné úlohy, jaké byly v testech. 8. Obtížnost řešených testů.

11



4. ORGANIZACE PROJEKTU Projekt Hodnocení výsledků vzdělávání žáků 5. ročníků ZŠ 2006 se uskutečnil dne 17. května 2006 v kraji Karlovarském, Libereckém a Vysočina. Testováni byli všichni přihlášení žáci kromě žáků se speciálními vzdělávacími potřebami. 4.1. Příprava projektu Příprava projektu byla zahájena v létě 2005 po vyhodnocení pilotního projektu Hodnocení dovedností v českém jazyce žáků 5. tříd 2005 v Karlovarském kraji. V úvodní fázi došlo k sestavení týmu z pracovníků CERMATu, ke zpracování časového harmonogramu hlavních činností včetně předpokládaných finančních nákladů a k aktualizaci databází základních škol daných krajů. V říjnu 2005 se uskutečnil seminář se zástupci odborů školství všech krajských úřadů, kterého se zúčastnili také zástupci MŠMT a přímo řízených organizací MŠMT. Účelem semináře bylo představení projektu, jeho výstupů a seznámení s možnostmi využití získaných výsledků. Současně byly představeny oblasti a rozsah spolupráce včetně zapojení odborů školství obcí s rozšířenou působností (dále jen obce III). Následovala jednotlivá setkání se zástupci OŠ KÚ a obcí III v Karlovarském a Libereckém kraji. V Kraji Vysočina odbor školství KÚ přizval ke spolupráci také Pedagogické centrum Vysočina (dále jen PC Vysočina). Cílem těchto setkání byla konkretizace jednotlivých kroků projektu se zaměřením na deklarované oblasti spolupráce a dohoda na způsobu její realizace. O průběhu projektu a formách zpracování výsledků testování žáků byli poté informováni ředitelé základních škol. 4.2. Tvorba testů, pilotáže testových úloh Spolu se zástupci MŠMT a krajů bylo dohodnuto, že v rámci projektu budou školám nabízeny tři testy ve dvou variantách a ve stejné skladbě, jako je tomu u žáků 9. tříd. Jedná se o test studijních dovedností, test matematických dovedností a test dovedností v českém jazyce. Aby testy měly zaručenu vysokou kvalitu, byly všechny úlohy do nich zařazené ověřovány v pilotážním šetření. Pilotáže proběhly v době od 13. do 23. března 2006 na náhodně vybraném vzorku žáků 5. tříd ve 33 základních školách v Praze, Středočeském a Plzeňském kraji. Jedna úloha byla ověřována v průměru na 200 žácích. Na základě výsledků pilotáží byly testové úlohy upraveny a vybrány nejkvalitnější z nich, podle specifikační tabulky pak byly sestaveny testy ve variantě A a B. Ke každé variantě testu byl zároveň připraven záznamový arch, do kterého žáci zapisovali řešení úloh. Pro doplnění údajů o testovaných žácích byl zvlášť vypracován žákovský dotazník. 4.3. Komunikace se školami, přihlašování žáků V březnu 2006 byly písemně osloveny všechny základní školy s 5. ročníky v zúčastněných krajích. V dopise adresovaném ředitelům škol byly obsaženy veškeré informace o cílech projektu, jeho organizačním zabezpečení včetně návodu k postupu při přihlašování škol do projektu elektronickou cestou. Současně bylo v dopise uvedeno jedinečné heslo, které spolu s IZO školy zajistilo školám bezpečný přístup na webový server CERMATu, (jedinečné heslo slouží k ochraně dat školy včetně zamezení přístupu jiným subjektům). Přihlašování škol probíhalo elektronicky od 20. do 29. března 2006 formou zápisu do připraveného formuláře s adresnými údaji školy. Na základě údajů byl pro každého žáka

12



vytvořen identifikační kód ve formě samolepicího štítku s čárovým kódem pro označení záznamových archů. 4.4. Školení zadavatelů S ohledem na zajištění optimálního průběhu testování bylo koncepčně připraveno školení zadavatelů – učitelů dané základní školy. Zadavatelé byli jmenovitě uvedeni v přihlašovací aplikaci ve vazbě na konkrétní třídu (1 třída = 1 zadavatel). Na přípravě školení zadavatelů se podílely PC Vysočina za kraj Vysočina a OŠ krajských úřadů a OŠ obcí III kraje Karlovarského a Libereckého. Podle předem domluvené spolupráce poskytly prostory, termíny a pomoc při vlastním průběhu školení. V CERMATu byli vyškoleni lektoři, kteří v období od 2. do 12. 5. 2006 proškolili na dvanácti určených místech v krajích nahlášené zadavatele testů. 4.5. Tisk a distribuce testových materiálů Podle počtu přihlášených žáků bylo vytištěno potřebné množství testů, záznamových archů, žákovských dotazníků, identifikačních štítků a doprovodných materiálů. Veškerý testový materiál byl v CERMATu zkompletován pro třídy a školy do bezpečnostních fólií. Dne 11. 5. 2006 byly zásilky odvezeny na OŠ KÚ Karlovy Vary, Liberec a Vysočina. Jejich distribuce do škol byla plně v kompetenci OŠ KÚ. Za bezpečné uložení zásilky do doby testování zodpovídali ředitelé škol. 4.6. Průběh testování Termín testování žáků ve školách byl stanoven na středu 17. května 2006. Zadávání testů probíhalo podle jednotného testovacího schématu. Časový limit pro řešení každého testu byl 40 minut, pro vyplnění žákovského dotazníku 20 minut. Testy, včetně žákovského dotazníku, zadával ve třídě vyškolený učitel dané základní školy. Vyplněné záznamové archy předal v zalepené obálce kontaktní osobě ve škole a ta je v bezpečnostní obálce opatřené průvodkou předala určenému pracovníku odboru školství obce III. V den testování byla pracovníky CERMATu, zástupci odborů školství krajských úřadů, v kraji Vysočina též zástupci ČŠI provedena v náhodně vybraných školách kontrola průběhu testování a dodržování pokynů k zajištění objektivních podmínek testování. 4.7. Zpracování žákovských výsledků Odbory školství KÚ ve spolupráci s odbory školství obcí III zajistily shromáždění obálek na stanovená centrální sběrná místa (OŠ KÚ Karlovy Vary, Liberec a Vysočina). Dne 18. a 19. května 2006 se uskutečnil svoz všech obálek do CERMATu ke zpracování. Obsah každé zásilky byl zkontrolován a zaevidován. Testy s otevřenými úlohami byly vyhodnoceny hodnotiteli – externími spolupracovníky CERMATu. Hodnocení otevřených úloh se týkalo testu matematických dovedností a probíhalo v období od 23. 5. do 29. 5. 2006 ve spolupráci s předmětovými koordinátory pro matematiku. Hodnotitelé byli předem proškoleni a seznámeni také se způsobem organizace hodnocení otevřených úloh. Po ohodnocení otevřených úloh byly záznamové archy digitalizovány. Po hromadném zpracování a vytěžení dat externí firmou bylo v CERMATu provedeno čištění a kontrola pořízených dat, která byla následně předána analytickému oddělení ke zpracování výsledků.

13



4.8. Prezentace výsledků cílovým skupinám Výsledky byly poskytnuty těmto cílovým skupinám: Žákům a školám byly výsledky testování zaslány 23. června 2006 ve formě osvědčení pro žáky a souhrnné zprávy pro školy. Osvědčení informovala žáky o jejich výkonech v řešených testech a jejich umístění mezi žáky stejné třídy, školy a v kraji. Zprávy pro školy obsahovaly souhrnné údaje o škole, přehled jmenovitých výsledků zúčastněných žáků školy podle tříd, průměrné výsledky žáků školy a jednotlivých tříd ve srovnání s průměrnými výsledky v daném kraji, a to v souhrnu i podle známky z daného předmětu na vysvědčení. Odborům školství krajských úřadů Karlovy Vary, Liberec a Vysočina byly v červenci zaslány základní souhrnné výsledky o rozložení úspěšnosti žáků v jednotlivých testech podle zúčastněných krajů. Pro MŠMT byla v listopadu 2006 vypracována závěrečná zpráva. Testování žáků, zpracování výstupů a zaslání výsledků včetně uspořádání odborných seminářů bylo pro všechny zúčastněné školy zdarma. 4.9. Slabá místa průběhu projektu Slabým místem projektu byla obecně nižší než předpokládaná úspěšnost testů. Proto by při přípravě následujícího ročníku projektu v roce 2007 bylo vhodné postupovat tak, aby se celková průměrná úspěšnost žáků přibližovala 60 % při zachování vysoké rozlišovací schopnosti testů. U matematiky je třeba věnovat více pozornosti vytváření ekvivalentních variant testů, což se v roce 2006 nepodařilo. Ve variantě B dosahovali žáci statisticky významně lepších výsledků než ve variantě A. U matematiky se rovněž přimlouváme za sjednocení testových materiálů a za prodloužení časového limitu na řešení úloh alespoň na 50 minut čistého času.

14



4.10. Harmonogram projektu Aktivita Návrh projektu, odhad finančních nákladů pro 3 kraje, harmonogram Schválení návrhu projektu na MŠMT Jednání s představiteli státní správy a samosprávy 3 vybraných krajů Přípravné práce pro organizační zajištění projektu (navázání spolupráce se samosprávou, vytypování externích spolupracovníků…) Zajištění aktuální databáze ZŠ ze 3 krajů Oslovení ZŠ pro pilotáž (Praha, Středočeský a Plzeňský kraj) Tvorba TÚ pro pilotní ověřování Realizace pilotáží na školách Oslovení ZŠ s 5. třídami + info OŠ obcí III a OŠ KÚ ve 3 krajích Příprava aplikace projektu na webu CERMATu Zahájení elektronického přihlašování ZŠ do projektu Ukončení přihlašování Sestavení ostrých testů Vývoj záznamových archů a žákovského dotazníku Tisk testových materiálů (TS, ZA, ŽD, ID štítky, pokyny…) Školení zadavatelů testů ve 3 krajích Kompletace testových materiálů v krajích dle jejich objednávky Odvoz TM z CERMATu na OŠ KÚ ve 3 krajích Testování 5. tříd ZŠ ve 3 krajích Svoz vyplněných ZA z OŠ KÚ 3 krajů do CERMATu Vystavení testů a klíče správného řešení na web CERMATu Příjem zásilek ze škol dle výčetky Školení hodnotitelů OÚ (jen Ma) Hodnocení OÚ Pořízení dat – digitalizace Analytické zpracování výsledků vč. generování výsledků Tisk jmenovitých osvědčení pro žáky a souhrnných výstupů pro školy Kompletace výsledků Odeslání výsledků poštou Agregované výsledky pro OŠ KÚ ve 3 krajích Závěrečná zpráva pro MŠMT

Termín červen 2005 srpen 2005 září 2005 průběžně prosinec 05 – leden 06 21.2. 2006 do 3. 3. 2006 13. 3. – 23. 3. 2006 14. 3. 2006 do 10.3.2006 20. 3. 2006 29. 3. 2006 do 18. 4. 2006 do 20. 4 .2006 průběžně do 28. 4. 2006 2. 5. – 12. 5. 2006 2. 5. – 10. 5. 2006 11. 5. 2006 17. 5. 2006 18. 5. – 19. 5. 2006 19. 5. 2006 19. 5. a 22 .5. 2006 23. 5. 2006 do 29. 5. 2006 do 2. 6. 2006 5. – 19. 6. 2006 19. – 21. 6. 2006 22. 6. 2006 23. 6. 2006 červenec 2006 listopad 2006

15



5. ÚČAST ŠKOL A ŽÁKŮ 5.1. Počet přihlášených škol, tříd a žáků do projektu Do projektu Hodnocení výsledků vzdělávání žáků 5. ročníků ZŠ 2006 se zapojilo celkem 324 základních škol. Účast škol byla dobrovolná. Ze všech základních škol v daných krajích, které ve školním roce 2005/2006 měly otevřený 5. ročník, se projektu zúčastnilo 69,23 %. Tab. 4 Počet zúčastněných žáků podle testů Test

Celkem žáků Přihlášeno účast

%

Matematické dovednosti Dovednosti v českém jazyce Studijní dovednosti

9 654 9 654 9 654

91,19 91,23 91,22

8 804 8 808 8 807

5.2. Počet škol zúčastněných v projektu podle krajů Tab. 5 Počet zúčastněných základních škol a žáků v krajích Kraj Karlovarský Liberecký Vysočina Celkem

ZŠ počet 92 151 225 468

Účast ZŠ počet % 71 77,17 131 86,75 122 54,22 324 69,23

Celkem žáků přihlášeno účast 2 402 2 172 3 821 3 552 3 431 3 090 9 654 8 814

5.3. Počet žáků řešících jednotlivé testy podle krajů Tab. 6 Počet žáků v jednotlivých krajích podle testů Kraj Karlovarský Liberecký Vysočina Celkem

Matematické dovednosti 2 172 3 546 3 086 8 804

Dovednosti v českém jazyce 2 771 3 550 3 087 8 808

Studijní dovednosti 2 170 3 550 3 087 8 807

16



6. ANALÝZA VÝSLEDKŮ TESTŮ Následující kapitola představuje testové výsledky, a to v různé míře podrobnosti a z různých hledisek. Výsledky mají dvě funkce. Jednou je funkce kontrolní, jejímž prostřednictvím stanovujeme, zda je test dostatečně kvalitním evaluačním nástrojem, na jehož základě by bylo možné činit závěry o úrovni znalostí a dovedností žáků. Kvalita testů je zaručena nejen dodržením všech principů při jejich plánování a konstrukci, ale také jejich ověřováním. To znamená, že kvalita testu musí být potvrzena prostřednictvím žákovských výsledků, které musejí odpovídat očekávaným charakteristikám a vykazovat přiměřené psychometrické parametry. Druhou, neméně významnou, je funkce informační, která představuje popis a rozbor testových výsledků jednotlivých žáků, škol či školského systému. Na základě tohoto popisu a rozboru je možné získat představu o úrovni znalostí a dovedností a provádět rozhodnutí o další vzdělávací dráze žáků či o školské politice. V následujících odstavcích jsou uvedeny základní psychometrické charakteristiky, na jejichž základě lze učinit závěr o kvalitě testu coby evaluačního nástroje, a které následně slouží k popisu výsledků žáků a skupin žáků. Část charakteristik slouží k popisu výkonů jednotlivých žáků či skupin žáků, část charakteristik popisuje samotný test a jednotlivé testové úlohy. Z uvedených psychometrických charakteristik se vychází v navazujících podkapitolách, které přinášejí popis a rozbor testových výsledků. Celkové skóre představuje počet bodů, které žák obdržel na základě řešení jednotlivých úloh v testu. Za každou úlohu, kterou žák správně zodpoví, získává příslušný počet bodů. V případě některých úloh je možné částečné hodnocení, které rozlišuje odpověď zcela správnou, částečně správnou a chybnou. Celková úspěšnost žáka vyjadřuje v procentech poměr celkového skóre konkrétního žáka a nejvyššího možné skóre, které lze v testu získat. Příklad: Je-li nejvyšší možné skóre 60 bodů a dosáhl-li žák 30 bodů, pak jeho celková úspěšnost je 50 %. Úspěšnost žáka v úloze vyjadřuje v procentech počet bodů, které žák získal za řešení dané úlohy, z nejvyššího počtu bodů, které bylo možné za správné řešení úlohy získat. Příklad: Je-li za zcela správnou odpověď možné získat 2 body a uvedl-li žák odpověď za 2 body, pak jeho úspěšnost v úloze je 100 %. Průměrné skóre představuje průměrný počet bodů dosažený všemi testovanými žáky v testu. Vypočítá se jako součet skóre jednotlivých žáků dělený jejich počtem, tedy jako aritmetický průměr. Průměrná úspěšnost žáků vyjadřuje v procentech poměr průměrného skóre a nejvyššího možného skóre v testu. Příklad: je-li průměrné skóre 40 a nejvyšší možné skóre 80, pak je průměrná úspěšnost rovna 50 %. Korigovaná úspěšnost zohledňuje skutečnost, že některý žák úlohu četl a jiný nikoliv. Kdyby byl dostatek času, úspěšnost úlohy by byla určitě vyšší. Nedá se samozřejmě přesně říci o kolik, ale používá se následující odhad: Nejdříve se vytipují úlohy, které žák nečetl. To jsou patrně ty, které jsou vynechané na konci testu. Ty se pak prohlásí za nečtené. Potom průměrná korigovaná úspěšnost je podíl počtu rozdaných bodů vůči rozdatelným bodům, avšak ne za všechny, ale jenom za čtené úlohy.

17



Nečtenost úlohy udává procentuální podíl žáků, kteří danou úlohu nečetli, tj. vynechali ji na konci testu. Všechny úlohy, které nejsou zodpovězeny, ale za kterými už nějaké zodpovězené úlohy jsou, nazveme vynechané. Vynechanost vyjadřuje v procentech podíl žáků, kteří danou úlohu vynechali. Obtížnost testových úloh je dána procentem žáků, kteří dali správnou odpověď. Pokud je například obtížnost úlohy 65%, znamená to, že ze všech získaných odpovědí na danou úlohu bylo 65 % správných. Čím vyšší je tedy index obtížnosti úlohy, tím je úloha snadnější. Nejvhodnější jsou úlohy s indexem obtížnosti kolem 50 %. Diskriminace (citlivost, rozlišovací schopnost) vypovídá o schopnosti úlohy rozlišovat mezi žáky s většími a menšími znalostmi a dovednostmi. K rozlišení žáků na „lepší“ a „slabší“ se používá jejich celkový výsledek v testu. Vysokou citlivost má taková úloha, kterou řeší „lepší“ žáci podstatně úspěšněji než žáci „slabší“. V případě, že jsou v řešení úlohy úspěšnější „slabší“ žáci, obsahuje úloha pravděpodobně nějakou konstrukční chybu. Nejčastěji se používá koeficient diskriminace RIR, který se počítá jako Pearsonův lineární korelační koeficient mezi skóre dosaženým v dané testové úloze a celkovým skóre (při vyloučení dané úlohy). Nabývá hodnot od -1 do 1. Záporné hodnoty znamenají, že žáci, kteří správně řešili danou testovou úlohu, dosáhli spíše nízkého celkového skóre ve zbytku testu. Kladné hodnoty svědčí o tom, že žáci úspěšní v řešení dané úlohy byli rovněž úspěšní při řešení ostatních úloh, tj. celého testu. Aby bylo možné označit úlohu za přiměřeně citlivou, měla by diskriminace RIR dosahovat nejméně hodnoty 0,25–0,3. Jiný způsob výpočtu diskriminace představuje tzv. ULI index. Zvolí se vhodné procento žáků, kteří uspěli v testu nejlépe, a procento žáků, kteří uspěli nejhůře. Potom diskriminace je rozdíl průměrných úspěšností skupiny nejlepších a nejhorších žáků. Takto definovaná diskriminace má jednoduchou definici, ovšem má dva zásadní nedostatky: Za prvé je závislá na rozměrech pásma dobrých a slabých žáků. To se řeší tak, že se šířka pásma volí „rozumně“, tj. mezi 20 % a 30 %. V našem případě to bylo 20 %. Za druhé budí dojem (jelikož se udává v procentech), jako by nabývala hodnot od 0 % do 100 %, ačkoliv tomu tak není. Reliabilita testu představuje míru přesnosti a spolehlivosti testu. Pouze test, který měří přesně a spolehlivě, poskytuje směrodatné informace o úrovni znalostí a dovedností žáků. Přesné měření znamená, že výsledek v testu vypovídá o skutečných znalostech a dovednostech žáků. Spolehlivé měření znamená, že test poskytuje stabilní, opakovatelné výsledky. K výpočtu reliability se nejčastěji používají vzorce KR-20, L2 nebo Cronbachovo alfa. 6.1. Test dovedností v českém jazyce Testování dovedností v českém jazyce se zúčastnilo celkem 8 808 žáků, z toho 4 476 žáků řešilo variantu A a 4 332 žáků variantu B. Maximální skóre, jehož mohli žáci dosáhnout, bylo 42 bodů (v obou variantách). Žáci dosáhli v řešení testu průměrného skóre 24,0 bodů (varianta A), resp. 23,7 bodů (varianta B), což znamená úspěšnost žáků v řešení testu 57,1 % ve variantě A a 56,4 % ve variantě B. Rozdíly ve výsledcích žáků ve variantě A a B nejsou statisticky významné. Varianty testu lze proto pokládat za rovnocenné. Prokazují to i následující porovnání úspěšnosti žáků v řešení jednotlivých testových úloh a porovnání diskriminace úloh. Reliabilita testu je 0,75 (počítáno Cronbachovým alfa), respektive 0,76 (počítáno KR-20). Výsledky žáků při řešení úloh potvrdily některé očekávané skutečnosti. Velké části žáků nečiní větší problémy řešení úloh v oblasti určování slovnědruhové platnosti slov, rozeznávání jazykových prostředků spisovných a nespisovných či posuzování syntaktické 18



výstavby textu. Průměrných až mírně nadprůměrných výsledků žáci dosahovali při řešení úloh zaměřených na dovednost posoudit význam slov či porozumět obsahu celého textu i jeho částem. Nejslabších výsledků dosahovali žáci při řešení úloh, jimiž byly ověřovány dovednosti související se znalostí základních pravidel českého pravopisu. Také z hlediska tradičního tematického třídění učiva mají žáci největší potíže s pravopisem a dále s tvaroslovím. Ukázalo se, že žáci poměrně úspěšně řeší pravopisné či tvaroslovné úlohy, v nichž mají identifikovat konkrétně popsanou chybu (např. rozpoznat pravopisnou chybu v jednom ze čtyř uvedených slov, viz úlohu 17 ve variantě A a 9 ve variantě B). Velmi problematické je pro ně však vybírání bezchybného úseku textu z několika možností či vyhledávání chyby ve větě nebo v delším úseku textu, když není blíže specifikováno, kde se chyba nachází a o jakou konkrétní chybu jde (viz úlohu 9 ve variantě A a 14 ve variantě B). Poukazuje to na nedostatečnou dovednost aplikovat naučená pravidla a zákonitosti v praxi. Problematické jsou pro žáky i oblasti syntaxe a tvarosloví. Tab. 7 Psychometrické charakteristiky úloh v testu dovedností v českém jazyce

Úloha 1A/22B 2A/21B 3A/20B 4A/19B 5A/18B 6A/15B 7A/16B 8A/17B 9A/14B 10A/13B 11A/12B 12A/10B 13A/11B 14A/6B 15A/7B 16A/8B 17A/9B 18A/5B 19A/4B 20A/3B 21A/2B 22A/1B

Průměrná úspěšnost Vynechanost Diskriminace (RIR) varianta A varianta B varianta A varianta B varianta A varianta B 1,2 % 1,4 % 80 % 79 % 0,36 0,39 0,6 % 0,4 % 76 % 71 % 0,37 0,36 2,4 % 2,6 % 64 % 56 % 0,34 0,35 1,7 % 2,0 % 58 % 57 % 0,38 0,38 1,0 % 1,3 % 53 % 48 % 0,34 0,33 1,2 % 1,1 % 49 % 47 % 0,29 0,29 1,6 % 1,7 % 58 % 59 % 0,38 0,39 4,0 % 4,1 % 62 % 59 % 0,31 0,27 2,7 % 2,8 % 42 % 38 % 0,24 0,23 3,1 % 2,4 % 50 % 48 % 0,24 0,23 5,7 % 6,2 % 40 % 40 % 0,31 0,29 2,1 % 2,5 % 68 % 67 % 0,19 0,24 0,7 % 1,1 % 51 % 51 % 0,17 0,15 1,7 % 1,3 % 50 % 49 % 0,28 0,29 2,4 % 2,6 % 42 % 42 % 0,25 0,24 2,4 % 2,2 % 55 % 54 % 0,30 0,31 1,1 % 0,8 % 80 % 83 % 0,34 0,30 5,7 % 6,1 % 40 % 41 % 0,23 0,26 1,4 % 1,3 % 68 % 66 % 0,35 0,29 1,7 % 2,0 % 61 % 67 % 0,30 0,26 2,2 % 2,0 % 58 % 66 % 0,39 0,33 0,9 % 1,2 % 71 % 76 % 0,43 0,35

6.2. Test matematických dovedností Testování dovedností v matematice se zúčastnilo celkem 8 804 žáků, z toho 4 486 žáků řešilo variantu A a 4 318 variantu B. Maximální skóre, jehož mohli žáci dosáhnout, bylo v obou variantách 50 bodů. Žáci dosáhli v řešení testu průměrného skóre 26,1 bodu (varianta A), 19



resp. 27,5 bodu (varianta B), což znamená úspěšnost žáků v řešení testu 52,2 % ve variantě A a 55,1 % ve variantě B. Reliabilita testu je 0,81 (počítáno Cronbachovým alfa), respektive 0,84 (počítáno KR-20). Rozdíly ve výsledcích žáků ve variantě A a B jsou statisticky významné na hladině významnosti 1%. Varianty testu nelze proto pokládat za rovnocenné, ve variantě B dosahovali žáci statisticky významně lepších výsledků než ve variantě A. Příčiny lze hledat za pomoci porovnání úspěšnosti žáků v řešení jednotlivých testových úloh a porovnání diskriminace úloh. Tab. 8 Psychometrické charakteristiky úloh v testu matematických dovedností 12 Úloha 1.1 1.2 1.3 2.1 2.2 2.3 3.1 3.2 3.3 4.1 4.2 4.3 5 6 7 8 9 10 11.1 11.2 11.3 11 12.1 12.2 12.3 12

Průměrná úspěšnost Vynechanost Diskriminace (ULI) varianta A varianta B varianta A varianta B varianta A varianta B 92,2 % 91,5 % 0,2 % 0,1 % 17,2 % 17,5 % 89,4 % 91,7 % 0,5 % 1,3 % 20,9 % 17,3 % 84,3 % 88,4 % 3,0 % 3,0 % 31,4 % 27,3 % 97,5 % 97,9 % 0,8 % 0,6 % 7,2 % 6,5 % 48,4 % 90,8 % 22,6 % 2,8 % 71,7 % 25,3 % 62,3 % 80,8 % 11,5 % 5,6 % 68,6 % 50,1 % 35,5 % 46,9 % 24,1 % 21,3 % 75,0 % 75,6 % 37,7 % 36,8 % 25,7 % 24,4 % 80,0 % 75,3 % 40,5 % 45,6 % 27,7 % 26,8 % 79,7 % 77,5 % 64,9 % 67,8 % 2,6 % 2,5 % 60,0 % 49,0 % 45,0 % 35,8 % 6,4 % 5,7 % 60,2 % 54,8 % 38,3 % 36,8 % 8,6 % 9,2 % 71,0 % 63,6 % 77,7 % 79,1 % 6,4 % 6,4 % 56,3 % 51,5 % 72,5 % 70,2 % 2,8 % 2,6 % 58,2 % 55,3 % 21,9 % 18,0 % 19,1 % 18,4 % 61,8 % 47,6 % 52,8 % 50,9 % 5,9 % 5,4 % 72,1 % 73,6 % 41,5 % 42,3 % 12,6 % 11,0 % 63,5 % 73,0 % 49,1 % 46,0 % 6,0 % 6,0 % 76,7 % 74,9 % 38,2 % 45,6 % 4,3 % 5,1 % 70,2 % 67,0 % 63,3 % 51,6 % 4,1 % 5,0 % 63,3 % 75,7 % 57,8 % 63,9 % 5,3 % 5,8 % 69,0 % 78,6 % 44,4 % 45,5 % 2,6 % 3,0 % 75,1 % 81,9 % 29,5 % 32,4 % 1,3 % 2,3 % 47,5 % 56,9 % 32,7 % 37,4 % 1,8 % 1,1 % 54,4 % 55,3 % 34,0 % 38,9 % 2,1 % 2,4 % 46,5 % 62,6 % 21,6 % 25,9 % 0,0 % 0,0 % 49,4 % 60,6 %

12

Zatímco u testu dovedností z českého jazyka a testu studijních dovedností byl použit koeficient diskriminace RIR, pro test matematických dovedností se jevil jako vhodnější index ULI. 20



Nápadné rozdíly v úspěšnosti řešení žáků jsou patrné u úloh 2.2 a 2.3 a u úlohy 3.1. U úlohy 2.2 je ve variantě A častější chybovost možné vysvětlit ignorováním pravidla přednosti operace násobení před sčítáním, což se ve variantě B tak výrazně opticky nenabízelo. O důvodech většího rozdílu v úspěšnosti žáků u ostatních dvou úloh se můžeme pouze dohadovat, rozdíly totiž nemají reálný podklad (v poslední uvedené úloze je zadání prakticky identické). Pozoruhodným podnětem k zamyšlení je porovnání úspěšností žáků v úloze 11.2 v obou variantách. Zatímco 63,3 % žáků potvrdilo zatržením ANO správnost tvrzení: „Obvod čtverce se vypočítá vynásobením délky jeho strany čtyřmi“ (varianta A), pouze 51,6 % žáků označilo za správné tvrzení formulaci: „Obvod čtverce je čtyřikrát větší než délka jeho strany“. Opět je možné spekulovat o tom, zda v prvním případě věta častěji vyvolá v paměti pečlivě uložený vzorec, zatímco formulace v druhém případě tuto absolutní spojitost postrádá. Přidáme-li k tomuto postřehu dojmy získané při hodnocení požadovaných odpovědí „celou větou“ (úlohy 5, 6, 7), hlásí se ke slovu často zmiňovaný neduh našeho vzdělávání. A to jsou zanedbané dovednosti žáků se nahlas vyjadřovat, formulovat poznané zákonitosti vlastními slovy, vnímat jejich skutečný obsah. Úspěšnosti ve většině úloh odpovídají předpokladům. Výjimku tvoří úlohy geometrické, obzvlášť úloha 3, která byla otevřená. Nabízí se domněnka o tom, odkud pramení problémy se vztahem ke geometrii, které lze v podobných rysech pozorovat ve výsledcích úloh v 9. třídách ZŠ a posléze i na střední škole. Bezradnost dětí při konstrukci rovnoběžky a kolmice se prozrazuje i z průměru vybočujícími hranicemi vynechanosti úlohy. Druhým alarmujícím výsledkem je disproporce mezi reakcí na otázku „ o kolik“ a „kolikrát“ v úlohách 5 a 7. Je pravděpodobné, že jisté procento dětí udělalo chybu pouze v důsledku nepozorného čtení zadání úlohy. Přesto je třeba propad úspěšnosti žáků v této úloze komentovat a zaznamenat. Domníváme se, že rozlišení operací spojených s danými otázkami patří mezi základní znalosti a dovednosti odpovídající tomuto vzdělanostnímu stupni. Bude-li se v projektu Hodnocení výsledků vzdělávání žáků 5. ročníků ZŠ pokračovat, přimlouváme se u testu Matematických dovedností, který obsahuje otevřené úlohy, za prodloužení časového limitu na řešení úloh alespoň na 50 minut čistého času a za sloučení testových sešitů a záznamových archů do jednoho dokumentu – záznamových archů ve variantě A a B, které se digitalizují. Sloučení obou dokumentů umožní žákům zapisovat řešení zejména u otevřených úloh přímo k zadání úlohy. 6.3. Test studijních dovedností Test studijních dovedností řešilo celkem 8 807 žáků, z toho 4 474 řešilo variantu A a 4 333 variantu B. Maximální skóre, jehož mohli žáci dosáhnout, bylo v obou variantách 22 bodů. Žáci dosáhli v řešení testu průměrného skóre shodně ve variantě A i B přibližně 10,7 bodu, což představuje úspěšnost 48,7 % ve variantě A a 48,8 % ve variantě B. Rozdíly ve výsledcích žáků ve variantě A a B jsou malé, statisticky nevýznamné. Varianty testu lze proto pokládat za rovnocenné. Reliabilita testu je 0,74 (počítáno Cronbachovým alfa), respektive 0,81 (počítáno KR-20). Průměrná úspěšnost žáků v řešení testu studijních dovedností dosáhla 49 %. Tento údaj je nižší, než byl původně zamýšlený a očekávaný autorským týmem. Průměrná úspěšnost byla očekávána přibližně kolem 60 %, což by byla ideální hodnota z hlediska kombinace charakteristik ověřujícího a rozlišujícího testu. V následujících ročnících projektu bude snaha průměrnou úspěšnost žáků zvýšit zařazením testových úloh s mírně nižší obtížností. Takové úlohy budou vytipovány na základě pilotáží.

21



Až na dvě úlohy s velmi nízkou diskriminací (7 a 17 podle číslování ve variantě A) mají všechny úlohy přiměřenou diskriminaci a úspěšnost žáků v jejich řešení se rovněž pohybuje ve vhodném pásmu, i když je spíše nižší, než bylo plánováno. Jednotlivé úlohy byly v testu uspořádány do sad se společnými výchozími informacemi. Jejich řešení však nezáviselo pouze na typu výchozích informací, ale rovněž (a dokonce výrazněji) na konkrétní ověřované dovednosti. Tak se například ukázalo, že žáci a priori podávali slabší výkony v úlohách 7 až 9 (dle varianty A) vázaných na výchozí text v podobě úryvku z rozhovoru. Podle zaměření úloh se jako obtížné jevily úlohy vyžadující orientaci v informacích a následné zpracování těchto informací prostřednictvím základních matematických operací. Za zajímavost stojí, že v úlohách 10 a 15 (dle varianty A) velké množství žáků neuvedlo řešení úlohy. Jedná se o úlohy spočívající v transformaci informací mezi dvěma formami prezentace – text a tabulka, respektive graf. Celkově však žáci v uvedených úlohách nepodávali slabé výkony a rovněž diskriminace obou úloh je vysoká. To znamená, že žáci, kteří řešení úloh vynechali, patřili mezi spíše slabší v celkovém řešení testu. Vcelku byla úroveň vynechanosti nebo nedosaženosti úloh v testu nízká. Z toho vyplývá, že žáci měli na řešení úloh dostatek času. Tab. 9 Psychometrické charakteristiky úloh v testu studijních dovedností Úloha 1A/18B 2A/16B 3A/17B 4A/7B 5A/8B 6A/9B 7A/2B 8A/3B 9A/1B 10A/14B 11A/15B 12A/13B 13A/4B 14A/5B 15A/6B 16A/11B 17A/10B 18A/12B

Průměrná úspěšnost Vynechanost Diskriminace varianta A varianta B varianta A varianta B varianta A varianta B 87,4 % 90,2 % 0,1 % 0,4 % 0,27 0,28 54,1 % 54,7 % 0,4 % 0,8 % 0,37 0,37 62,3 % 57,3 % 0,5 % 0,3 % 0,31 0,36 67,6% 70,3 % 1,3 % 1,8 % 0,28 0,26 78,3 % 75,7 % 0,1 % 0,4 % 0,38 0,41 56,7 % 54,4 % 2,5 % 3,2 % 0,41 0,41 29,6 % 28,6 % 0,9 % 0,9 % 0,18 0,15 25,7 % 23,8 % 0,6 % 0,5 % 0,33 0,25 41,1 % 43,7 % 1,7 % 2,1 % 0,16 0,20 47,5 % 42,9 % 11,8 % 9,4 % 0,34 0,34 38,8 % 38,2 % 1,3 % 1,2 % 0,47 0,46 38,2 % 35,7 % 4,2 % 4,4 % 0,35 0,37 27,5% 30,2 % 2,8 % 2,6 % 0,27 0,28 25,9 % 32,5 % 1,4 % 1,5 % 0,41 0,41 56,7 % 59,2 % 8,2 % 8,7 % 0,39 0,39 37,3 % 42,3 % 0,5 % 0,5 % 0,45 0,45 58,4 % 53,5 % 0,5 % 1,0 % 0,10 0,13 28,3 % 29,7 % 0,4 % 0,9 % 0,31 0,35

22



6.4. Porovnání testových výsledků z různých hledisek Všechny tři použité testy lze na základě jejich výsledků považovat za přiměřeně kvalitní nástroje pro ověřování úrovně znalostí a dovedností žáků. Jejich psychometrické charakteristiky odpovídají účelu testů a původním záměrům autorských týmů. Průměrná úspěšnost žáků v řešení testů se nicméně liší. 6.4.1. Celkové výsledky Testové výsledky nejsou obdobné výsledkům v projektu Hodnocení výsledků vzdělávání žáků 9. ročníků ZŠ a jim odpovídajících ročníků víceletých gymnázií 2006. Nejvyšší průměrnou úspěšnost žáků vykazuje sice také test dovedností v českém jazyce, ale test studijních dovedností má úspěšnost výrazně nižší, žáci jsou v něm dokonce méně úspěšní než v matematice. Úspěšnost žáků ve všech třech testech je nižší než 60 %, je tedy vyhovující z hlediska rozlišující schopnosti testu a interpretace jeho výsledků, ale nižší vzhledem k použití testu, které by mělo klást důraz na to, co žáci znají, namísto toho, v čem selhávají. Rozložení úspěšnosti v jednotlivých testech zobrazují následující tři grafy: 2000

2000

1500

1500

1000

1000

500

500

0

0 5,0

15,0

25,0

35,0

45,0

55,0

65,0

75,0

85,0

95,0

5,0

Rozložení úspěšnosti v testu matematických dovedností

15,0

25,0

35,0

45,0

55,0

65,0

75,0

85,0

Rozložení úspěšnosti v testu dovedností v českém jazyce

2000

1500

1000

500

0 5,0

15,0

25,0

35,0

45,0

55,0

65,0

75,0

85,0

95,0

Rozložení úspěšnosti v testu studijních dovedností

Všechny tři testy mají tu dobrou vlastnost, že nejnižší úspěšnosti v nich dosahuje jen minimální počet žáků. Zatímco u testu studijních dovedností je relativně malá i četnost v oblasti nejvyšší možné úspěšnosti, u testů matematických dovedností a dovedností z českého jazyka je tato četnost poměrně vysoká, což je předností, pokud chceme, aby test 23

95,0



kladl důraz na to, co žáci dokážou, namísto toho, co neumějí, ale nevýhodou, pokud preferujeme dobrou rozlišovací schopnost testu. Rozložení úspěšnosti u testu dovedností v českém jazyce je přibližně symetrické, což je ideální vlastnost testu. Průměrná hodnota úspěšnosti je totiž v tomto případě totožná s tzv. mediánem – hodnotou úspěšnosti žáka, který se nachází uprostřed, seřadíme-li žáky vzestupně podle jejich úspěšnosti. Naproti tomu rozdělení úspěšností v testu matematických a studijních dovedností vykazuje mírnou pravostrannou sešikmenost, což má za následek, že průměrná úspěšnost v těchto dvou testech je vyšší než medián úspěšnosti. To znamená, že poté co žáky seřadíme podle jejich úspěšnosti v testu, je úspěšnost žáka nacházejícího se uprostřed této řady nižší než úspěšnost průměrná. U testu matematických dovedností činil tento rozdíl dvě a u testu studijních dovedností 3 procenta. 6.4.2. Výsledky podle známek Velmi zajímavým údajem pro vnitřní evaluaci škol i celého školského systému jsou testové výsledky žáků podle známky z daného předmětu na vysvědčení. Tyto údaje vypovídají o míře shody kritérií používaných k hodnocení žáků prostřednictvím testů a ve výuce. Pokud jsou testy kvalitními nástroji, pak tyto údaje svědčí o přesnosti a obsahu klasifikačních norem používaných na jednotlivých školách. Známky na posledním vysvědčení žáci uváděli v dotazníku. Následně byli žáci rozděleni do skupin podle známky z českého jazyka a z matematiky. Pro skupiny žáků podle známek z jednotlivých předmětů byla vypočtena průměrná úspěšnost v testu dovedností z českého jazyka a v testu matematických dovedností. Údaje uváděné žáky neprošly žádnou další kontrolou, a proto je nutné uvažovat o možném zkreslení. Analýzy testových výsledků podle známky vycházejí z předpokladu, že žáci s dobrými známkami budou dosahovat dobrých výkonů v testu a opačně. Znamená to, že žáci s klasifikací výborně na vysvědčení by měli dosáhnout lepších výsledků než žáci hodnocení chvalitebně, ti by měli dosáhnout lepších výsledků než žáci hodnocení dobře atd. Následující tabulka uvádí průměrné úspěšnosti žáků podle známek z matematiky a z českého jazyka na pololetním vysvědčení v 5. ročníku. Podle očekávání úspěšnosti klesají od jedničkářů přes dvojkaře až po pětkaře. Tato skutečnost znamená, že kritéria testu odpovídají kritériím školní klasifikace. Tab. 10 Průměrné úspěšnosti žáků v testech podle známky na pololetním vysvědčení Známka 1 2 3 4 5

Test matematických dovedností 67,7 % 51,4 % 38,0 % 26,3 % 20,2 %

Test dovedností v českém jazyce 71,3 % 57,2 % 45,5 % 37,5 % 33,1 %

Rozbory testových výsledků podle známky jsou významné jak z celoškolského hlediska, tak i z hlediska jednotlivých škol zúčastněných testování. Školy mají možnost porovnávat testové výsledky žáků s různými známkami v rámci tříd vlastní školy i s výsledky jiných škol. Vyučující a vedení školy tak získávají informace o možných rozdílech v klasifikačních normách používaných jednotlivými učiteli. 24



6.4.3. Výsledky dívek a chlapců Testové výsledky se liší z hlediska pohlaví žáků. CERMAT se dlouhodobě snaží o vytváření genderově vyvážených testů. Postup dosud není ustálen, nicméně každoročně se provádějí analýzy z hlediska pohlaví a vyvozují se z nich závěry pro konstrukci testů v dalším období. Rozdíly v úspěšnosti mezi chlapci a dívkami v testech jsou pro žáky 5. tříd obdobné jako u žáků 9. tříd. Nejvyrovnanější výsledky vykazuje test studijních dovedností, kde je průměrná úspěšnost dívek pouze o 0,5 procentního bodu vyšší než průměrná úspěšnost chlapců. V testu matematických dovedností byli úspěšnější chlapci, a to o 2,3 procentního bodu. Test dovedností v českém jazyce je naopak testem s vyšší úspěšností dívek. Průměrná úspěšnost dívek je o plných 3,6 procentního bodu vyšší než průměrná úspěšnost chlapců. Tyto rozdíly odpovídají obdobným zjištěním z dalších pedagogických šetření, včetně mezinárodního projektu PISA, kde dívky lépe řešily test čtenářské gramotnosti, zatímco chlapci byli úspěšnější v testech matematických a přírodovědných.

25



7. ANALÝZA VYBRANÝCH POLOŽEK ŽÁKOVSKÉHO DOTAZNÍKU V předcházející kapitole byly prezentovány výsledky v jednotlivých testech, které byly rozebrány z hlediska různých kritérií shromážděných prostřednictvím žákovského dotazníku. Žákovský dotazník obsahoval kromě údajů využitelných k hlubší analýze výsledků také některé další položky. Jejich účelem bylo zmapovat podmínky, za nichž probíhá vzdělávání. Následující kapitola představuje zjištění z těchto dalších dotazníkových položek. 7.1. Trávení volného času Žákům bylo nabídnuto sedm vybraných aktivit, z nichž u každé měli označit, jak často se jí věnují, a to na pětistupňové škále 1 – každý den až 5 – téměř nikdy. Průměrné výsledky žáků jsou uvedeny v tabulce 11. Nejnižší hodnoty znamenají, že žáci dané aktivitě věnují nejvíce času, nejvyšší pak času nejméně. Podotýkáme, že tento způsob porovnání toho, jak často se žáci vybraným aktivitám věnují, je pouze hrubým popisem, přesnější výsledky by dal rozbor četností odpovědí žáků, což ale není smyslem této zprávy. Tab. 11 Aktivity žáků ve volném čase Aktivita

Průměrná hodnota 2,98 4,04 4,51 1,65 1,43 2,59 1,26

Sportovní kroužek Umělecký kroužek Přírodovědný kroužek Hry a povídání s kamarády Sledování televize Hry na počítači Čtení knížek a časopisů

Je velice potěšujícím zjištěním, že v páté třídě je nejčastěji provozovanou aktivitou žáků ve volném čase čtení knížek a časopisů. Sledování televize se ocitlo až na druhém místě před hrami a povídáním s kamarády. Další aktivitou v pořadí jsou hry na počítači, poměrně těsně následované sportovními kroužky. Umělecké a zejména přírodovědné kroužky se ocitly až na okraji zájmu dětí. 7.2. Příprava do školy K přípravě do školy se děti měly vyjádřit za pomoci šesti kategorií uvedených v následující tabulce. Tab. 12 Jak často se připravuješ do školy? 1 - Každý den, více než 1 hodinu 2 - Každý den, méně než 1 hodinu 3 - Několikrát týdně 4 - Asi jednou týdně 5 - Několikrát do měsíce 6 - Téměř nikdy

Procento žáků 26,6 % 37,1 % 18,8 % 8,7 % 3,5 % 5,3 %

26



Největší část dětí odpověděla, že se do školy připravuje každý den, a to méně než jednu hodinu. O něco méně žáků se do školy připravuje každý den více než jednu hodinu. Pouze třetina žáků se do školy připravuje méně často. Jak se liší délka domácí přípravy podle známek žáků, ukazují následující grafy. Zobrazují procenta žáků věnujících se domácí přípravě v kategoriích 1 až 6, a to zvlášť pro jedničkáře (modrá), dvojkaře (žlutá), trojkaře (zelená), čtyřkaře (červená) a pětkaře (tmavočervená). Známka z českého jazyka

Známka z matematiky

60%

60%

50%

50%

40%

40%

30%

30%

20%

20%

10%

10%

0%

0%

1 Každý den, více než 1 hod.

2

3

1

2

3

3

4

3

5

6 Téměř nikdy

1 Každý den, více než 1 hod.

2

3

1

2

3

3

4

3

5

6 Téměř nikdy

Grafy ukazují, že jedničkáři se každodenní vícehodinové přípravě věnují procentuálně nejméně ze všech žáků. Zato vedou v každodenní přípravě kratší než jednu hodinu. Zajímavou skutečností je vysoké procento (více než 50 %) pětkařů v matematice, kteří se věnují domácí přípravě každodenně více než jednu hodinu. Tuto skutečnost je však nutné brát s rezervou, protože žáků s pětkou z matematiky, kteří se zároveň vyjádřili ke své domácí přípravě, je v našem souboru pouze 17. Podobná situace nastala u známky z českého jazyka – pětkařů je tu pouze 21. 7.3. Obliba českého jazyka a matematiky Protože obliba školních předmětů se liší u chlapců a dívek, uvádíme podíl žáků, kteří uvedli, že český jazyk nebo matematika je jejich oblíbený, resp. neoblíbený předmět, také zvlášť pro chlapce a pro dívky. Tab. 13 Obliba českého jazyka podle pohlaví žáků

Dívky Chlapci Celkem

Oblíbený

Ani oblíbený, ani neoblíbený

Neoblíbený

23,4 % 12,7 % 18,1 %

51,3 % 44,4 % 47,8 %

25,3 % 43,0 % 34,0 %

27



Tab. 14 Obliba matematiky podle pohlaví žáků

Dívky Chlapci Celkem

Oblíbený

Ani oblíbený, ani neoblíbený

Neoblíbený

47,1 % 58,3 % 52,7 %

35,1 % 27,7 % 31,4 %

17,8 % 14,0 % 15,9 %

Tabulky 13 a 14 ukazují, že pro žáky pátých tříd základních škol je matematika mnohem oblíbenějším předmětem než český jazyk, a to zejména u chlapců, kde je obliba matematiky více než čtyřikrát vyšší než českého jazyka. Alarmujícím zjištěním především je, že český jazyk jako neoblíbený uvádí 43 % chlapců (dívek 25 %). 7.4. Plnili žáci ve vyučování obdobné úlohy, jaké byly v testech? Testování představuje pro žáky zátěžovou situaci, která se stává ještě náročnější, pokud se žáci na tuto zkoušku průběžně nepřipravují. Adekvátní příprava přitom nezahrnuje pouze obsahovou stránku testů, ale rovněž podobnou formu ověřování znalostí a dovedností žáků. Z uvedeného důvodu je podstatné, zda a jak často se žáci ve vyučování setkávají s podobnými úlohami, jaké byly v testech. V následující tabulce je uveden podíl žáků, kteří volili, zda podobný typ úloh řeší při vyučování často, občas, nikdy. Tab. 15 Jak často plnili žáci ve vyučování obdobné úlohy, jaké byly v testech Matematika Český jazyk Studijní dovednosti

Často 33,5 % 19,6 % 7,4 %

Občas 59,5 % 68,5 % 54,6 %

Nikdy 7,0 % 11,9 % 38,0 %

Z tabulky 15 je zřejmé, že nejméně se žáci ve škole setkávají s typem úloh zadávaných v rámci testu studijních dovedností. Možná, že právě „novost“ úloh byla příčinou nižší úspěšnosti žáků v tomto testu. Na druhém pólu se nacházejí úlohy testu matematických dovedností. S těmi se ve škole setkávají téměř všichni žáci. Také s typem úloh, které byly náplní testu dovedností v českém jazyce, se žáci ve škole setkali téměř v devadesáti procentech případů. 7.5. Hodnocení obtížnosti testů V kapitole 6.4.1. jsme se zabývali úspěšností v testech, která je jedním z ukazatelů jejich kvality. Nejvyšší úspěšnosti dosáhli žáci v testu dovedností z českého jazyka, nižší v testu matematických dovedností a nejnižší, nižší než optimální, byla úspěšnost v testu studijních dovedností. Tyto hodnoty lze porovnat s názorem samotných žáků na obtížnost testů. Tabulka 16 ukazuje, že hodnocení obtížnosti testů žáky neodpovídá reálné úspěšnosti žáků v testech. Pořadí testů co do hodnocení jejich obtížnosti je opačné než pořadí v úspěšnosti žáků. Nejsnazší se žákům jevil test studijních dovedností následován testem matematickým, nejobtížnější test dovedností v českém jazyce. Příčiny tohoto jevu by si zřejmě zasloužily hlubší analýzu.

28



Tab. 16 Jak byla obtížnost testů hodnocena žáky

Matematika Český jazyk Studijní dovednosti

Obtížný

Ani obtížný, ani snadný

Snadný

17,3 % 21,8 % 15,4 %

52,1 % 58,4 % 48,1 %

30,6 % 19,8 % 36,5 %

29



8. VÝSTUPY Z PROJEKTU Výstupy z projektu Hodnocení výsledků vzdělávání žáků 5. ročníků ZŠ 2006 byly připravovány v návaznosti na dlouhodobé a aktuální cíle projektu. Pro každou cílovou skupinu, která byla projektem oslovována, byl připraven samostatný typ výstupu. Jednalo se zejména o: •

osvědčení pro žáky;

•

souhrnné výstupy pro školy;

•

agregované výsledky pro krajské úřady;

•

závěrečná zpráva pro MŠMT.

8.1. Osvědčení pro žáky Osvědčení představovalo stručné a srozumitelné informování žáka o jeho výsledcích v jednotlivých testech a porovnání jeho osobních výsledků s výsledky žáků zúčastněných testování ve stejné třídě, škole a v kraji. Osvědčení bylo vytištěno na papíru formátu A4, oboustranně, v barevném provedení. Obsahovalo přehledné tabulky s průměrným skóre a průměrnou úspěšností a dále grafické znázornění výsledků. Součástí osvědčení bylo vymezení a popis uváděných údajů. Osvědčení byla vytvořena pro všechny žáky, kteří se testování zúčastnili, a byla zaslána na jednotlivé školy, které zajistily jejich předání žákům. 8.2. Souhrnné zprávy pro školy Souhrnné zprávy pro školy byly připraveny pro každou základní školu, která se zúčastnila testování. Zahrnovaly údaje o testových výsledcích jednotlivých žáků a dále souhrnné údaje porovnávající výsledky školy a jejích jednotlivých tříd s výsledky zúčastněných škol v daném kraji. Vedle prostých průměrných úspěšností žáků v řešení testů sestavy obsahovaly údaje rozlišené podle známky z daného předmětu na vysvědčení. Zprávy byly připravovány tak, aby si na jejich základě školy mohly vytvořit či doplnit představu o vlastní žákovské populaci a svých vzdělávacích výsledcích. K tomu sloužily jednak absolutní hodnoty vyjadřující výkony žáků dané školy, jednak porovnání s výsledky ostatních zúčastněných škol. Porovnání nebylo uváděno formou jmenovitého žebříčku škol, nýbrž prostřednictvím průměrného výsledku. Školy se tedy nemusely obávat zveřejnění svých výsledků. Z porovnání se školy mohly dozvědět, v jakém vztahu (lepší, stejné, horší) jsou výkony jejich žáků vůči výkonům ostatních žáků v kraji. Konkrétní výstupní sestavy byly poskytnuty výhradně příslušným školám. Jejich zpracování i distribuce probíhaly za bezpečnostních pravidel tak, aby nedošlo k jejich prozrazení. Školy byly upozorněny na rizika spojená s interpretací statistických údajů. Na výkony v testech má vliv řada faktorů, z těch nejvýznamnějších to jsou: a) školní potenciál daných žáků, b) pedagogické vedení, c) obsahové zaměření a konstrukce testu. Častou chybou je vysvětlovat žákovské výkony výhradně působením vyučujících. Ačkoliv jejich vliv na míru žákovských znalostí a dovedností je klíčový, záleží rovněž na dalších charakteristikách škol a žáků.

30



8.3. Souhrnné zprávy pro krajské úřady Souhrnné zprávy pro krajské úřady obsahovaly základní přehledné údaje mapující testové výsledky škol z daného kraje. Údaje byly uváděny jak v tabulkách, tak v grafech. Součástí zpráv byly vysvětlivky k jednotlivým údajům. Cílem zpráv bylo nabídnout krajským úřadům doplňkové informace o úrovni školského systému v kraji, tak aby bylo možné kvalitněji připravovat rozhodnutí týkající se školské politiky v kraji a lépe porozumět principům a přínosům projektu. Výsledky poskytnuté krajským úřadům měly výhradně agregovanou podobu, neobsahovaly žádné adresné informace o konkrétních školách. Současně byly krajské úřady informovány o rizicích nesprávné interpretace výsledků a o zásadní nevhodnosti využití uvedených výsledků k případné restrukturalizaci školského systému. 8.4. Závěrečná zpráva pro MŠMT Dalším výstupem projektu je tato závěrečná zpráva z projektu Hodnocení výsledků vzdělávání žáků 5. ročníků ZŠ 2006. Zpráva je předkládána Ministerstvu školství, mládeže a tělovýchovy, které je zřizovatelem Centra pro zjišťování výsledků vzdělávání. Má za účel shrnout průběh a výsledky projektu, identifikovat silná a slabá místa projektu a vytvořit tak zdroj informací pro přípravu dalšího ročníku projektového cyklu. 8.5. Semináře, publikace Nespecifickým výstupem z projektu je informování laické a odborné veřejnosti o projektu a jeho výsledcích prostřednictvím seminářů a publikací v denním i odborném tisku. Cílem je rozšířit povědomí veřejnosti o existenci projektového cyklu a jeho dlouhodobých cílech a současně poukázat na přínosy z účasti v testování jak pro žáky, tak i pro školy.

31



9. ZÁVĚR Projekt Hodnocení výsledků vzdělávání žáků 5. ročníků ZŠ 2006 navazuje na projektový cyklus Hodnocení výsledků vzdělávání žáků 9. ročníků, který přináší do českého vzdělávacího systému pozitivní změny v oblasti zavádění systematického sledování vzdělávacích výsledků na základních školách. Projekt přispěl k prohloubení informací o úrovni znalostí a dovedností jednotlivých žáků a rozšířil zdroje pro autoevaluaci vyučujících a škol. Navíc propojení projektů pro žáky 5. a 9. tříd umožní zjišťování přidané hodnoty škol a individuálního pokroku žáků. Publikování výsledků projektu v odborném i denním tisku, i prezentace na seminářích pro učitele, napomohly k informování pedagogické i širší laické veřejnosti o problematice hodnocení výsledků vzdělávání a možnostech využití didaktických testů. Výsledky projektu ukázaly, že existuje souvislost mezi výsledky testů z matematiky i českého jazyka se školním hodnocením, což znamená, že výsledky, kterých žáci při řešení testových úloh dosáhli, v průměru odpovídají individuálnímu hodnocení učiteli. Pro jednotlivé učitele však toto porovnání přineslo důležitou zpětnou vazbu k jejich vlastnímu hodnocení. Také se ukázalo, že testové úlohy ověřující žákovy dovednosti ve jmenovaných oblastech nebyly pro podstatnou část žáků ničím novým, neznámým a nepřekonatelným. Proto lze s dostatečnou věrohodností usoudit, že je možné takto ověřovat a hodnotit výsledky vzdělávání v klíčových momentech vzdělávacího procesu ústrojným a přirozené vzdělávání nenarušujícím způsobem. Dobrovolná účast škol pohybující se v zúčastněných krajích mezi 50 % a 90 % svědčí o velkém zájmu škol o poskytování informací o vzdělávacích výsledcích svých žáků.

32



10. PŘÍLOHY 1. Test Dovednosti v českém jazyce – testový sešit, záznamový arch, klíč správných řešení 2. Test Matematické dovednosti – testový sešit, záznamový arch, klíč správných řešení 3. Test Studijní dovednosti – testový sešit, záznamový arch, klíč správných řešení 4. Žákovský dotazník 5. Ukázková výstupní sestava pro základní školy 6. Ukázková výstupní sestava pro krajské úřady 7. Ukázkové osvědčení pro žáky 8. Pokyny pro hodnocení otevřených úloh v testu matematických dovedností.

33

ZÁVĚREČNÁ ZPRÁVA Z PROJEKTU HODNOCENÍ VÝSLEDKŮ VZDĚLÁVÁNÍ ŽÁKŮ 5. ROČNÍKŮ ZÁKLADNÍCH ŠKOL 2006

Recommend Documents