ZÁVĚREČNÁ ZPRÁVA HODNOCENÍ VÝSLEDKŮ VZDĚLÁVÁNÍ ŽÁKŮ 9. TŘÍD 2005 V KARLOVARSKÉM, LIBERECKÉM A PARDUBICKÉM KRAJI

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005

ZÁVĚREČNÁ ZPRÁVA HODNOCENÍ VÝSLEDKŮ VZDĚLÁVÁNÍ ŽÁKŮ 9. TŘÍD 2005 V KARLOVARSKÉM, LIBERECKÉM A PARDUBICKÉM KRAJI

Zpracovaly:

Mgr. Irena Smetáčková PhDr. Jarmila Nedvědová PaedDr. Eva Říhová

Podklady poskytl: Praha, září 2005

Mgr. Jan Hučín


OBSAH 1. ÚVOD ................................................................................................................................ 2 2. CÍLE PROJEKTU ................................................................................................................ 3 2.1. Dlouhodobé cíle ................................................................................................................ 3 2.2. Aktuální cíle ...................................................................................................................... 3 3. PRŮBĚH PROJEKTU .......................................................................................................... 5 4. KONCEPCE A TVORBA TESTŮ............................................................................................ 8 4.1. Tvorba testů ..................................................................................................................... 8 4.2. Typy testových úloh........................................................................................................... 9 4.3. Koncepce testu Dovednosti v českém jazyce ...................................................................... 10 4.4. Koncepce testu Matematické dovednosti............................................................................ 12 4.5. Koncepce testu Studijní dovednosti ................................................................................... 14 4.6. Žákovský dotazník ........................................................................................................... 16 5. ÚČAST ŠKOL A ŽÁKŮ....................................................................................................... 17 6. ZHODNOCENÍ TESTŮ NA ZÁKLADĚ ŽÁKOVSKÝCH VÝSLEDKŮ........................................ 20 6.1. Zhodnocení testu Dovednosti v českém jazyce ................................................................... 21 6.2. Zhodnocení testu Matematické dovednosti......................................................................... 22 6.3. Zhodnocení testu Studijní dovednosti ................................................................................ 24 7. TESTOVÉ VÝSLEDKY VE VZTAHU K ŽÁKOVSKÉ POPULACI A ŠKOLSKÉMU SYSTÉMU..... 26 7.1. Výsledky škol .................................................................................................................. 27 7.2. Celkové výsledky žáků ..................................................................................................... 28 7.3. Výsledky žáků podle známky ............................................................................................ 29 7.4. Výsledky žáků podle typu střední školy .............................................................................. 31 7.5. Výsledky žáků podle pohlaví ............................................................................................. 33 8. ÚDAJE ZE ŽÁKOVSKÉHO DOTAZNÍKU............................................................................. 35 8.1. Známky .......................................................................................................................... 35 8.2. Důvody výběru střední školy............................................................................................. 36 8.3. Vzdělání rodičů................................................................................................................ 37 8.4. Výroky o sobě ................................................................................................................. 38 8.5. Hodnocení vlastních testových výkonů............................................................................... 39 9. VÝSTUPY Z PROJEKTU .................................................................................................... 42 10. ZÁVĚR ........................................................................................................................... 44 11. PŘÍLOHY ....................................................................................................................... 45

1


1. ÚVOD Projekt Hodnocení výsledků vzdělávání žáků 9. tříd 2005 byl realizován divizí ÚIV Centrum pro zjišťování výsledků vzdělávání (CERMAT) ve spolupráci s odbory školství, mládeže a tělovýchovy krajských úřadů Karlovarského kraje, Libereckého kraje a Pardubického kraje. Záštitu projektu poskytlo Ministerstvo školství, mládeže a tělovýchovy. Hodnotící fáze projektu byla zařazena do aktivit systémového projektu ESF Kvalita I a realizována za finanční spoluúčasti EU, resp. ESF. Projekt navazoval na šetření, které se uskutečnilo v roce 2004 pod názvem Hodnocení výsledků vzdělávání žáků 9. tříd v Karlovarském kraji. Tento projekt vznikl na základě spolupráce CERMATu, Odboru školství, mládeže a tělovýchovy Karlovarského kraje a MŠMT. Projekt sestával ze zadání tří testů a dotazníku žákům 9. tříd všech základních škol v daném kraji. Z projektu byly připraveny tři skupiny výsledků: 1) osvědčení pro jednotlivé žáky, 2) výstupní sestavy s výsledky pro jednotlivé základní školy a střední školy, 3) závěrečné zprávy pro Odbor školství, mládeže a tělovýchovy Krajského úřadu Karlovarského kraje a pro MŠMT. Projektu se zúčastnily všechny základní školy v Karlovarském kraji a řada středních škol přihlížela k výsledkům testování při přijímacích zkouškách. Projekt Hodnocení výsledků vzdělávání žáků 9. tříd v Karlovarském kraji nebyl izolovaným šetřením, ale naopak prvním krokem v dlouhodobé přípravě zavádění nového způsobu zjišťování vzdělávacích výsledků žáků po ukončení II. stupně základní školy. Jeho závěry proto byly využity a zúročeny při přípravě a realizaci projektu Hodnocení výsledků vzdělávání žáků 9. tříd 2005 ve třech krajích. Další pokračování projektu je podmínkou k postupnému naplňování dlouhodobého záměru zkvalitnit přípravu na základních školách. Současně však projekt má stanoveny vlastní dílčí cíle. Popis projektu, jeho dlouhodobé i aktuální cíle a jejich plnění jsou předmětem této závěrečné zprávy pro MŠMT. Pro období 2006 – 2008 bude pokračování projektu součástí aktivit systémového projektu ESF Kvalita I, který pod názvem Národní hodnotící zkouška bude spolufinancován Evropským sociálním fondem a státním rozpočtem České republiky.

2


2. CÍLE PROJEKTU Projekt Hodnocení výsledků vzdělávání žáků 9. tříd 2005 byl připraven ve snaze naplnit dvě skupiny cílů. Jedna skupina se vztahuje k dlouhodobému procesu proměny českého školství. Druhá skupina se váže na monitorování aktuální úrovně vzdělávacích výsledků žáků 9. tříd. V rámci projektu byly žákům 9. ročníků základních škol zadány tři testy a žákovský dotazník. Testy byly zaměřeny na tyto oblasti: matematické dovednosti, dovednosti v českém jazyce a studijní dovednosti. Výběr předmětů a konkrétní obsah testů odpovídal cílům projektu.

2.1. Dlouhodobé cíle Aktuální stav českého školství lze charakterizovat dvěma základními trendy – decentralizací a kurikulární reformou. Jak ukazují zkušenosti ze zahraničí, oba tyto procesy vyžadují úpravy ve způsobu hodnocení výsledků vzdělávání. Zavádění rámcových vzdělávacích programů posouvá důraz, který byl kladen na sumativní hodnocení znalostí, směrem k jeho kombinaci s formativním hodnocením procesů a dovedností. Musí se tak rozšířit škála hodnotících nástrojů, které mají vyučující k dispozici. Novým nástrojem se proto má stát také externě připravovaný test, který umožňuje srovnání žáků mezi sebou a porovnání jejich osvojených znalostí a dovedností s požadovanými výstupy z výchovně-vzdělávacího procesu. Decentralizace školství spolu s kurikulární reformou poskytuje více autonomie školám a jejich zřizovatelům. Do pozadí tak ustupují vzdělávací standardy, které každý úspěšný absolvent určitého stupně školy musí splnit. Tyto standardy zcela opustit by znamenalo snížení kvality školství. Proto je nezbytné, aby alespoň v uzlových bodech vzdělávacího systému (tj. na přechodech žáků mezi jednotlivými vzdělávacími stupni) existovalo hodnocení jejich znalostí a dovedností, které lze vztáhnout k požadovaným výsledkům z příslušného stupně školy a které rovněž umožňuje jejich vzájemné porovnání. Tyto funkce může naplnit pouze externí evaluace výsledků vzdělávání. Projekty Hodnocení výsledků vzdělávání žáků 9. tříd v roce 2004 i v roce 2005 měly za cíl přispět k úvahám o možnostech různých hodnotících nástrojů a jejich zavedení do školské praxe v podobě tzv. Národní hodnotící zkoušky. Ta by měla být tvořena jednotnými testy zadávanými za standardizovaných podmínek žákům 5. tříd a dále žákům 9. tříd základních škol. Forma a obsah testů a organizační zajištění testování je předmětem uvedených projektů.

2.2. Aktuální cíle Vedle výše uvedených dlouhodobých a obecných cílů je projekt zaměřen jednak na praktické potřeby zúčastněných škol a jejich žáků, jednak na potřebu krajského úřadu získat podrobnější informace o školském systému v daném kraji, případně na zájem Ministerstva školství, mládeže a tělovýchovy rozšířit zdroje informací o úrovni českého školství. Cílovými skupinami projektu tak jsou: → Základní školy, kterým se rozšíří zdroje informací sloužící k vnitřnímu systému řízení kvality škol. → Žáci 9. tříd základních škol, kteří získají zdroj informací pro autoevaluaci. → Střední školy, kterým jsou nabídnuty doplňkové nástroje pro hodnocení uchazečů o studium. → Zřizovatelé škol, kterým jsou poskytnuty údaje o výstupní úrovni žáků škol. → Krajský úřad, který má k dispozici hlubší údaje o kvalitě školského systému v kraji. → Ostatní sociální partneři (rodiče, zaměstnavatelé atd.). → Ministerstvo školství, mládeže a tělovýchovy

3


Na základě zhodnocení projektu a jeho výsledků lze konstatovat, že výše uvedené cíle byly splněny. Současně došlo prostřednictvím seminářů pro ředitele a učitele základních a středních škol a prostřednictvím publikování v odborném i denním tisku k informování pedagogické i širší laické veřejnosti o problematice hodnocení výsledků vzdělávání a možnostech využití didaktických testů.

4


3. PRŮBĚH PROJEKTU Projekt Hodnocení výsledků vzdělávání žáků 9. tříd 2005 se uskutečnil v 1. pololetí 2005 v kraji Karlovarském, Libereckém a Pardubickém. Testováni byli všichni přihlášení žáci včetně žáků se speciálními vzdělávacími potřebami (žáci s SVP). Příprava projektu byla zahájena v létě 2004 po vyhodnocení projektu Hodnocení výsledků vzdělávání žáků 9. tříd 2004 v Karlovarském kraji. V úvodní fázi došlo k sestavením týmu z pracovníků CERMATu, ke zpracování časového harmonogramu hlavních činností včetně předpokládaných finančních nákladů a k aktualizaci databází základních a středních škol daných krajů. V září 2004 se uskutečnila setkání se zástupci odborů školství krajských úřadů Karlovy Vary, Liberec a Pardubice. Účelem setkání bylo představení projektu, jeho výstupů, seznámení s možnostmi využití získaných výsledků a dohoda na obsahu a podmínkách projektu. Současně byly dohodnuty oblasti a rozsah spolupráce včetně zapojení odborů školství obcí s rozšířenou působností (dále jen obce III). O realizaci projektu a formách zpracování výsledků testování žáků byli poté informováni ředitelé základních a středních škol. Spolu se zástupci MŠMT a krajů bylo dohodnuto, že v rámci projektu budou školám nabízeny tři testy ve dvou variantách s podobným zaměřením a rozsahem jako v roce 2004. Jedná se o test studijních dovedností, test matematických dovedností a test dovedností z českého jazyka. Aby testy měly zaručenu vysokou kvalitu, byly všechny úlohy do nich zařazené ověřovány v pilotážním šetření. Pilotáže proběhly v době od 20. října do 9. listopadu 2004 na náhodně vybraném vzorku žáků 9. tříd ve 42 základních školách v Praze a Středočeském kraji. Jedna úloha byla ověřována v průměru na 200 žácích. Na základě výsledků pilotáží byly testové úlohy upraveny a vybrány nejkvalitnější z nich, podle specifikační tabulky pak byly sestaveny testy ve variantě A a B. Následně byla připravena ještě varianta testu C pro účely náhradního termínu přijímacích zkoušek. Tato varianta byla využita pouze v Libereckém kraji. V listopadu 2004 byly písemně osloveny všechny základní školy s 9. ročníky v Karlovarském, Libereckém a Pardubickém kraji. V dopise adresovaném ředitelům škol bylo uvedeno IZO školy a jedinečné heslo školy pro bezpečný přístup na webový server CERMATu, jehož prostřednictvím probíhalo přihlašování žáků. Přihlašování škol probíhalo elektronicky od 29. listopadu do 8. prosince 2004 formou zápisu do připraveného formuláře s adresnými údaji školy. Na základě údajů byl pro každého žáka vytvořen identifikační kód ve formě samolepicího štítku s čárovým kódem pro označení záznamových archů. Podle počtu přihlášených žáků bylo vytištěno potřebné množství testů, žákovských dotazníků, záznamových archů, identifikačních štítků a doprovodných materiálů. Veškerý testový materiál byl v CERMATu zkompletován pro třídy a školy do bezpečnostních fólií. Ve dnech 10. a 11. 2. 2005 byly zásilky odvezeny na OŠ KÚ Karlovy Vary, Liberec a Pardubice. Jejich distribuce do škol byla plně v kompetenci OŠ KÚ. Za bezpečné uložení zásilky do doby testování zodpovídali ředitelé škol. Školy obdržely v předstihu pro přihlášené žáky letáčky Jak řešit didaktický test. Letáčky seznamovaly žáky se strategií řešení testových úloh a mohli je použít při vlastním testování. S ohledem na zajištění optimálního průběhu testování a získání objektivních výsledků bylo koncepčně připraveno školení zadavatelů – učitelů dané základní školy. Pro zadavatele byla stanovena podmínka neaprobovanosti pro předměty český jazyk a matematika. Zadavatelé byli jmenovitě uvedeni v přihlašovací aplikaci ve vazbě na konkrétní třídu (1 třída = 1 zadavatel). Na přípravě školení zadavatelů se podílely OŠ obcí III, které poskytly prostory, termíny a pomoc při vlastním průběhu školení. V CERMATu byli vyškoleni lektoři, kteří v období od 20. 1. do 10. 2. 2005 proškolili na jedenácti určených místech v krajích celkem 741 zadavatelů.

5

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Termín testování žáků ve školách byl stanoven na čtvrtek 17. února 2005. Testováni byli všichni přihlášení žáci 9. tříd základních škol včetně žáků s SVP. Zadávání testů probíhalo podle jednotného testovacího schématu, ve kterém byly respektovány rozdílné časové limity pro žáky s SVP (časový limit pro řešení každého testu byl 40 minut, žáci s SVP mohli mít časové navýšení až o 100 %). Testy, včetně žákovského dotazníku, zadával ve třídě vyškolený učitel dané základní školy splňující stanovené podmínky. Zároveň zodpovídal za neprodlené předání vyplněných záznamových archů v bezpečnostní obálce opatřené průvodkou pracovníkům odboru školství obce III. V den testování byla pracovníky CERMATu a zástupci odborů školství krajských úřadů provedena v náhodně vybraných školách kontrola průběhu testování a dodržování pokynů k zajištění objektivních podmínek testování. Odbory školství KÚ ve spolupráci s odbory školství obcí III zajistily shromáždění obálek na stanovená centrální sběrná místa, tj. OŠ KÚ Karlovy Vary, Liberec a Pardubice. Dne 18. února 2005 se uskutečnil svoz všech obálek do CERMATu ke zpracování. Obsah každé zásilky byl zkontrolován a zaevidován. Testy s otevřenými úlohami byly před digitalizací vyhodnoceny hodnotiteli – externími spolupracovníky CERMATu. Hodnocení otevřených úloh se týkalo testu matematických dovedností a probíhalo v období od 22. 2. do 28. 2. 2005 ve spolupráci s předmětovým koordinátorem pro matematiku. Hodnotitelé byli předem proškoleni a seznámeni také se způsobem organizace hodnocení otevřených úloh. Po ohodnocení otevřených úloh byly záznamové archy digitalizovány. Žáci se speciálními vzdělávacími potřebami se středním stupněm omezení zapisovali odpovědi přímo do upravených verzí testových sešitů; v tomto případě se pořízení dat provádělo ručně. Po hromadném zpracování a vytěžení dat externí firmou bylo v CERMATu provedeno čištění a kontrola pořízených dat, která byla následně předána analytickému oddělení ke zpracování výsledků. Výsledky byly poskytnuty těmto cílovým skupinám: a) žákům a školám: Výsledky testování pro jednotlivé žáky ve formě osvědčení byly školám zaslány do 12. dubna 2005, tj. před termínem přijímacích zkoušek na střední školy. Osvědčení informovala konkrétní žáky o jejich výkonech v řešených testech a jejich umístění mezi žáky stejné školy či mezi všemi zúčastněnými žáky v kraji. Souhrnné výstupy pro základní školy byly od 15. dubna 2005 zúčastněným školám přístupné na internetové stránce CERMATu po zadání IZO školy a jedinečného hesla. b) OŠ KÚ: Odborům školství Krajských úřadů Karlovy Vary, Liberec a Pardubice byly v dubnu zaslány první základní souhrnné výsledky o rozložení úspěšnosti žáků v jednotlivých testech podle zúčastněných krajů. Na ně v červnu 2005 navazovala souhrnná zpráva o projektu. c) MŠMT: Závěrečná zpráva byla vypracována v září 2005. Testování žáků, zpracování výstupů a zaslání výsledků včetně uspořádání odborných seminářů byly pro všechny zúčastněné školy zdarma.

6


Harmonogram projektu Činnost

Termín

Jednání s představiteli OŠ KÚ Karlovy Vary, Liberec, Pardubice

16. 9., 24. 9 .2004

Zajištění aktuální databáze ZŠ a SŠ ze 3 krajů

září – říjen 2004

Oslovení ZŠ – nábor pro pilotáž

24. 9. 2004

Tvorba TÚ pro pilotní ověřování

do 11. 10. 2004

Tisk pilotážních sešitů

12. – 14. 10. 2004

Realizace pilotáží na školách

20. 10. – 9. 11. 2004

Oslovení ZŠ, SŠ, OŠ obcí III a OŠ KÚ ve 3 krajích dopisem

23. – 25. 11. 2004

Zahájení elektronického přihlašování ZŠ do projektu

29. 11. 2004

Předání výsledků pilotáží autorům TÚ pro sestavení ostrých testů

30. 11. 2004

Ukončení přihlašování

8. 12. 2004

Sestavení ostrých testů

do 3. 1. 2005

Příprava a tisk testových materiálů

do 28.1. 2005

Školení zadavatelů ve 3 krajích

20. 1. – 10. 2. 2005

Kompletace testových materiálů pro ZŠ ve 3 krajích

do 8. 2. 2005

Odvoz TM z CERMATu na OŠ KÚ ve 3 krajích

10. – 11. 2. 2005

Distribuce TM do škol – dle dispozic OŠ KÚ

do 16. 2. 2005

Testování 9. tříd ZŠ ve 3 krajích

17. 2. 2005

Svoz vyplněných ZA z OŠ KÚ 3 krajů do CERMATu

18. 2. 2005

Vystavení klíče správného řešení na web CERMATu

18. 2. 2005

Příjem zásilek dle výčetky

19. – 24. 2. 2005

Školení hodnotitelů OÚ (jen matematické dovednosti)

22. 2. 2005

Hodnocení OÚ

do 28. 2. 2005

Pořízení dat – digitalizace

do 7. 3. 2005

Zpracování dat a generování výsledků

do 9. 4. 2005

Tisk osvědčení

9. – 10.4.2005

Zaslání jmenovitých osvědčení pro žáky školám

do 12. 4. 2005

Umístění souhrnných výsledků ZŠ na web CERMATu

od 15. 4. 2005

Závěrečná zpráva pro OŠ KÚ ve 3 krajích

červen 2005

Odborné semináře k výsledkům projektu

září – říjen 2005

Závěrečná zpráva pro MŠMT

září 2005

7


4. KONCEPCE A TVORBA TESTŮ V rámci projektu Hodnocení výsledků vzdělávání žáků 9. tříd 2005 byly připraveny tři testy a žákovský dotazník. Testy se zabývaly těmito oblastmi: matematické dovednosti, dovednosti v českém jazyce a studijní dovednosti. Tyto oblasti byly zvoleny s ohledem na hlavní směr základního vzdělávání a současně na obvyklé složení přijímacích zkoušek na střední školy. Testy Matematické dovednosti a Dovednosti v českém jazyce byly vymezeny prostřednictvím školních vyučovacích předmětů a jejich učebních osnov. Test Studijní dovednosti přesahoval rámec běžně vyučovaných předmětů. Jeho cílem bylo ověřit předpoklady žáků pro úspěšné studium. Testy odvozené od školních předmětů byly nazvány jinak než samotné vyučovací předměty. Důvodem je snaha zdůraznit jistou odlišnost v zaměření testu. Ačkoliv testy odráží učivo dané učebními osnovami, snaží se ve větší míře, než je obvyklé pro současnou školní praxi, orientovat na dovednosti, nikoliv pouze na zapamatování znalostí. Úlohy jsou konstruovány tak, aby ověřovaly nejen zvládnutí vědomostních elementů učiva, ale rovněž operace, které by měly být s těmito elementy (znalostmi) činěny. Takto pojaté testy zjišťují z hlediska kognitivních procesů vyšší operace, tj. nejen pouhé zapamatování informací, ale také porozumění a aplikaci. Vzhledem k této koncepci testů je možné jejich účel vidět rovněž v souvislosti s připravovanou kurikulární reformou. Ta v požadovaných vzdělávacích výstupech zdůrazňuje spíše operace s informacemi než pouhé (i když nezbytné) osvojení znalostí. Školy si tak mohou vytvořit na základě výsledků žáků představu, v jaké míře jejich současná výuka odpovídá nové organizaci výuky. Následující popisy testů obsahují informace o postupu při vytváření testů, o jejich zaměření a obsahu a dále informace o bodování testů.

4.1. Tvorba testů Tvorba testu je náročný proces, na němž spolupracuje řada odborníků (předmětoví specialisté, autoři úloh, recenzenti, analytici atd.). Tvorba celého testu probíhá v několika základních fázích. Pokud nejsou úkoly jednotlivých fází řádně splněny, zvyšuje se riziko, že vytvořený test nebude kvalitním nástrojem měření žákovských znalostí a dovedností. V případě testů pro projekt Hodnocení výsledků vzdělávání žáků 9. tříd 2005 byla konstrukce tvořena následujícími fázemi: 1) Plánování testu → definování cíle testu, tj. k čemu mají sloužit testové výsledky, → vymezení obsahu testu, tj. jaké učivo má být prostřednictvím testu ověřováno, → vypracování specifikační tabulky, která obsahuje závazný počet úloh určitého typu a obsahu zařazených následně do testu (význam specifikační tabulky spočívá zejména ve zvýšení validity testu a v možnosti meziročního porovnání testových výsledků). 2) Tvorba a ověřování testových úloh → tvorba testových úloh podle pravidel stanovených specifikační tabulkou, → posouzení obsahové a konstrukční kvality testových úloh odbornými recenzenty, → ověření kvality testových úloh prostřednictvím pilotáží (pilotáž představuje zkušební zadání úloh větší skupině žáků, v tomto případě souboru 200 žáků 9. tříd z Prahy a Středočeského kraje, na základě jejichž výsledků je posouzena konstrukční a psychometrická kvalita úloh). 3) Sestavování testu

8

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 → výběr konkrétních úloh do testu na základě vyhodnocení výsledků pilotáží, → řazení úloh tak, aby podporovalo správné strategie řešení testu, → volba způsobu hodnocení jednotlivých úloh a celého testu, → posouzení testu odbornými recenzenty, → sestavení záznamového archu, do něhož žáci zapisují řešení úloh.

Testy byly koncipovány tak, aby kombinovaly charakteristiky testu rozlišujícího a ověřujícího. Na základě této kombinace lze testové výsledky použít k činění závěrů jak o úrovni znalostí a dovedností žákovské populace kraje a jednotlivých škol, tak o jednotlivých žácích a k porovnání jejich výkonů s výkony ostatních. Cílem rozlišujících testů je vzájemně porovnat výsledky jednotlivých žáků. Na základě řešení testu jsou žáci uspořádáni do pořadí. Zda je konkrétní žák hodnocen jako úspěšný nebo neúspěšný, závisí mimo jiné na výkonech ostatních žáků. Naopak cílem ověřujících testů je zjistit, zda si žák osvojil určité znalosti a dovednosti, které jsou předem stanoveny jako podstatné. Výsledek konkrétního žáka není porovnáván s výsledky jiných žáků, ale s předem stanovenými kritérii. Cílem každého ověřujícího testu je stanovit míru znalostí a dovedností žáků tím, že se určí, kteří žáci test absolvovali úspěšně a kteří v něm byli neúspěšní. Kritériem úspěšnosti v testu je dosažení určitého počtu bodů z celkového možného počtu bodů (např. dosažení 20 a více z 50 možných bodů). Určený počet bodů se nazývá mezní hranice úspěšnosti neboli cut-off score. Kromě mezní hranice úspěšnosti, která oddělí žáky, kteří v testu uspěli, od žáků neúspěšných, mohou existovat ještě dílčí hranice, například pro oddělování známek. Dílčí hranice úspěšnosti se obvykle nevyužívají u testů zadávaných v rámci přijímacích zkoušek.

4.2. Typy testových úloh Každý test je sestaven z jednotlivých testových úloh. Testové úlohy mohou být různého typu. Každý z typů úloh je vhodný k ověřování jiného učiva a jiných kognitivních procesů. Úlohy se člení na otevřené a uzavřené. Otevřené úlohy jsou takové, kde žáci odpovědi sami tvoří. Tyto úlohy jsou velmi náročné na hodnocení, neboť předpokládají samostatné posuzování žákovských odpovědí. V hodnocení odpovědí často dochází k chybám, a to jak z důvodu lidské únavy, tak z důvodu nejednoznačnosti odpovědí. Uzavřené úlohy jsou takové, kde žáci vybírají odpověď z nabízených možností. Převládá mylný názor, že uzavřené úlohy ověřují pouze zapamatování jednoduchých faktů. Ve skutečnosti však i uzavřené úlohy mohou ověřovat složité myšlenkové operace. Samozřejmě však u nich existuje jisté riziko hádání, které je možné snížit správným bodovým hodnocením úloh apod. Nejčastějším typem uzavřených úloh jsou úlohy s výběrem odpovědí, tzv. multiple-choice, při jejichž řešení žáci vybírají odpověď z několika možností. Dalším častým typem jsou úlohy dichotomické, kde žáci rozhodují o pravdivosti výroku či o jiné charakteristice nabývající dvou možných hodnot. Složitějším typem uzavřených úloh jsou úlohy přiřazovací, v nichž žáci podle určitého pravidla k sobě přiřazují dvě řady pojmů, čísel atd. Jiným typem jsou úlohy uspořádací, ve kterých žáci podle stanoveného pravidla určují správné pořadí zadaných pojmů, čísel atd. Úlohy lze hodnotit jednotlivě nebo ve skupinách (tzv. svazcích), kde je pro přiřazení bodového hodnocení rozhodující počet správně vyřešených úloh svazku. Podrobněji viz přílohy. V projektu Hodnocení výsledků vzdělávání žáků 9. tříd 2005 byly použity následující typy úloh: → úlohy s výběrem odpovědi ze čtyř nabízených alternativ,

9

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 → svazky dichotomických úloh, → úlohy přiřazovací, → úlohy otevřené. V každém testu byly použity právě takové typy úloh, které nejlépe odpovídaly ověřovanému obsahu. Vzhledem k tomu, že pro řadu žáků 9. ročníků se pravděpodobně jednalo o první zkušenost s řešením testu, snažili se autoři využívat omezenou škálu typů úloh.

4.3. Koncepce testu Dovednosti v českém jazyce Testem Dovednosti v českém jazyce byly ověřovány základní dovednosti žáků v oblasti mateřského jazyka, jimiž mají podle níže uvedených dokumentů disponovat na konci povinné školní docházky. Zároveň se při stanovování koncepce testu uplatnila spolupráce s tvůrci testu ze Studijních dovedností tak, aby nedocházelo k nežádoucímu překrývání ověřovaných dovedností. Test Dovednosti v českém jazyce je odvozen od vyučovacího předmětu český jazyk a literatura. Základním východiskem pro sestavení testu Dovednosti v českém jazyce byly platné pedagogické dokumenty (Standard základního vzdělávání, Praha, Fortuna 1999; Vzdělávací program Základní škola, 2. upravené vydání, Praha, Fortuna 1998.), zohledněn ovšem byl i současný vývoj ve školství – důležitým východiskovým materiálem se stal Rámcový vzdělávací program pro základní vzdělávání (v aktuálním znění). Odlišný název testu vyjadřuje skutečnost, že testové úlohy jsou orientovány více na dovednosti než na znalosti.

Zaměření testu Testem Dovednosti v českém jazyce je ověřována významná část specifických cílů uvedených ve Standardu základního vzdělávání. Pasáže označené šedým podtiskem v následujícím výčtu uvádějí oblasti ze standardu, které jsou prostřednictvím testu Dovednosti v českém jazyce ověřovány. Podle tohoto dokumentu proces výuky českého jazyka a literatury v jazykové části směřuje k tomu, aby žáci: → v žádoucí míře kvality, trvalosti a správnosti si osvojili techniku čtení a psaní a prokazovali ji ve škole i mimo školu, → byli schopni souvisle se vyjadřovat a dovedli správně a kultivovaně používat mateřský jazyk v běžných situacích, → získali pro život významné dovednosti spojené s mnohostrannou komunikací člověka v moderní společnosti (ústní a písemné způsoby vyjadřování ve vztahu k odlišným adresátům, schopnost vyjadřovat vlastní názory, vystupovat před lidmi ap.), → pochopili bohatost českého jazyka, jeho slovní zásoby a v praxi dovedli používat elementární pravidla stylistiky, → získali podstatné poznatky ze systému českého jazyka a prakticky ovládli základy českého pravopisu, → uměli využívat běžné informační zdroje a vést přehledné zápisky, → usilovali o co nejpřesnější vyjádření svých myšlenek a uměli rozpoznávat vyjádření nepřesná a nesprávná. Ucelenější představu o ověřovaných dovednostech, resp. o celém testu, lze získat na základě specifikační tabulky, na jejímž základě byl test sestaven.

10

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Specifikační tabulka pro test dovedností v českém jazyce 2005

Dovednost

pravopis

morfologie

Určit slovnědruhovou a větněčlenskou platnost slova1

2

Rozeznat nesprávně užitý tvar slova2

2

Ovládat základní pravopisná pravidla3

Učivo lexikologie, syntax sémantika

1

4

Posoudit výstavbu textu5

3

2

Rozeznat základní charakter textu8 5

4

2

2

5

2

1

Porozumět obsahu celého textu i jeho částí7

Celkem úloh

3

3

1

celkem úloh 2

4

Posoudit význam slov4

Porovnat texty6

stylistika

5

3

3

5

2

2

7

25

Vodorovná osa tabulky definuje redukované oblasti učiva, které se promítají do testu. Není zařazeno učivo z literatury, z čehož vyplývá, že cílem testu není ověřování znalosti literárních dějin. Svislá osa tabulky pak vymezuje vybrané oblasti ověřovaných dovedností. Z jejich výčtu je patrná orientace na

1

Zařazení dovednosti do testu vyplývá z důrazu na osvojování této dovednosti ve školské praxi. Nebylo tudíž možné tuto oblast zcela pominout. 2 Dovednost jdoucí napříč několika oblastmi učiva. 3 Ověřováno je ovládnutí základních pravopisných pravidel v běžných situacích; pozornost je soustředěna zejména na psaní -i/-y a interpunkci. S výjimkou testových úloh ověřujících zvládání interpunkce je zadání úloh konstruováno tak, aby nebyl specifikován charakter ověřovaného pravopisného jevu. Ověření dovednosti je tak přesnější ve srovnání se specifikovaným zadáním ověřovaného jevu. 4 Vždy je ověřováno posouzení významu slov (výrazů) v daném kontextu. 5 Dovednost je charakterizována nalezením závadného místa v textu a jeho opravou, resp. výběrem nejvhodnější úpravy (opravy). 6 Dovednost v sobě zahrnuje několik operací: porozumění odbornému textu, nalezení potřebných informací v tomto textu a jejich následná aplikace v textu neodborném. 7 Tato dovednost je svým charakterem nejbližší testovým úlohám obsaženým v testu studijních dovedností. 8 Ověřováno je rozeznání charakteru textu ze stylistického hlediska.

11

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 ověřování dovedností směřujících k práci s konkrétními texty, a to při respektování základního charakteru výuky na základních školách podle stávající pedagogické dokumentace. Všechny texty použité v testových úlohách jsou autentické (převzaty jsou z každodenních situací, tzn. ze sdělovacích prostředků – televize, noviny a časopisy, internet – i z běžných komunikačních situací mluvených), nejsou tedy používány žádné vykonstruované jevy, které by vznikly jen pro účely testování.

Počet a typ testových úloh Test Dovednosti v českém jazyce je tvořen 25 uzavřenými testovými úlohami, z toho je 23 úloh s výběrem odpovědi (u tohoto typu úloh lze předpokládat nejnižší riziko ovlivnění výsledků žáků, způsobené absencí dovednosti žáků řešit testovou úlohu z hlediska postupu řešení). Test dále dotváří jedna úloha přiřazovací a jedna uspořádací.

Bodové hodnocení Za správné vyřešení všech úloh v testu mohli žáci získat maximálně 30 bodů. Většině úloh je přiřazena jednobodová hodnota. Tři úlohy, jejichž řešení je časově podstatně náročnější, jsou ohodnoceny dvěma body, za správné řešení jedné úlohy (přiřazovací) může žák získat maximálně tři body.

Varianty testu Test byl konstruován ve dvou variantách. Obě varianty testu byly tvořeny stejnými testovými úlohami, jejichž odlišné uspořádání zajistilo žákům stejné podmínky bez ohledu na to, kterou z variant řešili. Oběma variantami testu byly tedy ověřovány tytéž žákovské dovednosti. Třetí varianta testu (varianta C) byla konstruována podle stejných specifikačních kritérií jako varianty A a B. Podstatná část testových úloh zařazená do testu byla v porovnání s variantami A a B jiná, vlastnosti testu ale zůstaly zachovány. Nově zařazené testové úlohy ověřovaly stejné znalosti a dovednosti, blízkost parametrů byla ověřena pretestováním.

4.4. Koncepce testu Matematické dovednosti Základním cílem testu Matematické dovednosti bylo prověřit vzdělávací výstupy z deváté třídy v matematice. Současně byli ředitelé středních škol informováni o možnosti využít objektivně srovnatelných informací o úrovni znalostí jednotlivých žáků při přijímacím řízení.

Zaměření testu Po zkušenostech z projektu Hodnocení výsledků vzdělávání žáků 9. tříd 2004 v Karlovarském kraji byly do testu zařazovány méně náročné úlohy. Snížily se požadavky na počet prováděných úkonů v úloze i požadavky například na schopnost abstrakce při řešení úloh. Převažovaly úlohy na ověření úrovně základních matematických znalostí a dovedností. Pouze malá část testu obsahovala úlohy využívající schopnosti abstrakce či dovednosti matematizovat reálné situace, aby se žáci výrazněji rozlišili. Byly vynechány úlohy testující logické myšlení, neboť byly zařazeny do testu Studijních dovedností.

12

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Specifikační tabulka pro test Matematických dovedností Specifické cíle Provádět početní výkony s přirozenými i desetinnými čísly a zlomky, a to pamětně i písemně; při řešení složitějších úloh užívat racionálně kapesní kalkulátor. Řešit úlohy z praxe s užitím početních výkonů, včetně užití procentového počtu a jednoduchého úrokování. Provádět odhady výsledků řešení a posuzovat jejich reálnost, provádět potřebné zaokrouhlení. Číst a užívat jednoduché statistické tabulky a diagramy. Užívat proměnnou, chápat její význam, řešit rovnice a nerovnice a užívat je při řešení úloh. Zapisovat a graficky znázornit závislosti kvantitativních jevů v přírodě a ve společnosti a pracovat s některými konkrétními funkcemi při řešení úloh z praxe. Řešit metrické geometrické úlohy, vypočítat obvody a obsahy rovinných obrazců, povrchy a objemy těles, užívat základní vztahy mezi rovinnými obrazci. Orientovat se v rovině a v prostoru, užívat soustavu souřadnic, chápat vztah mezi čísly a body jako základ počítačových znázornění a projektů. Dokazovat jednoduchá tvrzení a vyvozovat logické závěry z daných předpokladů.

Úroveň osvojení A

B

1.1, 1.2

2

1.3, 1.4

10.1– 10.4, 15 2 11.1– 11.4, 12–14

C

D

2, 5

15

2, 15

10.1– 10.4 4.1

6, 7, 8

3

4.2

9, 16, 17

6, 7

Počet a typ testových úloh Test obsahoval 17 úloh. Prvních osm úloh bylo otevřených, žáci v nich uváděli postup řešení, v úloze 9 je uveden pouze výsledek, úlohy 10 a 11 byly rozhodovací, žáci vybírali mezi odpověďmi ANO–NE, a úlohy 12–17 byly úlohy s výběrem odpovědi. V jednotlivých úlohách testu byly ověřovány základní matematické znalosti a dovednosti žáků. Mezi ně se řadí základní znalost algebraických pojmů a postupů, případně jednoduché aplikace (ověřováno v úlohách 1, 5, 10, 11, 12, 13, 14), dále znalost geometrických pojmů (v úlohách 3, 4, 6–9). Časově náročnější byla část algebraická. Kombinace obou typů učiva je zastoupena v geometrických úlohách řešených výpočtem (úlohy 16 a 17). Požadavek na jednoduchou matematickou abstrakci nebo matematizaci popsané situace je obsažen v úlohách 2, 9, 16 a 17, náročnější je pouze úloha 15, která však patří k typově známým a procvičovaným úlohám. Pro sestavení testu bylo použito několik typů úloh. K ověření základních znalostí byly vybrány otevřené úlohy s jednoduchou odpovědí (1, 3–8), mezi něž počítáme i jednoduché geometrické konstrukce (sestrojení bodu nebo úsečky). Svazky uzavřených dichotomických úloh (s odpovědí ANO–NE) byly použity pro hlubší ověření úrovně schopností využívat některých matematických pojmů (10) a postupů (11). Široce otevřená byla pouze úloha 2, pro kterou byla vypracována podrobná kritéria pro hodnocení. Zvláštním typem úlohy je svazek 9, jehož jednotlivé části lze přiřadit k typu uzavřených úloh s výběrem odpovědí, případně k úzce otevřené úloze. Zbývající úlohy (12–17) patřily mezi uzavřené úlohy se čtyřmi alternativami s jednou správnou odpovědí. Všechny složitější úlohy byly zadány právě touto formou, aby byla zachována jednoznačnost při opravování, tedy i objektivita testu.

13

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Bodování Maximální skóre testu z matematiky je 50 bodů. Otevřené úlohy včetně svazků otevřených úloh (úlohy 1–8) jsou hodnoceny celkově 21 body (14+7), zbývající uzavřené úlohy včetně svazků uzavřených úloh 29 body (18+11). Bodové rozložení skóre do jednotlivých úloh zobrazuje následující graf. V otevřených úlohách (1–8) jsou body přidělovány v závislosti na časové náročnosti úlohy (od 1 do 5 bodů). Každý krok náročnější úlohy je možné hodnotit dílčími body.

Pouze uzavřené úlohy s výběrem odpovědi (12– 17) se hodnotí podle pravidla „vše, nebo nic“. Bodová dotace (3 body) takové úlohy odpovídá průměrné bodové dotaci za úlohu v testu. Náhodné skóre v testu odpovídá přibližně 7 bodům, tedy 14% úspěšnosti v testu.

Bodové hodnocení testu 5 4 Bo d y

Mezi uzavřenými úlohami mají vyšší bodovou dotaci (4 body) svazky úloh (10 a 11), neboť se jim podobně jako v otevřených úlohách přidělují i dílčí body. Svazek (úloha 9) je časově méně náročný (3 body).

3 2 1 0 1

2 3

4

5 6

7

8

9 10 11 12 13 14 15 16 17 P

Číslo úlohy

Varianty testu Pro testování žáků v řádném termínu byly vytvořeny dvě zcela odpovídající varianty testu pro zadávání ve shodném testovacím termínu. Obě varianty (A a B) byly vytvořeny podle shodné specifikační tabulky. Úlohy jsou tematicky shodné, liší se pouze v údajích, s nimiž žáci počítají. Jedná se tedy o téměř identické, plně srovnatelné testy. Srovnatelnost potvrdily i analýzy žákovských výsledků. Třetí varianta C pro testování v náhradním termínu musela být pozměněna tak, aby nebyl zvýhodněn žák, který měl možnost seznámit se s předchozími variantami. Nepředpokládalo se speciální vyškolení hodnotitelů, proto (pro zachování objektivity hodnocení) byla široce otevřená úloha rozdělena na několik dílčích podúloh s jednoznačným hodnocením. Jednotlivá témata byla zachována, i když některé dílčí podúlohy byly jinak rozmístěny. Ve variantách A a B byly úkoly seskupeny do 17 úloh, ve variantě C do 15 úloh. Ve všech testech se kromě 6 uzavřených úloh řešilo v jednotlivých otevřených úlohách, podúlohách a svazcích celkem 21 dílčích úkolů. Náhodné skóre testu se změnilo pouze o 0,7 %. Můžeme tedy předpokládat, že validita testů byla velmi vysoká.

4.5. Koncepce testu Studijní dovednosti Test Studijní dovednosti byl zaměřen na zjišťování úrovně dovedností nezbytných k úspěšnému studiu. Z hlediska konkrétních dovedností je studijní úspěšnost podmíněna především prací s informacemi a řešením problémů. Dále je úspěšnost závislá na inteligenčních schopnostech, paměti, volních charakteristikách atd. Tyto však test Studijní dovednosti přímo měřit nemůže. Test Studijní dovednosti není odvozen z žádného existujícího vyučovacího předmětu. Jeho obsah je nadpředmětový. Na rozdíl od testů Matematické dovednosti a Dovednosti v českém jazyce tento test neodpovídal svým obsahem žádnému z existujících pedagogických dokumentů. Na jeho základě proto nelze dělat závěry o kvalitě školního vyučování vzhledem k naplňování učebních osnov a standardů vzdělávání.

Zaměření testu Prostřednictvím testu Studijní dovednosti byly ověřovány především následující skupiny cílů: → nalezení detailních informací v různých zdrojích,

14

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 → globální porozumění informacím obsaženým v různých zdrojích, → vysouzení informací, → jazykový cit a základní matematické operace. Aby závěr v testu vypovídal skutečně o žákovských dovednostech, byly úlohy konstruovány tak, že po žácích nebyly pro úspěšné řešení vyžadovány žádné specifické znalosti. Všechny zjišťované dovednosti předpokládají pouze práci s poskytnutými informacemi, všechny potřebné informace jsou obsaženy v úloze. Nalezení specifických údajů, porozumění jim a následná aplikace do nového kontextu vypovídají o úrovni žákových dovedností pracovat s informacemi. Třetí skupina dovedností je orientována na složitější myšlenkové operace. Úlohy ověřují, zda jsou žáci schopni kombinovat více informací a vyvodit z nich adekvátní závěr. Vymezené cíle předpokládají zvládnutí logických operací, základních matematických operací a přiměřenou úroveň jazykového citu. Test studijních dovedností sledoval výše uvedené dovednosti. Konkrétně byl sestaven na základě specifikační tabulky, v níž jsou uvedeny typy výchozích informací a požadované dovednosti. Pole vzniklá překrytím sloupců a řádků obsahují počet úloh daného zaměření.

Specifikační tabulka pro test Studijní dovednosti

text publicistický text odborný tabulka graf

vyhledání informace

globální porozumění

vysouzení, interpretace

jazykový cit

matematické operace

5 3 3 2

1 0 2 0

1 2 1 1

2 1 0 0

X X X

Pozn. Matematické operace nebyly ověřovány jako samostatné cílové požadavky, ale jako součást jiných. Označení „x“ je použito u těch výchozích informací, které předpokládají použití matematických operací.

Počet a typ testových úloh Test studijních dovedností je tvořen 24 testovými úlohami, které jsou rozděleny do 9 částí. Každá část je tvořena výchozími informacemi a sadou 3 testových úloh, které se k těmto výchozím informacím vztahují. Z celkového počtu 24 úloh je 5 svazků dichotomických úloh a 21 úloh s čtyřnásobným výběrem odpovědi. Test studijních dovedností je sestaven ze dvou typů testových úloh – úloh s výběrem odpovědi a ze svazků dichotomických úloh. Úlohy jsou vždy vztaženy k výchozím informacím. Výchozími informacemi použitými v testu jsou publicistické texty, odborné texty, tabulky a grafy. Většina použitých výchozích informací je autentická, obvykle se jedná o informace převzaté ze sdělovacích prostředků. Dovednosti tedy nejsou ověřovány na jevech, které by byly izolované a vykonstruované pouze pro účely testování. Pro stanovený časový limit 40 minut je počet testových úloh, včetně podúloh, poměrně vysoký. Vyšší časová náročnost je účelem testu. Protože je cílem testu predikovat možnou úspěšnost žáků v budoucím studiu z hlediska jejich dovedností, je vhodné simulovat situaci časového stresu, která je běžná pro reálné studium.

Bodové hodnocení V testu Studijní dovednosti bylo možné získat maximálně 29 bodů. Jednotlivé úlohy byly bodovány jednotným způsobem podle jejich typu. Úlohy s výběrem odpovědi (tzv. multiple-choice) byly bodovány 1 bodem, svazky dichotomických úloh byly bodovány 2 body. Důvodem byla zejména vyšší časová náročnost řešení svazků úloh. Svazky dichotomických úloh měly možnost částečného

15

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 hodnocení – za všechny čtyři správně zodpovězené podúlohy žáci získali 2 body, za tři správně zodpovězené podúlohy získali 1 bod, za dvě či jednu správnou odpověď nezískali žádný bod. Informaci o možném počtu bodů měli žáci uvedenou v testovém sešitě, aby na jejím základě mohli volit odpovídající strategii řešení testu.

Varianty testu Test Studijní dovednosti byl připraven ve dvou variantách (A a B), které byly totožné z hlediska specifikační tabulky i použitých úloh. Úlohy byly do obou variant zařazeny v odlišném pořadí, čímž se snížila pravděpodobnost opisování. Přitom však zůstala zachována plná srovnatelnost testů. Pro náhradní termín byl následně připraven test ve variantě C. Ta byla rovněž vytvořena podle shodné specifikační tabulky. Část testových úloh zařazených do testu byla totožná s úlohami ve variantě A a B. Přibližně polovina testových úloh byla zcela nových. Nově sestavené úlohy ověřovaly stejné specifické cíle jako původní úlohy, které nahrazovaly.

4.6. Žákovský dotazník Součástí testování byl žákovský dotazník. Jeho prostřednictvím se získávaly zejména informace o střední škole, na niž se žáci přihlásili, a o důvodech jejich volby. Dále dotazník mapoval faktory ovlivňující aktuální úroveň znalostí a dovedností žáků v jednotlivých předmětech. Důležitou oblastí, které se žákovský dotazník rovněž věnoval, byl odhad vlastní úspěšnosti v řešení tří testů. Část položek obsažených v dotazníku se týkala identifikačních údajů. Jednalo se o údaje, které mohou být vztaženy k výsledkům žáků v přijímacích testech. S jejich využitím se provádějí podrobnější analýzy žákovských výsledků při řešení jednotlivých testových úloh i celých testů. Výběr a zařazení těchto položek byly motivovány snahou o maximálně komplexní interpretaci testových výsledků a případně formulování funkčních doporučení ke zkvalitnění pedagogické praxe na základních školách. Žákovský dotazník celkově zahrnoval 7 položek. Jejich obsahové zaměření bylo následující: → pohlaví žáka/žákyně, → známky na posledním vysvědčení z jednotlivých předmětů, → střední škola, na níž si žák/žákyně podal přihlášku, → důvody volby střední školy, → vzdělání rodičů, → osobní charakteristiky ve vztahu ke školním výkonům, → odhad vlastních výsledků v testech.

16


5. ÚČAST ŠKOL A ŽÁKŮ Do projektu Hodnocení výsledků vzdělávání žáků 9. tříd 2005 se zapojilo celkem 307 základních škol. Účast škol byla dobrovolná. Ze všech základních škol v daných krajích, které ve školním roce 2004/2005 měly otevřený 9. ročník, se tedy projektu zúčastnilo 97,5 %. Z těchto škol bylo k testování přihlášeno celkem 12 680 žáků, z toho 902 žáků se speciálními vzdělávacími potřebami. V den testování bylo přítomno celkem 10 973 žáků, z toho 739 žáků se SVP. Naopak chybělo a bylo omluveno 1 707 žáků, z toho 162 žáků se SVP. Někteří z testovaných žáků byli přítomni pouze na část testování – neřešili všechny tři testy a žákovský dotazník. Testování se provádělo v 567 třídách pro intaktní žáky a 174 třídách pro žáky s SVP (s ohledem na uzpůsobené podmínky byli žáci s SVP testováni v jiné učebně). K hromadnému zpracování bylo přijato 43 357 záznamových archů, ručně se pořizovalo 164 testových sešitů žáků s SVP středního stupně omezení. Počty zúčastněných škol a žáků podle krajů a počty žáků řešících jednotlivé předměty uvádějí následující tabulky:

Počet zúčastněných základních škol a žáků v krajích ZŠ s 9.třídami

Kraj

Účast ZŠ v projektu

Celkem žáků

počet

počet

%

přihlášeno

účast

73

73

100

2991

2701

111

109

98,2

4547

3871

131

125

95,4

5142

4401

315

307

97,5

12 680

10 973

Karlovarský kraj Liberecký kraj Pardubický kraj Celkem

Počet zúčastněných žáků podle testů Celkem žáků účast

%

Intaktní žáci účast

12680

10969

86,5

10230

739

12680

10973

86,6

10239

734

12680

10953

86,4

10215

738

Test přihlášeno Matematické dovednosti Dovednosti v českém jazyce Studijní dovednosti

Žáci se SVP účast

17

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Počet žáků v jednotlivých krajích podle testů Kraj

Matematické dovednosti

Dovednosti v českém jazyce

Studijní dovednosti

Karlovarský kraj

2699

2701

2693

Liberecký kraj

3869

3871

3864

Pardubický kraj

4401

4401

4396

10969

10973

10953

Celkem

Pro účely následných analýz je důležitý popis zúčastněné žákovské populace rovněž z dalších hledisek. Hlavními znaky, které popisují soubor testovaných žáků, jsou: pohlaví, známka a typ střední školy, na kterou si žáci podali přihlášku. Prostřednictvím identifikace a žákovských dotazníků byly ke každému zúčastněnému žákovi přiřazeny základní údaje. Zastoupení žáků z hlediska uvedených znaků je obsaženo v následujících tabulkách.

Počet dívek a chlapců Pohlaví

CELKEM Počet žáků

Karlovarský kraj

Liberecký kraj

Pardubický kraj

Dívky

5511

1358

1949

2204

Chlapci

5327

1305

1881

2141

Neuvedli

135

38

41

56

Počet žáků s příslušnými známkami na pololetním vysvědčení z předmětu český jazyk Známka

ČESKÝ JAZYK Počet žáků

Karlovarský kraj

Liberecký kraj

Pardubický kraj

Známka 1

1206

277

407

522

Známka 2

3845

902

1319

1624

Známka 3

3748

952

1369

1427

Známka 4

2067

540

745

782

Známka 5

42

16

11

15

Neuvedli

65

14

20

31

18

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Počet žáků s příslušnými známkami na pololetním vysvědčení z předmětu matematika Známka

MATEMATIKA Počet žáků

Karlovarský kraj

Liberecký kraj

Pardubický kraj

Známka 1

1319

300

433

586

Známka 2

3381

824

1166

1391

Známka 3

3360

796

1205

1359

Známka 4

2667

699

984

984

Známka 5

180

61

66

53

Neuvedli

66

21

17

28

Počet žáků hlásících se na jednotlivé typy středních škol Typ školy

Počet žáků

CELKEM

Karlovarský kraj

Liberecký kraj

Pardubický kraj

Gymnázia

1533

344

486

703

Střední odborné školy

5866

1493

2163

2210

Střední odborná učiliště

2762

645

925

1192

Odborná učiliště, učiliště

346

109

131

106

Neuvedli

481

113

169

199

19


6. ZHODNOCENÍ TESTŮ NA ZÁKLADĚ ŽÁKOVSKÝCH VÝSLEDKŮ Aby bylo možné na základě testových výsledků činit závěry o úrovni znalostí a dovedností žákovské populace zúčastněných tří krajů a o charakteristikách jejich školských systémů, je nutné mít jistotu, že testy jsou kvalitními nástroji. Kvalita testů je zaručena dodržením všech testologických principů při jejich vývoji (viz kapitola 4). Po použití testu však musí být kvalita potvrzena prostřednictvím žákovských výsledků. Výsledky musí odpovídat očekávaným charakteristikám a musí vykazovat přiměřené psychometrické parametry. Základní psychometrické charakteristiky, na jejichž základě lze učinit závěr o kvalitě testu coby evaluačního nástroje, jsou uvedeny v následující tabulce. Část charakteristik slouží k popisu výkonů jednotlivých žáků či skupin žáků, část charakteristik popisuje samotný test a jednotlivé testové úlohy. Při hodnocení jednotlivých testů se vychází z výsledků všech testovaných žáků, tj. včetně žáků se speciálními vzdělávacími potřebami. Dílčí analýza této skupiny žáků bude dodána krajským úřadům samostatně. Vymezení základních psychometrických charakteristik

Celkové skóre

představuje počet bodů, které žák obdržel na základě řešení jednotlivých úloh v testu. Za každou úlohu, kterou žák správně zodpoví, získává příslušný počet bodů. V případě některých úloh je možné částečné hodnocení, které rozlišuje odpověď zcela správnou, částečně správnou a chybnou.

Celková úspěšnost žáka

vyjadřuje v procentech poměr celkového skóre konkrétního žáka a nejvyššího možné skóre, které lze v testu získat. Příklad: je-li nejvyšší možné skóre 60 a dosáhl-li žák 30 bodů, pak jeho celková úspěšnost je 50 %.

Úspěšnost žáka v úloze

vyjadřuje v procentech počet bodů, které žák získal za řešení dané úlohy, z nejvyššího počtu bodů, které bylo možné za správné řešení úlohy získat. Příklad: je-li za zcela správnou odpověď možné získat 2 body a uvedl-li žák odpověď za 2 body, pak jeho úspěšnost v úloze je 100 %.

Průměrné skóre

představuje průměrný počet bodů dosažený všemi testovanými žáky v testu. Vypočítá se jako součet skóre jednotlivých žáků dělený jejich počtem, tedy jako aritmetický průměr.

Průměrná úspěšnost žáků

vyjadřuje v procentech poměr průměrného skóre a nejvyššího možného skóre v testu. Příklad: je-li průměrné skóre 40 a nejvyšší možné skóre 80, pak je průměrná úspěšnost rovna 50 %.

Úspěšnost žáků v úloze

vyjadřuje v procentech poměr mezi počtem žáků, kteří úlohu vyřešili správně, a všech testovaných žáků. Příklad: je-li úspěšnost žáků v úloze 80 %, znamená to, že úlohu vyřešilo správně 80 % žáků z celkového počtu testovaných žáků.

Obtížnost testových úloh

je odvozena od počtu žáků, kteří dali správnou odpověď na danou úlohu, je vyjádřena desetinným číslem. Pokud je například obtížnost úlohy 0,65, znamená to, že ze všech získaných odpovědí na danou úlohu bylo 65 % správných. Pojem obtížnost úlohy se používá jako jedna z charakteristik testové úlohy. Využívá se k celkovému posouzení vhodnosti zařazení úlohy do testu.

Diskriminace úlohy

vypovídá o schopnosti úlohy rozlišovat mezi žáky s většími znalostmi a dovednostmi a žáky s menšími znalostmi a dovednostmi. K rozlišení žáků na

20

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 „lepší“ a „slabší“ se používá jejich celkový výsledek v testu. Vysokou citlivost má taková úloha, kterou řeší „lepší“ žáci podstatně úspěšněji než žáci „slabší“. V případě, že jsou v řešení úlohy úspěšnější „slabší“ žáci, obsahuje úloha pravděpodobně nějakou konstrukční chybu. Nejčastěji se diskriminace vypočítá jako Pearsonův lineární korelační koeficient mezi skóre dosaženém v dané testové úloze a celkovým skóre (při vyloučení dané úlohy). Nazývá se diskriminace RIR a nabývá hodnot od -1 do 1. Záporné hodnoty znamenají, že žáci, kteří správně řešili danou testovou úlohu, dosáhli spíše nízkého celkového skóre ve zbytku testu, a naopak. Kladné hodnoty svědčí o tom, že žáci úspěšní v řešení dané úlohy byli rovněž úspěšní při řešení ostatních úloh, tj. celého testu. Aby bylo možné označit úlohu za přiměřeně citlivou, měla by diskriminace RIR dosahovat nejméně hodnoty 0,25 - 0,3. Jiný způsob výpočtu představuje tzv. ULI index. Vypočítá se jako rozdíl v úspěšnosti řešení konkrétní úlohy poloviny žáků s vyšším celkovým výsledkem v testu a poloviny žáků s nižším celkovým výsledkem.

Reliabilita testu

představuje míru přesnosti a spolehlivosti testu. Pouze test, který měří přesně a spolehlivě, poskytuje směrodatné informace o úrovni znalostí a dovedností žáků. Přesné měření znamená, že výsledek v testu vypovídá o skutečných znalostech a dovednostech žáků. Spolehlivé měření znamená, že test poskytuje stabilní, opakovatelné výsledky. K výpočtu reliability se nejčastěji používají vzorce KR-20, L2 nebo Cronbachovo alfa.

6.1. Zhodnocení testu Dovednosti v českém jazyce Testu Dovednosti v českém jazyce se zúčastnilo celkem 10 973 žáků, z toho 5975 žáků řešilo variantu A a 4998 žáků variantu B. Žáci dosáhli v řešení testu průměrného skóre 18,8 bodu (varianta A), resp. 19,2 bodu (varianta B), což znamená úspěšnost žáků v řešení testu 62,8 % ve variantě A a 64,0 % ve variantě B. Rozdíly v průměrném skóre ani v průměrné úspěšnosti nejsou statisticky významné. Varianty testu byly tedy rovnocenné, což prokazují i následující porovnání úspěšnosti žáků v řešení jednotlivých testových úloh a porovnání vynechanosti a diskriminace úloh. Průměrná úspěšnost žáků v úloze, vynechanost úlohy a diskriminace úlohy podle variant Průměrná úspěšnost Úloha

Vynechanost

Diskriminace

varianta A

varianta B

varianta A

varianta B

varianta A

varianta B

1A/25B

83 %

79 %

1,1 %

1,1 %

0,28

0,35

2A/24B

85 %

78 %

0,7 %

1,0 %

0,29

0,37

3A/23B

80 %

77 %

1,1 %

1, %

0,35

0,37

4A/22B

95 %

91 %

0,5 %

0,7 %

0,22

0,30

5A/21B

64 %

55 %

1,7 %

2,5 %

0,27

0,30

6A/20B

56 %

49 %

2,3 %

4,4 %

0,30

0,31

7A/17B

67 %

65 %

0,9 %

1,5 %

0,18

0,22

8A/18B

55 %

60 %

1,2 %

1,4 %

0,33

0,33

21

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Průměrná úspěšnost Úloha

Vynechanost

Diskriminace

varianta A

varianta B

varianta A

varianta B

varianta A

varianta B

9A/19B

47 %

46 %

2,4 %

2,7 %

0,23

0,23

10A/15B

57 %

57 %

0,8 %

0,8 %

0,23

0,23

11A/16B

40 %

45 %

2,8 %

2,7 %

0,18

0,21

12A/14B

55 %

54 %

3,2 %

3,4 %

0,33

0,26

13A/13B

58 %

59 %

0,4 %

0,3 %

-

-

14A/12B

55 %

57 %

1,5 %

1,1 %

-

-

15A/11B

50 %

55 %

4,0 %

4,3 %

0,33

0,33

16A/10B

56 %

60 %

2,0 %

2,1 %

0,28

0,25

17A/9B

55 %

60 %

2,2 %

2,4 %

0,33

0,31

18A/8B

44 %

47 %

4,5 %

3,6 %

0,26

0,28

19A/7B

78 %

81 %

0,8 %

0,5 %

0,37

0,35

20A/6B

62 %

68 %

2,2 %

2,3 %

0,43

0,37

21A/5B

69 %

76 %

1,6 %

0,9 %

0,34

0,28

22A/4B

68 %

78 %

2,7 %

2,4 %

0,35

0,24

23A/3B

76 %

81 %

1,4 %

1,5 %

0,38

0,31

24A/2B

79 %

82 %

0,2 %

0,6 %

0,35

0,31

25A/1B

74 %

79%

1,6 %

1,5 %

0,44

0,36

Výsledky žáků při řešení úloh potvrdily podobně jako v loňském roce některé očekávané skutečnosti. Velké části žáků nečiní větší problémy řešení úloh v oblasti určování slovnědruhové a větněčlenské platnosti slov, tedy v oblasti, o níž je všeobecně známo, že je jí ve školách věnována významná pozornost. Průměrných výsledků dosahovali žáci při řešení úloh ověřujících dovednosti související s významem jednotlivých výrazů i delších textů a s rozeznáním nesprávného tvaru slova v textu. Naproti tomu téměř polovina žáků měla potíže při porovnávání dvou textů, jen o málo lépe dovedou žáci rozeznat základní charakter textu (nepřipravený ústní projev, reklama). Vůbec nejslabších výsledků dosahovali žáci při řešení úloh, jimiž byly ověřovány dovednosti související se znalostí základních pravidel českého pravopisu. Z hlediska tradičního tematického třídění učiva mají žáci největší potíže s pravopisem, problematické jsou i oblasti morfologie a stylistiky. Test dosáhl reliability 0,75. Jedná se o poměrně nízkou hodnotu, která se negativně projevuje například v chybě individuálních výsledků. Průměrné náhodné skóre činí 6,4 bodu. Nízká variabilita je způsobena délkou testu. Vzhledem k ostatním parametrům testu by se po prodloužení testu pravděpodobně zvýšila reliabilita a tedy přesnost výsledků na ideální úroveň.

6.2. Zhodnocení testu Matematické dovednosti V testu Matematické dovednosti dosáhli žáci průměrného skóre 21,3 bodu (varianta A) a 21,6 bodu (varianta B) z maximálního možného skóre 50 bodů. To odpovídá průměrné úspěšnosti 43 %. Rozdíl mezi průměrnými výsledky v obou variantách je velice malý – varianty testu A a B lze proto podle předpokladů považovat za plně srovnatelné. Následující tabulka proto uvádí pouze souhrnné údaje za jednotlivé úlohy bez rozlišení na varianty A a B. Vedle toho uvádí procentuální údaj o počtu žáků, kteří úlohu neřešili, ať již z důvodu jejího vynechání, nebo jejího nedosažení. Třetí sloupec představuje

22

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 diskriminační schopnost úlohy počítanou indexem ULI. Vzhledem k tomu, že v matematickém testu byla řada úloh uspořádána do svazků, je tento údaje přesnější a lépe dostupný než diskriminace počítaná korelačním koeficientem. Průměrná úspěšnost žáků v úloze, vynechanost úlohy a diskriminace úlohy podle variant Úloha

Průměrná Diskriminace Vynechanost úspěšnost (index ULI)

1

52 %

1%

69

2

53 %

28 %

67

3

66 %

12 %

66

4

24 %

29 %

44

5

43 %

19 %

48

6

50 %

11 %

68

7

50 %

20 %

62

8

58 %

21 %

58

9

55 %

7%

52

10

37 %

3%

46

11

42 %

3%

45

12

48 %

10 %

74

13

68 %

9%

66

14

31 %

14 %

41

15

24 %

19 %

39

16

36 %

15 %

71

17

31 %

24 %

48

18

44 %

5%

46

Z geometrických úloh byla pro žáky jednoduchá pouze úloha 3 (zapamatování si zcela základní informace). Podobně ani další geometrické úlohy nekladly žádné nároky na tvořivost. Problémy způsobilo již prosté zapamatování si pojmu, případně přiřazení vhodného pojmu, či znalost jednoduchých souvislostí (4, 6, 7). Naopak úloha 9 předpokládá a testuje prostorovou orientaci, ale neklade žádný důraz na znalost, podobně v úloze 8 potřebnou znalost (Thaletovu kružnici) bylo možné obejít pozorným přečtením předloženého obrázku. Úspěšnost je o něco vyšší. V algebraické části jsou nejlépe naučeny základní vzorce (úloha 13), ale opět bez potřeby hlubšího pochopení. Problémy začínají už u úprav zlomků (úloha 1) a prohlubují se v základních úpravách rovnic (úloha 12) a při základních úpravách výrazů s neznámými. Znalost tohoto učiva je nutnou podmínkou ke správnému řešení dalších úloh, v nichž pak pozorujeme ještě mnohem nižší úspěšnost. Výsledky poukazují na velmi nízkou úroveň zvládnutí i těch nejzákladnějších znalostí a dovedností v matematice u vysokého počtu žáků. Důležitým faktorem, který negativně ovlivnil úspěšnost žáků v testu, byl časový limit. I když je do testu zařazen jen základní výběr učiva matematiky, a to bez učiva 9. třídy (byla vynechána např. nepřímá úměrnost, grafy funkcí, úlohy na pohyb, na směsi, goniometrické funkce v pravoúhlém trojúhelníku, soustavy rovnic apod.), jsou průměrní a podprůměrní žáci daným časovým limitem stresováni. Rozdíly v úspěšnosti schopnějších a slabších žáků se proto zvětšují a informace o skutečném zvládnutí sledovaných vzdělávacích výstupů je tak mírně zkreslena (nižší průměrná

23

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 úspěšnost). Na základě těchto zjištění lze doporučit prodloužení časového limitu pro řešení testu na 60 minut. Pro prodloužení časového limitu a tedy i počtu úloh v testu hovoří i nízká reliabilita testu. Hodnota reliability 0,78 je poměrně nízká, což snižuje přesnost výsledků jednotlivých žáků.

6.3. Zhodnocení testu Studijní dovednosti Test studijních dovedností řešilo 10 953 žáků. Z toho 5 947 žáků řešilo variantu A a 5 006 variantu B. Žáci řešili test s průměrným skóre 15,8 bodu a s průměrnou úspěšností 54,5 %. Rozdíl v průměrné úspěšnosti žáků řešících jiné varianty byl pouze 0,8 procentního bodu, což bylo způsobeno náhodnými vlivy. Varianty lze proto považovat za srovnatelné. Následující tabulka ukazuje průměrné úspěšnosti žáků v jednotlivých testových úlohách. Úlohy jsou rozdělené podle variant testu. U každé úlohy lze proto porovnat, jak ji řešili žáci ve variantě A a ve variantě B. Rozdíly v úspěšnostech u shodných úloh jsou způsobeny pořadím úloh v příslušných variantách testu. V krajních úlohách jsou rozdíly v úspěšnostech žáků vyšší. To je dáno především časovou náročností testu, která vedla k tomu, že slabší žáci úlohy umístěné na konci testu nestihli vyřešit. Tato skutečnost byla očekávána. Rozdíly v řešení jednotlivých úloh se neprojevily v celkových průměrných úspěšnostech v řešení obou variant testu. Průměrné úspěšnosti v řešení varianty A a varianty B byly statisticky shodné. Tabulka dále obsahuje údaje o citlivosti úloh. Pro každou úlohu byla vypočtena diskriminační hodnota, která vyjadřuje schopnost úlohy rozlišovat mezi žáky s dobrými a slabými výsledky v testu. Čím vyšší je hodnota diskriminace, tím kvalitněji úloha rozlišuje mezi žáky. Uvedené údaje vyjadřují diskriminaci RIT, která představuje korelaci výsledku v úloze a výsledku v celém testu. Prostřední sloupec tabulky obsahuje údaje o neřešení jednotlivých úloh. Vynechanost svědčí o nepochopení úlohy žáky nebo o časové náročnosti testu. Průměrná úspěšnost žáků v úloze, vynechanost úlohy a diskriminace úlohy podle variant Průměrná úspěšnost

Vynechanost

Diskriminace

Úloha

varianta A

varianta B

varianta A

varianta B

varianta A

varianta B

1A/24B

78 %

81 %

1,0 %

1,8 %

0,26

0,28

2A/22B

63 %

72 %

3,2 %

2,5 %

0,30

0,26

3A/23B

52 %

50 %

0,3 %

0,9 %

0,32

0,31

4A/17B

26 %

30 %

0,3 %

0,3 %

0,23

0,26

5A/16B

13 %

18 %

0,3 %

0,5 %

0,02

0,08

6A/18B

90 %

88 %

0,5 %

0,6 %

0,23

0,19

7A/4B

51 %

55 %

1,0 %

1,5 %

0,26

0,26

8A/5B

66 %

68 %

0,1 %

0,1 %

0,38

0,41

9A/6B

60 %

58 %

1,6 %

1,0 %

0,22

0,24

10A/21B

84 %

83 %

0,8 %

0,8 %

0,31

0,30

11A/20B

34 %

33 %

0,2 %

0,6 %

0,41

0,37

12A/19B

10 %

14 %

1,0 %

1,6 %

0,15

0,18

13A/13B

77 %

75 %

1,2 %

1,1 %

0,13

0,09

14A/14B

63 %

64 %

0,7 %

1,0 %

0,25

0,24

24

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Průměrná úspěšnost

Vynechanost

Diskriminace

Úloha

varianta A

varianta B

varianta A

varianta B

varianta A

varianta B

15A/15B

37 %

37 %

3,9 %

4,6 %

0,20

0,23

16A/11B

56 %

52 %

2,0 %

2,0 %

0,35

0,35

17A/12B

64 %

59 %

3,0 %

4,0 %

0,41

0,36

18A/10B

18 %

22 %

0,9 %

0,7 %

0,13

0,14

19A/7B

89 %

92 %

1,0 %

0,4 %

0,32

0,22

20A/8B

78 %

84 %

1,5 %

1,0 %

0,30

0,27

21A/9B

46 %

59 %

0,8 %

0,0 %

0,36

0,35

22A/3B

77 %

80 %

1,6 %

0,7 %

0,33

0,30

23A/2B

36 % 65 %

34 %

1,0 %

0,1 %

0,37

0,30

57 %

1,8 %

1,4 %

0,16

0,16

24A/1B

Psychometrické údaje v tabulce ukazují, že většina úloh zařazených do testu byla konstrukčně kvalitní a splnila svůj účel. Jejich obtížnost byla přiměřená pro daný cíl testu a pohybovala se v adekvátním rozmezí. Citlivost úloh byla dostatečně vysoká. Mezi úlohami se nevyskytovaly žádné s nepřiměřeně vysokou vynechaností. Z hlediska kvality úloh lze mít jisté výhrady, nikoliv však zásadní, k úlohám číslo 5, 12, 15 a 17 (podle varianty A). První dvě úlohy byly pro žáky značně obtížné, což se projevilo také na nízké diskriminaci. Úloha 5 se týkala výpočtu údaje z tabulky, úloha 12 byla zaměřena na jazykový cit. Úlohy 15 a 17 měly vysokou vynechanost. V obou případech se jednalo o úlohy založené na logickém myšlení a představivosti. Slabší žáci tyto úlohy pravděpodobně neřešili. Celkově jsou však úlohy kvalitní, jejich úspěšnost i diskriminace je dostatečně vysoká. Test Studijní dovednosti dosáhl reliability 0,73. I v případě tohoto testu se jedná o nízkou úroveň reliability, která negativně ovlivňuje přesnost individuálních výsledků. Nízká reliabilita je pravděpodobně dána rozsahem testu, nikoliv jeho jinými chybnými parametry.

25


7. TESTOVÉ VÝSLEDKY VE VZTAHU K ŽÁKOVSKÉ POPULACI A ŠKOLSKÉMU SYSTÉMU Testování se účastnila většina žáků 9. ročníků základních škol v Karlovarském, Libereckém a Pardubickém kraji. Výjimku tvořili žáci základních škol, které se do projektu nepřihlásily, a žáci, kteří byli v den testování nepřítomní. Obě skupiny žáků byly velmi málo početné. Celkový počet testovaných žáků, včetně žáků se speciálními vzdělávacími potřebami, činí téměř 11 tisíc. Vzhledem k tomu lze výsledky vnímat jako reprezentativní údaje o žákovské populaci 9. ročníků základních škol v daných krajích. Podskupina žáků s SVP je začleněna do celkového souboru spolu s intaktní populací. Testy byly žákům zadávány s cílem zjistit úroveň jejich znalostí a dovedností. Testové výsledky spolu s žákovským dotazníkem tak vypovídají zejména o úrovni jednotlivých žáků. Souhrnné analýzy, které byly s těmito výsledky provedeny, poskytují informaci o žákovské populaci konkrétních základních škol a dále o žákovské populaci jednotlivých krajů. Následující kapitola se zabývá popisem žákovských populací tří zúčastněných krajů, a to z různých hledisek. Zvoleny byly ty úhly pohledu, které jsou na základě zkušeností s realizací projektu považovány za zajímavé a užitečné pro řízení školského systému. Analýza tak využívá i jiné údaje, než které byly zahrnuty do výstupních zpráv pro základní a střední školy. Vzhledem k účelu, kterým je popsat žákovskou populaci tří zúčastněných krajů a rozdíly mezi nimi, pracují analýzy zejména s průměrnou úspěšností. Tento psychometrický údaj je vhodný při porovnávání výsledků žáků v různých testech s odlišným nejvyšším možným skóre. V analýze testových výsledků populace určitého kraje je důraz kladen zejména na porovnání úrovní znalostí a dovedností různých podsouborů žáků. Znaky, podle kterých jsou žáci roztříděni do podsouborů, mají přímou vazbu na interpretaci výsledků. Za předpokladu, že výsledky projektu budou využity pro systémový pohled na školský systém daných krajů, jsou klíčovými znaky známky na vysvědčení, volba střední školy a pohlaví. Na základě těchto znaků byli žáci a žákyně rozděleni do souborů, jejichž výsledky byly porovnávány a případné zjištěné rozdíly interpretovány. Podle rozdílů lze uvažovat o možných opatřeních, která by vedla k vyrovnání rozdílných výsledků různých skupin žáků.

Provedená analýza se zaměřuje na zodpovězení následujících otázek: ⇒ Jaká je úroveň znalostí a dovedností žáků 9. ročníků základních škol v matematice a českém jazyce a jaká je úroveň jejich studijních předpokladů? ⇒ Jsou rozdíly v úrovni znalostí a dovedností žáků způsobeny výhradně jejich individuálními dispozicemi, nebo jsou ovlivněny systematickým působením konkrétní základní školy, kterou žáci navštěvují? ⇒ Liší se úroveň znalostí a dovedností žáků v závislosti na jejich známce z daných předmětů na vysvědčení? ⇒ Liší se úroveň znalostí a dovedností žáků v závislosti na typu střední školy, na kterou si podali přihlášku? ⇒ Liší se úroveň znalostí a dovedností žáků v závislosti na jejich pohlaví?

26


7.1. Výsledky škol Analýzy žákovských výsledků lze koncipovat tak, že ve středu zájmu stojí buď jednotlivý žák, určitá skupina žáků nebo celá škola. V případě, že analýzy směřují ke školám jako celkům, je obvykle cílem učinit porovnání zúčastněných škol. Porovnání představuje uspořádání škol podle průměrných výsledků jejich žáků do určitého pořadí. Pořadí škol je nutné interpretovat velmi opatrně! Skutečnost, že žáci jedné školy byli v řešení testů úspěšnější než žáci druhé školy, může mít nejméně dvě rozdílné příčiny. První příčinou může být odlišná kvalita vzdělávání na daných školách, tj. první škola poskytuje žákům systematičtější, úplnější přípravu, v jejímž důsledku žáci dosahují lepších výkonů. Druhou příčinou však může být odlišnost žákovské populace, která na daných školách studuje. Škola může být – ať již v důsledku její lokality či prestiže – vnímána jako výběrová, tj. vstupují do ní děti s lepšími vzdělávacími dispozicemi. Výsledky žáků této školy pak zpravidla bývají lepší než výsledky žáků ostatních škol, které jsou z hlediska úrovně nadání a sociokulturního zázemí pestřejší. Pedagogická kvalita daných škol přitom může být stejná, či dokonce v případě školy „nevýběrové“ vyšší. Vzhledem k tomu, že realizovaný projekt neměl příležitost ověřit tzv. přidanou hodnotu školního vzdělávání, tj. rozdíl mezi vstupními dispozicemi žáků a konečnými výstupy, nelze rozhodnout, která z uvedených příčin je pravdivá. Testování se zúčastnilo 307 základních škol. Pro tyto školy byly spočítány průměrné úspěšnosti jejich žáků, které byly dále porovnávány. Současně bylo zjišťováno, do jaké míry jsou různé výsledky dány individuálními rozdíly mezi žáky a do jaké míry jsou závislé na konkrétní škole, kterou žáci navštěvují.

Průměrné výsledky všech zúčastněných škol v testech Průměrná úspěšnost škol Testy / Školy Celkem

Minimální

Maximální


63,3 %

45,0 %

87,0 %


42,4 %

21,7 %

67,9 %


54,5 %

33,8 %

72,4 %

Uvedená tabulka prezentuje průměrné výsledky zúčastněných škol v testech. U každého testu je uvedena průměrná úspěšnost škol (sloupec označený „Celkem“). Tento údaj je téměř shodný s údajem průměrná úspěšnost žáků. Vypočítá se jako průměr celkových úspěšností žáků navštěvujících jednotlivé školy. Dále tabulka zahrnuje minimální a maximální průměrnou úspěšnost škol. Tyto údaje představují školy, jejichž žáci v průměru dosahují nejvyšších či nejnižších výsledků. Minimální a maximální průměrná úspěšnost škol je zajímavá pro následné porovnání, z něhož vyplývá variabilita školského systému z hlediska úspěšnosti žáků. Z tabulky vyplývá, že ve všech třech testech je rozdíl mezi nejlepší a nejhorší školní úspěšností vysoký – pohybuje se od 38 do 46 procentních bodů. Nejmenší variabilita škol je přitom v testu Studijní dovednosti, naopak nejvyšší v testu Matematické dovednosti. Z hlediska kvality škol či úrovně žáků jsou základní školy značně heterogenní a míra této heterogenity je obdobná ve všech třech krajích. Mezi jednotlivými základními školami jsou výrazné rozdíly, které se promítají do výkonů žáků. Tyto rozdíly se mohou týkat pedagogické kvality vyučujících nebo vstupní úrovně žákovské populace.

27


Rozdíly mezi žáky uvnitř tříd, mezi třídami a mezi školami 100% 90%

Uvnitř tříd

80%

Mezi třídami ve škole

70%

Mezi školami

60% 50% 40% 30% 20% 10%

Matematika

Český jazyk

Stud. dovednosti

0%

Dle dalších analýz vykazují testové výsledky značnou variabilitu uvnitř tříd. Třídy jsou tvořeny žáky s velice rozdílnou úrovní znalostí a dovedností. Rozdíly mezi třídami a mezi školami jsou v porovnání s rozdíly uvnitř tříd nižší. Toto zjištění nepopírá výše popsané rozdíly mezi školami. Upozorňuje však na to, že v českém základním školství není příliš zakotvená vnitřní diferenciace žáků.

7.2. Celkové výsledky žáků Údaje o školách je nutné dále doplnit výsledky žáků. Na základě celkových výsledků zúčastněných žáků si lze vytvořit představu o úrovni znalostí a dovedností všech žáků studujících 9. ročník základních škol v daných krajích. Charakteristikami, které se používají k tomuto účelu, jsou zejména průměrné skóre a průměrná úspěšnost. Při interpretaci je však vhodnější vycházet pouze z průměrné úspěšnosti, neboť ta dovoluje porovnávat výsledky v testech s různým maximálním skóre. Výsledky, kterých žáci dosáhli v jednotlivých testech, jsou uvedeny v následující tabulce. Hodnota průměrných úspěšností žáků je velice blízká průměrné úspěšnosti škol (viz 7.1.), postup výpočtu je však odlišný. Průměrné skóre a úspěšnost všech zúčastněných žáků v testech Průměrné skóre

Průměrná úspěšnost


19,0

63,3 %


21,2

42,4 %


15,8

54,5 %

Z tabulky vyplývá, že žáci byli nejúspěšnější při řešení testu Dovednosti v českém jazyce, naopak nejméně úspěšní byli v testu Matematických dovedností. Uvedené výsledky byly ve všech třech testech očekávány. Průměrná úspěšnost pohybující se kolem 60 % je obecně považována za pozitivní. Test Dovednosti v českém jazyce tuto hodnou splňuje, test Studijní dovednosti se k ní blíží. Důvody, proč v testu Matematických dovedností žáci dosáhli nižší úspěšnosti, jsou diskutovány v kapitole 5. Hodnota průměrné úspěšnosti kolem 60 % se jeví jako optimální zvláště tehdy, pokud je test koncipován jako kombinace charakteristik rozlišujícího a ověřujícího testu. Při takové hodnotě úspěšnosti je pravděpodobné, že test bude dostatečně citlivý, tj. že bude rozlišovat mezi žáky s různými znalostmi a dovednostmi. Citlivost testu je podmínkou nezbytnou pro vytváření pořadí žáků podle testových výsledků, například pro účely přijímacího řízení.

28

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Výsledky žáků z jednotlivých krajů se mírně lišily, nejnižších výsledků dosahovali žáci z Karlovarského kraje. Rozdíl mezi průměrnými úspěšnostmi žáků z různých krajů byl největší v testu Matematické dovednosti. Relativně dobré výsledky žáků z Libereckého kraje oproti žákům z kraje Pardubického a Karlovarského mohou pravděpodobně souviset s odlišnými demografickými charakteristikami. Mezi testovanými žáky z Libereckého kraje bylo nejmenší poměrné zastoupení dětí z obcí do 5 000 obyvatel a současně největší poměrné zastoupení dětí ze základních škol se 75 a více žáky. Předpokládáme-li, že větší základní školy a větší obce nabízejí žákům širší možnosti školního i mimoškolního vyžití a tedy rozvíjení jejich dispozic, můžeme z toho usuzovat také na lepší podmínky k úspěšnému řešení testů.

7.3. Výsledky žáků podle známky Velmi zajímavým údajem pro vnitřní evaluaci škol i celého školského systému jsou testové výsledky žáků podle známky z daného předmětu na vysvědčení. Analýzy testových výsledků podle známky vypovídají o přesnosti a obsahu klasifikačních norem používaných na jednotlivých školách. Známky na posledním vysvědčení žáci uváděli v dotazníku. Následně podle známky z českého jazyka a z matematiky. Pro skupiny žáků předmětů byla vypočtena průměrná úspěšnost v testu Dovednosti Matematické dovednosti. Údaje uváděné žáky neprošly žádnou další uvažovat o možném zkreslení.

byli žáci rozděleni do skupin podle známek z jednotlivých z českého jazyka a v testu kontrolou, a proto je nutné

Analýzy testových výsledků podle známky vycházejí z předpokladu, že žáci s dobrými známkami budou dosahovat dobrých výkonů v testu a opačně. Znamená to, že žáci s klasifikací 1 na vysvědčení by měli dosáhnout lepších výsledků než žáci s 2, ti by měli dosáhnout lepších výsledků než žáci s 3 atd. Pokud tomu tak není, znamená to, že kritéria školní klasifikace a požadavky ověřované v testu se zásadním způsobem liší. Z toho vyplývá, že například škola se soustřeďuje ve výuce a v hodnocení žáků na jiné učivo, než které bylo ověřováno prostřednictvím testů, nebo že do školní klasifikace vstupují faktory nesouvisející přímo se zvládnutím učiva, jako je ochota spolupracovat při výuce či dokonce osobní sympatie vyučujících vůči žákům. Neodpovídá-li porovnání testových výsledků a známky na vysvědčení obvyklému očekávání (čím lepší známka, tím lepší průměrné výsledky v testu), je to impuls k zamyšlení nad klasifikačními normami, které jsou v dané škole používány, a nad strukturou jejích kritérií. Vzhledem k tomu, že výsledky byly školám poskytovány nejen celkově za školu, ale také za jednotlivé třídy, mohou tak ředitelé škol získat podklady o rozdílech v klasifikačních normách používaných jednotlivými vyučujícími. Skupiny žáků podle známek byly různě početné. Skupina žáků se známkou 5 byla v českém jazyce i v matematice početně nejslabší. Zvláště v předmětu český jazyk bylo žáků s touto známkou velmi málo (42). Vzhledem k tomu, že zjištěné rozložení známek je velice typické a opakovaně bylo potvrzeno v reprezentativních šetřeních, můžeme z něho v analýzách vycházet. Zajímavé je, že rozložení známek z českého jazyka a

Graf: Počet žáků podle známek 4500 ČESKÝ JAZYK MATEMATIKA

4000 3500 3000 2500 2000 1500 1000 500 0 Známka 1

Známka 2

Známka 3

Známka 4

Známka 5

29

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 z matematiky se výrazně liší. Známky udílené v předmětu matematika jsou podstatně horší než známky z českého jazyka. Obdobné rozložení známek bylo zjištěno i v loňském šetření. Následující tabulka uvádí průměrné úspěšnosti žáků podle známek z matematiky a z českého jazyka na pololetním vysvědčení v 9. ročníku. Podle očekávání úspěšnosti klesají od jedničkářů přes dvojkaře až po čtyřkaře. Korelace mezi známkou na vysvědčení a testovým výsledkem je relativně vysoká. Tato skutečnost znamená, že kritéria testu se přibližně shodují s kritérii školní klasifikace.

Průměrné úspěšnosti zúčastněných žáků v testech podle známky z daného předmětu Známky



1

65,4 %

81,4 %

2

51,5 %

70,6 %

3

37,9 %

58,9 %

4

26,8 %

48,1 %

5

22,1 %

39,6 %

Z tabulky je patrné, že rozdíly mezi jednotlivými známkami jsou přibližně shodné. Jistou výjimku tvoří známka 5 z matematiky, u níž rozdíl mezi známkou 4 a 5 je menší. Toto zjištění je v souladu s řadou jiných šetření, která opakovaně dokazují, že pětkaři mají stejné či pouze mírně horší testové výsledky než čtyřkaři. Příčinou této skutečnosti jsou kritéria, na jejichž základě se daná známka uděluje. Pětka je známka udělovaná častěji za nedostatek píle, případně za nevhodné chování, než za chybějící znalosti a dovednosti. Následující tabulka ukazuje nejvyšší a nejnižší dosažené celkové úspěšnosti žáků s různými známkami z příslušných předmětů na pololetním vysvědčení. Rozdíl mezi minimální a maximální dosaženou úspěšností je velmi vysoký, dosahuje až 100 procentních bodů. Vzhledem k tomu, že počet žáků na krajních pólech škály úspěšností není nízký, je variabilita v klasifikaci systémovým problémem.

Nejvyšší a nejnižší úspěšnost podle známky na vysvědčení Známky 1 2 3 4 5



Min

0%

43,3 %

Max

100 %

100 %

Min

0%

16,7 %

Max

100 %

100 %

Min

0%

0%

Max

94,0 %

100 %

Min

0%

0%

Max

82,0 %

100 %

Min

0%

13,3 %

Max

60,0 %

76,7 %

30

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Na variabilitu v klasifikačních normách poukazují také analýzy průměrných výsledků žáků z jednotlivých základních škol. Následující graf ukazuje Graf: Průměrná úspěšnost žáků tří škol podle známek průměrnou úspěšnost žáků tří 100% náhodně vybraných základních Škola A 90% Škola B škol podle známky na vysvědčení. 80% Škola C Jedná se o školy se shodným 70% 60% relativně vysokým počtem 50% zúčastněných žáků. Jednotlivé 40% skupiny žáků podle známek jsou 30% dostatečně početné. Z grafu 20% vyplývá, že žáci s určitou známkou 10% na různých školách dosahují 0% Známka 1 Známka 2 Známka 3 Známka 4 Známka 5 výrazně odlišných výsledků v příslušném testu. Pokud bychom znalosti a dovednosti z celého předmětu měřili daným testem, můžeme říci, že známka 1 na škole A odpovídá přibližně známce 2 na škole C. Nejednotnost klasifikace, která se projevuje nízkou souvislostí známek a testových výsledků na jednotlivých školách, demonstruje i uvedený graf. Každé škole v něm odpovídá jeden bod, přičemž zahrnuty byly pouze školy, z nichž se testování účastnilo nejméně 20 žáků. Je zřejmé, že v rozmezí 16–22 bodů se vyskytují školy, které se při stejném průměrném výsledku svých žáků liší v průměrné známce i o jeden celý klasifikační stupeň.

Průměrná známka z Čj

Skóre testu dovedností v Čj a známka - průměry za jednotlivé školy 1,5 1,7 1,9 2,1 2,3 2,5 2,7 2,9 3,1 3,3 3,5

Klasifikační normy používané na jednotlivých základních školách jsou velmi rozdílné. Známka na vysvědčení nemůže sloužit jako údaj pro srovnávání žáků z různých škol. Zejména v rámci přijímacích zkoušek by váha přikládaná známkám ze základních škol měla být relativně nízká. Pokud se známky zapojují do rozhodovacího procesu o přijetí žáka ke studiu, mělo by se na ně nahlížet z hlediska vývoje, tj. srovnávat známky jednoho žáka za několik období. 14

16

18

20

22

24

26

28

Průměrné skóre testu

7.4. Výsledky žáků podle typu střední školy Žáci v dotazníku uváděli, na kterou střední školu si podali přihlášku ke studiu. V položce jim byl nabídnut seznam všech středních škol v příslušném kraji. Pokud škola zahrnuje více součástí, byly do seznamu zařazeny odděleně všechny její součásti. Zvolenou školu měli žáci označit. Pokud se žáci přihlásili ke studiu mimo kraj, označili pouze typ střední školy a vypsali její název a adresu. Na základě školy, na níž si žáci podali přihlášku ke studiu, byly provedeny analýzy testových výsledků. Školy byly rozděleny do jednotlivých typů a pro dané skupiny žáků byla vypočtena jejich průměrná úspěšnost v řešení testů. Pro účely projektu se rozlišují čtyři typy středních škol – gymnázia, střední odborné školy, střední odborná učiliště (učební obory s maturitou) a odborná učiliště a učiliště (učební obory bez maturity).

31

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Vzhledem k tomu, že žáci uváděli údaj o přihlášce na střední školu zcela sami, bez následné kontroly, je nutné počítat s jistým zkreslením výsledků. To by se mohlo projevit zejména u skupiny žáků, kteří označili odborná učiliště a učiliště. Následující tabulka podává údaje o průměrné úspěšnosti při řešení testů u žáků, kteří si podali přihlášku ke studiu na střední škole příslušného typu. Počet žáků přihlášených na jednotlivé typy škol uvádí tabulka v kapitole 3. Početnost všech skupin je pro účely analýz dostatečná. Průměrné výsledky zúčastněných žáků v testech podle typu střední školy Typ školy / Test




G

78,2 %

61,5 %

67,4 %

SOŠ

65,6 %

44,2 %

56,1 %

SOU

51,5 %

29,3 %

44,7 %

OU, U

53,4 %

30,5 %

46,7 %

Z výše uvedené tabulky vyplývá, že mezi žáky hlásícími se na jednotlivé typy škol existují značné rozdíly v řešení testů. Je patrné, že žáci hlásící se na gymnázia byli ve všech třech testech úspěšnější než žáci hlásící se na SOŠ a ti byli úspěšnější než žáci hlásící se na SOU, OU a U. Rozdíly mezi žáky hlásícími se na G a SOŠ byly přibližně shodně velké jako rozdíly mezi žáky hlásícími se na SOŠ a SOU. Současně byly tyto rozdíly obdobné ve všech třech testech. Výjimku tvořili žáci hlásící se na OU a U. Jejich testové výsledky byly mírně lepší než výsledky žáků hlásících se na SOU. Zjištěné rozdíly svědčí o tom, že střední školy oslovují specifickou žákovskou populaci. Pro žáky a jejich rodiče tedy jsou zřetelná odlišná zaměření jednotlivých typů škol. Tato zaměření zahrnují očekávanou úroveň znalostí a dovedností žáků.

100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%

G

SOŠ

SOU

OU, U

známka ČJ

1,7

2,5

3,4

3,4

známka M

1,7

2,5

3,6

3,5

známka CJ

1,4

2,2

3,2

3,2

Zajímavý údaj týkající se typů středních škol je vztažen ke známce. V populaci všech testovaných žáků hlásících se na jednotlivé typy škol jsou odlišným způsobem zastoupeny a rozloženy známky z hlavních předmětů (český jazyk, matematika a cizí jazyk). Průměrné známky zcela logicky klesají od žáků hlásících se na gymnázia přes SOŠ po učiliště.

Gr af: P r ůměr ná úspěšnost žáků v testu Dovednosti v českém jazyce podle typu stř ední školy a známek v Č J G SOŠ SOU

Známka 1 Známka 2 Známka 3 Známka 4 Známka 5

Na základě rozdělení žáků podle typu střední školy, na kterou si podali přihlášku, a známky na vysvědčení z daných předmětů byly vypočteny průměrné úspěšnosti takto vzniklých skupin. Úspěšnosti jsou uvedeny v následujících grafech. Z analýzy byla vyloučena skupina žáků, kteří v dotazníku uvedli školy spadající mezi učiliště či odborná učiliště. Důvodem bylo, že u této

Graf: Prům ěrná úspěšnost žáků v testu Matematické dovednosti podle typu střední školy a znám ek z M 100% G SOŠ SOU

90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Známka 1

Známka 2

Známka 3

Známka 4

Známka 5

32

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 skupiny škol se žáci pravděpodobně dopouštěli nejvíce chyb. Grafy ukazují, že rozdíly v úrovni znalostí a dovedností žáků se stejnými známkami, ale hlásících se na jiné typy středních škol, jsou značné. Rovněž z grafů vyplývá, jak rozdílné jsou poměry mezi testovými výsledky žáků s různými známkami, kteří se hlásí na jeden typ střední školy. Z těchto zjištění vyvstává otázka, nakolik by známky ze základní školy měly sehrávat roli při přijímacích zkouškách na jednotlivé typy středních škol. Ukazuje se totiž, že na některých typech středních škol jsou známky podstatně hodnotnější informací než na jiných.

7.5. Výsledky žáků podle pohlaví Dalším zajímavým aspektem testových výsledků je jejich rozdílnost podle pohlaví žáků. Mezi testovanými žáky bylo rovnoměrné zastoupení dívek a chlapců. Žáci byli rozděleni do dvou skupin podle pohlaví a za každý test byla pro tyto skupiny spočítána průměrná úspěšnost. Následující tabulka uvádí průměrné testové výsledky. Průměrné úspěšnosti v testech podle pohlaví Dívky

Chlapci


65,8 %

60,9 %


41,7 %

43,3 %


54,7 %

54,2 %

Z tabulky je patrné, že dívky řešily testy s jinou úspěšností než chlapci. V testu Matematické dovednosti byli úspěšnější chlapci, v testu Dovednosti v českém jazyce byly naopak úspěšnější dívky. Test Studijní dovednosti řešili chlapci i dívky stejně úspěšně. Statistická významnost rozdílů znamená, že nebyly způsobeny náhodou, nýbrž že se jedná o charakteristiku dané populace. Podle dosavadních poznatků v oboru genderových studií jsou rozdílné výsledky dívek a chlapců v různých předmětech způsobeny odlišným přístupem vyučujících. Dívky jsou podporovány školou, rodinou i širším okolím zejména ve verbálních aktivitách, je od nich očekáván zájem o jazykové a humanitní předměty. Chlapci jsou naopak podporováni v logickém myšlení a technických zájmech. To vede k tomu, že žáci a žákyně rozvíjejí především ty své schopnosti, které konvenují s přístupem a očekáváním okolí. Doplňkovou informací je porovnání výsledků dívek a chlapců podle známek. V řadě šetření bylo opakovaně potvrzeno, že v rámci školní klasifikace dívky dosahují lepších známek než chlapci. I v tomto projektu bylo zjištěno, že v žákovském dotazníku uváděly v průměru dívky známku z českého jazyka 2,3, zatímco chlapci 2,9. Z matematiky byla průměrná známka dívek 2,6 a chlapců 2,9. Školní výsledky dívek jsou tedy v případě obou hlavních předmětů statisticky lepší než výsledky chlapců. Podle předpokladu, že známky by měly korespondovat s výsledky v testu, by bylo oprávněné očekávat, že mají-li dívky lepší známky, měly by mít také lepší testové výsledky. Celkové výsledky však ukazují, že tento předpoklad platí pouze v českém jazyce, v matematice dívky, navzdory lepším školním známkám, dosáhly v testu nižších výsledků. Následující tabulka uvádí průměrné úspěšnosti dívek a chlapců podle známek.

33

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Průměrné úspěšnosti v testech podle pohlaví a známky

1

2

3

4

5



Dívky

63,0 %

81,2 %

Chlapci

69,8 %

82,3 %

Dívky

48,5 %

70,0 %

Chlapci

55,4 %

71,5 %

Dívky

35,1 %

57,9 %

Chlapci

40,7 %

59,5 %

Dívky

24,6 %

47,0 %

Chlapci

28,2 %

48,6 %

Dívky

20,9 %

39,7 %

Chlapci

23,2 %

39,2 %

Z tabulky vyplývá, že výsledky chlapců a dívek se stejnými známkami jsou v českém jazyce víceméně shodné. V matematice se výsledky podle známek a pohlaví výrazně liší. Dívky s jedničkami dosáhly v testu o téměř 7 procentních bodů nižších výsledků než chlapci. Obdobný rozdíl se týká všech stupňů známek. Toto zjištění upozorňuje na odlišné klasifikační normy používané při hodnocení dívek a chlapců.

34


8. ÚDAJE ZE ŽÁKOVSKÉHO DOTAZNÍKU Součástí projektu Hodnocení výsledků vzdělávání žáků 9. tříd 2004 byl žákovský dotazník. Jak bylo popsáno výše, dotazník byl zaměřen na sběr doplňkových informací, které lze využít k vysvětlení testových výsledků jednotlivých žáků. Údaje z dotazníku poskytují zajímavý obraz o žákovské populaci v zúčastněných krajích. Jednotlivé položky z dotazníku a jejich výsledky jsou ve stručnosti představeny v následujících podkapitolách. Některé z uvedených údajů již byly využity v kapitole 7 ve vztahu k testovým výsledkům.

8.1. Známky Známky z jednotlivých předmětů na vysvědčení, které žáci uváděli v dotazníku, sloužily jako znak, podle něhož byly analyzovány testové výsledky (viz kapitola 7). Dále je lze využít pro zmapování některých aspektů klasifikace používané na školách. Jak ukazuje následující tabulka, podíl žáků, kteří v jednotlivých předmětech obdrželi na vysvědčení určité známky, se značně liší. Některé předměty jsou hodnoceny mírněji než jiné. Předmětem s nejlepšími známkami je tradičně občanská výchova. Naopak nejpřísněji je hodnocen český jazyk a matematika. Počet žáků s příslušnými známkami na vysvědčení v pololetí 9. ročníku Předmět/Známka

1

2

3

4

5

Český jazyk

11,0 %

35,3 %

34,4 %

18,9 %

0,4 %

Matematika

12,1 %

31,0 %

30,8 %

24,5 %

1,7 %

Cizí jazyk

23,5 %

33,0 %

28,6 %

14,5 %

0,5 %

Občanská výchova

66,3 %

24,7 %

7,6 %

1,4 %

0%

Dějepis

31,4 %

34,8 %

23,7 %

10,0 %

0,2 %

Zeměpis

30,8 %

37,3 %

24,5 %

7,3 %

0,1 %

Přírodopis

28,6 %

35,3 %

26,5 %

9,3 %

0,2 %

Fyzika

20,3 %

36,5 %

29,1 %

13,7 %

0,5 %

Chemie

20,6 %

32,4 %

29,6 %

16,6 %

0,7 %

Jak výrazné jsou rozdíly ve školních klasifikačních postupech, ukazuje Graf: Průměrné známky ve třech školách následující graf. Zahrnuje průměrné 5 známky žáků tří náhodně vybraných 4,5 základních škol. Všechny tři 4 3,5 prezentované školy byly v testování 3 zastoupeny dvěma třídami žáků. Ačkoliv 2,5 se jedná o školy srovnatelné úrovně 2 1,5 z hlediska testových výsledků žáků, 1 z hlediska známek se dané školy výrazně 0,5 liší. Klasifikační normy používané na 0 ČJ M CJ OV D Z P F Ch daných školách nejsou ve většině předmětů srovnatelné. Skutečnost, že míra shody se různí podle předmětu, svědčí o výrazném subjektivním vlivu jednotlivých vyučujících.

35

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Průměrné známky se rovněž liší podle pohlaví žáků. Chlapci dosahují ve všech předmětech horších známek než dívky. Ve Graf: Průměrné známky dívek a chlapců sledovaných předmětech byly tyto rozdíly statisticky 3,5 signifikantní. Toto zjištění je 3 zajímavé vzhledem k testovým výsledkům. Dívky dosáhly vyšší 2,5 úspěšnosti v testu Dovednosti 2 dívka v českém jazyce, chlapci v testu chlapec 1,5 Matematických dovedností (viz kapitola 7). Rozložení známek i 1 rozdíly mezi dívkami a chlapci 0,5 jsou přibližně stejné ve všech třech krajích. Výše uvedené 0 ČJ M CJ OV D Z P F Ch grafy proto uvádějí údaje za všechny zúčastněné žáky.

8.2. Důvody výběru střední školy Součástí žákovského dotazníku byla i otázka týkající se volby střední školy. Důvody pro výběr konkrétní střední školy odráží do velké míry motivaci ke studiu. S ní dále souvisí školní úspěšnost. V dotazníku bylo žákům předloženo 8 výroků, které mapovaly různé možné důvody a očekávání žáků vůči zvolené střední škole. Úkolem žáků bylo zamyslet se nad tím, jak velký vliv měly jednotlivé důvody na jejich výběr střední školy. Výroky obsahující možné důvody zněly: 1. 2. 3. 4. 5. 6. 7. 8.

Měl/a jsem zájem o daný obor. Je to škola, která hodně naučí. Bylo to přání rodičů. Je to nejbližší škola od mého bydliště. Na stejné škole studuje nebo studoval někdo z rodiny. Je to škola s příjemnou atmosférou. Chtěl/a jsem studovat stejnou školu jako kamarádi. Neměl/a jsem jinou možnost. Vliv jednotlivých faktorů na volbu SŠ Výrok

Velký vliv

Malý vliv

Žádný vliv

1 – zájem o obor

78,3 %

17,2 %

4,5 %

2 – škola naučí

54,6 %

37,1 %

8,3 %

3 – přání rodičů

8,6 %

32,9 %

58,5 %

4 – nejbližší škola

13,1 %

29,8 %

57,1 %

5 – studoval někdo z rodiny

6,8 %

12,4 %

80,9 %

6 – příjemná atmosféra

38,0 %

46,1 %

15,9 %

7 – kamarádi

8,4 %

30,4 %

61,2 %

8 – nebyla jiná možnost

4,9 %

14,4 %

80,7 %

36

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Žákovské odpovědi svědčí o relativně zralé volbě střední školy. Zvláště silný vliv na výběr konkrétní střední školy měly dva faktory – zájem o obor a kvalita školy z hlediska výuky. Relativně vysoký vliv měla rovněž příjemná atmosféra školy. První faktor svědčí o vnitřní motivaci žáků; druhý faktor je významný proto, že naznačuje úvahy o budoucím uplatnění; třetí faktor ukazuje význam sociálního klimatu, které je-li pozitivní, může podporovat kvalitu výuky. Pokud žáci oceňovali sociální klima školy, častěji také uváděli, že pro ně bylo významné, zda se jedná o školu, která naučí. Kvalita výuky a kvalita sociálních vztahů je v uvažování žáků spojená. Ostatní výroky, které v dotazníku žáci měli zvažovat, se naopak týkaly spíše vnější a okrajové motivace žáků pro výběr střední školy. Lze proto kladně hodnotit skutečnost, že jejich vliv na volbu žáků je spíše slabší (respektive je žáky takto vnímán). Při porovnání s projektem Hodnocení výsledků vzdělávání žáků 9. tříd v Karlovarském kraji, který proběhl v roce 2004 a v němž žáci posuzovali stejnou baterii výroků o důvodech volby střední školy, se ukazuje silná stabilita žákovských výpovědí. Odchylky v posuzování všech výroků byly velice malé a lze je proto považovat za nevýznamné. Výjimku tvoří třetí výrok týkající se vlivu rodičů. Odchylka v letošních a loňských žákovských výpovědích činila několik procentních bodů ve prospěch snížení vlivu tohoto faktoru. Výpovědi žáků z jednotlivých krajů jsou statisticky shodné, nelze v nich odhalit žádné rozdíly. Naproti tomu rozdíly ve výpovědích dívek a chlapců jsou v několika položkách odlišné. Dívky častěji než chlapci uvedly, že na jejich volbu střední školy mělo velký vliv to, zda se jedná o školu, která hodně naučí. Chlapci naopak více zvažovali to, zda na dané škole budou studovat spolu se svými kamarády a zda je to škola blízká jejich bydlišti. Největší rozdíl – plných 10 procentních bodů – se týkal výroku „Je to škola s příjemnou atmosférou“. Klima školy bylo důležité častěji pro dívky než pro chlapce.

8.3. Vzdělání rodičů Součástí žákovského dotazníku byla také položka, ve které se zjišťovalo vzdělání rodičů. Vzdělání rodičů se obvykle chápe jako základní rys sociokulturní úrovně rodiny. Je-li vysoká, slouží obvykle jako podpora a motivace vyšším studijním aspiracím žáků. Jelikož vzdělání rodičů uváděli sami žáci, nelze říci, zda se jedná o údaje zcela pravdivé. Zvláště u dětí na základních školách je nutné uvažovat o jistém zkreslení těchto údajů. Následující tabulka obsahuje údaje o nejvyšším dosaženém vzdělání rodičů testovaných žáků. Žáci, kteří otázku nezodpověděli, nejsou v tabulce zohledněni. Úroveň vzdělání rodičů za všechny zúčastněné žáky Nejvyšší vzdělání

Matka

Otec

ZŠ

3,6 %

2,3 %

OU, U

32,4 %

39,3 %

SOU

11,1 %

16,3 %

SOŠ

34,4 %

25,6 %

G

6,8 %

2,1 %

VOŠ

2,1 %

1,6 %

VŠ

9,8 %

12,7 %

Z tabulky jsou patrné rozdíly mezi rozložením vzdělání u žen a u mužů, které odpovídají struktuře vzdělání v české populaci obecně. Mezi muži je více absolventů odborného školství (tj. OU, U a SOU)

37

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 a absolventů VŠ než mezi ženami. Naopak mezi ženami je více absolventek středních odborných škol a gymnázií. Vzdělanostní úroveň rodiny bývá Graf: Průměrné úspěšnosti v testech podle určována jako společná hodnota vzdělání rodičů vzdělání ženy a muže. Podle 100% předpokladu, že čím vyšší je 90% vzdělání rodičů, tím lepší mohou být 80% podmínky žáků ke studiu, lze 70% očekávat jistou souvislost mezi 60% vzdělanostní úrovní rodiny a 50% výsledky v testech. Následující graf 40% ukazuje průměrné úspěšnosti žáků 30% úspěšnost v DČJ podle vzdělání rodičů (škála 2–14, 20% úspěšnost v MD přičemž hodnota 2 znamená, že oba 10% úspěšnost v SD 0% rodiče mají základní vzdělání, 2 3 4 5 6 7 8 9 10 11 12 13 14 hodnota 14 znamená, že oba rodiče mají vysokou školu). Z grafu je patrné, že vzdělání rodičů má tedy přímou souvislost s výsledky žáků v testech. Tabulka i graf obsahuje pro snadnější orientaci údaje za všechny testované žáky bez rozlišení kraje. Výsledky v jednotlivých krajích dosahovaly víceméně shodných rozložení, a proto jejich rozlišování není opodstatněné.

8.4. Výroky o sobě Pro zjištění žákovských představ o sobě samých (tzv. sebepojetí) byla do dotazníku zařazena baterie výroků o žácích a jejich schopnostech či výkonech. Žáci měli posuzovat, zda s danými výroky o sobě souhlasí či nikoliv. Účelem těchto výroků bylo odhalit míru sebepoznání a sebevědomí žáků, které je v určitém směru podmínkou úspěšného uplatnění ve vzdělávací dráze i v pracovním životě. Žáci by měli mít reálné znalosti o sobě samých a dostatečně pozitivní vnímání sebe sama. Zjišťované aspekty žákovských osobností mají jednoznačnou souvislost se studijní motivací a s předpoklady uspět v dalším vzdělávání různého zaměření. Součástí dotazníku byly následující výroky: 1. 2. 3. 4. 5. 6. 7. 8.

Vždy se snažím dělat věci co nejlépe. Myslím, že budu mít vždy nudné zaměstnání. Znám své zájmy a schopnosti a dokážu se podle toho rozhodnout, co budu jednou dělat. Když mě potká nějaký problém, snažím se ho vždy vyřešit. Většina školních úkolů je pro mě snadná. Když se mi něco nedaří, vzdávám to. Často se stává, že se bojím jít do školy. Mé školní výsledky jsou horší než mé schopnosti.

38

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Graf: Posouzení výroků o sobě - všichni zúčastnění žáci ve třech krajích výrok 8 výrok 7

nesouhlas

souhlas nesouhlas

souhlas

výrok 6

nesouhlas

souhlas

výrok 5

nesouhlas

souhlas

výrok 4

nesouhlas

souhlas

výrok 3

nesouhlas

souhlas

výrok 2 souhlas

nesouhlas

výrok 1

nesouhlas

souhlas

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Graf ukazuje odpovědi žáků na jednotlivé výroky. U každého výroku žáci měli posoudit, v jaké míře s ním souhlasí. Volili jednu z těchto odpovědí: rozhodně souhlasím – spíše souhlasím – spíše nesouhlasím – rozhodně nesouhlasím. Pro větší přehlednost výsledků byly odpovědi převedeny na dvě kategorie – souhlasím (rozhodně a spíše), nesouhlasím (rozhodně a spíše). U každého výroku se vyskytlo několik žáků, kteří odpověď na něj neuvedli. Vzhledem k tomu, že se jednalo o malé počty žáků, nebyli do dalšího zpracování zařazeni a analýzy se jimi ani jinak nezabývaly. Výše uvedený graf tedy ukazuje míru skutečně projeveného souhlasu a nesouhlasu s jednotlivými výroky. Výraznější nesouhlas žáci vyjádřili s výrokem 2 (Myslím, že budu mít vždy nudné zaměstnání.), 6 (Když se mi něco nedaří, vzdám to.) a 7 (Často se stává, že se bojím jít do školy.). Tento výsledek lze považovat za pozitivní. Výrok 2 směřoval k predikci vlastní budoucnosti, k vzdělávacím a pracovním aspiracím. Výrok 7 se naopak týkal bezprostředních školních zkušeností. Výrok 6 zjišťoval tendence žáků vzdávat nedokončené úkoly. Ta může indikovat školní neúspěchy v případě, že žáci mají problémy s porozuměním a osvojením určitých znalostí či dovedností. Porovnání výpovědí žáků ze všech tří zúčastněných krajů nevykazuje žádné významnější rozdíly. Odpovědi lze považovat za shodné. Z hlediska pohlaví žáků je nutné pozornost věnovat rozdílu při hodnocení výroku „Mé školní výsledky jsou horší než mé schopnosti“. S tímto výrokem souhlasilo 40 % dívek a plných 58 % chlapců. Oba údaje svědčí o tom, že žáci neakceptují školní kritéria hodnocení jejich výkonů. To může mít původ v tom, že vyučující své požadavky žákům dostatečně nevysvětlují a nečiní je tak spolutvůrci pedagogického hodnocení. Nebo v tom, že školní aktivity nevyužívají veškerý potenciál žáků, soustřeďují se pouze na jeho část. U chlapců je diskrepance mezi vlastním sebehodnocením a školními výsledky podstatně silnější než u dívek. Souhlas s uvedeným výrokem narůstá se zhoršujícími se známkami z českého jazyka a z matematiky. V každé skupině žáků podle příslušné známky vyjadřují nedocenění silněji chlapci než dívky.

8.5. Hodnocení vlastních testových výkonů Důležitým výsledkem výchovně-vzdělávacího procesu je poznání sebe sama. U žáků by měla být rozvíjena schopnost znát a reálně hodnotit své výkony. Pokud tomu tak není, může dojít k podceňování či přeceňování. Výsledky z předcházejících šetření CERMATu ukázaly, že žáci mají tendenci své výkony spíše podceňovat, tj. odhadují, že dosáhli nižšího výsledku, než tomu bylo ve skutečnosti. Toto podceňování může mít reálné negativní dopady projevující se v tom, že žáci vzdávají úkoly v obavě, že jejich výkon nedosáhne požadované úrovně.

39

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Vzhledem k tomu, že rozvoj sebepoznání a sebehodnocení je důležitým cílem školního vzdělávání, byla do dotazníku zařazena položka, která zjišťovala, nakolik je žákovské sebehodnocení adekvátní. Téměř bezprostředně po ukončení testování byli žáci požádáni o odhad počtu bodů, které získali v jednotlivých testech. Pro tento účel jim byla jim předložena bodová škála rozdělená do skupin po 5 bodech. Jejich úkolem bylo označit interval, který zahrnoval pravděpodobně dosažený počet bodů. Odhadovaný počet bodů byl následně porovnáván s reálným počtem bodů, kterého žáci skutečně v testech získali. Následující grafy ukazují procento žáků, kteří uvedli, že jejich výkony se budou pohybovat v daném bodovém rozpětí, a procento žáků, jejichž skutečný výsledek se umístil v daném bodovém rozpětí. Graf: Odhadov ané a re álné v ý sledky v te stu Mate m atické dov e dnosti 20% 18% 16% 14% 12%

odhad

10%

reál

8% 6% 4% 2% 0% 0-5

6-10

11-15 16-20 21-25 26-30 31-35 36-40 41-45 46-50 poče t bodů

Gra f: Odhadov ané a re álné v ý sle dky v te stu Studijní dov e dnosti 50% 40% 30%

odhad

20%

reál

10% 0% 0-5

6-10

11-15

16-20

21-25

26-29

poče t bodů

Graf: Odhadované a reálné vý sledky v testu Dovednosti v českém jazy ku 45% 40% 35% 30% 25%

odhad

20%

reál

15% 10% 5% 0% 0-5

6-10

11-15

16-20

21-25

26-30

počet bodů

40


Grafy k jednotlivým testům ukazují rozdílné výsledky. V testu Studijní dovednosti odhadovaly více než ¾ žáků svůj výsledek v rozmezí 16–20 bodů, přičemž průměrné skóre bylo 16 bodů. Odhady tedy můžeme chápat jako nadměrně optimistické – žáci se spíše přeceňovali. V testu Dovednosti v českém jazyce lze odhad považovat za mírně podhodnocený vůči reálnému výsledku. V testu Matematické dovednosti byl odhad žáků víceméně přiměřený. Největší nesoulad mezi odhadem a skutečností v testu Studijní dovednosti je pravděpodobně dán tím, že v předmětových testech sloužily pro žáky jako základní opora zkušenosti ze školní výuky, které v případě testu Studijních dovedností zcela chyběly. Uvedené výsledky jsou překvapující v porovnání s projektem Hodnocení výsledků vzdělávání žáků 9. tříd v Karlovarském kraji z roku 2004 i s dalšími šetřeními realizovanými Centrem pro zjišťování výsledků vzdělávání. Jak bylo uvedeno výše, obvykle žáci své výkony při odhadech podhodnocují. To může být způsobeno buď tzv. falešnou skromností, kdy žáci jsou schopni reálně odhadovat své výkony, ale předpokládají, že lépe sociálně přijímán bude odhad nižší, nebo se jedná o důsledek neschopnosti reálně zhodnotit své výkony – žáci jsou skutečně přesvědčeni o tom, že dosáhli pouze uváděného počtu bodů. Zvláště druhá jmenovaná příčina může potenciálně vést ke vzdávání řešení úkolů a tím negativně ovlivňovat efektivitu výchovně vzdělávacího procesu. Aktuální výsledky však tuto tendenci k podceňování vykazují pouze v testu Dovednosti v českém jazyce. Ve zbývajících dvou testech bylo žákovské sebehodnocení reálné až přeceňující. Odhady žáků z jednotlivých krajů jsou shodné, nevykazují žádné výrazné rozdíly. Z hlediska pohlaví se odhadované výsledky lišily výrazněji, než by bylo možné předpokládat na základě reálných testových výsledků dívek a chlapců. Dívky častěji než chlapci situovaly své výkony do nižších kategorií než chlapci, s mírnou výjimkou v testu Dovednosti v českém jazyce. Odhady podle pohlaví jsou uvedeny v následující tabulce. Odhadované výsledky v testech Odhadovaný počet bodů

Test Studijní dovednosti

Test Matematické dovednosti

Test Dovednosti v českém jazyce

Dívky

Chlapci

Dívky

Chlapci

Dívky

Chlapci

0–5

1,1 %

0,9 %

6,0 %

3,3 %

1,3 %

1,9 %

6 – 10

5,2 %

4,4 %

11,8 %

7,2 %

5,5 %

6,1 %

11 – 15

18,4 %

13,9 %

14,2 %

9,9 %

15,9 %

20,0 %

16 – 20

46,5 %

40,6 %

13,9 %

11,7 %

41,2 %

40,9 %

21 – 25

25,6 %

33,5 %

12,7 %

12,0 %

29,9 %

25,6 %

26 – 30

3,2 %

6,7 %

14,5 %

13,8 %

6,1 %

5,4 %

31 – 35

-

-

11,6 %

14,0 %

-

-

36 – 40

-

-

9,1 %

15,1 %

-

-

41 – 45

-

-

4,9 %

9,4 %

-

-

46 – 50

-

-

1,4 %

3,6 %

-

-

41


9. VÝSTUPY Z PROJEKTU Výstupy z projektu Hodnocení výsledků vzdělávání žáků 9. tříd 2005 byly vytvářeny ve vztahu k cílům projektu. Jelikož projekt naplňuje několik skupin rozdílných cílů, jsou podle těchto skupin rozčleněné i jeho výstupy. Výstupem naplňujícím cíl projektu poskytnout informace o žákovských výsledcích žákům a jejich školám byly žákovská osvědčení a výsledkové sestavy pro základní školy. Žákovská osvědčení uváděla jmenovité výsledky jednotlivých žáků, a to v porovnání s průměrnými výsledky žáků dané školy a všech žáků z kraje. Školní výsledky byly zpracovány konkrétně pro každou základní školu, která se do projektu přihlásila. Výstupy obsahovaly velké množství údajů o tom, jak žáci daných škol řešili jednotlivé testy včetně výsledků konkrétní školy jako celku. Jednalo se o údaje, které mohou být zdrojem zajímavých informací pro vedení škol a které mají přímou vazbu na zkvalitňování jejich pedagogické praxe. Tyto údaje byly vždy porovnány s tím, jak dopadli ostatní žáci z celého kraje. Konkrétní výsledkové sestavy byly poskytnuty výhradně dané základní škole. Jejich zpracování i distribuce probíhaly za bezpečnostních pravidel tak, aby nedošlo k jejich prozrazení. Zveřejněny byly pouze souhrnné údaje za všechny testované žáky bez rozlišení škol a krajů. K výstupům pro základní školy byla přidána individuální osvědčení pro všechny zúčastněné žáky. Tato osvědčení informují konkrétní žáky o jejich výkonech při řešení testů, včetně jejich umístění mezi zúčastněnými žáky z dané školy a z celého kraje. Stala se současně informací pro střední školu, která ve školním roce 2005/2006 zařadila výsledek testování žáka jako jedno z kritérií přijímacího řízení.

Souhrnné výstupy pro základní školy zahrnovaly následující skupiny údajů: → struktura souboru testovaných žáků, → přehled jmenovitých výsledků zúčastněných žáků dané školy v testu, → průměrné výsledky žáků dané školy a jednotlivých tříd v testech, → průměrné výsledky žáků dané školy a jednotlivých tříd v testech podle známky z daného předmětu na vysvědčení, → průměrné výsledky žáků dané školy, kteří se hlásí na konkrétní střední školu.

Výstupy byly připravovány tak, aby si na jejich základě školy mohly vytvořit či doplnit představu o vlastní žákovské populaci a svých vzdělávacích výsledcích. K tomu slouží jednak absolutní hodnoty vyjadřující výkony žáků dané školy v testech, jednak porovnání s výsledky ostatních zúčastněných škol. Porovnání není uváděno formou jmenovitého žebříčku škol, nýbrž prostřednictvím průměrného výsledku. Školy se tedy nemusí obávat zveřejnění jejich výsledků. Z porovnání se školy mohou dozvědět, v jakém vztahu (lepší, stejné, horší) jsou výkony jejich žáků vůči výkonům ostatních žáků v kraji. Školy byly upozorněny na rizika spojená s interpretací statistických údajů. Na výkony v testech má vliv řada faktorů, z těch nejvýznamnějších to jsou: a) školní potenciál daných žáků, b) pedagogické vedení, c) kvalita a zaměření testu. Častou chybou je vysvětlovat žákovské výkony výhradně působením vyučujících. Ačkoliv jejich vliv na míru žákovských znalostí a dovedností je klíčový, záleží rovněž na dalších charakteristikách žáků. Tak například nelze vysvětlovat rozdílné testové výsledky žáků na víceletém gymnáziu a na základní škole správným a nesprávným pedagogickým vedením, neboť školní potenciál (tj. zejména intelektový a volní potenciál) těchto dětí může být velmi odlišný.

42

Ústav pro informace ve vzdělávání – září 2005 Centrum pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2005 Pro porovnání je tedy vhodnější používat žáky ze stejného typu školy, kde lze předpokládat podobné charakteristiky. V návaznosti na cíl poskytnout informace k vnitřní evaluaci škol byl naplňován i cíl rozšířit zdroje informací o úrovni školského systému v krajích. Pro odbory školství krajských úřadů, které byly partnery projektu, byla připravena a zaslána závěrečná zpráva z konání projektu v daném kraji. Zpráva obsahovala podrobné informace o průběhu projektu, použitých didaktických testech a výsledcích žáků. Údaje za žáky z daného kraje byly porovnávány s celkovými výsledky všech zúčastněných žáků a škol (bez rozlišení kraje). Výsledky pro krajské úřady byly agregované a neobsahovaly žádné adresné informace o konkrétních školách. Dalším cílem projektu bylo posunout poznání v oblasti didaktických testů a konkrétně možnosti testování žáků ukončujících základní školu. Centrum pro zjišťování výsledků vzdělávání – CERMAT vypracovalo dílčí interní zprávy z projektu, a to jak z hlediska organizace projektu, tak z hlediska didaktické kvality testů. Zkušenosti z projektu jsou dále interně prohlubovány a diskutovány. Zjištění budou využita v následných projektech.

43


10. ZÁVĚR Projekt Hodnocení výsledků vzdělávání žáků 9. tříd 2005 představuje druhý rozšířený realizační krok v hodnocení výstupní úrovně žáků základních škol, v procesu zavádění systematického sledování vzdělávacích výsledků na základních školách a jejich propojování s výsledky evaluace na školách středních. Cílem projektu bylo připravit a ověřit konkrétní nástroje externí evaluace (standardizované testy, pilotáž testů, způsob zadávání testů, způsob hodnocení testů apod.). Projekt přispěl k vytváření evaluačních nástrojů pro vyhodnocování cílů stanovených platnými pedagogickými dokumenty a přestavuje první pilotní ověřování využitelnosti výsledků evaluace v devátém ročníku ZŠ při přípravě reformy přijímacího řízení. Partnerům na všech úrovních byl poskytnut jeden z hlavních vstupů do informačního systému o vzdělávání (žáci, rodiče, škola, školská správa a samospráva aj.), zainteresovaným skupinám naznačil způsob, jak efektivně využívat didaktických testů pro vlastní hodnocení. V neposlední řadě projekt přispěl k informovanosti pedagogické veřejnosti o cílech, předmětu a nástrojích evaluace. Zkušenosti, které ÚIV – CERMAT získal v průběhu přípravy i realizace projektu, rozšířily zkušenosti z projektu Hodnocení výsledků vzdělávání žáků 9. tříd 2004 v Karlovarském kraji. Jako takové byly a dále budou využívány v realizaci dalších projektů týkajících se zavádění nových nástrojů externí evaluace do českého školství a specificky také v rámci uskutečňování systémového projektu ESF Kvalita I.

44


11. PŘÍLOHY Test Dovednosti v českém jazyce – testový sešit, záznamový arch, klíč správných řešení Test Matematické dovednosti – testový sešit, záznamový arch, klíč správných řešení Test Studijní dovednosti – testový sešit, záznamový arch, klíč správných řešení Žákovský dotazník Ukázková výstupní sestava pro základní školy Osvědčení pro žáky

45

ZÁVĚREČNÁ ZPRÁVA HODNOCENÍ VÝSLEDKŮ VZDĚLÁVÁNÍ ŽÁKŮ 9. TŘÍD 2005 V KARLOVARSKÉM, LIBERECKÉM A PARDUBICKÉM KRAJI

Recommend Documents