ZÁVĚREČNÁ ZPRÁVA HODNOCENÍ VÝSLEDKŮ VZDĚLÁVÁNÍ ŢÁKŮ 9. TŘÍD 2004 V KARLOVARSKÉM KRAJI. Mgr. Irena Smetáčková PhDr

Ústav pro informace ve vzdělávání – duben 2005 Centru pro zjišťování výsledků vzdělávání – CERMAT Hodnocení výsledků vzdělávání žáků 9. tříd 2004

ZÁVĚREČNÁ ZPRÁVA HODNOCENÍ VÝSLEDKŮ VZDĚLÁVÁNÍ ŢÁKŮ 9. TŘÍD 2004 V KARLOVARSKÉM KRAJI

Zpracovaly:

Mgr. Irena Smetáčková PhDr. Jarmila Nedvědová

Praha 2004

1


OBSAH 1. CÍLE PROJEKTU ........................................................................................................... 3 2. PRŮBĚH PROJEKTU .................................................................................................... 4 3. KONCEPCE A TVORBA TESTŮ ................................................................................. 6 3.1. Tvorba testů ............................................................................................................... 6 3.2. Typy testových úloh ................................................................................................... 7 3.3. Koncepce testu dovedností v českém jazyce ............................................................. 8 3.4. Koncepce testu matematických dovedností ............................................................ 11 3.5. Koncepce testu studijních dovedností ..................................................................... 13 3.6. Ţákovský dotazník................................................................................................... 15 4. ÚČAST ŠKOL A ŢÁKŮ ............................................................................................... 16 5. ZHODNOCENÍ TESTŮ NA ZÁKLADĚ ŢÁKOVSKÝCH VÝSLEDKŮ .................. 18 5.1. Zhodnocení testu dovedností v českém jazyce ........................................................ 19 5.2. Zhodnocení testu matematických dovedností ......................................................... 22 5.3. Zhodnocení testu studijních dovedností ................................................................. 30 6. TESTOVÉ VÝSLEDKY VE VZTAHU K ŢÁKOVSKÉ POPULACI A ŠKOLSKÉMU SYSTÉMU ......................................................................................................................... 32 6.1. Výsledky škol ........................................................................................................... 33 6.2. Celkové výsledky ţáků ............................................................................................ 34 6.3. Výsledky ţáků podle známky .................................................................................. 34 6.4. Výsledky ţáků podle typu střední školy ................................................................. 36 6.5. Výsledky ţáků podle pohlaví ................................................................................... 38 7. ÚDAJE ZE ŢÁKOVSKÉHO DOTAZNÍKU ............................................................... 40 7.1. Budoucí vzdělání...................................................................................................... 40 7.2. Důvody výběru střední školy................................................................................... 41 7.4. Vzdělání rodičů ........................................................................................................ 41 7.5. Volnočasové aktivity ................................................................................................ 43 7.6. Výroky o sobě .......................................................................................................... 44 7.7. Hodnocení vlastních testových výkonů ................................................................... 45 8. VÝSTUPY Z PROJEKTU ............................................................................................ 47 9. ZÁVĚR ……………………………………………………………………………………47 10. PŘÍLOHY………………………………………………………………………………..48

2


1. CÍLE PROJEKTU Projekt Hodnocení výsledků vzdělávání ţáků 9. tříd v Karlovarském kraji byl realizován Centrem pro hodnocení výsledků vzdělávání – CERMAT ve spolupráci s Odborem školství, mládeţe a tělovýchovy Krajského úřadu Karlovarského kraje. Záštitu a finanční podporu projektu poskytlo Ministerstvo školství, mládeţe a tělovýchovy. Projekt byl uskutečněn v prvním pololetí roku 2004, jeho přípravná fáze však jiţ probíhala od podzimu 2003. Příprava i realizace proběhly ve velmi krátkém čase. Z hlediska dlouhodobých cílů projekt Hodnocení výsledků vzdělávání ţáků 9. tříd v Karlovarském kraji představuje první snahu zavést do základních škol takový hodnotící nástroj, který bude zdrojem informací pro vnitřní evaluaci škol, autoevaluaci ţáků a který současně bude mít význam i pro ostatní partnery základních škol, tj. pro zřizovatele a střední školy. Projekt byl zamýšlen jako první terénní informace o moţnostech hodnocení ţáků v uzlových bodech vzdělávacího systému. Z tohoto hlediska projekt sledoval nejen praktické potřeby škol a jejich ţáků a cíle krajského úřadu směřující k získání podrobnějších informací o školském systému Karlovarského kraje, ale také odpovídal na některé otázky směřující obecně k reformě školství, konkrétně aspektu hodnocení ţáků a škol. V rámci projektu byly ţákům 9. ročníků základních škol zadány tři testy a ţákovský dotazník. Testy byly zaměřeny na tyto oblasti: matematické dovednosti, dovednosti v českém jazyce a studijní dovednosti. Výběr předmětů a konkrétní obsah testů odpovídal cílům projektu. Projekt byl koncipován tak, aby naplnil následující cíle:  rozšířit informace slouţící vnitřnímu systému řízení kvality škol,  zavést prvky externí evaluace výsledků vzdělávání do základních škol,  učinit první krok k monitorování výstupní úrovně ţáků základních škol,  nabídnout středním školám objektivní nástroje pro hodnocení uchazečů o studium. Na základě zhodnocení projektu a jeho výsledků lze konstatovat, ţe uvedené cíle byly splněny. Současně došlo k informování pedagogické i širší laické veřejnosti o moţnostech vyuţití didaktických testů. Prostřednictvím seminářů pro ředitele základních a středních škol, které se konaly po ukončení testování a rozeslání výstupů na školy, byly obousměrně předány důleţité připomínky, které umoţní při případném pokračování projektu jeho zdokonalení. Na základě těchto seminářů lze projekt hodnotit jako velice úspěšný. Z řad zúčastněných ředitelů základních a středních škol opakovaně zaznívala podpora tomuto projektu a podobným aktivitám, které vedou ke zkvalitňování pedagogické praxe.

3


2. PRŮBĚH PROJEKTU Přípravou a realizací projektu bylo pověřeno Centrum pro zjišťování výsledků vzdělávání (CERMAT) ve spolupráci s OŠMT KÚ Karlovy Vary za podpory MŠMT. Pro realizaci projektu byl sestaven tým z pracovníků CERMATu (sekce evaluačních nástrojů včetně analytického oddělení, oddělení organizace a logistiky a oddělení informačních technologií). V rámci projektu byly připraveny tři testy (test studijních dovedností, test matematických dovedností a test dovedností v českém jazyce) ve dvou variantách a jednotný ţákovský dotazník. Časový limit pro řešení jednotlivých testů byl stanoven na 40 minut, pro vyplnění ţákovského dotazníku bylo vymezeno 20 minut. Pro zápis řešení testových úloh a odpovědí ţáků v dotazníku byly vytvořeny záznamové archy. Termín testování byl stanoven pro všechny základní školy v Karlovarském kraji na čtvrtek 4. března 2004 v době od 8:00 do 12:30 hodin podle jednotného testového schématu (1. test studijních dovedností, 2. test matematických dovedností, 3. test z dovedností v českém jazyce a na závěr ţákovský dotazník). Předmětoví koordinátoři CERMATu vytvořili testové úlohy pro jednotlivé testy. Před sestavením testů bylo nutné provést pilotní ověřování vytvořených úloh na běţné populaci. Pilotáţe proběhly na náhodně vybraném vzorku ţáků 9. tříd v 38 základních školách v Praze a Středočeském kraji v době od 16. - 29. ledna 2004. Na základě výsledků pilotáţí byly upraveny a sestaveny jednotlivé testy. V souladu s harmonogramem projektu byly 29. ledna 2004 písemně osloveny všechny základní školy s 9. ročníky v Karlovarském kraji. V dopise adresovaném ředitelům škol byly obsaţeny veškeré informace o cílech projektu, jeho organizačním zabezpečení včetně návodu k postupu při přihlašování škol do projektu elektronickou cestou. Současně bylo školám sděleno jedinečné heslo, které bylo vygenerováno pro přístup na webový server CERMATu (slouţí k ochraně dat školy včetně zamezení přístupu jiným subjektům). Přihlašování škol probíhalo elektronicky v době od 2. – 10. února 2004 formou zápisu do vygenerovaného formuláře s adresnými údaji školy. Po zadání IZO školy a jedinečného hesla, přihlašovaly školy jednotlivé třídy s uvedením jmenného seznamu ţáků a jejich data narození. Na základě těchto údajů byl pro kaţdého ţáka vygenerován identifikační kód ve formě štítku s čárovým kódem, který ţáci nalepili na záznamové archy a slouţil k jejich identifikaci při zpracování výsledků. Do projektu se zapojilo všech 74 základních škol s 9. ročníky v Karlovarském kraji, tj. 139 tříd a bylo přihlášeno celkem 3 098 ţáků. Na základě počtu přihlášených ţáků bylo vytištěno potřebné mnoţství testů, ţákovských dotazníků, záznamových archů, identifikačních štítků a doprovodných materiálů. CERMAT zajistil kompletaci testových materiálů pro školy a třídy do bezpečnostních fólií a ve dnech 1. - 2. března 2004 provedl jejich distribuci přímo do jednotlivých škol, celkem v 41 obcích. Za bezpečné uloţení zásilky do zahájení testování zodpovídali ředitelé zúčastněných škol. S ohledem na zajištění optimálního průběhu testování a získání objektivních výsledků bylo rozhodnuto zajistit administraci testů ve školách za pomoci pedagogických pracovníků středních škol. Ve spolupráci s OŠMT KÚ Karlovarského kraje byli CERMATem osloveni ředitelé středních škol v kraji s ţádostí o jmenování potřebného počtu zadavatelů testů.

4


Celkový počet 139 zadavatelů byl v době od 24. - 26. února 2004 proškolen pracovníky CERMATu v jednotném postupu při realizaci testování. Kaţdému zadavateli byla určena konkrétní třída základní školy v kraji, ve které provedl administraci testů. Současně byl zadavatel po skončení testování zodpovědný za předání vyplněných záznamových archů v bezpečnostní obálce pracovníkům odboru školství obce s rozšířenou působností, kteří je dopravili na centrální sběrné místo - OŠMT KÚ Karlovy Vary. CERMAT zajistil dne 5. března 2004 svoz všech záznamových archů zpět do Prahy ke zpracování. V den testování byla pracovníky CERMATu a zástupci OŠMT KÚ Karlovy Vary provedena kontrola průběhu testování a dodrţování pokynů pro práci zadavatelů v náhodně vybraných školách kraje. Testování se zúčastnilo celkem 2 783 ţáků, 315 ţáků nebylo v den testování ve škole přítomno. K hromadnému zpracování bylo přijato celkem 11 116 záznamových archů. Před digitalizací bylo v CERMATu provedeno hodnocení otevřených úloh a jejich kódování. Po hromadném zpracování záznamových archů a vytěţení dat externí firmou, bylo v CERMATu provedeno čištění a kontrola pořízených dat. Takto upravená a zkontrolovaná data byla předána analytickému oddělení ke zpracování výsledků. Výstupy projektu  individuální osvědčení pro ţáky  souhrnné výstupy pro základní a střední školy  agregované výsledky pro OŠMT KÚ Karlovarského kraje  závěrečná zpráva pro MŠMT Výsledky testování pro jednotlivé ţáky a souhrnné výstupy pro základní a střední školy byly rozeslány školám tak, aby ţáci a školy obdrţeli výsledky nejpozději do 15. dubna 2004, tj. před termínem přijímacích zkoušek na střední školy. Souhrnná zpráva o projektu bude předána v červnu 2004 OŠMT KÚ Karlovarského kraje a závěrečná zpráva pro MŠMT v září tohoto roku. Součástí výstupů byly rovněţ odborné semináře pořádané CERMATem pro ředitele základních a středních škol Karlovarského kraje. Jejich cílem bylo seznámení s projektem, jeho výstupy a moţnostmi vyuţití získaných výsledků. Semináře se uskutečnily ve dnech 27. - 29. dubna 2004 v Chebu, Karlových Varech a Sokolově. Testování ţáků, zpracování výstupů a zaslání výsledků včetně uspořádání odborných seminářů byly pro všechny zúčastněné školy zdarma. Dne 3. června 2004 byly o průběhu projektu a jeho výsledcích informováni zástupci odborů školství všech krajských úřadů, pracovníci pedagogických center, MŠMT, ČŠI a NÚOV. Projekt Hodnocení výsledků vzdělávání ţáků 9. tříd byl hodnocen velmi pozitivně a proběhl úspěšně také díky velmi dobré spolupráci CERMATu s OŠMT KÚ Karlovarského kraje.

5


3. KONCEPCE A TVORBA TESTŮ V rámci projektu Hodnocení výsledků vzdělávání ţáků 9. tříd v Karlovarském kraji byly připraveny tři testy a ţákovský dotazník. Testy se zabývaly těmito oblastmi: matematické dovednosti, dovednosti v českém jazyce a studijní dovednosti. Tyto oblasti byly zvoleny s ohledem na hlavní směr základního vzdělávání a současně na obvyklé sloţení přijímacích zkoušek na střední školy. Testy matematických dovedností a dovedností v českém jazyce byly vymezeny prostřednictvím školních vyučovacích předmětů a jejich učebních osnov. Test studijních dovedností přesahoval rámec běţně vyučovaných předmětů. Jeho cílem bylo ověřit předpoklady ţáků pro úspěšné studium. Testy odvozené od školních předmětů byly nazvány jinak neţ samotné vyučovací předměty. Důvodem je snaha zdůraznit jistou odlišnost v zaměření testu. Ačkoliv testy odráţí učivo dané učebními osnovami, snaţí se ve větší míře, neţ je obvyklé pro současnou školní praxi, orientovat na dovednosti, nikoliv pouze na zapamatování znalostí. Úlohy jsou konstruovány tak, aby ověřovaly nejen zvládnutí vědomostních elementů učiva, ale rovněţ operace, které by měly být s těmito elementy (znalostmi) činěny. Takto pojaté testy zjišťují z hlediska kognitivních procesů vyšší operace, tj. nejen pouhé zapamatování informací, ale také porozumění a aplikaci. Vzhledem k této koncepci testů je moţné jejich účel vidět rovněţ v souvislosti s připravovanou kurikulární reformou. Ta v poţadovaných vzdělávacích výstupech zdůrazňuje spíše operace s informacemi neţ pouhé (i kdyţ nezbytné) osvojení znalostí. Školy si tak mohou vytvořit na základě výsledků ţáků představu, v jaké míře jejich současná výuka odpovídá nové organizaci výuky.

3.1. Tvorba testů Tvorba testu je náročný proces, na němţ spolupracuje řada odborníků (předmětoví specialisté, autoři úloh, recenzenti, analytici atd.). Tvorba celého testu probíhá v několika základních fázích. Pokud nejsou úkoly jednotlivých fází řádně splněny, zvyšuje se riziko, ţe vytvořený test nebude kvalitním nástrojem měření ţákovských znalostí a dovedností. V případě testů pro projekt Hodnocení výsledků vzdělávání ţáků 9. ročníků v KV byla konstrukce tvořena následujícími fázemi: 1) Plánování testu → definování cíle testu, tj. k čemu mají slouţit testové výsledky → vymezení obsahu testu, tj. jaké učivo má být prostřednictvím testu ověřováno → vypracování specifikační tabulky, která obsahuje závazný počet úloh určitého typu a obsahu zařazených následně do testu (význam specifikační tabulky spočívá zejména ve zvýšení validity a reliability testu a v moţnosti meziročního porovnání testových výsledků) 2) Tvorba a ověřování testových úloh → tvorba testových úloh podle pravidel stanovených specifikační tabulkou

6


→ posouzení obsahové a konstrukční kvality testových úloh odbornými recenzenty → ověření kvality testových úloh prostřednictvím pilotáţí (pilotáţ představuje zkušební zadání úloh větší skupině ţáků, v tomto případě souboru 200 ţáků 9. tříd ze Středočeského kraje, na základě jejichţ výsledků je posouzena konstrukční a psychometrická kvalita úloh) 3) Sestavování testu → výběr konkrétních úloh do testu na základě vyhodnocení výsledků pilotáţí → řazení úloh tak, aby podporovalo správné strategie řešení testu → volba způsobu hodnocení jednotlivých úloh a celého testu → posouzení testu odbornými recenzenty → sestavení záznamového archu, do něhoţ ţáci zapisují řešení úloh Testy byly koncipovány tak, aby kombinovaly charakteristiky testu rozlišujícího a ověřujícího. Na základě této kombinace lze testové výsledky pouţít k činění závěrů jak o úrovni znalostí a dovedností ţákovské populace kraje a jednotlivých škol, tak i o jednotlivých ţácích a porovnání jejich výkonů s výkony ostatních. Cílem rozlišujících testů je vzájemně porovnat výsledky jednotlivých ţáků. Na základě řešení testu jsou ţáci uspořádáni do pořadí. Zda je konkrétní ţák hodnocen jako úspěšný nebo neúspěšný, závisí mimo jiné na výkonech ostatních ţáků. Naopak cílem ověřujících testů je zjistit, zda si ţák osvojil určité znalosti a dovednosti, které jsou předem stanoveny jako podstatné. Výsledek konkrétního ţáka není porovnáván s výsledky jiných ţáků, ale s předem stanovenými kritérii.

3.2. Typy testových úloh Kaţdý test je sestaven z jednotlivých testových úloh. Testové úlohy mohou být různého typu. Kaţdý z typů úloh je vhodný k ověřování jiného učiva a jiných kognitivních procesů. Úlohy se člení na otevřené a uzavřené. Otevřené úlohy jsou takové, kde ţáci odpovědi sami tvoří. Tyto úlohy jsou velmi náročné na hodnocení, neboť předpokládají kódování ţákovských odpovědí. V hodnocení odpovědí často dochází k chybám, a to jak z důvodu lidské únavy, tak z důvodu nejednoznačnosti odpovědí. Uzavřené úlohy jsou takové, kde ţáci vybírají odpověď z nabízených moţností. Převládá mylný názor, ţe uzavřené úlohy ověřují pouze zapamatování jednoduchých faktů. Ve skutečnosti však i uzavřené úlohy mohou ověřovat sloţité myšlenkové operace. Samozřejmě však u nich existuje jisté riziko hádání, které je moţné sníţit správným bodovým hodnocením úloh apod. Nejčastějším typem uzavřených úloh jsou úlohy s výběrem odpovědí, tzv. multiple-choice, při jejichţ řešení ţáci vybírají odpověď ze tří nebo čtyř moţností. Dalším častým typem jsou úlohy dichotomické, kde se ţáci rozhodují o pravdivosti výroku či o jeho jiné charakteristice nabývající dvou hodnot. Sloţitějším typem uzavřených úloh jsou úlohy přiřazovací, v nichţ ţáci podle určitého pravidla k sobě přiřazují dvě řady pojmů, čísel atd. Jiným typem jsou

7


úlohy uspořádací, ve kterých ţáci podle stanoveného pravidla určují správné pořadí zadaných pojmů, čísel atd. Podrobněji viz přílohy. V projektu Hodnocení výsledků vzdělávání ţáků 9. ročníků v Karlovarském kraji byly pouţity následující typy úloh: → úlohy s výběrem odpovědi ze čtyř nabízených alternativ → svazky dichotomických úloh → úlohy přiřazovací → úlohy otevřené V kaţdém testu byly pouţity právě takové typy úloh, které nejlépe odpovídaly ověřovanému obsahu. Vzhledem k tomu, ţe pro řadu ţáků 9. ročníků se pravděpodobně jednalo o první zkušenost s řešením testu, snaţili se autoři vyuţívat omezenou škálu typů úloh.

3.3. Koncepce testu dovedností v českém jazyce Test dovedností v českém jazyce je odvozen od vyučovacího předmětu Český jazyk a literatura. Odlišný název testu vyjadřuje skutečnost, ţe testové úlohy jsou orientovány více na dovednosti neţ na znalosti. Tím se pojetí testu částečně odchyluje od převládající praxe značné části škol, kde je více kladen důraz na znalosti. Základním východiskem pro sestavení testu dovedností v českém jazyce byly platné pedagogické dokumenty1, zohledněn ovšem byl i současný vývoj ve školství – důleţitým východiskovým materiálem se stal Rámcový vzdělávací program pro základní vzdělávání2. Testem dovedností v českém jazyce byly ověřovány základní dovednosti ţáků v oblasti mateřského jazyka, jimiţ mají podle citovaných dokumentů disponovat na konci povinné školní docházky. Zároveň se při stanovování koncepce testu uplatnila spolupráce s tvůrci testu studijních dovedností tak, aby došlo k relativně přesnému vymezení dovedností ověřovaných oběma testy a aby se tak zabránilo redundantnímu testování určitého okruhu dovedností. Test studijních dovedností ověřoval nalezení detailních informací (mj. v textu), porozumění informacím z různých zdrojů a vyvození závěrů ze získaných informací. Tyto oblasti dovedností tedy nebylo nutné zařazovat do testu dovedností v českém jazyce, uvolnil se tak prostor pro širší ověřování dovedností dalších. Všechny texty pouţité v testových úlohách jsou autentické. Nejsou pouţívány vykonstruované jevy, všechny texty jsou převzaty z kaţdodenních situací, tzn. jsou vybrané ze sdělovacích prostředků (televize, noviny a časopisy, internet) i z běţných komunikačních situací mluvených. Jednotlivé dovednosti tedy nejsou ověřovány na izolovaných, pouze pro účely testování konstruovaných, jevech. Takto konstruovaný test mimo jiné vyţaduje větší pozornost ţáků při čtení, zároveň se tím zmírňuje i rozevírání nůţek mezi jazykově-slohovou a literární sloţkou předmětu, které se projevuje ve výuce na řadě základních škol. Čtenářství je komplex různých, často se překrývajících dovedností, proto ani pro test dovedností v českém jazyce nebylo podstatné striktní rozlišování těchto dvou oblastí. Testem byla ověřována podstatná část specifických cílů definovaných ve Standardu základního vzdělávání, od něhoţ jsou odvozeny osnovy vyučovacího předmětu. Jak je patrné

1

Standard základního vzdělávání, Praha, Fortuna 1999; Vzdělávací program Základní škola, 2. upravené vydání, Praha, Fortuna 1998. 2 V aktuálním znění.

8


z následujícího výčtu,3 testem dovedností v českém jazyce byla ověřována významná část specifických cílů uvedených ve Standardu základního vzdělávání. Podle tohoto dokumentu proces výuky českého jazyka a literatury v jazykové části směřuje k tomu, aby ţáci: → v ţádoucí míře kvality, trvalosti a správnosti si osvojili techniku čtení a psaní a prokazovali ji ve škole i mimo školu → byli schopni souvisle se vyjadřovat a dovedli správně a kultivovaně pouţívat mateřský jazyk v běţných situacích → získali pro ţivot významné dovednosti spojené s mnohostrannou komunikací člověka v moderní společnosti (ústní a písemné způsoby vyjadřování ve vztahu k odlišným adresátům, schopnost vyjadřovat vlastní názory, vystupovat před lidmi ap.) → pochopili bohatost českého jazyka, jeho slovní zásoby a v praxi dovedli pouţívat elementární pravidla stylistiky → získali podstatné poznatky ze systému českého jazyka a prakticky ovládli základy českého pravopisu → uměli vyuţívat běţné informační zdroje a vést přehledné zápisky → usilovali o co nejpřesnější vyjádření svých myšlenek a uměli rozpoznávat vyjádření nepřesná a nesprávná Test dovedností v českém jazyce je tvořen 24 uzavřenými testovými úlohami, z toho je 23 úloh s výběrem odpovědi. Jedinou výjimkou je jedna úloha přiřazovací. S úlohami s výběrem odpovědi se ţáci mohou setkat nejčastěji, u tohoto typu úloh bylo tedy moţné předpokládat nejniţší riziko ovlivnění výsledků ţáků, způsobené absencí dovednosti ţáků řešit testovou úlohu z hlediska postupu řešení. Test byl připraven ve dvou variantách, sestavených z identických úloh, ovšem v odlišném pořadí. Kaţdé úloze v testu byla přidělena určitá bodová hodnota. Většina úloh (20) byla ohodnocena při správném řešení jedním bodem. Za správné řešení dalších tří úloh mohli ţáci získat po dvou bodech. Prostřednictvím těchto úloh byly ověřovány sloţitější dovednosti, ke správnému řešení museli ţáci dospět uţitím několika myšlenkových operací. Za správné řešení přiřazovací úlohy mohli ţáci získat aţ tři body. U této úlohy bylo uplatněno uţití částečně správné odpovědi, tzn. 3 body získal ţák, který provedl správně všechna čtyři přiřazení, 2 body získali ti, kteří přiřadili správně 3 poloţky, 1 bod pak ti, kteří přiřadili 2 poloţky. Ostatní ţáci nezískali při řešení této úlohy ţádný bod. Vysoká bodová hodnota úlohy koreluje s náročností jejího řešení, v zásadě se tato úloha řeší jako svazek úloh s výběrem odpovědi. Úlohy s vyšší bodovou hodnotou jsou zároveň časově náročnější, všechny byly zařazeny do prostřední části testu. Celkem bylo moţné získat 29 bodů, kaţdá testová úloha má přitom jednoznačnou vazbu k celkovému skóre dosaţenému v testu. Test byl sestaven na základě dvourozměrné specifikační tabulky. Vodorovná osa tabulky definuje redukované oblasti učiva, které se promítají do testu. Nebylo zařazeno učivo z literatury, cílem testu nebylo ověřovat znalosti literárních dějin. Svislá osa tabulky pak vymezuje vybrané oblasti ověřovaných dovedností. Z jejich výčtu je patrná orientace na ověřování dovedností směřujících k práci s konkrétními texty, a to při respektování základního charakteru výuky na základních školách podle stávající pedagogické dokumentace.

3

Pasáţe podtrţené byly ověřovány prostřednictvím testu dovedností v českém jazyce. Na tomto místě je zároveň nutné poznamenat, ţe není moţné testem (podobně jako kteroukoli jinou formou zkoušky) ověřovat všechny specifické cíle.

9


Specifikační tabulka pro test dovedností z českého jazyka

dovednost

pravopis

Učivo lexikologie morfologie syntax a sémantika

Určit slovnědruhovou a větněčlenskou platnost slova4

2

Rozeznat nesprávně uţitý tvar slova5

2

Ovládat základní pravopisná pravidla6 Posoudit význam slov7

1

3

1

4

6 3

3 3

3

1

1

Porozumět obsahu celého textu i jeho částí10

1

Rozeznat základní charakter textu11 Celkem úloh

7

Celkem úloh

1

6

Posoudit výstavbu textu8 Porovnat texty9

stylistika

4

5

5

2

3

1

1

3

24

4

Zařazení dovednosti do testu vyplývá z důrazu na osvojování této dovednosti ve školské praxi. Nebylo tudíţ moţné tuto oblast zcela pominout. 5 Dovednost jdoucí napříč několika oblastmi učiva. 6 Ověřováno je ovládnutí základních pravopisných pravidel v běţných situacích; pozornost je soustředěna zejména na psaní i/-y a interpunkci. S výjimkou testových úloh ověřujících zvládání interpunkce je zadání úloh konstruováno tak, aby nebyl specifikován charakter ověřovaného pravopisného jevu. Ověření dovednosti je tak přesnější ve srovnání se specifikovaným zadáním ověřovaného jevu. 7 Vţdy je ověřováno posouzení významu slov (výrazů) v daném kontextu. 8 Dovednost je charakterizována nalezením závadného místa v textu a jeho opravou, resp. výběrem nejvhodnější úpravy (opravy). 9 Dovednost v sobě zahrnuje několik operací: porozumění odbornému textu, nalezení potřebných informací v tomto textu a jejich následná aplikace v textu neodborném. 10 Tato dovednost je svým charakterem nejbliţší testovým úlohám obsaţeným v testu studijních dovedností. 11 Ověřováno je rozeznání charakteru textu ze stylistického hlediska.

10


3.4. Koncepce testu matematických dovedností Test matematických dovedností zjišťoval úroveň osvojení matematických dovedností v rozsahu učiva základní školy. Hlavním kritériem pro sestavování testu z matematiky byl, vedle respektování obsahu základního vzdělávání, příklon k úlohám, které ověřují dovednost samostatného logického úsudku uchazečů o středoškolské vzdělávání, dovednost pouţívat získané vědomosti z matematiky v jednoduchých reálných situacích, ale i vyspělost absolventů základního kurzu z matematiky v soustředěném vnímání a respektování poţadavků matematického textu. Ţáci, kteří se hlásí ke studiu na střední školy, by měli mít dostatečné znalosti základů matematiky a současně by měli být schopni abstraktního úsudku a zobecňování, které středoškolská matematika předpokládá. Test byl sestaven z široce otevřených úloh a z uzavřených úloh s výběrem odpovědi. Test byl vzhledem ke svému poslání koncipován tak, ţe současně zahrnoval znaky ověřujícího i rozlišujícího testu. Tyto okolnosti se promítly do úvah při sestavování specifikační tabulky. Při jejím sestavování se proto vycházelo: → z platných osnov MŠMT pro vzdělávání ţáků ZŠ (č.j.16847/96-2, aktuální znění od 1. 9. 2003), → z výsledků výzkumů OECD zjišťujících připravenost patnáctiletých ţáků pro dospělý ţivot (ÚIV-1999, Měření vědomostí a dovedností), → ze srovnatelných výzkumů v jiných zemích (např. Polsko, Lotyšsko, Slovensko), → z odborné pedagogicko-didaktické literatury, → ze současných učebnic, sbírek úloh, pracovních sešitů a metodických pomůcek pro 2. stupeň ZŠ, → ze zkušeností vlastních i z názorů zkušených pedagogů působících na ZŠ. Při výběru úloh se tak podařilo respektovat všechny aspekty matematického vzdělávání ZŠ a testem ověřovat nejen reprodukční sloţku učiva, ale i schopnost ţáků získané poznatky uplatňovat při řešení běţných problémových situací. Specifikační tabulka pro test matematických dovedností Specifické cíle

Úroveň osvojení A

B

Provádět početní výkony s přirozenými 2, 4.2, 11, desetinnými čísly a zlomky, a to pamětně i písemně; při řešení sloţitějších úloh uţívat racionálně kapesní kalkulátor.

C

D

5.1, 5.2, 7, 10 13,14

Řešit úlohy z praxe s uţitím početních výkonů, včetně uţití procentového počtu a jednoduchého úrokování.

9.2, 11,

5.1, 5.2, 10 13, 14

Provádět odhady výsledků řešení a posuzovat jejich reálnost, provádět potřebné zaokrouhlení.

13

5.1, 9.3

Číst a uţívat jednoduché statistické tabulky a diagramy.

9.1,

9.2, 9.3

Uţívat proměnnou, chápat její význam, řešit 6.1, rovnice a nerovnice a uţívat je při řešení úloh.

3, 6.2,

7, 15

5.2,

11


Zapisovat a graficky znázornit závislosti kvantitativních jevů v přírodě a ve společnosti a pracovat s některými konkrétními funkcemi při řešení úloh z praxe. Řešit metrické geometrické úlohy, vypočítat 4.1, obvody a obsahy rovinných obrazců, povrchy a 8.1, objemy těles, uţívat základní vztahy mezi rovinnými obrazci

13

5.1, 9.2

4.2, 12

8.3

Orientovat se v rovině a v prostoru, uţívat soustavu souřadnic, chápat vztah mezi čísly a body jako základ počítačových znázornění a projektů. Dokazovat jednoduchá tvrzení a vyvozovat *) logické závěry z daných předpokladů.

5.2,

8.2

1

3, 15

Vysvětlující poznámky: 1) Číselné údaje v tabulce (např. 4.1, 8.3, 12) atd. představují čísla úloh příp. podúloh výsledného testu. 2) Specifické cíle byly zpracovány podle platných osnov pro ZŠ. ( *)Tento cíl byl ověřován v testu studijních dovedností. 3) Úroveň osvojení byla stanovena podle Niemierkovy taxonomie výukových cílů, kde jednotlivé stupně představují: A–zapamatování poznatků, B–porozumění poznatkům, C– pouţívání vědomostí v typových situacích, D–pouţívání vědomostí v problémových situacích. Test byl sestaven z úloh, které byly ověřeny prostřednictvím pilotáţí (podrobněji viz kapitola 2). Pro pilotáţe na praţských i mimopraţských ZŠ bylo připraveno 7 různých sad úloh obsahujících od 3 do 7 úloh. Včetně podúloh bylo ověřováno celkem 54 úloh. Typově se jednalo o úlohy s širokou odpovědí, stručnou odpovědí i uzavřené úlohy s volbou odpovědi. Na základě statistických analýz těchto souborů byly vybrány úlohy do pouţitého testu. Výsledný test obsahoval 15 úloh, z nichţ některé jsou tvořeny několika podúlohami. Prvních 9 úloh je otevřených, tzn. ţe jsou tvořeny otázkami se stručnou odpovědí (7 úloh), případně s širokou odpovědí (2 úlohy). Úlohy 10–15 jsou uzavřené úlohy s volbou odpovědi. Celkově mohli ţáci získat 57 bodů, z toho v prvních devíti otevřených úlohách 39 bodů, v závěrečných šesti uzavřených úlohách 18 bodů. Úlohy s volbou odpovědi byly shodně dotovány 3 body, u většiny otevřených úloh mohli ţáci dosáhnout i částečného mnoţství bodů z daného maxima. Otevřené úlohy mají v průměru vyšší bodové ohodnocení, neboť většinou ověřují vyšší úroveň osvojení a výrazněji eliminují moţnost náhodné správné odpovědi. Otevřené úlohy byly vyhodnocovány s pomocí externích spolupracovníků. Test byl připraven ve dvou variantách. Ty byly tvořeny srovnatelnými, nikoliv však shodnými úlohami. Analýza variant testu ukázala, ţe úlohy byly srovnatelné. Obě varianty se lišily nejčastěji numerickými parametry úloh, drobnými odchylkami v zadání či záměnou dvou ekvivalentních charakteristik daného pojmu.

12


3.5. Koncepce testu studijních dovedností Test studijních dovedností byl zaměřen na zjišťování úrovně dovedností nezbytných k úspěšnému studiu. Z hlediska konkrétních dovedností je studijní úspěšnost podmíněna především prací s informacemi a řešením problémů. Dále je úspěšnost závislá na inteligenčních schopnostech, paměti, volních charakteristikách atd. Tyto však test studijních dovedností přímo měřit nemůţe. Test studijních dovedností není odvozen z ţádného existujícího vyučovacího předmětu. Jeho obsah je nadpředmětový. Na rozdíl od testu matematických dovedností a dovedností v českém jazyce tento test neodpovídal svým obsahem ţádnému z existujících pedagogických dokumentů. Na jeho základě proto nelze dělat závěry o kvalitě školního vyučování vzhledem k naplňování učebních osnov a standardů vzdělávání. Prostřednictvím testu studijních dovedností byly ověřovány především následující skupiny cílů: → nalezení detailních informací v různých zdrojích → globální porozumění informacím obsaţeným v různých zdrojích → vysouzení informací → jazykový cit a základní matematické operace Aby závěr v testu vypovídal skutečně o ţákovských dovednostech, byly úlohy konstruovány tak, ţe po ţácích nebyly pro úspěšné řešení vyţadovány ţádné specifické znalosti. Všechny zjišťované dovednosti předpokládají pouze práci s poskytnutými informacemi, všechny potřebné informace jsou obsaţeny v úloze. Nalezení specifických údajů, porozumění jim a následná aplikace do nového kontextu vypovídají o úrovni ţákových dovedností pracovat s informacemi. Třetí skupina dovedností je orientována na sloţitější myšlenkové operace. Úlohy ověřují, zda jsou ţáci/ţákyně schopni kombinovat více informací a vyvodit z nich adekvátní závěr. Vymezené cíle předpokládají zvládnutí logických operací, základních matematických operací a přiměřenou úroveň jazykového citu. Test studijních dovedností byl sestaven z úloh s výběrem odpovědi a ze svazků dichotomických úloh. Úlohy jsou vţdy vztaţeny k výchozím informacím. Výchozími informacemi pouţitými v testu jsou publicistické texty, odborné texty, tabulky, grafy a schémata. Většina pouţitých výchozích informací je autentická, obvykle se jedná o informace převzaté ze sdělovacích prostředků. Dovednosti tedy nejsou ověřovány na jevech, které by byly izolované a uměle vykonstruované pouze pro účely testování. Původně byly mezi typy výchozích informací zařazeny také umělecké texty. V pilotáţích se však ukázalo, ţe tento typ textů výrazně koresponduje s osobní zkušeností ţáků, coţ vedlo ke značnému znevýhodnění některých specifických skupin ţáků. Z tohoto důvodu byly umělecké texty nahrazeny texty publicistickými, při jejichţ řešení se rovněţ zúročuje osobní zkušenost s denním tiskem, avšak její vliv na úspěšné řešení není tak silný jako v případě textů uměleckých. Test studijních dovedností byl tvořen 26 testovými úlohami, které byly rozděleny do 8 částí. Kaţdá část byla tvořena výchozími informacemi a sadou 3 – 4 testových úloh, které se k těmto výchozím informacím vztahovaly. Osm z celkového počtu 26 úloh byly svazky dichotomických úloh. Vysoký počet testových úloh (včetně podúloh) předpokládal, ţe časový limit 40 minut bude přiměřený pouze pro nejvíce schopné ţáky. Pro ţáky méně schopné byl test záměrně časově náročnější. Je-li cílem testu predikovat moţnou úspěšnost ţáků v budoucím studiu z hlediska jejich dovedností, je na místě simulovat situaci časového stresu, která je běţná pro reálné studium.

13


V testu studijních dovedností bylo moţné získat maximálně 34 bodů. Jednotlivé úlohy byly bodovány jednotným způsobem podle jejich typu. Úlohy s výběrem odpovědi (tzv. multiplechoice) byly bodovány 1 bodem, svazky dichotomických úloh byly bodovány 2 body. Důvodem byla zejména vyšší časová náročnost svazků úloh. Svazky dichotomických úloh měly moţnost částečného hodnocení – za všechny čtyři správně zodpovězené podúlohy ţáci získali 2 body, za tři správně zodpovězené podúlohy získali 1 bod, za dvě či jednu správnou odpověď nezískali ţádný bod. Informaci o moţném počtu bodů měli ţáci uvedenou v testovém sešitě, aby na jejím základě mohli volit odpovídající strategii řešení testu. Test byl připraven ve dvou variantách. Ty byly sestaveny z identických úloh, které však byly uspořádány v odlišném pořadí. Z obsahového hlediska byly obě varianty zcela srovnatelné. Test studijních dovedností sledoval výše uvedené dovednosti. Konkrétně byl sestaven na základě specifikační tabulky, v níţ řádky tvořily typy výchozích informací a sloupce poţadované dovednosti. Příslušné buňky obsahují počet úloh daného zaměření.

14


Specifikační tabulka pro test studijních dovedností počet vyhledání globální vysouzení, textů informace porozumění interpretace text 3 3 2 4 publicistický text odborný 1 1 1 1 text umělecký tabulka 2 2 2 2 graf 1 2 1 schéma 1 1 1 1

jazykový cit 2

matematické operace

x x x

Pozn. Matematické operace nebyly ověřovány jako samostatné cílové požadavky, ale jako součást jiných. Označení „x“ je použito u těch výchozích informací, které předpokládají použití matematických operací.

3.6. Žákovský dotazník Součástí testování byl ţákovský dotazník. Jeho prostřednictvím se získávaly jednak informace o motivaci ţáků ke studiu na střední škole určitého zaměření, jednak informace o faktorech ovlivňujících aktuální úroveň znalostí a dovedností ţáků v jednotlivých předmětech. Studijní motivace je důleţitým předpokladem pro úspěšné studium na střední škole. Ţáci, jejichţ studijní motivace je slabá či vyplývá výhradně z externích zdrojů (například z tlaku rodiny, nikoliv osobního zájmu), mohou být ke studiu na školách s určitým oborovým zaměřením (například úzce profilované umělecké školy) nevhodní. Motivační dotazník umoţní rozlišit ţáky podle míry a druhu studijní motivace. Poloţky, které byly zaměřeny na zjišťování studijní motivace, zahrnovaly zejména následující témata: → míra vlivu různých faktorů na volbu konkrétní střední školy (zájem o obor, atmosféra školy, blízkost školy od bydliště, kamarádi atd.), → nejvyšší vzdělání, které si ţák a jeho rodiče přejí dosáhnout. Osobní otázky v dotazníku slouţí ke sběru údajů o konkrétních ţácích a mohou být vztaţeny k výsledkům ţáků v přijímacích testech. Jejich výběr byl motivován snahou o maximálně komplexní interpretaci testových výsledků a případně formulování funkčních doporučení ke zkvalitnění pedagogické praxe na základních školách. Údaje zahrnující základní informace o následujících tématech: → rodinné zázemí (např. vzdělání rodičů), → studium na základní škole (např. obavy ze školy, přiměřenost výsledků), → školní výsledky (známky na posledním vysvědčení a nejhorší známky na vysvědčení z jednotlivých předmětů), → zájmy a způsoby trávení volného času, → přesnost sebehodnocení (odhad výsledků).

15


4. ÚČAST ŠKOL A ŢÁKŮ Projektu Hodnocení výsledků vzdělávání ţáků 9. tříd v Karlovarském kraji se zúčastnily všechny základní školy, které měly ve školním roce 2003/2004 otevřený devátý ročník. Celkem se jednalo o 74 základní škol. Účast škol v projektu byla dobrovolná. Zúčastněné základní školy zahrnují 139 tříd a celkem je navštěvuje 3 098 ţáků/yň. V den testování bylo ve školách přítomno 2 783 ţáků/yň, zbývajících 315 dětí bylo omluveno. Někteří z testovaných ţáků neřešili všechny tři testy a ţákovský dotazník. Přesný počet ţáků zúčastněných testování v jednotlivých předmětech a dotazníku je uveden v následující tabulce: Tabulka: Počet ţáků řešících jednotlivé testy Název Test studijních dovedností Test matematických dovedností Test dovedností z českého jazyka Ţákovský dotazník

Počet zúčastněných ţáků/yň 2 781 2 782 2 780 2 776

Prostřednictvím identifikace a ţákovských dotazníků byly ke kaţdému zúčastněnému ţákovi přiřazeny základní údaje, podle nichţ je dále soubor tříděn pro účely analýz. Hlavními znaky, které popisují soubor testovaných ţáků, jsou: pohlaví, známka a typ střední školy, na kterou si ţáci podali přihlášku. Zastoupení ţáků z hlediska uvedených znaků je obsaţeno v následujících tabulkách. Tabulka: Počet dívek a chlapců Pohlaví Dívky Chlapci Neuvedli

Počet 1 397 1 322 57

Tabulka: Počet ţáků s příslušnými známkami na pololetním vysvědčení Známka Známka 1 Známka 2 Známka 3 Známka 4 Známka 5 Neuvedli

ČESKÝ JAZYK Počet ţáků/yň 258 870 1 036 594 11 7

MATEMATIKA Počet ţáků/yň 71 739 1 064 731 54 9

16


Tabulka: Počet ţáků hlásících se jednotlivé typy středních škol Typ školy Gymnázia Střední odborné školy Střední odborná učiliště, učiliště Smíšené typy Neuvedli

Počet ţáků/yň 306 1 243 462 702 70

Soubor testovaných ţáků/yň byl z hlediska pohlaví i typu střední školy relativně rovnoměrně zastoupený. Všechny podsoubory ţáků byly dostatečně početné. Analytická zjištění tedy mohou být zobecněna na ţákovskou populaci Karlovarského kraje. V případě znaku „známka“ byl soubor testovaných ţáků rozdělen do skupin s velmi rozdílným počtem ţáků/yň. Některé z nich měly natolik nízké zastoupení, ţe údaje za dílčí podskupiny nelze zobecňovat. Zjištěný podíl známek mezi zúčastněnými ţáky/yněmi byl však očekávaný a je ve shodě s obvyklým poměrem v celé ţákovské populaci. Vzhledem k tomu lze některé výsledky týkající se celého rozloţení známek povaţovat za signifikantní.

17


5. ZHODNOCENÍ TESTŮ NA ZÁKLADĚ ŢÁKOVSKÝCH VÝSLEDKŮ Aby bylo moţné na základě testových výsledků činit závěry o úrovni znalostí a dovedností ţákovské populace Karlovarského kraje a o charakteristikách školského systému, je nutné mít jistotu, ţe testy jsou kvalitními nástroji. Kvalita testů je zaručena dodrţením všech testologických principů při jejich vývoji (viz kapitola 3). Po pouţití testu však musí být kvalita potvrzena prostřednictvím ţákovských výsledků. Výsledky musí odpovídat očekávaným charakteristikám a musí vykazovat přiměřené psychometrické parametry. Základní psychometrické charakteristiky, na jejichţ základě lze učinit závěr o kvalitě testu coby evaluačního nástroje, jsou uvedeny v následující tabulce. Část charakteristik slouţí k popisu výkonů jednotlivých ţáků či skupin ţáků, část charakteristik popisuje samotný test a jednotlivé testové úlohy. Tabulka: Vymezení základních psychometrických charakteristik

Celkové skóre

představuje počet bodů, které ţák obdrţel na základě řešení jednotlivých úloh v testu. Za kaţdou úlohu, kterou ţák správně zodpoví, získává příslušný počet bodů. V případě některých úloh je moţné částečné hodnocení, které rozlišuje odpověď zcela správnou, částečně správnou a chybnou.

Celková úspěšnost ţáka

vyjadřuje v procentech poměr celkového skóre konkrétního ţáka a nejvyššího moţné skóre, které lze v testu získat. Příklad: je-li nejvyšší moţné skóre 60 a dosáhl-li ţák 30 bodů, pak jeho celková úspěšnost je 50 %.

Úspěšnost ţáka v úloze

vyjadřuje v procentech počet bodů, které ţák získal za řešení dané úlohy, a nejvyššího počtu bodů, které bylo moţné za správné řešení úlohy získat. Příklad: je-li za zcela správnou odpověď moţné získat 2 body a uvedl-li ţák odpověď za 2 body, pak jeho úspěšnost v úloze je 100 %.

Průměrné skóre

představuje průměrný počet bodů dosaţený všemi testovanými ţáky v testu. Vypočítá se jako součet skóre jednotlivých ţáků dělený jejich počtem, tedy jako aritmetický průměr.

Průměrná úspěšnost ţáků

vyjadřuje v procentech poměr průměrného skóre a nejvyššího moţného skóre v testu. Příklad: je-li průměrné skóre 40 a nejvyšší moţné skóre 80, pak je průměrná úspěšnost rovna 50 %.

Úspěšnost ţáků v úloze

vyjadřuje v procentech poměr mezi počtem ţáků, kteří úlohu vyřešili správně, a všech testovaných ţáků. Příklad: je-li úspěšnost ţáků v úloze 80 %, znamená to, ţe úlohu vyřešilo správně 80 % ţáků z celkového počtu testovaných ţáků.

Obtíţnost testových úloh

je odvozena od počtu ţáků, kteří dali správnou odpověď na danou úlohu, je vyjádřena desetinným číslem. Pokud je

18


například obtíţnost úlohy 0,65, znamená to, ţe ze všech získaných odpovědí na danou úlohu bylo 65 % správných. Pojem obtíţnost úlohy se pouţívá jako jedna z charakteristik testové úlohy. Vyuţívá se k celkovému posouzení vhodnosti zařazení úlohy do testu.

Diskriminace úlohy

vypovídá o schopnosti úlohy rozlišovat mezi ţáky s většími znalostmi a dovednostmi a ţáky s menšími znalostmi a dovednostmi. K rozlišení ţáků na „lepší“ a „slabší“ se pouţívá jejich celkový výsledek v testu. Vysokou citlivost má taková úloha, kterou řeší „lepší“ ţáci podstatně úspěšněji neţ ţáci „slabší“. V případě, ţe jsou v řešení úlohy úspěšnější „slabší“ ţáci, obsahuje úloha pravděpodobně nějakou konstrukční chybu. Nejčastěji se diskriminace vypočítá jako Pearsonův lineární korelační koeficient mezi skóre dosaţeném v dané testové úloze a celkovým skóre (při vyloučení dané úlohy). Nabývá hodnot od -1 do 1. Záporné hodnoty znamenají, ţe ţáci, kteří správně řešili danou testovou úlohu, dosáhli spíše nízkého celkového skóre ve zbytku testu, a naopak. Kladné hodnoty svědčí o tom, ţe ţáci úspěšní v řešení dané úlohy byli rovněţ úspěšní při řešení ostatních úloh, tj. celého testu. Aby bylo moţné označit úlohu za přiměřeně citlivou, měla by diskriminace RIR dosahovat nejméně hodnoty 0,25 - 0,3.

Reliabilita testu

představuje míru přesnosti a spolehlivosti testu. Pouze test, který měří přesně a spolehlivě, poskytuje směrodatné informace o úrovni znalostí a dovedností ţáků. Přesné měření znamená, ţe výsledek v testu vypovídá o skutečných znalostech a dovednostech ţáků. Spolehlivé měření znamená, ţe test poskytuje stabilní, opakovatelné výsledky. K výpočtu reliability se nejčastěji pouţívají vzorce KR-20, L2 nebo Cronbachovo alfa.

5.1. Zhodnocení testu dovedností v českém jazyce Testování dovedností v českém jazyce se zúčastnilo celkem 2780 ţáků, z toho 1428 ţáků řešilo variantu A a 1352 ţáků variantu B. Ţáci dosáhli v řešení testu průměrného skóre 16,54 bodů (varianta A), resp. 15,99 bodů (varianta B), coţ znamená úspěšnost ţáků v řešení testu 57,02 % ve variantě A a 55,14 % ve variantě B. Rozdíly v průměrném skóre ani v průměrné úspěšnosti nejsou statisticky významné. Varianty testu byly tedy rovnocenné, coţ prokazují i následující porovnání úspěšnosti ţáků v řešení jednotlivých testových úloh a porovnání diskriminace úloh.

19


Úspěšnost ţáků v úloze Úloha varianta A varianta B 86 % 80 % 1A/24B 76 % 73 % 2A/23B 64 % 59 % 3A/21B 43 % 39 % 4A/22B 67 % 59 % 5A/20B 56 % 53 % 6A/19B 60 % 58 % 7A/18B 49 % 48 % 8A/17B 55 % 53 % 9A/16B 54 % 48 % 10A/15B 36 % 39 % 11A/14B 70 % 70 % 12A/13B 62 % 60 % 13A/12B 44 % 44 % 14A/11B 46 % 45 % 15A/10B 43 % 41 % 16A/9B 36 % 35 % 17A/8B 41 % 40 % 18A/7B 57 % 57 % 19A/6B 53 % 51 % 20A/5B 36 % 36 % 21A/3B 77 % 80 % 22A/4B 74 % 65 % 23A/2B 75 % 80 % 24A/1B

20


Rovnocennost obou dokumentovat i poloţkové analýzy příklad uvádíme údaje A, resp. 6 z varianty B:

Diskriminace úlohy Úloha Varianta A Varianta B 0,392 0,381 1A/24B 0,417 0,456 2A/23B 0,272 0,312 3A/21B 0,318 0,324 4A/22B 0,338 0,362 5A/20B 0,409 0,412 6A/19B 0,364 0,328 7A/18B 0,440 0,377 8A/17B 0,474 0,496 9A/16B 0,382 0,404 10A/15B 0,420 0,354 11A/14B 0,395 0,452 12A/13B 0,556 0,525 13A/12B 0,417 0,325 14A/11B 0,379 0,323 15A/10B 0,182 0,201 16A/9B 0,308 0,313 17A/8B 0,359 0,350 18A/7B 0,358 0,360 19A/6B 0,328 0,312 20A/5B 0,291 0,228 21A/3B 0,390 0,340 22A/4B 0,285 0,239 23A/2B 0,396 0,348 24A/1B

variant

testu lze prostřednictvím jednotlivých úloh. Jako pro úlohu 19 z varianty

Varianta A

Varianta B

Diskriminace úlohy

0,358

0,360

Úspěšnost ţáků při řešení úlohy

57 %

57 %

Ţáci, kteří úlohu vynechali

1,0 %

0,9 %

21


Rozloţení četnosti voleb alternativ varianta A

varianta B

57,0%

57,2%

20,7%

21,4%

15,1% 6,2%

A

B

C

15,7% 4,7%

D

A

alternativy

B

C

D

alternativy

Výsledky ţáků při řešení úloh potvrdily některé očekávané skutečnosti. Velké části ţáků nečiní větší problémy řešení úloh v oblasti určování slovnědruhové a větněčlenské platnosti slov, tedy v oblasti, o níţ je všeobecně známo, ţe je jí ve školách věnována významná pozornost. Poměrně úspěšní byli ţáci i při řešení úloh ověřujících dovednosti související s významem jednotlivých výrazů i delších textů. Naproti tomu jen asi polovina ţáků rozeznala umělecký text od neuměleckého, podobný je stav u dovednosti identifikovat nesprávný tvar slova v textu. Vůbec nejslabších výsledků dosahovali ţáci při řešení úloh, jimiţ byly ověřovány dovednosti související se znalostí základních pravidel českého pravopisu. 5.2. Zhodnocení testu matematických dovedností Počet účastníků:

2782

Počet úloh:

23

Čistá úspěšnost:

30.9 %

Max. moţné skóre:

57.0

Max. dosaţené skóre:

54.0

Průměrné skóre:

17.6

Průměrná diskriminace: 47.3 %

Připojený histogram skóre uvádí počty účastníků v jednotlivých pásmech (na svislé ose) v závislosti na počtu získaných bodů (vodorovná osa). Nejhorší ţáci jsou vlevo, nejlepší vpravo. Rozloţení četností odpovídá výše uvedeným statistickým charakteristikám. Poslední statistickou konstantou je reliabilita testu, jejíţ dosaţená hodnota je korektním kompromisem. Reliabilita:

Cronbachovo alfa:

0.769 22


Porovnání obou variant testu:

Tabulka 1

významné rozdíly, i kdyţ nelze předpokládat, ţe byli v obou skupinách ţáci s identickými Varianta A Diskriminace Úloha RIR

Varianta B Čistá úspěšnost

Úloha

Diskriminace RIR

Čistá úspěšnost

1

0,349

0,56

1

0,341

0,58

2

0,246

0,67

2

0,227

0,65

3

0,267

0,14

3

0,267

0,11

4

0,49

0,37

4

0,475

0,38

5

0,389

0,19

5

0,349

0,22

6

0,445

0,28

6

0,434

0,28

7

0,402

0,32

7

0,392

0,34

8

0,456

0,14

8

0,416

0,19

9

0,482

0,32

9

0,41

0,34

10

0,235

0,29

10

0,189

0,22

11

0,383

0,30

11

0,409

0,26

12

0,194

0,22

12

0,142

0,19

13

0,337

0,23

13

0,347

0,21

14

0,222

0,36

14

0,255

0,41

15 0,192 0,27 15 0,214 0,26 schopnostmi. Pro hrubé srovnání jsou zde úlohy hodnoceny jako celek (dílčí podúlohy a jejich charakteristiky jsou uvedeny následně v tabulkách 2-5). Vyjádříme-li čistou úspěšnost ţáků v jednotlivých úlohách v procentech, pohybuje se v rozmezí od 11 % do 67 %. Niţší hodnoty diskriminace RIR jsou pozorovány buď u úloh s vyšší obtíţností, které spolehlivě odliší skupinu nejlepších ţáků od zbývající početnější skupiny, v níţ jsou rozdíly stírány (úlohy zůstávají často neřešeny), nebo u úloh jednoduchých, kdy se nerozliší rozdíly u početnější skupiny ţáků schopných úlohu řešit bezchybně. Ideální je kombinace obou typů úloh, která je rovněţ v testu do určité míry zastoupena. Následující tabulka obsahuje pro jednotlivé úlohy jejich obtíţnost podle skupin řešitelů a dále úspěšnosti řešitelů v jednotlivých úlohách vzhledem k celkovému skóre v souboru. Připojené popisy obsahu kaţdé úlohy umoţňují nahlédnout, jaké problémy měli i nejúspěšnější ţáci s úlohami reflektujícími základní pojmy matematiky základní školy. Další tabulka je tabulkou korelací mezi úlohami, z které je patrné, ţe kaţdá úloha souboru byla nezastupitelná (mezi úlohami jsou nízké korelace), kaţdá úloha tedy prověřovala konkrétní znalosti a dovednosti stanovené specifikační tabulkou. K tabulkám je připojen návod k interpretaci údajů v nich obsaţených.

23


24


25


Hodnocení úloh

1.1

1.2

2

3

4.1

4.2

5.1

5.2

6.1

6.2

7

8.1

8.2

8.3

9.1

9.2

9.3

10

11

12

13

14

15

0,40 0,09 0,69 0,00

0,24 0,55 0,35 0,39

0,66 0,34 0,66 0,02

0,13 0,87 0,13 0,22

0,51 0,49 0,51 0,19

0,24 0,76 0,24 0,44

0,18 0,73 0,22 0,13

0,13 0,77 0,18 0,33

0,23 0,77 0,23 0,14

0,33 0,67 0,33 0,21

0,24 0,58 0,33 0,28

0,29 0,71 0,29 0,43

0,03 0,70 0,19 0,52

0,06 0,84 0,10 0,64

0,56 0,44 0,56 0,11

0,22 0,70 0,26 0,20

0,20 0,64 0,28 0,22

0,26 0,74 0,26 0,28

0,28 0,72 0,28 0,27

0,20 0,80 0,20 0,28

0,22 0,78 0,22 0,27

0,38 0,62 0,38 0,23

0,26 0,74 0,26 0,34

Vyjádření neznámé

Procenta- část

Pohyb-dráha

Jednotky objemu Střed kruţ. vepsané

Procenta

S - výpočet hodnoty

S - průměr

S - přírůstek

G místa bodů úhel G místa b. kruţnice G místa b. -osa ús.

Rovnice

Algebr. výraz

Vzorec

Nepř. úměr. 2

Obsah pravoúhl.∆ Nepřímá úměrnost

Úhel v rovnor.∆

Lomený výraz nulový

Zápis čísla

0,69 0,56 0,68 0,16 0,63 0,42 0,26 0,27 0,27 0,41 0,45 0,50 0,39 0,28 0,63 0,32 0,36 0,36 0,39 0,28 0,30 0,50 0,40 4 2 2 2 2 2 3 2 2 2 4 1 3 3 1 2 2 3 3 3 3 3 3 4 2 2 2 2 2 3 2 2 2 4 1 3 3 1 2 2 3 3 3 3 3 3

Síť

Správně (hrubá úspěšnost) Špatně nebo neřešil Čistá úspěšnost Neřešil (vynechanost) Úspěšnost řešených úloh Moţné maximum Dosaţené maximum

Síť - plochy

Úloha

Tabulka 2

Hodnocení úloh: Čísla 1.1, 1.2 aţ 15 představují čísla úloh (15) nebo podúloh (1.1). Správně (hrubá úspěšnost): Číslo udává, kolik % výsledků bylo zcela bezchybných. (0,40 představuje 40 % bezchybných výsledků). Špatně nebo neřešil: Číslo udává, kolik % výsledků bylo zcela chybných, včetně chybějících odpovědí. Čistá úspěšnost: Průměrná hodnota dosaţených bodů v úloze ku moţnému maximu. Neřešil (vynechanost): Číslo udává, kolik % odpovědí zcela chybělo. Úspěšnost řešených úloh: Průměrné bodové ocenění v úloze u ţáků, kteří uvedli řešení (nezapočítávají se neřešené úlohy) ku moţnému maximu v dané úloze.

Obtíţnost úloh

Tabulka 3

26


Rozdělení dle výsledků úlohy nejlepších 10 % výsledků od 10 % do 20 % od 20 % do 30 % od 30 % do 40 % od 40 % do 50 % od 50 % do 60 % od 60 % do 70 % od 70 % do 80 % od 80 % do 90 % nejhorších 10 % výsledků Správně (hrubá úsp.) Špatně nebo neřešil

1.1 1 1 1 1 0,8 0,8 0,6 0,5 0,3 0 0,40 0,09

1.2 2 3 4.1 1 1 1 1 1 1 0,3 1 0,7 1 0 1 0,5 1 0 1 0,3 1 0 1 0 1 0 0,1 0 0,6 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0,24 0,66 0,13 0,51 0,55 0,34 0,87 0,49

4.2 1 1 0,4 0 0 0 0 0 0 0 0,24 0,76

5.1 1 0,9 0,3 0 0 0 0 0 0 0 0,18 0,73

5.2 1 0,7 0,1 0 0 0 0 0 0 0 0,13 0,77

6.1 1 1 0,3 0 0 0 0 0 0 0 0,23 0,77

6.2 1 1 1 0,3 0 0 0 0 0 0 0,33 0,67

7 1 1 0,8 0,5 0,1 0 0 0 0 0 0,24 0,58

8.1 1 1 0,9 0 0 0 0 0 0 0 0,29 0,71

8.2 0,8 0,7 0,4 0 0 0 0 0 0 0 0,03 0,70

8.3 0,8 0,2 0 0 0 0 0 0 0 0 0,06 0,84

9.1 1 1 1 1 1 0,6 0 0 0 0 0,56 0,44

9.2 1 1 0,6 0 0 0 0 0 0 0 0,22 0,70

9.3 10 11 12 13 14 15 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0,5 0,6 0,8 0,1 0,2 1 0,7 0,3 0 0 0 0 0,9 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0,20 0,26 0,28 0,20 0,22 0,38 0,26 0,64 0,74 0,72 0,80 0,78 0,62 0,74

Obtíţnost úloh V tabulce jsou ţáci seřazeni podle dosaţených výsledků sestupně, a to pro kaţdou úlohu zvlášť. Dosaţené výsledky jsou rozděleny do deseti stejně početných skupin. Pro kaţdou úlohu je v jednotlivých skupinách uvedena její obtíţnost (1 znamená, ţe všichni řešili úlohu bezchybně-ţlutá pole, naopak 0 znamená, ţe úlohu nevyřešil nikdo-hnědá pole). Úlohy 1.1 aţ 9.3 jsou otevřené a ţáci mohli získat i dílčí body. Částečně správná řešení jsou vidět u skupin ţáků označených bílými poli. Úlohy 10 aţ 15 byly uzavřené, číslo v bílém poli udává, kolik procent ţáků ještě vyřešilo úlohu správně (0,6 znamená, ţe ve skupině odpovědělo správně ještě prvních 60 % ţáků, zbývajících 40 % ţáků ve skupině jiţ odpovědělo chybně).

27

Test 0,7 0,5 0,4 0,4 0,3 0,3 0,2 0,2 0,1 0,1 0 0


Hodnocení ţáků

Tabulka 4

1.2

2

3

4.1

4.2

5.1

5.2

6.1

6.2

7

8.1

8.2

8.3

9.1

9.2

9.3

10

11

12

13

14

15

0,89 0,85 0,84 0,78 0,74 0,71 0,63 0,57 0,50 0,34

0,66 0,56 0,50 0,44 0,33 0,35 0,25 0,20 0,13 0,05

0,87 0,81 0,82 0,80 0,71 0,61 0,65 0,57 0,47 0,28

0,39 0,20 0,20 0,11 0,11 0,10 0,06 0,04 0,04 0,02

0,92 0,83 0,69 0,65 0,55 0,46 0,34 0,35 0,23 0,10

0,69 0,48 0,31 0,29 0,18 0,12 0,10 0,09 0,08 0,01

0,67 0,41 0,33 0,28 0,17 0,17 0,08 0,08 0,06 0,02

0,45 0,27 0,23 0,20 0,16 0,17 0,09 0,11 0,07 0,04

0,68 0,43 0,29 0,22 0,20 0,14 0,17 0,07 0,10 0,04

0,76 0,58 0,42 0,37 0,34 0,25 0,19 0,17 0,10 0,09

0,82 0,57 0,45 0,38 0,32 0,25 0,23 0,13 0,09 0,04

0,73 0,56 0,41 0,28 0,25 0,22 0,12 0,11 0,12 0,06

0,52 0,37 0,28 0,19 0,16 0,13 0,09 0,05 0,05 0,02

0,38 0,21 0,16 0,09 0,07 0,06 0,03 0,01 0,01 0,00

0,90 0,82 0,73 0,70 0,59 0,55 0,46 0,37 0,32 0,19

0,71 0,48 0,36 0,33 0,22 0,18 0,12 0,11 0,04 0,02

0,51 0,44 0,39 0,36 0,28 0,26 0,25 0,18 0,11 0,05

0,58 0,38 0,34 0,28 0,28 0,20 0,20 0,15 0,13 0,04

0,79 0,54 0,40 0,34 0,26 0,18 0,10 0,12 0,07 0,03

0,45 0,29 0,29 0,19 0,21 0,19 0,18 0,12 0,08 0,05

0,67 0,44 0,29 0,21 0,14 0,15 0,08 0,10 0,09 0,02

0,75 0,60 0,45 0,42 0,37 0,38 0,33 0,25 0,20 0,09

0,56 0,40 0,36 0,29 0,29 0,20 0,22 0,16 0,12 0,06

Síť - plochy

Zápis čísla


Úhel v rovnor.∆

Obsah pravoúhl.∆

Nepřímá úměrnost

Nepř. úměr. 2

Vzorec

Algebr. výraz

Rovnice

S - přírůstek

S - průměr


Procenta

Jednotky objemu

Střed kruţ. vepsané

Pohyb-dráha

Procenta- část


G místa bodů úhel G místa bodů kruţnice G místa bodů -osa ús.

1.1

Síť

Úspěšnost v jednotlivých úlohách u skupin vytvořených podle výsledného skóre Výsledné skóre Úloha nejlepších 10 % výsledků od 10 % do 20 % od 20 % do 30 % od 30 % do 40 % od 40 % do 50 % od 50 % do 60 % od 60 % do 70 % od 70 % do 80 % od 80 % do 90 % nejhorších 10 % výsledků

Test 0,67 0,49 0,41 0,35 0,30 0,26 0,22 0,18 0,14 0,07

Hodnocení ţáků: Všichni ţáci byli uspořádáni podle skóre celého testu – sestupně od nejvyššího dosaţeného skóre po nejniţší – a následně rozděleni do 10 stejně početných skupin. V tabulce jsou uvedeny průměrné hodnoty kaţdé skupiny v jednotlivých úlohách ku moţnému maximu (úspěšnost). Tmavší pole udávají skupiny, v nichţ je úloha (případně celý test) řešena s niţší průměrnou úspěšností, neţ je 25 %, alespoň 75 % dosaţená úspěšnost skupiny ţáků v úloze je zaţlucena.

28


Tabulka 5

0,14

Obsah pravoúhl.∆

4.2

0,16

0,14

0,14

0,17

0,31

Nepřímá úměrnost

5.1

0,16

0,17

0,13

0,15

0,20

0,19

Nepř. úměr. 2

5.2

0,10

0,09

0,06

0,08

0,11

0,14

0,44

Vzorec

6.1

0,14

0,12

0,13

0,13

0,18

0,21

0,17

0,06

Algebr. výraz

6.2

0,14

0,17

0,10

0,12

0,19

0,18

0,18

0,14

0,26

Rovnice

Vzorec

Nepř. úměr. 2

Nepř.úměrna

Obsah l.∆

Úhel ∆

8.2

8.3

9.1

9.2

9.3

10

11

12

13

14

15 Vyjádření neznámé

0,16

8.1

Procenta- část

0,18

7

Pohyb-dráha

0,21

6.2


0,07

4.1

6.1

Jednotky objemu

0,11

Úhel v rovnor.∆

5.2

Procenta

0,14

0,09

5.1


0,16

3

2

S - průměr

2


4.1

S - přírůstek

Zápis čísla

3

G místa bodů-osa ús

0,55

2

G místa bodů –kruţ.

1.2

Síť – plochy

1.2

G místa bodů - úhel

1.1

Rovnice

Úloha 1.1

Síť

Algebr. výraz

Korelace

7

0,14

0,15

0,20

0,17

0,21

0,24

0,19

0,11

0,33

0,27

G místa bodů - úhel G místa bodů – kruţ.

8.1 8.2

0,20 0,19

0,21 0,21

0,10 0,13

0,10 0,14

0,28 0,26

0,25 0,25

0,20 0,20

0,17 0,14

0,15 0,18

0,19 0,21

0,19 0,23

0,54

G místa bodů -osa ús.

8.3

0,18

0,16

0,09

0,10

0,22

0,25

0,14

0,13

0,14

0,19

0,20

0,42

0,52

S - přírůstek

9.1

0,20

0,21

0,14

0,10

0,22

0,16

0,18

0,11

0,15

0,14

0,16

0,17

0,18

0,14

S – průměr

9.2

0,22

0,21

0,15

0,11

0,23

0,22

0,26

0,14

0,16

0,17

0,20

0,20

0,21

0,19

0,43


9.3

0,14

0,16

0,06

0,09

0,13

0,10

0,13

0,09

0,12

0,11

0,09

0,09

0,11

0,07

0,26

0,22

Procenta

10

0,06

0,07

0,04

0,07

0,09

0,08

0,11

0,07

0,08

0,08

0,08

0,08

0,06

0,07

0,12

0,13

0,08

Jednotky objemu

11

0,11

0,12

0,10

0,17

0,17

0,23

0,21

0,11

0,22

0,20

0,23

0,16

0,18

0,13

0,15

0,18

0,11

0,17


12

0,07

0,05

0,00

0,08

0,07

0,10

0,06

0,07

0,04

0,06

0,07

0,13

0,11

0,08

0,04

0,07

0,03

0,04

0,12

Pohyb-dráha

13

0,10

0,09

0,08

0,12

0,17

0,17

0,19

0,12

0,15

0,11

0,15

0,13

0,16

0,12

0,15

0,20

0,12

0,15

0,25

0,12

Procenta- část

14

0,08

0,12

0,04

0,05

0,11

0,08

0,12

0,09

0,06

0,09

0,06

0,10

0,10

0,07

0,12

0,14

0,13

0,14

0,16

0,11

0,18


15

0,06

0,05

0,04

0,11

0,08

0,11

0,06

0,05

0,09

0,12

0,14

0,06

0,08

0,06

0,11

0,12

0,07

0,08

0,13

0,07

0,11

0,08

Test

0,46

0,44

0,33

0,33

0,49

0,48

0,49

0,34

0,43

0,45

0,54

0,46

0,51

0,43

0,42

0,50

0,33

0,34

0,51

0,29

0,45

0,38

0,33

Zbytek testu (RIR)

0,34

0,37

0,24

0,27

0,40

0,41

0,39

0,27

0,36

0,36

0,40

0,43

0,43

0,37

0,38

0,43

0,26

0,21

0,39

0,17

0,34

0,24

0,2

Korelace: V tabulce jsou uvedeny korelace mezi jednotlivými úlohami, dále korelace mezi úlohami a celkovým skóre testu a konečně mezi úlohami a zbytkem testu neobsahujícím sledovanou úlohu (koeficient RIR). Hodnoty jsou v rozmezí od –1 do 1. Dvojice úloh (kromě úloh ve svazku) mají velmi nízkou závislost – kaţdá úloha měří (hodnotí) jinou dovednost. Ve vztahu ke zbytku celého testu (RIR) je vidět mírná závislost, schopnější ţáci uspějí častěji současně v dané úloze i ve zbytku testu. Zelená pole označují niţší závislost neţ 0,1. Ukazují zejména na uzavřené úlohy 10–15, v nichţ mohou i slabí ţáci s velikou pravděpodobností náhodně zaškrtnout správnou odpověď v jedné aţ ve dvou úlohách. Ukazují i na otevřené úlohy, které ţáci řešili s nízkou úspěšností.

29


Podle hodnot statistických ukazatelů lze konstatovat, ţe test Matematických dovedností dostatečně kvalitně prověřil a rozlišil ţáky 9. tříd Karlovarského kraje. Výsledky však nejsou příliš optimistické. Nejpozoruhodnější zjištění jsou shrnuta v poslední tabulce: Tabulka 6 Úspěšnost v testu

Počet ţáků

Vyřešeno alespoň 75 % testu

2,1 %

Méně neţ 75 % - alespoň 45 % testu

17,6 %

Méně neţ 45 % - alespoň 25 % testu

36,3 %

Vyřešeno méně neţ 25 % testu

56 % 44 %

Vzhledem k podobným závěrům při testování matematické gramotnosti u maturantů se zdá, ţe nezanedbatelná část našich ţáků si ze školy neodnáší po devítileté ani po dvanáctileté výuce matematiky dostatečně zvládnuté poţadované matematické dovednosti a znalosti.

5.3. Zhodnocení testu studijních dovedností Test studijních dovedností řešilo 2781 ţáků. Z toho 1426 ţáků řešilo variantu A a 1355 variantu B. Ţáci řešili test s průměrným skóre 20,9 bodu a s průměrnou úspěšností 61,6 %. Rozdíl v průměrné úspěšnosti ţáků řešících jiné varianty byl pouze 1,5 procentního bodu, coţ bylo způsobeno náhodnými vlivy. Varianty lze proto povaţovat za srovnatelné. Následující tabulka ukazuje průměrné úspěšnosti ţáků v jednotlivých testových úlohách. Shodné úlohy dosahují obdobných výsledků. Například úloha 14 ve variantě A (63,0 %) je úloha 17 ve variantě B (62,4 %). Rozdíly v úspěšnostech ţáků v krajních úlohách – například úloha 1 ve variantě A (79,3 %) je úloha 26 ve variantě B (60,7 %) – jsou dány časovou náročností testu, která vedla k tomu, ţe slabší ţáci některé úlohy, obvykle úlohy na konci testu, nestihli vyřešit. Tato skutečnost byla očekávána. číslo úlohy 1 2 3 4 5 6 7 8 9 10 11 12 13

varianta A 79,3% 72,3% 88,6% 40,7% 42,6% 39,2% 70,1% 97,5% 66,9% 49,1% 73,9% 64,4% 72,3%

varianta B 70,5% 59,6% 84,1% 72,0% 75,3% 74,4% 72,0% 64,2% 70,3% 37,4% 91,5% 62,1% 61,5%

číslo úlohy 14 15 16 17 18 19 20 21 22 23 24 25 26

varianta A 63,0% 59,3% 65,5% 71,6% 43,3% 58,1% 47,8% 66,1% 66,1% 60,3% 67,6% 57,2% 66,8%

varianta B 46,2% 73,4% 44,6% 62,4% 53,8% 60,2% 36,4% 35,1% 33,8% 59,8% 60,8% 58,5% 60,7%

30


Pro úlohy byla dále vypočtena diskriminační hodnota, která vyjadřuje schopnost úlohy rozlišovat mezi ţáky s dobrými a slabými výsledky v testu. Čím vyšší je hodnota diskriminace, tím kvalitněji úloha rozlišuje mezi ţáky. Diskriminace všech úloh zařazených do testu byla dostatečná. Za hraniční míru diskriminace lze povaţovat hodnoty u úlohy 8 ve variantě A a úlohy 11 ve variantě B. Jedná se o stejné úlohy. číslo úlohy 1 2 3 4 5 6 7 8 9 10 11 12 13

varianta A 0,425 0,439 0,247 0,258 0,413 0,255 0,414 0,200 0,405 0,462 0,545 0,417 0,502

varianta B 0,401 0,523 0,364 0,339 0,419 0,430 0,469 0,378 0,532 0,464 0,186 0,473 0,349

číslo úlohy 14 15 16 17 18 19 20 21 22 23 24 25 26

varianta A 0,531 0,547 0,449 0,447 0,526 0,354 0,399 0,503 0,547 0,560 0,547 0,643 0,458

varianta B 0,515 0,383 0,373 0,538 0,607 0,431 0,285 0,465 0,247 0,445 0,485 0,563 0,568

V testu studijních dovedností byl relativně vysoký počet ţáků, kteří neřešili jednotlivé testové úlohy. Vynechanost úloh stoupala od méně neţ 1 % ţáků aţ po více neţ 15 %. Vzhledem k velmi vysoké diskriminaci úloh a jejich přiměřené obtíţnosti nelze předpokládat, ţe byla vysoká neřešenost způsobena konstrukčními chybami. Naopak jednoznačně souvisí s časovou náročností testu. Mnoho ţáků – podle předpokladu – nedosáhlo v určeném časovém limitu na všechny poloţené testové úlohy. Jelikoţ většina ţáků postupuje při řešení testu lineárně, tj. řeší úlohy v pořadí, v kterém jsou uvedené v testovém sešitě, je počet ţáků, kteří neuvedli ţádnou odpověď, největší u úloh na konci testu. Psychometrické údaje ukazují, ţe úlohy zařazené do testu splnily svůj účel. Jejich obtíţnost byla přiměřená pro daný cíl testu a pohybovala se v dostatečném rozmezí. Citlivost úloh byla dostatečně vysoká. Zvolený způsob bodování se potvrdil jako vhodný. Závěry o úrovni znalostí a dovedností konkrétních ţáků a dále ţáků různých škol je tedy moţné na základě testových výsledků činit.

31


6. TESTOVÉ VÝSLEDKY VE VZTAHU K ŢÁKOVSKÉ POPULACI A ŠKOLSKÉMU SYSTÉMU Testování se účastnili všichni ţáci 9. ročníků základních škol v Karlovarském kraji, s výjimkou těch, kteří v daný den nebyli přítomni ve škole. Nepřítomní ţáci tvořili pouze 10 % ze všech ţáků navštěvujících v tomto školním roce 9. ročníky. Vzhledem k tomuto nízkému podílu lze výsledky vnímat jako údaje o všech ţácích 9. ročníků v daném kraji. Testy byly ţákům/yním zadávány s cílem zjistit úroveň jejich znalostí a dovedností. Vzhledem ke kvalitě pouţitých testů lze prostřednictvím testových výsledků popsat ţákovskou populaci Karlovarského kraje. Současně lze charakterizovat také jednotlivé základní školy, které se testování zúčastnily. Při vyhodnocování souborů testových úloh se sledují zejména dvě psychometrické charakteristiky – celkové skóre a úspěšnost. Oba uvedené psychometrické údaje popisují výkony jednotlivých ţáků, kteří řešili daný test. K popisu ţákovské populace slouţí průměrné hodnoty z těchto psychometrických charakteristik. Vymezení uvedených pojmů je obsaţeno v kapitole 5. Uvedené psychometrické charakteristiky jsou vyuţívány v situacích, kdy je cílem popsat úroveň úplných či dílčích znalostí a dovedností určité ţákovské populace. Pro popis kvality testových úloh jsou tyto charakteristiky doplněny či nahrazeny jinými údaji, zejména obtíţností úloh, diskriminací úloh, reliabilitou atd. Při porovnávání výsledků ţáků v různých testech je vhodnější pouţívat průměrnou úspěšnost neţ průměrné skóre. Průměrná úspěšnost ţáků v testu je relativní údaj, který dovoluje srovnávat výsledky v testech s odlišným nejvyšším moţným skóre. V analýze testových výsledků populace určitého kraje je důraz kladen zejména na porovnání úrovní znalostí a dovedností různých podsouborů ţáků. Znaky, podle kterých jsou ţáci roztříděni do podsouborů, mají přímou vazbu na interpretaci výsledků. Za předpokladu, ţe výsledky projektu budou vyuţity pro systémový pohled na školský systém Karlovarského kraje, jsou klíčovými znaky známky na vysvědčení, volba střední školy a pohlaví. Na základě těchto znaků byli ţáci/kyně rozděleni do souborů, jejichţ výsledky byly porovnávány a případné zjištěné rozdíly interpretovány. Podle rozdílů lze uvaţovat o moţných opatřeních, která by vedla k vyrovnání rozdílných výsledků různých skupin ţáků/yň. Hlavní otázky: 1) Jaká je úroveň znalostí a dovedností ţáků 9. ročníků základních škol v Karlovarském kraji v matematice a českém jazyce a jaká je úroveň jejich studijních předpokladů? 2) Liší se úroveň znalostí a dovedností ţáků v závislosti na jejich známce z daných předmětů na vysvědčení? 3) Liší se úroveň znalostí a dovedností ţáků v závislosti na typu střední školy, na kterou si podali přihlášku? 4) Liší se úroveň znalostí a dovedností ţáků v závislosti na jejich pohlaví? 5) Jsou rozdíly v úrovni znalostí a dovedností ţáků způsobeny výhradně jejich individuálními dispozicemi, nebo jsou ovlivněny systematickým působením konkrétní základní školy, kterou ţáci navštěvují?

32


6.1. Výsledky škol Analýzy ţákovských výsledků lze koncipovat tak, ţe ve středu zájmu stojí buď ţák, nebo určitá skupina ţáků, nebo celá škola. V případě, ţe analýzy směřují ke školám, je obvykle cílem učinit porovnání zúčastněných škol. Porovnání představuje uspořádání škol podle průměrných výsledků jejich ţáků do určitého pořadí. Pořadí škol je nutné interpretovat velmi opatrně! Skutečnost, ţe ţáci jedné školy byli v řešení testů úspěšnější neţ ţáci druhé školy, můţe mít nejméně dvě rozdílné příčiny. Jednou příčinou můţe být odlišná kvalita vzdělávání na daných školách, tj. první škola poskytuje ţákům systematičtější, úplnější přípravu, v jejímţ důsledku ţáci dosahují lepších výkonů. Druhou příčinou však můţe být odlišnost ţákovské populace, která na daných školách studuje. Jedna škola můţe být – ať jiţ v důsledku její lokality či prestiţe – vnímána jako výběrová, tj. vstupují do ní jiţ děti s lepšími vzdělávacími dispozicemi. Výsledky této školy pak zpravidla bývají lepší neţ výsledky školy, kterou navštěvují děti všech úrovní nadání a sociokulturního zázemí. Přitom však pedagogická kvalita daných škol můţe být stejná, či dokonce v případě školy „nevýběrové“ vyšší. Vzhledem k tomu, ţe realizovaný projekt neměl příleţitost ověřit tzv. přidanou hodnotu školního vzdělávání, tj. rozdíl mezi vstupními dispozicemi ţáků a konečnými výstupy, nelze rozhodnout, která z uvedených příčin je pravdivá. Testování se zúčastnilo 74 základních škol. Pro tyto školy byly spočítány průměrné úspěšnosti jejich ţáků, které byly dále porovnávány. Současně bylo zjišťováno, do jaké míry jsou různé výsledky dány individuálními rozdíly mezi ţáky a do jaké míry jsou závislé na konkrétní škole, kterou ţáci navštěvují. Tabulka: Průměrné výsledky škol v testech Test Test studijních dovedností Test matematických dovedností Test dovedností v českém jazyce

Průměrná Minimální úspěšnost pr. úspěšnost 59,9 % 29,9 %

40,5 % 17,1 %

Maximální pr. úspěšnost 77,3 % 45,8 %

54,7 %

40,3 %

70,5 %

Rozptyl

37,5

50,5 38,5

Uvedená tabulka prezentuje průměrné výsledky zúčastněných škol v testech. U kaţdého testu je uvedena průměrná úspěšnost škol (údaj téměř shodný s údajem průměrná úspěšnost ţáků) a dále minimální průměrná úspěšnost školy a maximální průměrná úspěšnost školy. Z odchylek konkrétních hodnot od průměru se zjišťuje variabilita souboru, tj. rozptyl. Z tabulky vyplývá, ţe největší variabilita škol je v testu studijních dovedností. Rozdíl mezi nejlepší a nejhorší školou dosahoval téměř 40 procentních bodů. V případě zbývajících dvou předmětů byl rozdíl mezi nejlepší a nejhorší rovněţ značný – aţ 30 procentních bodů. Závěrem tohoto rozboru je, ţe z hlediska kvality škol či úrovně ţáků jsou základní školy Karlovarského kraje silně heterogenní. Mezi jednotlivými školami jsou výrazné rozdíly, které se promítají do výkonů ţáků.

33


6.2. Celkové výsledky žáků Na základě celkových výsledků ţáků zúčastněných testování si lze vytvořit představu o úrovni znalostí a dovedností všech ţáků studujících 9. ročník základních škol v daném kraji. Charakteristikami, které se pouţívají k danému účelu, jsou průměrné skóre a průměrná úspěšnost. V jednotlivých testech ţáci/kyně dosáhli následujících výsledků: Tabulka: Průměrné výsledky ţáků v testech Test Test studijních dovedností Test matematických dovedností Test dovedností v českém jazyce

Průměrné skóre 21,0 17,6

Průměrná úspěšnost 61,6 % 30,9 %

16,3

56,1 %

Při interpretaci předcházející tabulky je vhodné vycházet z údaje průměrná úspěšnost, který dovoluje porovnávat výsledky v testech s různým maximálním skóre. Z tabulky vyplývá, ţe ţáci/kyně byli nejúspěšnější při řešení testu studijních dovedností, podobně úspěšně řešili také test dovedností v českém jazyce. V testu matematických dovedností byla úspěšnost ţáků/kyň výrazně niţší. Nízká úspěšnost ţáků/yň v testu matematických dovedností je částečně rozebrána v kapitole 5. Ve dvou zbývajících testech byly průměrné úspěšnosti ţáků/yň pohybující se kolem 60 % očekávány. Tato hodnota se jeví jako optimální, pokud je test koncipován jako kombinace charakteristik rozlišujícího a ověřujícího testu. Při takové hodnotě úspěšnosti je pravděpodobné, ţe test bude dostatečně citlivý, tj. ţe bude rozlišovat mezi ţáky s různými znalostmi a dovednostmi. Citlivost testu je podmínkou nezbytnou pro vytváření pořadí ţáků podle testových výsledků, například pro účely přijímacího řízení.

6.3. Výsledky žáků podle známky Velmi zajímavým údajem pro vnitřní evaluaci škol jsou testové výsledky podle známky z daného předmětu na vysvědčení. Analýzy testových výsledků podle známky vypovídají o přesnosti a obsahu klasifikačních norem pouţívaných na jednotlivých školách. Známky na posledním vysvědčení ţáci uváděli v dotazníku. Následně byli ţáci rozděleni do skupin podle známky z českého jazyka a z matematiky. Pro skupiny ţáků podle známek z jednotlivých předmětů byla vypočtena průměrná úspěšnost v testu dovedností z českého jazyka a v testu matematických dovedností. Údaje uváděné ţáky neprošly ţádnou další kontrolou, a proto je nutné uvaţovat o moţném zkreslení. Analýzy testových výsledků podle známky předpokládají, ţe ţáci s klasifikací 1 na vysvědčení by měli dosáhnout lepších výsledků neţ ţáci s 2 atd. Pokud tomu tak není, znamená to, ţe kritéria školní klasifikace a poţadavky ověřované v testu se zásadním způsobem liší. Z toho vyplývá, ţe například škola se soustřeďuje ve výuce a v hodnocení ţáků na jiné učivo, neţ které bylo ověřováno prostřednictvím testů, nebo ţe do školní klasifikace vstupují faktory nesouvisející se zvládnutím učiva, jako je ochota spolupracovat při výuce či dokonce osobní sympatie vyučujících vůči ţákům. 34


Neodpovídá-li porovnání testových výsledků a známky na vysvědčení obvyklému očekávání (čím lepší známka, tím lepší průměrné výsledky v testu), je to dostatečný impuls k zamyšlení nad klasifikačními normami, které jsou v dané škole pouţívány, a nad strukturou jejích kritérií. Vzhledem k tomu, ţe výsledky byly školám poskytovány nejen celkově za školu, ale také za jednotlivé třídy, mohou tak ředitelé škol získat podklady o rozdílech v pouţívaných klasifikačních normám jednotlivými vyučujícími. Skupiny ţáků podle známek byly různě početné. Skupina ţáků se známkou 5 byla v českém jazyce i v matematice početně nejslabší. Zvláště v předmětu český jazyk bylo ţáků s touto známkou velmi málo (11). Ačkoliv tato skutečnost neumoţňuje zobecňovat výsledky testování, je moţné s ní pracovat, neboť zjištění týkající se této skupiny ţáků jsou v plné shodě se závěry řady dalších pedagogických šetření a výzkumů. Následující tabulka uvádí průměrné úspěšnosti ţáků podle známek z matematiky a z českého jazyka na pololetním vysvědčení v 9. ročníku. Podle očekávání úspěšnosti klesají od jedničkářů přes dvojkaře aţ po čtyřkaře. Korelace mezi známkou na vysvědčení a testovým výsledkem je relativně vysoká. Tato skutečnost znamená, ţe kritéria testu se přibliţně shodují s kritérii školní klasifikace. Tabulka: Průměrné výsledky ţáků v testech podle známky z daného předmětu Test Test matematických dovedností Test dovedností v českém jazyce

1 53,0 %

2 41,5 %

3 29,3 %

4 22,9 %

5 21,6 %

74,0 %

63,4 %

52,7 %

43,6 %

45,8 %

Výjimkou je známka 5. V obou předmětech ţáci se známkou 5 dosáhli v příslušném testu statisticky shodných výsledků jako ţáci se známkou 4. Toto zjištění je v souladu s řadu jiných šetřeních, které opakovaně dokazují, ţe pětkaři nemají horší testové výsledky neţ čtyřkaři. Příčinou této skutečnosti jsou kritéria, na jejichţ základě se daná známka uděluje. Pětka je známka udělovaná častěji za nedostatek píle, případně za nevhodné chování, neţ za chybějící znalosti a dovednosti. Následující tabulka ukazuje nejvyšší a nejniţší dosaţené celkové úspěšnosti ţáků s různými známkami z příslušných předmětů na pololetním vysvědčení. Rozdíl mezi minimální a maximální dosaţenou úspěšností je velmi vysoký, dosahuje aţ 90 procentních bodů. Vzhledem k tomu, ţe počet ţáků na krajních pólech škály úspěšností není nízký, je variabilita v klasifikaci systémovým problémem. Tabulka: Nejvyšší a nejniţší úspěšnost (v %) podle známky na vysvědčení Test Test matematických dovedností Test dovedností v českém jazyce

1 min 10, 5 34, 5

2 ma min x 91, 5,3 2 100 17, 2

3 ma min x 94, 0 7 100 10, 3

4 ma x 86, 0 93, 1

min 0 6,9

5 ma x 78, 9 89, 7

min 1,8 24, 1

ma x 50, 9 62, 1

35


Na variabilitu v klasifikačních normách poukazují také analýzy průměrných výsledků ţáků z jednotlivých základních škol. Následující grafy ukazují průměrnou úspěšnost ţáků pěti vybraných základních škol podle známky na vysvědčení (školy byly vybírány tak, aby jednotlivé známky byly zastoupeny dostatečným počtem ţáků). Z grafů vyplývá, ţe ţáci s určitou známkou na dvou různých školách dosahují výrazně odlišných výsledků v příslušném testu. Pokud bychom znalosti a dovednosti z celého předmětu měřili daným teste

100%

Test dovedností z českého jazyka Průměrné úspěšnosti žáků vybraných škol (A-D) podle známky Test matematických dovedností Průměrné úspěšnosti žáků vybraných škol (A-D) podle známky

90% 100% 80% 90% 70% 80% 70% 60%

A

60% 50% 50% 40%

B C

40% 30% 30% 20% 20% 10% 10%

D

A B C D

0%0% 1 1

2 2

3 3

4 4

5 5

m, můţeme říci, ţe jednička na škola X je shodná s dvojkou na škole Y. Klasifikační normy pouţívané na jednotlivých základních školách jsou velmi rozdílné. Známka na vysvědčení nemůţe slouţit jako údaj pro srovnávání ţáků z různých škol. Zejména v rámci přijímacích zkoušek by váha přikládaná známkám ze základních škol měla být relativně nízká. Pokud se známky zapojují do rozhodovacího procesu o přijetí ţáka ke studiu, mělo by se na ně nahlíţet z hlediska vývoje, tj. srovnávat známky jednoho ţáka za několik období. .4. Výsledky žáků podle typu střední školy Ţáci byli v dotazníku dotázáni, na kterou střední školu si podali přihlášku ke studiu. Rozlišována byla první a druhá volba. Ţákům byl nabídnut seznam všech středních škol v Karlovarském kraji. Zvolenou školu měli ţáci označit. Pokud se ţáci přihlásili ke studiu mimo kraj, označili typ střední školy a vypsali její název a adresu. Na základě školy, kterou ţáci uvedli jako tzv. první volbu, byly provedeny analýzy testových výsledků. Školy byly rozděleny do jednotlivých typů a pro dané skupiny ţáků byla vypočtena jejich průměrná úspěšnost v řešení testů. Tabulka: Průměrné výsledky ţáků v testech podle typu střední školy Test Test studijních dovedností Test matematických dovedností Test dovedností v českém

G

SOŠ

Smíšený

65,8 % 33,5 %

SOU, OU, U 50,9 % 22,6 %

78,6 % 51,0 % 72,0 %

58,4 %

46,7 %

52,1 %

54,9 % 23,6 %

36


jazyce Z výše uvedené tabulky vyplývá, ţe mezi ţáky hlásícími se na jednotlivé typy škol existují značné rozdíly v řešení jednotlivých testů. Porovnávání výsledků má význam pouze mezi homogenními typy škol, nikoliv mezi typem smíšeným. Na základě tohoto porovnání je patrné, ţe ţáci hlásící se na gymnázia byli ve všech třech testech úspěšnější neţ ţáci hlásící se na SOŠ a ti byli úspěšnější neţ ţáci hlásící se na SOU, OU a U. Rozdíly mezi ţáky hlásícími se na G a SOŠ byly přibliţně shodně velké jako rozdíly mezi ţáky hlásícími se na SOŠ a SOU,OU,U. Současně byly tyto rozdíly obdobné ve všech třech testech. Zjištěné rozdíly svědčí o tom, ţe střední školy oslovují specifickou ţákovskou populaci. Pro ţáky a jejich rodiče tedy jsou zřetelná odlišná zaměření jednotlivých typů škol. Tato zaměření zahrnují očekávanou úroveň znalostí a dovedností ţáků. Z hlediska ţákovské populace hlásící se na danou školu jsou relativně velké rozdíly mezi jednotlivými školami. Tak například průměrná úspěšnost v testu studijních dovedností se u ţáků hlásících se na konkrétní gymnázia pohybovala od 53 % do 91 %. Je pochopitelné, ţe gymnázium, na které se hlásí ţáci s průměrnou úspěšností 91 %, můţe vybírat ke studiu ţáky s vyšší úrovní znalostí a dovedností neţ gymnázium s průměrnou úspěšností hlásících se ţáků o 40 procentních bodů niţší. Charakteristiky populace, mezi kterou si školy vybírají ţáky ke přijetí, jsou rozdílné. U zbývajících dvou testů byly rozdíly mezi školami s nejlepšími a nejhoršími průměrnými výsledky hlásících se ţáků rovněţ značné. Tak například u testu matematických dovedností se pohybovala průměrná úspěšnost ţáků hlásících se na daná gymnázia od 28 % do 70 %, u středních odborných škol od 12 % do 54 %, u Test dovedností z českého jazyka učilišť od 7 % do 35 %. Test dovedností v českém jazyce řešili ţáci hlásící se na 100% gymnázia od 29 % do 100 %, ţáci hlásící se G 90% na SOŠ od 34 % do 72 % a ţáci hlásící se na SOŠ učiliště od 25 % do 68 %. 80% SOU, U Další zajímavý údaj týkající se typů středních škol je vztaţen ke známce. V populaci ţáků hlásících se na jednotlivé typy škol jsou odlišným způsobem zastoupeny a rozloţeny známky z hlavních předmětů. Průměrné známky zcela logicky klesají od ţáků hlásících se na gymnázia přes SOŠ po učiliště. Na základě rozdělení ţáků podle typu střední Test matematických dovedností 100%

G

90%

SOŠ

80%

SOU, U

70% 60% 50% 40% 30%

70% 60% 50% 40% 30% 20% 10% 0% 1

2

3

4

5

školy, na kterou si podali přihlášku, a známky na vysvědčení z daných předmětů, byly vypočteny průměrné úspěšnosti takto vzniklých skupin. Úspěšnosti jsou uvedeny v následujících grafech. Grafy ukazují, ţe rozdíly v úrovni znalostí a dovedností ţáků se stejnými známkami, ale hlásícími se na jiné typy středních škol, jsou rozdílné (například rozdíl mezi dvojkaři hlásícími se na gymnázia a

20% 10%

37

0% 1

2

3

4

5


na SOŠ). Rovněţ z grafů vyplývá, jak rozdílné jsou poměry mezi testovými výsledky ţáků s různými známkami, kteří se hlásí na jeden typ střední školy. Mezi ţáky hlásícími se na gymnázia například není zdaleka takový rozdíl v úrovni znalostí a dovedností podle známky jako mezi ţáky hlásícími se na střední odborné školy a zvláště mezi ţáky hlásícími se na učiliště. Z těchto zjištění vyvstává otázka, nakolik by známky ze základní školy měly sehrávat roli při přijímacích zkouškách na jednotlivé typy středních škol. Ukazuje se totiţ, ţe na některých typech středních škol jsou známky podstatně hodnotnější informací neţ na jiných. 6.5. Výsledky žáků podle pohlaví Dalším zajímavým aspektem testových výsledků je jejich rozdílnost podle pohlaví ţáků. Mezi testovanými ţáky bylo přibliţně shodné zastoupení dívek a chlapců. Ţáci byli rozděleni do dvou skupin podle pohlaví a za kaţdý test byla pro tyto skupiny spočítána průměrná úspěšnost. Rozdíl mezi průměrnou úspěšností dívek a chlapců byl statisticky testován. Následující tabulka uvádí průměrné testové výsledky.

Tabulka: Průměrné výsledky ţáků v testech podle pohlaví Test Test studijních dovedností Test matematických dovedností Test dovedností v českém jazyce

dívky 61,1 % 28,5 %

chlapci 62,4 % 33,6 %

58,4 %

53,8 %

Z tabulky je patrné, ţe mezi dívkami a chlapci existovaly jisté rozdíly v řešení testů. Statistické porovnání prokázalo, ţe v testu studijních dovedností jsou výsledky shodné, rozdíl jednoho procentního bodu byl způsoben náhodou. V testu matematických dovedností však chlapci dosáhli signifikantně lepších výsledků. Naopak v testu dovedností v českém jazyce byly významně úspěšnější dívky. Statistická významnost rozdílů znamená, ţe tyto nebyly způsobeny náhodou, nýbrţ ţe se jedná o charakteristiku dané populace - zdroj rozdílu skutečně spočívá v pohlaví ţáků, respektive v rozdílném přístupu k výuce ţáků a ţákyň. Doplňkovou informací je porovnání výsledků dívek a chlapců podle známek. Bylo opakovaně dokázáno, ţe v rámci školní klasifikace dívky dosahují lepších známek neţ chlapci. I v tomto projektu bylo zjištěno, ţe v ţákovském dotazníku uváděli v průměru dívky známku z českého jazyka 2,5, zatímco chlapci 2,99. Z matematiky byla průměrná známka dívek 2,69 a chlapců 3,0. Školní výsledky dívek jsou tedy v případě obou hlavních předmětů statisticky lepší neţ výsledky chlapců. Podle předpokladu, ţe známky by měly korespondovat s výsledky v testu, by bylo oprávněné očekávat, ţe mají-li dívky lepší známky, měly by mít také lepší testové výsledky. Celkové výsledky však ukazují, ţe tento předpoklad platí pouze v českém jazyce, v matematice dívky, navzdory lepším školním známkám, dosáhly v testu niţších výsledků. Následující tabulky uvádějí průměrné úspěšnosti dívek a chlapců podle známek.

38


Tabulka: Průměrné výsledky ţáků v testech podle pohlaví a známky průměrná úspěšnost v % známka z ČJ 1 2 3 4 5

dívky 73,8 63,8 52,4 43,7 41,8

chlapci 74,7 63,6 52,9 43,6 56,3

průměrná úspěšnost v % známka z M 1 2 3 4 5

dívky 48,3 34,4 23,2 17,5 14,6

chlapci 60,7 43,5 31,2 22,7 20,3

Z tabulek vyplývá, ţe výsledky chlapců a dívek se stejnými známkami jsou v českém jazyce shodné. Vzhledem k rozdílnému zastoupení jednotlivých známek mezi dívkami a chlapci se celkové průměrné výsledky dívek a chlapců liší výrazněji neţ výsledky podle známek (jedničku z ČJ získalo 192 dívek, ale jen 62 chlapců). V matematice se výsledky podle známek výrazně liší. Dívky s jedničkami dosáhly v testu o více neţ 10 procentních bodů niţších výsledků neţ chlapci. Tento rozdíl se týká všech stupňů známek. Toto zjištění upozorňuje na odlišné klasifikační normy pouţívané při hodnocení dívek a chlapců.

39


7. ÚDAJE ZE ŢÁKOVSKÉHO DOTAZNÍKU Součástí projektu Hodnocení výsledků vzdělávání ţáků 9. tříd v Karlovarském kraji byl ţákovský dotazník, který byl zaměřen na sběr informací vysvětlujících výsledky ţáků v jednotlivých testech a dále na zjišťování studijní motivace ţáků. Jednotlivé poloţky dotazníku poskytují zajímavý obraz o ţákovské populaci Karlovarského kraje. Ţákovský dotazník vyplnilo 2 776 ţáků, z toho 1397 dívek a 1322 chlapců (57 ţáků neuvedlo pohlaví). Údaje uvedené ţáky nebyly podrobeny ţádné další kontrole. V některých poloţkách lze tedy předpokládat určitou míru zkreslení. Následující kapitola představuje základní údaje shromáţděné prostřednictvím ţákovského dotazníku.

7.1. Budoucí vzdělání Ţákům byla poloţena otázka, jakého nejvyššího vzdělání by si přáli v budoucnu dosáhnout a jaké vzdělání by si pro ně přáli jejich rodiče. Cílem této otázky bylo odhalit vnitřní studijní motivaci ţáků a také potenciální rodinnou podporu vůči studiu. Následující graf uvádí odpovědi ţáků. Nejvyšší vzdělání - přání dětí a rodičů (absolutní počet odpovědí) 1200 1000 800 žáci

600

rodiče

400 200 0 ZŠ

OU, U

SOU

SOŠ

G

VOŠ

VŠ

Z grafu je patrné, ţe ţáci vnímají přání svých rodičů jako vyšší neţ svá vlastní přání. V tomto případě není nikterak důleţité, zda ţákovské odpovědi odráţí skutečný stav rodičovských přání. Důleţité je, ţe pro ţáky subjektivně vystupují rodičovská přání jako tlak na vyšší vzdělání. Pokud ţáci tomuto tlaku podléhají, jedná se o vnější motivaci ke studiu. Zvláště silný je rozpor mezi přáním dětí a rodičů v případě, ţe si ţáci podali přihlášku na SOU nebo SOŠ. V prvním případě si většina rodičů přeje, aby ţáci dosáhli vzdělání s maturitou, v druhém případě si velká část rodičů přeje vysokoškolské vzdělání. Třetí rozpor je u skupiny ţáků, kteří si pro sebe přejí vzdělání na vyšší odborné škole, ale rodiče od nich očekávají školu vysokou.

40


7.2. Důvody výběru střední školy Motivace ke studiu se projevuje mimo jiné také převaţujícími důvody při volbě konkrétní střední školy. Ţákům bylo předloţeno 8 výroků, které mapovaly různé moţné důvody a očekávání ţáků vůči zvolené střední škole. Ţáci měli rozhodnout, jak velký vliv měly jednotlivé důvody na jejich výběr střední školy. Výroky obsahující moţné důvody zněly: 1. 2. 3. 4. 5. 6. 7. 8.

Měl/a jsem zájem o daný obor. Je to škola, která hodně naučí. Bylo to přání rodičů. Je to nejbliţší škola od mého bydliště. Na stejné škole studuje nebo studoval někdo z rodiny. Je to škola s příjemnou atmosférou. Chtěl/a jsem studovat stejnou školu jako kamarádi. Neměl/a jsem jinou moţnost. Tabulka: Vliv jednotlivých faktorů na volbu SŠ Výrok 1 – zájem o obor 2 – škola naučí 3 – přání rodičů 4 – nejbliţší škola 5 – studoval někdo z rodiny 6 – příjemná atmosféra 7 – kamarádi 8 – nebyla jiná moţnost

Velký vliv

Malý vliv

79,2 % 48,2 % 13,6 % 13,9 % 5,7 %

16,3 % 39,5 % 38,6 % 29,2 % 14,3 %

Ţádný vliv 4,5 % 12,3 % 47,8 % 56,9 % 80,1 %

34,3 % 9,5 % 5,5 %

45,0 % 25,8 % 11,9 %

20,7 % 64,7 % 82,6 %

Z tabulky je patrné, ţe velký vliv na výběr střední školy měly zejména zájem o obor a kvalita školy z hlediska výuky. Relativně vysoký vliv měla rovněţ příjemná atmosféra školy. Uvedené důvody lze povaţovat za potvrzení vnitřní motivace ţáků. Ostatní faktory, které by naopak svědčily o nepřímé či vnější motivaci, měly význam pouze pro menší skupiny ţáků.

7.4. Vzdělání rodičů Součástí ţákovského dotazníku byla také poloţka, ve které se zjišťovalo vzdělání rodičů. Vzdělání rodičů se obvykle chápe jako základní rys socio-kulturní úrovně rodiny. Je-li vysoká, slouţí obvykle jako podpora a motivace vyšším studijním aspiracím ţáků. Jelikoţ vzdělání rodičů uváděli sami ţáci, nelze říci, zda se jedná o údaje zcela pravdivé. Zvláště u dětí na základních školách je nutné uvaţovat o jistém zkreslení těchto údajů.

41


Tabulka: Úroveň vzdělání rodičů (v %) Úroveň vzdělání ZŠ OU, U SOU SOŠ G VOŠ VŠ Neodpověděli celkem

Matka 4,6 30,0 11,6 30,5 5,4 2,2 7,5 8,1 100 %

Otec 3,0 35,1 15,9 22,6 1,4 1,4 9,6 11,1 100 %

Z tabulky jsou patrné rozdíly mezi strukturou vzdělání u ţen a u muţů, které odpovídají rozloţení opakovaně zjišťovanému jinými výzkumy. Mezi muţi je více absolventů odborného školství – tj. OU, U a SOU – a absolventů VŠ neţ mezi ţenami. Naopak mezi ţenami je více absolventek středních odborných škol a gymnázií. Vzdělanostní úroveň rodiny bývá určována jako průměrná hodnota vzdělání ţeny a muţe. Podle předpokladu, ţe čím vyšší je vzdělání rodičů, tím lepší mohou být podmínky ţáků ke studiu, lze očekávat jistou souvislost mezi vzdělanostní úrovní rodiny a výsledky v testech. Následující graf ukazuje průměrné úspěšnosti ţáků podle vzdělání rodičů.

Testové výsledky podle vzdělání rodičů 90,0% 80,0% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0%

Test SD Test MD Test DČJ

1

1,5

2

2,5

3

3,5

4

4,5

5

5,5

6

6,5

7

průměrné vzdělání rodičů (1 - ZŠ, 7 - VŠ)

Některé skupiny vyjadřující průměrné vzdělání obou rodičů jsou zastoupeny relativně nízkým počtem ţáků, coţ způsobuje výkyvy (např. 5 – 5,5 – 6 – 6,5). Pokud bychom sledovali pouze skupiny 1 aţ 4,5 a dále skupinu 7, je nárůst průměrných úspěšností ţáků stabilní. Vzdělání rodičů má tedy přímou souvislost s výsledky ţáků v testech.

42


7.5. Volnočasové aktivity Řada studijních výsledků je vysvětlitelná s pomocí údajů o volnočasových aktivitách ţáků. Ty vyjadřují jednak zájem ţáků – a případně tedy odkazují na studijní motivaci – jednak jsou prostorem pro získávání zkušeností, které ţáci dále mohou vyuţívat při řešení školních úkolů. V dotazníku byli ţáci poţádáni, aby odhadli, kolik času týdně věnují vybraným aktivitám. Aktivity byly zvoleny tak, aby zahrnovaly širokou škálu moţných mimoškolních činností, a současně aby měly vazbu k řešení testů, případně ke školním výsledkům. Vybrány byly následující aktivity: 1. četba knih 2. četba denního tisku 3. sledování zábavných pořadů a filmů v TV 4. sledování zpravodajství a dokumentů v TV 5. návštěva divadla, koncertů a výstav 6. umělecké zájmové krouţky (např. keramika) 7. odborné zájmové krouţky (např. chovatelství) 8. sportování 9. příprava do školy, učení, domácí úkoly 10. trávení času s kamarády Tabulka: Počet hodin týdně věnovaných volnočasovým aktivitám Aktivita 1 – knihy 2 – denní tisk 3 – zábava v TV 4 – zpravodajství v TV 5 – divadla, koncerty 6 – umělecké krouţky 7 – odborné krouţky 8 – sport 9 – příprava do školy 10 – kamarádi

Méně neţ 2 hodiny 56,3 % 75,2 % 16,9 % 42,2 %

2 – 7 hodin 29,8 % 17,3 % 53,9 % 44,5 %

Více neţ 7 hodin 9,5 % 1,3 % 27,3 % 9,8 %

79,2 %

11,8 %

0,9 %

68,7 %

14,7 %

3,9 %

70,8 %

10,1 %

4,0 %

22,0 % 35,8 %

42,9 % 51,7 %

31,6 % 9,7 %

9,6 %

39,3 %

49,9 %

Z tabulky vyplývá, ţe nejvíce času tráví ţáci s kamarády, dále sportem a sledováním zábavných pořadů a filmů v TV. Přípravou do školy tráví přibliţně ½ ţáků 0,5 aţ 1 hodinu denně. Při srovnání času věnovaného přípravě do školy a testových výsledků byla prokázána pozitivní souvislost – čím více času ţáci věnují přípravě do školy, tím lepší byly jejich testové výsledky ve všech třech testech.

43


7.6. Výroky o sobě Pro zjištění ţákovských představ o sobě samých (tzv. sebepojetí) byla do dotazníku zařazena baterie výroků o ţácích a jejich schopnostech či výkonech. Ţáci měli posuzovat, zda s danými výroky o sobě souhlasí či nikoliv. Účelem těchto výroků bylo odhalit míru sebepoznání a sebevědomí ţáků, které je v určitém směru podmínkou úspěšného uplatnění ve vzdělávací dráze i v pracovním ţivotě. Ţáci by měli mít reálné znalosti o sobě samých a dostatečně pozitivní vnímání sebe sama. Zjišťované aspekty ţákovských osobností mají jednoznačnou souvislost se studijní motivací a s předpoklady uspět v dalším vzdělávání různého zaměření. Součástí dotazníku byly následující výroky: Vţdy se snaţím dělat věci co nejlépe. Myslím, ţe mám dostatečné schopnosti na vystudování vysoké školy. Kdyţ se mi něco nedaří, vzdávám to. Znám své zájmy a schopnosti a dokáţu se podle toho rozhodnout, co budu jednou dělat. 5. Kdyţ mě potká nějaký problém, snaţím se ho vţdy vyřešit. 6. Na většinu věcí mám svůj názor a nebojím se ho vyjádřit. 7. Většina školních úkolů je pro mě snadná. 8. Myslím, ţe budu mít vţdy nudné zaměstnání. 9. Často se stává, ţe se bojím jít do školy. 10. Mám radost, kdyţ můţu poznávat a učit se něco nového. 11. Mám rád/a manuální práci, protoţe je vidět ihned její výsledek. 12. Mé školní výsledky jsou horší neţ mé schopnosti. 1. 2. 3. 4.

Procento žáků souhlasících s daným výrokem o sobě 100,0% 80,0% 60,0% 40,0% 20,0% 0,0%

1

2

3

4

5

6

7

8

9

10

11

12

Z grafu je patrné, ţe s většinou výroků ţáci ve velké míře souhlasili (souhlas vyjádřilo více neţ 60 % ţáků). Nízká míra souhlasu byla s výroky 9, 8 a 3. Výrok 9 se týkal obavy ze školy. Skutečnost, ţe ţáci s ním nesouhlasili – tj. neobávají se chodit do školy – je pozitivní. Výrok 8 směřoval k pracovním aspiracím ţáků a k jejich sebevědomí. Většina ţáků uvedla, ţe nesouhlasí s tím, ţe by měli v budoucnu vykonávat nudné povolání. I tuto skutečnost lze hodnotit jako pozitivní. Třetí výrok se týkal tendence ţáků vzdávat nedokončené úkoly, která můţe indikovat školní neúspěchy v případě, ţe ţáci mají problémy s porozuměním a osvojením určitých znalostí či dovedností. S výrokem „Kdyţ se mi něco nedaří, vzdávám to“ většina ţáků nesouhlasila – tzn. ţáci jsou ochotni překonávat překáţky, včetně překáţek studijních.

44


7.7. Hodnocení vlastních testových výkonů Důleţitým výsledkem výchovně-vzdělávacího procesu je poznání sebe sama. U ţáků by měla být rozvíjena schopnost znát a reálně hodnotit své výkony. Pokud tomu tak není, můţe dojít k podceňování či přeceňování. Výsledky z předcházejících šetření CERMATu ukázaly, ţe ţáci mají tendenci své výkony spíše podceňovat, tj. odhadují, ţe dosáhli niţšího výsledku, neţ tomu bylo ve skutečnosti. Toto podceňování můţe mít reálné negativní dopady týkající se vzdávání úkolů, jestliţe se ţáci obávají, ţe jejich výkon nedosáhne poţadované úrovně. V dotazníku, který následoval po vyřešení jednotlivých testů, byli ţáci poţádáni o odhad počtu bodů, které získali v testech. Byla jim předloţena bodová škála rozdělená do skupin po 5 bodech. Následně byl porovnáván reálný počet bodů získaný ţáky. Následující grafy ukazují procento ţáků, kteří uvedli, ţe jejich výkony se budou pohybovat v daném bodovém rozpětí, a procento ţáků, jejichţ skutečný výsledek se umístil v daném bodovém rozpětí.

Procento žáků se skóre - Test dovedností v českém jazyce 50,0% 40,0% 30,0%

odhad

20,0%

skutečnost

10,0% 0,0% 0-5

6-10

11-15

16-20

21-25

26-29

Procento žáků se skóre - Test matematických dovedností 25,0% 20,0% 15,0%

odhad

10,0%

skutečnost

5,0% 0,0% 0-5

6-10

1115

1620

2125

2629

3035

3640

4145

4650

5155

5657

45


Procento žáků se skóre - Test studijních dovedností 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0% 0,0%

odhad skutečnost

0-5

6-10

11-15

16-20

21-25

26-30

31-34

Grafy ukazují, ţe ţáci své výkony podceňovali. Vrchol rozloţení odhadovaného skóre je vţdy posunut více vlevo (tedy k niţšímu skóre) neţ vrchol dosaţeného skóre, coţ vyjadřuje nereálné sebehodnocení. To můţe být způsobeno buď tzv. falešnou skromností, kdy ţáci jsou schopni reálně odhadovat své výkony, ale předpokládají, ţe lépe sociálně přijímán bude odhad niţší. Nebo se jedná o důsledek neschopnosti reálně zhodnotit své výkony – ţáci jsou skutečně přesvědčeni o tom, ţe dosáhli pouze uváděného počtu bodů. Zvláště druhá jmenovaná příčina můţe potenciálně vést ke vzdávání řešených úkolů a tím negativně ovlivňovat efektivitu výchovně-vzdělávacího procesu.

46


8. VÝSTUPY Z PROJEKTU Vzhledem k tomu, ţe jedním z hlavních cílů projektu bylo poskytnout informace o ţákovských výsledcích školám, byla velká pozornost soustředěna na přípravu výstupů pro základní a střední školy. Výstupy byly zpracovány jmenovitě, tj. pro kaţdou základní školu, která se do projektu Hodnocení výsledků vzdělávání ţáků 9. ročníků v Karlovarském kraji přihlásila, a pro kaţdou střední školu, která ve školním roce 2004/2005 otevírá první ročník. Výstupy obsahovaly velké mnoţství údajů o tom, jak ţáci daných škol řešili jednotlivé testy. Jednalo se o údaje, které mohou být zdrojem zajímavých informací pro vedení školy a které mají přímou vazbu na zkvalitňování jejich pedagogické praxe. Jmenovité výstupy byly poskytnuty výhradně dané základní či střední škole. Tyto informace nebyly zveřejněny. Výstupy zahrnovaly souhrnné výsledky dané školy jako celku a byly určeny pro vyučující. Obsah výstupů se lišil podle toho, zda se jednalo o základní či střední školu. V obou případech byly výstupy připraveny z výsledků ţáků dané školy, respektive ţáků, kteří se na danou školu hlásí. Vţdy bylo uváděno porovnání toho, jak v testování dopadli ţáci dané školy, respektive školy, na kterou se hlásí a jaké bylo jejich umístění mezi ostatními ţáky z celého kraje. K výstupům pro základní školy byla přidána individuální osvědčení pro všechny zúčastněné ţáky. Tato osvědčení informují konkrétní ţáky o jejich výkonech při řešení testů, včetně jejich umístění mezi zúčastněnými ţáky z dané školy a z celého kraje. Souhrnné výstupy pro základní školy zahrnovaly následující skupiny údajů:  struktura souboru testovaných ţáků  přehled jmenovitých výsledků zúčastněných ţáků dané školy v řešených testových úlohách a v celém testu  průměrné výsledky ţáků dané školy a jednotlivých tříd v testech  průměrné výsledky ţáků dané školy a jednotlivých tříd v jednotlivých testových úlohách  průměrné výsledky ţáků dané školy a jednotlivých tříd v testech podle známky z daného předmětu na vysvědčení  průměrné výsledky ţáků dané školy, kteří se hlásí na konkrétní střední školu Souhrnné výstupy pro střední školy zahrnovaly následující skupiny údajů:  struktura souboru testovaných ţáků  průměrné výsledky ţáků hlásících se na danou střední školu v testech  průměrné výsledky ţáků hlásících se na danou střední školu v testech podle známky z daného předmětu na vysvědčení  průměrné výsledky ţáků hlásících se na danou střední školu v testech podle nejvyššího vzdělání, které si ţáci přejí dosáhnout

47


Výstupy byly připravovány tak, aby si na jejich základě školy mohly vytvořit či doplnit představu o vlastní ţákovské populaci a jejich vzdělávacích výsledcích. K tomu slouţí jednak absolutní hodnoty vyjadřující výkony ţáků dané školy v testech a úlohách, jednak porovnání s výsledky ostatních zúčastněných škol. Porovnání není uváděno formou jmenovitého ţebříčku škol, nýbrţ prostřednictvím průměrného výsledku. Školy se tedy nemusí obávat zveřejnění jejich výsledků. Z porovnání se školy mohou dozvědět, v jakém vztahu (lepší, stejné, horší) jsou výkony jejich ţáků vůči výkonům ostatních ţáků v kraji. Školy byly upozorněny na rizika spojená s interpretací statistických údajů. Na výkony v testech má vliv řada faktorů, z těch nejvýznamnějších to jsou: a) školní potenciál daných ţáků, b) pedagogické vedení, c) kvalita a zaměření testu. Častou chybou je vysvětlovat ţákovské výkony výhradně působením vyučujících. Ačkoliv jejich vliv na míru ţákovských znalostí a dovedností je klíčový, záleţí rovněţ na dalších charakteristikách ţáků. Tak například nelze vysvětlovat rozdílné testové výsledky ţáků na víceletém gymnáziu a na zvláštní škole správným a nesprávným pedagogickým vedením, neboť školní potenciál (tj. zejména intelektový a volní potenciál) těchto dětí je velmi odlišný. Pro porovnání je tedy vhodnější pouţívat ţáky ze stejného typu školy, kde lze předpokládat podobné charakteristiky. V rámci seminářů pro ředitele základních a středních škol bylo zjišťováno, zda připravené výstupy splnily očekávaný cíl a staly se zdrojem informací pro vedení školy. Všichni zúčastnění vyjadřovali spokojenost se zaslanými výstupy. Přesto byly diskutovány moţnosti rozšíření výstupů při případném dalším pokračování projektu.

9. ZÁVĚR Projekt Hodnocení výsledků vzdělávání žáků 9. tříd 2004 v Karlovarském kraji představuje první realizační krok v hodnocení výstupní úrovně ţáků základních škol, v procesu zavádění systematického sledování vzdělávacích výsledků na základních školách a jejich propojování s výsledky evaluace na školách středních. Cílem projektu bylo připravit a ověřit konkrétní nástroje externí evaluace (standardizované testy, pilotáţ testů, způsob zadávání testů, způsob hodnocení testů apod.). Projekt přispěl k vytváření evaluačních nástrojů pro vyhodnocování cílů stanovených platnými pedagogickými dokumenty a přestavuje první pilotní ověřování vyuţitelnosti výsledků evaluace v devátém ročníku ZŠ při přípravě reformy přijímacího řízení. Partnerům na všech úrovních byl poskytnut jeden z hlavních vstupů do informačního systému o vzdělávání (ţáci, rodiče, škola, školská správa a samospráva aj.), zainteresovaným skupinám naznačil způsob, jak efektivně vyuţívat didaktických testů pro vlastní hodnocení. V neposlední řadě projekt přispěl k informovanosti pedagogické veřejnosti o cílech, předmětu a nástrojích evaluace. Zkušenosti, které ÚIV – CERMAT získal v průběhu přípravy i realizace projektu, byly vyuţity při přípravě systémového projektu ESF Kvalita I.

48

ZÁVĚREČNÁ ZPRÁVA HODNOCENÍ VÝSLEDKŮ VZDĚLÁVÁNÍ ŢÁKŮ 9. TŘÍD 2004 V KARLOVARSKÉM KRAJI. Mgr. Irena Smetáčková PhDr

Recommend Documents