Souhrnná zpráva z testování

Souhrnná zpráva z testování 2013/2014

Obsah Souhrnná zpráva (bílá brožura) • • •

• • • •

Obsah Zprávy, které obdržíte Charakteristika projektu a) Základní informace b) Společný evropský referenční rámec pro jazyky a popis jeho kategorií c) Specifika a přínos testu d) Jak interpretovat výsledky Návod k interpretaci analytické zprávy – tabulek a grafů – pomoc při interpretaci příklady typů grafů a tabulek výsledků testů a dotazníků ukázka individuální zprávy žáka s komentářem Souhrnné výsledky testování Výsledky testování Zúčastněné školy Analýza výsledků testování Výsledky dotazníkového šetření

Analytická zpráva (samostatné listy) • • • • • •

Shrnutí výsledků projektu Grafy všech výsledků školy Grafy rozložení úrovní ročníků Tabulky podrobných výsledků žáků za každou třídu Graf analýzy částí testu Grafy s výstupy z dotazníku žáka a dotazníku učitele

1

Zprávy, které obdržíte SOUHRNNÁ ZPRÁVA • přiblíží vám koncepci testu • vysvětlí termíny užívané ve výstupech • ukáže souhrnné výsledky testování v rámci projektu SCATE ANALYTICKÁ ZPRÁVA • je zaměřena na analýzu výsledků jednotlivých žáků v rámci třídy a jednotlivých tříd v rámci školy INDIVIDUÁLNÍ ZPRÁVA ŽÁKA (IZZ) • • • • • •

obdrží ji každý zúčastněný žák kategorie odpovídající jazykovým znalostem žáka dosažená kategorie pro čtení a poslech popis všech kategorií, s nimiž SCATE pracuje tipy, jak si rozšiřovat svou znalost jazyka rozložení kategorií v rámci všech testovaných žáků, celého ročníku, školy, třídy (v případě, že se testování zúčastnilo více žáků jedné třídy)

K individuální zprávě si žáci mohou přiobjednat certifikát vydaný společností Scio, potvrzující v testu dosaženou úroveň.

Výsledky testování v elektronické podobě jsou dostupné v aplikaci ScioDat i po ukončení testování. Svou individuální zprávu ke stažení mají žáci k dispozici pod svými přihlašovacími údaji.

2

Charakteristika projektu Pro testování anglického jazyka byl připraven ověřovací adaptivní test SCATE (Scio Computer Adaptive Test of English), který zařadil každého žáka na škálu podle Společného evropského referenčního rámce pro jazyky (SERRJ). Více o použitém testu najdete dále v textu. Adaptivnost testu znamená, že po zodpovězení několika prvních otázek, dává aplikace každému testovanému další otázky na základě jeho předchozích odpovědí. Ověřovací adaptivní testy v současné době v České republice pro základní a střední školy vytváří jen společnost www.scio.cz s. r. o. I pro nás jsou ověřovací testy poměrně nedávnou novinkou a budeme proto rádi za vaše případné připomínky. Testování se zúčastnily základní a střední školy. Všechny zúčastněné školy získaly v podobě profesionálně sestaveného testu účinný evaluační nástroj, důležitý pro efektivní směřování při další výuce jazyků.

a. Základní informace Průběh a podoba testování • testování v podzimním termínu probíhalo od 16. září do 29. listopadu 2013. V jarním termínu od 16. března 2014 do konce května. Valná většina škol otestovala do 14. května 2014. • V souhrnných výsledcích používáme data z jarního testování 2012/2013 a 2013/14. Pracujeme se vzorkem 15 000 výsledků. • test probíhal pouze on-line • ověřoval dvě základní dovednosti: čtení a poslech • sestával ze 40-50 na sobě nezávislých úloh • jednotlivé úlohy měly různou podobu: o výběr jedné z více možností (a – e pod zadáním úlohy) o roletové menu (výběr jedné z možností umístěný přímo v textu) o seřazovací (správné seřazení náhodně zamíchaných komponentů na základě zadání) o zařazovací (zařazení jednoho komponentu mezi ostatní na základě zadání) o doplňovací (samostatné doplnění požadovaného textu do prázdného pole) o přiřazovací (přiřazení odpovídajících komponentů k jejich párům na základě zadání) • úlohy ověřovaly různé typy jazykových dovedností: o orientaci v konverzačních situacích o gramatiku a pravopis o slovní zásobu o porozumění textu Informace o dosažené úrovni v rámci dovedností poslechu a čtení je pro žáky spíše orientační, protože k jejímu přesnému určení by bylo třeba mít více otázek v testu.

3

Ověřovací test Ověřovací test se vztahuje k předem daným standardům a poskytuje odpověď na otázku, do jaké míry znalosti žáka těmto standardům odpovídají. Až v druhé řadě jde o vzájemné srovnání žáků či škol. Výhodou tohoto přístupu je, že žáci, rodiče a učitelé získají konkrétní informaci o tom, co žák umí, zatímco výstupem ze srovnávacího testování je zejména zpráva, zda žák daný test zvládl lépe nebo hůře než jeho vrstevníci. Rámcový vzdělávací program pro základní vzdělávání stanovuje jako cílovou výstupní úroveň z 5. ročníku úroveň A1 podle SERRJ, na konci 9. ročníku je doporučena úroveň A2. Jazykové kompetence absolventů středních škol jsou pak stanoveny na úroveň B2.1 Testy umožňují žákům a učitelům zjistit, do jaké míry znalosti žáků těmto výstupním úrovním odpovídají. Test je koncipován tak, aby bylo možné srovnat úroveň žáka nejen s ostatními žáky odpovídajícího ročníku, ale i s žáky ročníků vyšších či nižších. Kromě toho test umožňuje při opakovaném testování sledovat posun ve znalostech žáka. Je důležité si uvědomit, že základním principem ověřovacího testu je nalézt nejobtížnější úlohu, kterou je testovaný ještě schopen vyřešit, a na základě toho ho zařadit do dané kategorie. Při hledání takové úlohy samozřejmě řešitel testu narazí na úlohy, které jsou nad jeho síly. Rádi bychom znovu zopakovali žákům, jejich rodičům i učitelům, že se v případě těchto nevyřešených úloh nejedná o selhání, ale právě o zpřesnění, které napomůže určit žákovu skutečnou úroveň.

b. Společný evropský referenční rámec pro jazyky a popis jeho kategorií Společný evropský referenční rámec pro jazyky (SERRJ) je dokument Rady Evropy, který poskytuje základ pro vypracování jazykových sylabů, směrnic pro vývoj kurikul, zkoušek, učebnic či dalších materiálů v celé Evropě. Popisuje, co se mají žáci naučit, aby užívali jazyk k efektivní komunikaci, a jaké znalosti a dovednosti musí rozvíjet, aby byli schopni účinně jednat.2 SERRJ definuje šest kategorií podle úrovně znalosti cizího jazyka – A1, A2, B1, B2, C1, C2, přičemž zjednodušeně lze říci, že na úrovni A jsou začátečníci, na úrovni B středně pokročilí a na úrovni C vyspělí uživatelé jazyka. Tyto kategorie jsou popsány ve veřejně dostupných dokumentech. Každý si tak může snadno udělat obrázek, jakými schopnostmi disponuje žák, který je označen tou kterou kategorií. Vzhledem k tomu, že ještě předtím, než žák dosáhne úrovně A1, dokáže již při velmi omezeném rozsahu použití jazyka provádět řadu úloh, rozšířili jsme škálu o úroveň A0. Díky tomu může test uspokojivěji mapovat i vzdělávací pokroky žáků nižších tříd základních škol a úplných začátečníků.

1

Viz Národní plán výuky cizích jazyků, dostupný zde: http://aplikace.msmt.cz/PDF/JT010NPvyukyCJnaNet.pdf, více informací naleznete také v Rámcovém vzdělávacím programu pro základní vzdělávání, zde: http://www.msmt.cz/file/21592 2

http://www.msmt.cz/mezinarodni-vztahy/spolecny-evropsky-referencni-ramec-pro-jazyky, další informace naleznete také zde: http://www.coe.int/t/dg4/linguistic/Source/Framework_EN.pdf.

4

Každá kategorie SERRJ zahrnuje široké spektrum dovedností, schopností a znalostí. Hlavním cílem vymezení jednotlivých kategorií je spíše popsat obecné jazykové kompetence žáka, než postihnout znalost konkrétních gramatických jevů či slovní zásoby. Je třeba mít na paměti, že mezi jednotlivými kategoriemi neexistuje pravidelná posloupnost, podle které by měl žák dosáhnout z úrovně A2 na úroveň B1 za stejnou dobu, za jakou dosáhl z úrovně A1 na úroveň A2. Každá kategorie zahrnuje celý komplex jazykových činností a dovedností, jejichž osvojení trvá různě dlouhou dobu. Popisy jednotlivých kategorií si kladou za cíl co nejlépe postihnout danou úroveň znalosti jazyka. Cílem testu je obsáhnout jednotlivé body definující znalosti zahrnuté v dané kategorii. Úlohy testu jsou stejně jako kategorie koncipovány natolik komplexně, že mohou spolehlivě sloužit k zařazení žáka do kategorie. V testu pracujeme s těmito kategoriemi: A0 Žák se s pomocí naučených frází umí představit a vyjádřit základní informace o sobě, své rodině či svých koníčcích. Tyto fráze také dokáže rozpoznat v textu. Začíná rozumět některým výrazům používaným v každodenním životě. Dokáže přečíst a pochopit jednoduché věty a fráze, pokud má potřebnou slovní zásobu a může si text přečíst vícekrát po sobě. V mluveném projevu porozumí výrazům a větám, které zná, pokud jsou vysloveny pečlivě a pomalu. A1 Žák zná výrazy používané v každodenním životě a dokáže vyjádřit detaily týkající se jeho osoby, rodiny a přátel. Jednoduchými větami popíše místo, kde žije a lidi, které zná. Umí položit jednoduché otázky a zjistit tak informace o jiné osobě (například o místě, kde žije, nebo o věcech, které vlastní). Porozumí pomalu, zřetelně a jednoduše mluvícím partnerům, kteří jsou ochotni případně svou výpověď zopakovat, a dokáže reagovat na jejich otázky. V textu i mluveném projevu dokáže identifikovat známá slova a věty. Úroveň A1 očekává Rámcový vzdělávací program pro základní vzdělávání od žáka na konci 5. třídy základní školy. A2 Žák umí základními frázemi popsat sebe, svou rodinu, školu, zájmy či okolí. Dokáže v přímé a jednoduché výměně informací stručně popsat rutinní činnosti a své potřeby. Umí vést společenskou konverzaci o známých tématech a reagovat na momentální situaci. Dokáže napsat jednoduché poznámky či zprávy a zvládne i krátký osobní dopis. V jednodušších textech dokáže vyhledat základní informace. Rozumí větám, které se týkají jeho samého, rodiny, nákupů nebo zaměstnání. Porozumí základnímu sdělení, je-li proneseno pomalu a zřetelně. Úroveň A2 očekává Rámcový vzdělávací program pro základní vzdělávání od žáka na konci 9. třídy základní školy.

5

B1 Žák ovládá fráze a slovní zásobu týkající se běžných témat a témat, která ho zajímají, a dokáže o nich i napsat souvislý text. Jazykově si poradí v situacích, které mohou nastat při cestování do ciziny. Umí popsat zážitky, události, sny, naděje a cíle či stručně vysvětlit a zdůvodnit své názory a plány. Zvládne vyprávět příběh, přiblížit obsah knihy či filmu a vylíčit své reakce. Své zážitky a dojmy dokáže i popsat v osobním dopisu. Bez přípravy se může zapojit do hovoru o aktuálních událostech a známých tématech se správným použitím gramatických prostředků. Rozumí hlavním myšlenkám ve spisovném mluveném projevu, týká-li se běžných témat. Pochopí smysl rádiového či televizního vysílání s běžným obsahem. B1 je kategorie, ze které vychází maturitní zkouška. B2 Žák bez velké námahy dokáže vést plynulou spontánní konverzaci s rodilým mluvčím. Umí se srozumitelně a podrobně vyjadřovat k široké škále témat, která se vztahují k oblasti jeho zájmu, bez problémů vysvětlí své stanovisko k aktuálním otázkám a dokáže uvést výhody a nevýhody různých řešení. Rozumí textům současné prózy, článkům a zprávám zabývajícím se současnými problémy, v nichž autoři zaujímají konkrétní postoje i hlavním myšlenkám složitých textů na různá témata včetně odborně zaměřených diskuzí na téma, o které se zajímá. Umí napsat srozumitelné podrobné texty různé formy na různá témata, obhajovat nebo vyvracet určitý názor. V osobním dopise dokáže vyjádřit emoce či popsat své pocity. Nedopouští se gramatických chyb vedoucích k nedorozumění, většinu svých chyb umí opravit. Rozumí většině televizních zpráv a programů týkajících se aktuálních témat a také většině filmů ve spisovném jazyce. Dokáže sledovat i složitou výměnu názorů, pokud téma dostatečně zná. C1 Žák se umí plynule a pohotově vyjadřovat bez zjevného hledání výrazů, umí jazyk užívat pružně a efektivně pro společenské, akademické a profesní účely. Zvládá se jasně vyjádřit, dobře uspořádat text a podrobně vysvětlit svá stanoviska, rozvíjet konkrétní body a zakončit svou řeč vhodným závěrem. Dokáže dodržovat vysoký stupeň gramatické správnosti, zřídka se dopouští systémových chyb a tyto chyby jsou sotva postřehnutelné, ale pokud se objeví, obvykle je dokáže opravit. Umí volit vhodné fráze a vybírat své formulace tak, že se vyjadřuje jasně a na odpovídající stylové rovině bez nutnosti redukovat to, co chce sdělit. Rozumí širokému rejstříku náročných a dlouhých textů (jak faktografických, tak beletristických), ocení rozdíly v jejich stylu. Porozumí odborným článkům a delším technickým instrukcím, a to i pokud se nevztahují k jeho oboru. Je schopen sledovat film nebo rozhlasové vysílání v anglickém jazyce.

6

c. Specifika a přínos testu Přínos testu Zařazení do konkrétní kategorie žákům pomáhá přesněji si uvědomit šíři svých znalostí a provázanost jednotlivých jazykových dovedností. Test tak pomáhá žákům i jejich rodičům vnímat jazykové vzdělávání v konkrétních obrysech. Učitelé zase mohou zjistit, nakolik si jsou jejich žáci schopni poradit i s úlohami, které přesně nemusí odpovídat probrané látce. Patří-li žák do dané kategorie, mělo by se to na jeho výsledku při řešení úloh projevit. Specifika testu Do testu byly zařazeny i interaktivní úlohy, které více využívají možností výpočetní techniky a činí řešení testu atraktivnějším a zábavnějším. Zařazeno bylo také větší množství krátkých poslechových nahrávek navázaných přímo na jednotlivé úlohy. Každý žák si mohl nahrávku pustit, kolikrát a kdy potřeboval. Díky tomu mohli žáci řešit všechny úlohy ve svém individuálním tempu. Úlohy byly zaměřeny na testování porozumění textu, znalosti gramatiky (včetně spellingu), slovní zásoby a orientace v konverzačních situacích. V úlohách zaměřených na porozumění textu měli žáci prokázat schopnost porozumět hlavní myšlence textu nebo v něm vyhledat konkrétní informaci. Žáci vyvozovali závěry z uvedených informací, interpretovali sdělení obsažená v textech, zasazovali do širšího kontextu situace popsané v textu, zobecňovali a shrnovali poskytnuté informace apod. V úlohách zaměřených na konverzaci bylo úkolem žáků prokázat schopnost nalézt vhodnou reakci v obvyklých konverzačních situacích. V úlohách zaměřených na gramatiku a slovní zásobu měli žáci prokázat znalost konkrétních slovíček či gramatických jevů.

d. Jak interpretovat výsledky Prostudujte si tuto část, dobře se tak zorientujete v používané terminologii a získáte podklady pro interpretaci své analytické zprávy. Dále navazuje ještě kapitola Návod k interpretaci tabulek a grafů, kde jsou ukázky analytické zprávy s komentářem. Nezapomeňte, že výsledky testování v elektronické podobě jsou dostupné v aplikaci ScioDat i po ukončení testování – a to jak zpráva pro školu, tak databáze žáků s výsledky. Pokud si je včas stáhnete, můžete s nimi pracovat i v následujících letech. Svou individuální zprávu mají k dispozici ke stažení po přihlášení pod svým hashem a heslem i žáci. Jak výsledky správně pochopit aneb na co při interpretaci nesmíme zapomenout? - Důležité je zařazení projektu do autoevaluačního systému školy a zejména zajištění jeho návaznosti na další evaluační nástroje, které škola používá nebo plánuje použít. Tyto nástroje by projekt měly doplňovat nebo následně umožňovat zjišťování funkčnosti změn ve výuce. - Zařazení na škálu podle SERRJ umožní dobře identifikovat odchylky od průměru a zjistit, čím se škola ve srovnání s ostatními může pochlubit, a naopak v jakých oblastech by stálo za to usilovat o zlepšení.

7

-

-

-

Při interpretaci svých výsledků je rovněž nutné brát vždy v úvahu celkový kontext školy (prostředí, strukturu pedagogického sboru, strukturu žáků, zaměření školy a řadu dalších faktorů, které mohou působit na výsledky žáků a mohou je vysvětlovat). Využijte k interpretaci i souhrnnou zprávu, kde kromě návodu najdete analýzu výsledků testování v rámci širšího kontextu. Zpráva prezentuje souvislosti mezi testem a dotazníkovou částí. Individuální zpráva žáka může doplnit portfolio žáka.

Pojem vážený průměr kategorií V následujících grafech často používáme pojem „vážený průměr kategorií“. Dospěli jsme k němu tak, že kategorii A0 jsme přiřadili jeden bod, A1 body dva, A2 tři, B1 čtyři atd. Vážený průměr kategorií je číslo mezi 1 (A0) a 6 (C1), které je spočítáno součtem bodů a vydělením počtem žáků v daném ročníku (testování). Vážený průměr kategorií používáme pro srovnání v rámci ročníků a krajů. Je vždy nutné s ním pracovat jako s průměrem – tedy brát v úvahu, že extrémní výsledky v malých počtech testovaných mohou výsledky zkreslovat. Při vypracování závěrečné zprávy využíváme znázornění pomocí grafů se slovním popisem. Omezili jsme se na popisnou statistiku bez toho, že bychom nalezené závislosti testovali metodami matematické statistiky. Hovoříme-li tedy dále o „výrazném rozdílu“, „zřetelné závislosti“ apod., není tím myšleno prokázání statistické významnosti (ve smyslu např. t-testu atd.).

8

Jak interpretovat analytické zprávy Tato část zprávy obsahuje ukázky celostránkových grafů a tabulek výsledků – Analytické zprávy, kterou obdržíte současně s touto zprávou a jež je vložena v deskách. Následující ukázky obsahují pouze modelová data a jsou vždy doplněny komentářem, který by vás měl pouze inspirovat, jak rozumět vaší analytické zprávě a jak výsledky interpretovat. V těchto ukázkách naznačujeme, jaké souvislosti můžete ve výsledcích hledat a jak výsledkům rozumět. Při interpretaci svých výsledků byste měli vždy vzít v úvahu kontext vaší školy (prostředí, strukturu pedagogického sboru, strukturu žáků, zaměření školy a řadu dalších faktorů, které mohou působit na výsledky žáků a které je mohou vysvětlovat). Jiné možnosti interpretace najdete také v nadcházející části, jež komentuje souhrnná data. Ve vaší analytické zprávě nemusí být všechny z níže uvedených typů grafů. Pokud pro ně nemáme právě pro vaši školu data (např. žáci nemají zadané známky), nemohli jsme výstupy zpracovat.

Následující grafy a tabulky jsou pouze vzorové a netýkají se vaší školy. Analytická zpráva obsahuje set pro školu a set pro třídu. Set pro školu zahrnuje souhrnné tabulky a grafy za celé ročníky. Celá část je určena pro vedení školy; práce s těmito výsledky je na každé škole odlišná. Výsledky obdrží např. třídní učitelé, případně kopii mohou dostat vyučující angličtiny. Set pro třídu se skládá z konkrétních výsledků jednotlivých tříd v rámci daného předmětu. Předmětové komise často porovnávají výsledky jednotlivých tříd, zamýšlejí se nad úspěšností v jednotlivých částech testu. Výsledky má k dispozici také vyučující daného předmětu. Vše samozřejmě dále souvisí se znalostí školy – zaměření, cíle školy, vyučující v dané třídě, složení žáků. Díky tomu lze odhalit případné chyby ve výuce a rozhodnout o následných opatřeních.

9

Set určený pro školu ZASTOUPENÍ KATEGORIÍ VE TŘÍDÁCH PO ROČNÍCÍCH

V grafu tohoto typu ukazujeme dosažené kategorie ve třídách školy po ročnících. Pro srovnání ukazujeme také rozložení kategorií ve všech testovaných třídách v daném ročníku. Z grafu lze vyčíst porovnání tříd mezi sebou: Výsledky obou třídy 5. A jsou o něco horší než republikový průměr, vzhledem k třídám 5. B a 5. C jsou výrazně horší. Stejný typ grafu obdržíte také pro každou třídu zvlášť s dosaženými kategoriemi i za jednotlivé části testu. POSTAVENÍ ŠKOLY VE SROVNÁNÍ S OSTATNÍMI V ROČNÍKU

Graf barevným odlišením vystihuje postavení vaší školy mezi ostatními zúčastněnými školami (tedy jak dopadla škola v daném ročníku ve srovnání s ostatními školami, které se zúčastnily testování) – jde vlastně o takový „žebříček“ škol. Toto pořadí všech škol bylo vytvořeno na základě váženého průměru podle dosažených kategorií v testu za celý ročník školy. Můžete zde vidět, kolik škol jste svým výsledkem předstihli. Vaše škola je na grafu vyznačena malým domečkem a popiskem. V grafu lze barevně rozlišit školy s počtem testovaných žáků menším než 10.

10

TABULKA PODROBNÝCH VÝSLEDKŮ

Tato tabulka zachycuje detailní výsledky jednotlivých žáků, čímž umožňuje podrobnější vhled do výsledků třídy. Obdržíte ji pro každou třídu, která se testování zúčastnila. Lze z ní zjistit, jak dopadli jednotlivci a zda jejich výsledek odpovídá očekávání. V tabulce je u každého žáka uvedena nejprve přezdívka, hash, následuje číslo žáka, dosažená úroveň žáka, porovnání žáka s ostatními žáky v ročníku a dále dosažené úrovně za části testu. Šipka směřující nahoru znamená, že žák je v dané kategorii v „horní části“ testovaných. Žákovi chybělo málo, aby se dostal do vyšší kategorie. Šipka dolů znamená, že žák je v dané kategorii v „dolní části“ testovaných. Žák se do kategorie dostal s „odřenýma ušima“. Tabulka díky těmto souhrnným údajům umožňuje i pohled na celkové výsledky třídy v testovaném předmětu a v jejich jednotlivých částech.

11

ANALÝZA ÚSPĚŠNOSTI ŘEŠENÍ ÚLOH PODLE TYPU A OBTÍŽNOSTI Tabulka ukazuje počet úspěšně vyřešených úloh v porovnání s počtem úloh, na které žáci v testech odpovídali.

Na modelovém příkladu vidíme, že třída dostala více obtížných úloh v části čtení (žáci zde odpovídali lépe než v části poslech). Pozorujeme, že nejslabších výsledků dosahuje třída v oblastech gramatika a slovní zásoba, kde měli žáci problém s polovinou nebo více otázek o obtížnosti A2 a výše.

12

UKÁZKA INDIVIDUÁLNÍ ZPRÁVY PRO ŽÁKA Protože zpráva obsahuje řadu informací, doporučujeme, abyste s žáky zprávu prozkoumali a rozebrali při hodině. Ukážeme vám, jak zpráva žáka vypadá a jaké informace z ní lze vyčíst. Vysvětlivky žák nalezne také přímo na zprávě. Část nazvaná Celkové hodnocení testu uvádí dosaženou kategorii žáka. Dále ukazuje kategorii v části poslech a čtení. Někteří žáci mají u své kategorie šipku nahoru, nebo dolů. Šipka směřující nahoru znamená, že žák je v dané kategorii v „horní části“ testovaných. Žákovi chybělo málo, aby se dostal do vyšší kategorie. Šipka dolů znamená, že žák je v dané kategorii v „dolní části“ testovaných. Žák se tak do kategorie dostal s „odřenýma ušima“. Přidali jsme dále tabulku s počty položených a správně zodpovězených úloh v jednotlivých kategoriích. Je vidět, že žák nemusí správně zodpovědět všechny úlohy z uvedené kategorie. Z tabulky lze poznat, zda nějaká oblast (porozumění, orientace v konverzačních situacích, slovní zásoba, gramatika/pravopis) činí žákovi větší obtíže než jiná. Na druhé straně nalezne žák popisy kategorií na základě Společného evropského referenčního rámce pro jazyky.

13

Souhrnné výsledky Jarního termínu testování angličtiny se zúčastnilo 6674 žáků a studentů. Při práci s daty používáme širší vzorek. Vzhledem k charakteru projektu můžeme porovnávat žáky a studenty z letošního testování i s jarním testováním v minulém školním roce. Pracujeme pak se vzorkem přibližně 15 000 žáků a studentů. Testování bylo doplněno dotazníkovým šetřením. Dotazník pro žáky zjišťoval informace o způsobu výuky, jazykových zájmech studentů, jejich dovednostech spojených se znalostí řeči a v neposlední řadě také jejich motivaci ke studiu. Dotazník byl společný pro všechny ročníky. Tato souhrnná část zprávy poskytuje celkové výsledky za testování. Je možné z ní získat podrobný přehled o výsledcích testování, doprovodného dotazníkového šetření a o vzájemných souvislostech mezi výsledky v testech a odpověďmi v dotaznících.

Počty zúčastněných žáků

kraj Hlavní město Praha Jihočeský kraj Jihomoravský kraj Karlovarský kraj Královéhradecký kraj Liberecký kraj Moravskoslezský kraj Olomoucký kraj Pardubický kraj Plzeňský kraj Středočeský kraj Ústecký kraj Vysočina Zlínský kraj celkem

počet škol 21 15 22 6 15 13 25 19 13 10 35 7 17 12 230

14

otestováno počet tříd 59 28 49 7 29 19 43 27 25 20 62 22 28 24 442

počet žáků 1042 358 889 79 462 220 751 402 254 221 876 321 438 361 6674

Analýza výsledků testování V této části analyzujeme výsledky testování v rámci širšího kontextu, hledáme souvislosti mezi jednotlivými testy a dotazníky a všímáme si jejich vzájemných vztahů. Některé výsledky najdete také v analytické zprávě pro vaši školu v podobě rámce, se kterým můžete srovnávat vaše výsledky. Odpovídá známkování dosaženým výsledkům? 1

1,5

průměrná známka

5. ročník ZŠ 6. ročník ZŠ

2

7. ročník ZŠ 8. ročník ZŠ

2,5

9. ročník ZŠ 1. ročník SŠ 2. ročník SŠ

3

3. ročník SŠ 4. ročník SŠ

3,5

4 A0

A1

A2

B1

B2

C1+

kategorie

V analýze testování cizích jazyků jsme se zaměřili na to, jak odpovídá průměrná známka v ročníku dosažené kategorii. Rozdíly ve výsledcích, resp. známkování, dokládá výše uvedený graf. Nejmenší rozdíly v průměrné známce jsou v 1. ročníku středních škol mezi kategoriemi A2, B1 a B2. Ve výsledcích nám dokonce vyšlo, že žáci devátého ročníku s průměrně trochu lepší známkou dosahují průměrně horších výsledků (u kategorií A0 a A1). Tento paradox pravděpodobně vyplývá z malého počtu dat. Ukazuje se také, že žáci 5. tříd, kteří jsou na úrovni A1 a tedy splňují očekávaný výstup podle RVP, mají průměrnou známku 1,5. Žáci 9. ročníku, kteří splňují očekávaný výstup a mají úroveň A2, mají průměrnou známku blíže ke dvojce.

15

Jaký vliv má náplň v hodinách výuky cizího jazyka? A0

A1

A2

B1

B2

C1

hledáme odpovědi diskutujeme hledáme informace vzájemně se hodnotíme hrajeme hry pracujeme na počítači, tabletu apod. pracujeme ve skupinách zpracováváme projekty

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Žáci, kteří v hodinách diskutují, hledají informace, ale zároveň i žáci, kteří se pracují ve skupinách, dopadli v testu o trochu lépe. Žáci, kteří vybrali možnosti „pracujeme na počítači, tabletu apod., hrajeme hry a vzájemně se hodnotíme“, měli o něco horší výsledky. Vliv používání jazyka na výsledky v testu vážený průměr kategorií

počet

2,3

2500

2000

2,2 2,15

1500

2,1 1000

2,05

počet respondentů

vážený průměr kategorií

2,25

2 500

1,95 1,9

0 seriály, filmy

internet komunikace s lidmi komunikace v hrách vyhledávání, články (kamarádi ze zahraničí, Facebook, ICQ)

na dovolené v zahraničí

při vlastní tvorbě písničky, blog apod.

Žáků jsme se také zeptali, při jaké příležitosti nejčastěji využívají cizí jazyk. Podle toho jsme pak žáky rozdělili do skupin a spočítali vážený průměr. Výsledky žáků, kteří jazyk využívají při

16

komunikaci, ať již v zahraničí či v Česku, nebo sledují filmy a seriály v angličtině, jsou v průměru lepší. Rovněž žáci, kteří se účastní jazykových kurzů, dosáhli lepších výsledků.

Výsledky dotazníkového šetření Atmosféra v hodinách anglického jazyka V grafu uvádíme porovnání odpovědí žáků na otázku, jaká je atmosféra v hodinách výuky anglického jazyka. Žáci častěji volili možnosti „spíše souhlasím“ a „rozhodně souhlasím“ s tím, že je v hodinách dobrá atmosféra. 60%

50%

40%

30%

20%

10%

0% rozhodně souhlasím

spíše souhlasím

spíše nesouhlasím

rozhodně nesouhlasím

Informace k hodinám anglického jazyka 100% 90% 80% 70% 60%

rozhodně nesouhlasím

50%

spíše nesouhlasím

40%

spíše souhlasím

30%

rozhodně souhlasím

20% 10% 0% V hodině se toho hodně naučím.

Moji spolužáci se chovají tak, Když se učíme, snažíme se jak vyžaduje učitel/ka. dávat do souvislostí novou látku s tím, co jsme se učili dříve.

V hodinách je dobrá atmosféra.

Z grafu vyplývá, že si žáci myslí, že se v hodinách hodně naučí, naopak téměř polovina žáků upozorňuje na to, že se jejich spolužáci nechovají tak, jak vyžaduje učitelka, učitel.

17

Dabing a titulky Žáků jsme se zeptali, zda při sledování zahraničních filmů a seriálů využívají raději dabing, české titulky, anglické titulky, nebo jen originální znění. Z grafu níže vyplývá, že žáci, kteří využívají anglické titulky, nebo originální anglické znění bez titulků, v testu dopadli lépe.

A0

A1

A2

B1

B2

C1

100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% d abin g

o rig inální anglické zn ěn í a české titulky

o rig inální an glické zněn í a o rig inální anglické zn ěn í bez an glické titulky titulků

Na graf se musíme dívat s vědomím, že jde o odpovědi žáků ze všech ročníků. Pokud se podíváme na stejný graf v druhém ročníku středních škol - níže, tak vidíme uvedený posun lépe. Ve druhém ročníku SŠ odpovídalo na otázku 120 studentů. Kolik studentů vybralo jakou odpověď, vidíme v grafu.

A0

A1

A2

B1

B2

C1

100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% dabing 25

originální anglické znění a české titulky 80

18

originální anglické znění a originální anglické znění bez anglické titulky titulků 11 4

Zpětná vazby k projektu V průběhu testování jsme zaznamenali požadavky na zveřejnění testů, které žáci vyplňovali. Vzhledem k tomu, že ověřovací testování je založeno na úlohách, které jsou ověřeny na velkém množství žáků a nesou v sobě velké množství dat, nemůžeme úlohy použité v ostrých testech dávat k dispozici k procvičování. Při dalším testování by totiž úlohy ztratily svou rozlišovací schopnost. Na našich internetových stránkách (www.scio.cz/scate) naleznete ukázkové úlohy, se kterými se mohou žáci v testu SCATE setkat. Za vaše komentáře a připomínky k testům jsme rádi, je pro nás důležité tvořit úlohy a testy tak, aby školám vyhovovaly. Pokud máte dotazy nebo připomínky, kontaktujte nás na e-mailu [email protected].