Mendelova zemědělská a lesnická univerzita v Brně Institut celoživotního vzdělávání
Práce s didaktickými testy na střední škole Závěrečná práce
Vedoucí práce:
Řešitelka:
Mgr. Tomáš Foltýnek, Ph.D.
Mgr. Ludmila Palečková
Brno 2008
2
Abstrakt Palečková, L. Práce s didaktickými testy na střední škole. Závěrečná práce. Brno, 2008. Práce se zabývá metodikou tvorby didaktických testů na střední škole, nabízí zjednodušený postup pro tvorbu prvních nestandardizovaných (učitelských) testů pro potřeby evaluace. Popisuje práci se systémem pro tvorbu testů EduBase a hodnotí použití standardizovaných testů SCIO pro přijímací řízení.
Abstract Palečková, L. Working with didactic tests at high school. Final thesis. Brno, 2008. The work deals with the methodology creation of didactics tests for secondary school. It offers a simplified procedure for creating the first non-standard tests for the purposes of evaluation. It describes the work with the system for creating tests EduBase and evaluates the use of standardized tests SCIO for entrance exam.
3
Prohlášení Prohlašuji, že jsem závěrečnou práci vypracovala samostatně s použitím citované literatury a ostatních informačních zdrojů.
Ve Slavkově dne 16. 7. 2008
………………………………………….
4
Obsah 1
Úvod a cíl...........................................................................................6
2
Didaktické testy ve vzdělávacím procesu na střední škole..............7
3
2.1
Vzdělávací proces a jeho evaluace......................................................7
2.2
Klíčové kompetence a didaktické testování..........................................8
2.3
Druhy didaktických testů ...................................................................9
Metodické zásady tvorby testů .......................................................11 3.1
Vlastnosti dobrého didaktického testu............................................... 11
3.2 Tvorba didaktického testu................................................................ 12 3.2.1 Plánování didaktického testu ..................................................... 12 3.2.2 Konstrukce didaktického testu s příklady testových úloh.............. 14 3.2.3 Návrh prototypu didaktického testu ........................................... 22 3.3 4
5
Ověřování a optimalizace didaktického testu ..................................... 22
Návrh postupu pro tvorbu prvních testů ........................................24 4.1
Zjednodušená konstrukce testu s výběrovou odpovědí ...................... 24
4.2
Klasifikační hodnocení ..................................................................... 24
Systém pro tvorbu testů EduBase ..................................................25 5.1 Postup tvorby testu v programu ....................................................... 25 5.1.1 Příprava tématických celků........................................................ 25 5.1.2 Sestavení výukových materiálů.................................................. 28 5.1.2 Generování testů ...................................................................... 28 5.2
6
Výhody použití systému ................................................................... 30
Standardizované testy SCIO pro přijímací zkoušky .......................31 6.1
Zkušenosti se SCIO testy na střední škole......................................... 31
6.2
Evaluace a řízení výuky ................................................................... 32
7
Závěr ...............................................................................................33
8
Použitá literatura ............................................................................34
9
Přílohy .............................................................................................35
5
1
Úvod a cíl
Zkoušení a objektivní hodnocení studentů patří k obtížným a odpovědným činnostem učitele, které musí být zakomponovány v širším rámci, pro něž se v poslední době vžilo označení evaluace (vyhodnocování, hodnocení). Dokument MŠMT o Rámcových vzdělávacích programech stanoví: "Hodnocení výkonů a pracovních výsledků žáků musí být postaveno na plnění konkrétních a splnitelných úkolů, na posuzování individuálních změn žáka a pozitivně laděných hodnotících soudech. Žákům musí být dána možnost zažívat úspěch, nebát se chyby a pracovat s ní." (RVP ZV; 3.1. pojetí základního vzdělávání; str. 12.) Jedním z nástrojů usnadňujících evaluaci je didaktické testování, pokud se používá správně, nepřeceňují se jeho možnosti a test se vytváří s ohledem na základní metodické zásady jeho tvorby. Na střední škole využíváme dlouhodobě standardizované testy pro přijímací řízení, ale jen ve velmi omezené míře učitelské testy pro průběžnou evaluaci výuky, přestože je ve škole k dispozici software pro usnadnění tvorby těchto testů. Cílem závěrečné práce studia pro koordinátory ICT je pomoci kolegům učitelům překonat počáteční potíže při používání tohoto nástroje. Usnadnit učitelům jeho začlenění do vyučovacího procesu a procesu evaluace své výuky, i k objektivnímu hodnocení studentů s vědomím, že toto objektivní hodnocení může být službou učitele napomáhající harmonickému osobnostnímu rozvoji studentů.
6
2 2.1
Didaktické testy ve vzdělávacím procesu na střední škole Vzdělávací proces a jeho evaluace
Vzdělávacím procesem rozumíme systém nebo soustavu, ve které člověk získává nové vědomosti, dovednosti, postoje, návyky, vztahy. Je to systém velmi komplikovaný a složitý, který je možno popisovat a zkoumat z různých pohledů a používat k tomu rozličných, často velmi komplikovaných modelů. Každý tento model však vzdělávací proces velmi zjednodušuje, zkresluje a vystihuje často jen určitou část celého procesu, s vědomím tohoto omezení je však modelování vyučovacího procesu účinným nástrojem k jeho pochopení a řízení. Jedním z modelů vzdělávacího procesu je model předkládaný kybernetickou pedagogikou. Pro zkoumání problematiky didaktických testů na střední škole se jeví jako vhodný. Zúžíme dále vzdělávací proces na vyučovací proces, tedy vzdělávací proces probíhající v podmínkách řízeného školního vyučování. Kybernetická pedagogika chápe vyučovací proces, jako řízený proces, ve kterém fungují dva základní prvky: prvek řídící a prvek řízený. Řídícím prvek je zpravidla učitel a použité vyučovací prostředky, prvkem řízeným student, třída. Řídící prvek systému vysílá směrem k žákovi informace sdělovacím kanálem, zdrojem informací může být slovo učitele, učebnice, film, výukový program atd. Řízený prvek je sám velmi složitým subsystémem, ve kterém po vyslání informace probíhají složité procesy, o jejichž průběhu se dozvídáme pomocí výstupních informací, ty naznačují učiteli, jaké změny stavů nastaly u řízeného prvku, tedy u studenta, případně třídy, jeho působením. Výstupní informace jsou podkladem pro korekci nebo regulaci vyučovacího procesu ze strany řídícího prvku a autokorekci řízeného prvku, pokud ten zná cíl procesu a ztotožňuje se s ním. U vyučovacího procesu můžeme tedy rozlišit dvě základní fáze: jednak sdělování nových informací, poznatků, učiva a následně kontrolu množství a kvality jejich osvojení a nabytí dovedností, případně postojů. Aby vzdělávací proces optimálně fungoval, musí obě fáze tvořit jednotný celek, vzájemně se doplňovat a prolínat. V pedagogické teorii i praxi se však často věnuje pozornost vysílání informací, ale méně často správnému hodnocení výstupních informací, které můžeme označit za zpětnou vazbu. Zpětnou vazbu je třeba chápat jako organickou součást vyučovacího procesu a usilovat o její objektivní interpretaci v procesu řízení vyučování. Zpětná vazba se realizuje pohovorem, zkouškou, didaktickým testem, řešením problémových úkolů, projektem apod. Nefrekventovanější zpětnou vazbou v současném středním školství je zkouška. Může být ústní nebo písemná. Dobře vedená ústní zkouška má velký význam pro rozvoj vyjadřování a myšlení studenta, může však také trpět řadou nedostatků. Často se omezuje na ověření zapamatování probíraného učiva a nereflektuje schopnost provádět abstraktní myšlenkové operace, řešit problémy. Může vést pouze k memorování a nepobízet k rozvoji myšlení a aplikaci poznatků. Mnohdy vyhovuje průměrnému
7
studentovi, ale nemohou se při nevhodně vedené ústní zkoušce uplatnit ani studenti slabší nebo i vynikající v určitém směru. Tyto nedostatky jsou obvykle zapříčiněny nedostatečně jasným cílem zkoušení. Například si učitel nestanoví, co má být zkouškou zjištěno. Nebo učitel zkouší jen formální vědomosti, ale výsledku zkoušení připisuje mnohem obecnější platnost. Nejasně stanovený cíl zkoušení se také projevuje v tom, že jednotlivé otázky zkoušky směřují k vzájemné nesouvisejícím poznatkům a ve neumožňují posouzení kvality vědomostí. Dalším problémovým okruhem ústního zkoušení je malá objektivita hodnocení. Je dána tím, že hodnocení nevyjadřuje jen výkon studenta při zkoušce, ale odráží také další jeho dovednosti a schopnosti, např. vyjadřovací, vybavovací, a dále obsahuje i preferenční postoj učitele, který je ovlivněn chováním studenta, zevnějškem, povahovými vlastnostmi a dalšími skutečnostmi sociálními. Výše uvedené poznatky o ústní zkoušce platí i pro podobu této zkoušky v písemné formě. Písemnou zkouškou učitelé kompenzují velkou časovou náročnost individuálního ústního zkoušení. Velmi vhodným doplňkem ústní a písemné zkoušky může být didaktický test. Didaktický test, tak jak ho vymezuje M. Chrástka (1999), se orientuje na objektivní zjišťování úrovně zvládnutí učiva u určité skupiny osob. Od běžné zkoušky se didaktický test ovšem liší zejména tím, že je navrhován, ověřován, hodnocen a interpretován podle určitých, předem stanovených pravidel. Stručná a výstižná je definice didaktického testu podle P. Byčkovského (1982): „Didaktický test je nástroj systematického zjišťování (měření) výsledků výuky“.
2.2
Klíčové kompetence a didaktické testování
Vzhledem k začínající kurikulární reformě ve středním školství, která je charakteristická tvorbou vzdělávacích programů škol a jejich důrazem na klíčové kompetence, je třeba se zabývat také didaktickým testováním a jejich vztahem k těmto kompetencím. Ve vzdělávacích programech se objevují závazné požadavky na výsledky vzdělávání žáků, které nevycházejí pouze ze specifik jednotlivých předmětů, ale dotýkají se univerzálnějších znalostí, dovedností a postojů žáků, které běžně potřebujeme ve svém životě a jež jsou využitelné v mnoha životních i pracovních situacích. Rámcový vzdělávací program je označuje jako klíčové kompetence a můžeme si pod nimi představit to, co takřka neustále potřebujeme my sami a co očekáváme nebo vyžadujeme například po svých spolupracovnících. Univerzálně použitelné klíčové kompetence jsou pro život v dnešní společnosti velikou osobní i pracovní devizou každého člověka, který jimi disponuje - také proto se staly součástí rámcových vzdělávacích programů. Vzhledem k šíři osobnostních kvalit, jakou tento pojem musí zastřešit, stává se obecnou kategorií, kterou lze jen velmi obtížně objektivně evaluovat. A i kdybychom připustili možnost s jistotou poznat, na kolik si žák například skutečně 8
„váží vnitřních hodnot druhých lidí“, jak přitom prokážeme, jaký vliv měla na formování jeho postoje škola a na kolik ho ovlivnily jiné faktory? Didaktické testy nemohou z principu měřit klíčové kompetence tak, jak jsou koncipovány v rámcových vzdělávacích programech. Ke zvládnutí testů je potřeba vždy kromě testovaných znalostí a dovedností i schopnost vypořádat se s danou formou zkoušky. Testy však mohou zjišťovat určité znalosti a určitou úroveň dovedností. Rámcové vzdělávací programy nemohou být rezignací na obsah vzdělávání a didaktické testy tedy mohou přispět k monitoringu výsledků vzdělávání v této oblasti. Rámcové vzdělávací programy jsou koncipovány tak, že kromě klíčových kompetencí, které stojí v popředí, jsou zde i obsaženy vzdělávací oblasti se svojí znalostní a dovednostní specifikací. Vzhledem k tomu, že by nám všem mělo jít o porozumění výsledkům testů v kontextu různých kompetencí a specifických schopností konkrétních žáků a dále konkrétních podmínek školy, je využití didaktických testů a jejich správná interpretace jednou z možností posouzení dosažení jednotlivých klíčových kompetencí, které jsou ve svém celku velmi těžko ověřitelné. Toto tvrzení lze doložit tím, že Metodický portál k rámcovým vzdělávacím programům nabízí na stránce Klíčové kompetence – Hodnocení - ověřování pouze Hodnocení komunikačních kompetencí ve Finsku.
2.3
Druhy didaktických testů
V pedagogické praxi se na středních školách setkáváme s různými druhy didaktických testů. Nejčastěji jsou to standardizované testy, které škola nakupuje od specializovaných společností pro účely přijímacího řízení, průběžné evaluace, přípravy na státní maturity. Dále se objevují i testy nestandardizované, někdy nazývané jako učitelské, které si pro svoje potřeby vytvářejí učitelé školy. Pro přesnější rozlišení druhu testu použijeme klasifikaci, kterou navrhl P. Byčkovský (1982) a upravil M. Chrástka (1999): Testy rychlosti Při testu rychlosti zjišťujeme v jakém časovém limitu je student schopen řešit testové úlohy, většinou velmi jednoduché. Testy úrovně Čisté testy úrovně nepoužívají žádné časové omezení (časový limit) a výkon v nich je dán pouze úrovní vědomostí nebo dovedností zkoušeného. Úlohy jsou v testu zpravidla řazeny se vzrůstající obtížností. Z praktických důvodů však bývá nutné s určitým volným limitem pracovat. Testy standardizované Standardizovaný didaktický test je připravován profesionálně, je důkladně ověřen, takže jsou známy jeho základní vlastnosti. Součástí příslušenství standardizovaného didaktického testu je testová příručka, která informuje o vlastnostech testu, jeho správném použití a hodnocení dosažených výkonů. 9
Nestandardizované didaktické testy Nestandardizované testy si připravují učitelé sami pro svoji pedagogickou potřebu. Nedochází u nich k ověřování na větším vzorku studentů, a nejsou známy všechny jejich vlastnosti. Testy kognitivní a testy psychomotorické Kognitivní testy měří úroveň poznání u studentů, například test s úlohou přeložit text do cizího jazyka. Příkladem testu psychomotorického je např. test psaní na stroji, který testuje výsledky psychomotorického učení. Převážná část používaných testů je kognitivní. Testy výsledků výuky a testy studijních předpokladů Testy výsledků výuky zjišťují, co se studenti v dané oblasti naučili a v současnosti užívané testy jsou téměř všechny tohoto druhu. Jen velmi sporadicky se setkáme s testy studijních předpokladů, které měří úrovně obecnějších dovedností studenta, které jsou potřebné pro další studium. Setkáváme se s nimi téměř výhradně při přijímacím řízení. Testy rozlišující (testy relativního výkonu, srovnávací testy) Tyto testy srovnávají výkon studenta s celou množinou testovaných, umožňují posoudit, jestli je jeho výkon např. nadprůměrný nebo slabý. Testy ověřující (testy absolutního výkonu, kriteriální) Cílem těchto testů je určit, zda student zvládl určité učivo či nikoliv, neporovnává se zde tedy jeho výkon s ostatními testovanými, jedná se tedy o individuálnější hodnocení jeho výkonu. Problém těchto testů je určení učiva, které musí student bezpečně zvládnout. Testy vstupní, průběžné a výstupní Tyto testy slouží především pro zpětnou vazbu o procesu výuky a nikoliv pro hodnocení studentů. Umožňují učiteli korigovat proces výuky na začátku určitého celku, v jeho průběhu případně v jeho závěru.Výstupní testy mohou také být podkladem pro hodnocení studentů. Testy monotematické a polytematické Monotematické testy zkouší jeden učební celek, testy polytematické se zaměřují na učivo několika tematických celků. Testy polytematické jsou náročnější na svou připravu. Testy objektivně skórovatelné Testy objektivně skórovatelné obsahují úlohy, u nichž lze objektivně rozhodnout, zda byly řešeny správně či nikoli. Lze tedy k jejich hodnocení použít počítač. Testy subjektivně skórovatelné (esej testy) Esej testy obsahují úlohy, u nichž není možno stanovit jednoznačná pravidla pro skórování. Jsou to například otevřené široké úlohy, ve kterých student volně odpovídá na položenou otázku rozsáhlejší odpovědí. Tyto úlohy není vhodné vynechávat, protože umožňují zkoušet komplexnější vědomosti a dovednosti.
10
3
Metodické zásady tvorby testů
Popíšeme nejdůležitější metodické zásady tvorby testů s ohledem na jejich uplatnění v různých předmětech. Nejprve si všimneme vlastností, které by měl mít dobrý test.
3.1
Vlastnosti dobrého didaktického testu
Má-li didaktický test napomoci učiteli při evaluaci své výuky, je třeba, aby zkoušel skutečně to, co učitel chce vyzkoušet, aby byl spolehlivý a přesný a aby byl praktický. Dodržení těchto vlastností testu je zárukou toho, že didaktický test bude naplňovat svou funkci, tedy měřit výsledky výuky. M. Chrástka (1999) specifikuje tyto vlastnosti následujícím způsobem: Validita (platnost) didaktického testu Test je validní tehdy, pokud se jím zkouší skutečně to, co má být zkoušeno. Tak například u testů studijních výsledků zkoumáme, jak dalece se shoduje obsah testu s cílem a obsahem vyučování; v těchto případech jde především o tzv. obsahovou validitu testu. Obsah úloh testu by měl být reprezentativním vzorkem zkoušeného učiva. U testů výsledků výuky jsou kritériem validity příslušná kurikula vyučovacích předmětů. Testy studijních předpokladů by měly mít schopnost předpovídat budoucí úspěšnost v učení (je nutno zvážit, ze kterých vědomostí nebo dovedností je možno usuzovat na budoucí úspěšnost ve studiu). Reliabilita didaktického testu Aby byl didaktický test reliabilní, je třeba, aby byl spolehlivý a přesný. Spolehlivost spočívá v tom, že za týchž podmínek by měl poskytovat stejné (velmi podobné) výsledky. Didaktický test je přesný tehdy, jestliže při jeho použití nedochází k velkým chybám měření. Výsledek didaktického testu u určitého žáka je tvořen dvěma složkami: pevnou složkou (skutečné vědomosti nebo dovednosti) a náhodnou složkou (okamžitá kondice, vnější podmínky atd.). Náhodná složka způsobuje, že při zdánlivě stejných podmínkách se výsledky testování mohou podstatně lišit. U dobrého didaktického testu by se vliv náhodné složky měl uplatňovat co nejméně. O testu poskytujícím výsledky, které jsou jen minimálně dotčeny náhodnými vlivy, můžeme říci, že má vysokou reliabilitu. K přesnému posouzení míry reliability didaktického testu slouží koeficient reliability. Tento koeficient v praxi nabývá hodnot od 0 (pro případ naprosté nespolehlivosti a nepřesnosti) až po hodnoty blízké 1 (pro případ dokonalé spolehlivosti a přesnosti didaktického testu). Pro individuální pedagogickou diagnostiku se většinou požaduje koeficient reliability minimálně 0,80. Reliabilita testu je závislá na kvalitě testových úloh, z nichž je vytvořen, na počtu úloh; obecně platí, že čím více úloh test obsahuje, tím má větší reliabilitu. Dobrý didaktický test by měl vždy obsahovat dostatečný počet úloh, za spodní hranici lze považovat 10 úloh.
11
Stanovení koeficientu reliability je nezbytné při ověřování všech standardizovaných didaktických testů. Praktičnost Vedle validity a reliability testu zvažuje učitel při jeho hodnocení i praktické výhody, které mu z jeho používání plynou. Dobrý test se vyznačuje tím, že jeho použití je jednoduché, oprava výsledků snadná a rychlá, a proto představuje úsporu času ve srovnání s jinými způsoby zkoušení studentů.
3.2
Tvorba didaktického testu
Přestože vytváření jednotlivých testových úloh je stěžejní prací při tvorbě didaktického testu, nemělo by být prvním korkem. Vždy by mu mělo předcházet plánování testu, které napomůže tvorbě vyváženého testu. 3.2.1 Plánování didaktického testu Nejdříve se musí určit a zformulovat obsah testu, nejčastěji to bývá zjištění výsledků výuky na konci tematického celku Příklady rámcového vymezení obsahu testu: Funkce a logaritmy (učivo 20 hodin matematiky, 2. ročník střední odborné školy) Komprese a dekomprese dat (učivo 3 hodin ICT, 2. ročník střední odborné školy) Pedagogické myšlení 17. a 18. století (učivo 5 hodin pedagogiky, 1. ročník střední odborné školy) Rámcově vymezený obsah testu doporučuje M. Chrástka (1999) upřesnit tak, aby bylo zřejmé, jaký obsah mají jednotlivé úlohy zkoušet, na jakou úroveň osvojování vědomostí se při tom mají zaměřovat, kolik úloh je nutno navrhnout atd. Je známo několik technik, kterými se toto upřesnění může uskutečnit. V učitelské praxi lze využít techniku specifikační tabulky. Specifikační tabulka upřesňuje, jaká úroveň osvojení znalostí má být jednotlivými úlohami testu zkoušena. Dobrý didaktický test by měl ověřovat nejen pamětní osvojování učiva, nýbrž by měl zkoušet i vyšší cílové úrovně, jako je porozumění poznatkům, aplikace poznatků, analýza a syntéza poznatků atd. Při úvahách, jakou úroveň osvojení poznatků úlohy testují, jsou dobrou pomocí taxonomie výukových cílů, např. Bloomova taxonomie výukových cílů, Niemierkova taxonomie. Tyto taxonomie výukových cílů uspořádávájí cíle výuky dle jejich náročnosti. První cílové úrovně se vyznačují nižší náročností na výkony studentů, v dalších cílových úrovních taxonomií tato náročnost vzrůstá. Pro plánování testů se jeví jako výhodná taxonomie výukových cílů, kterou navrhl polský autor B. Niemierko. Obsahuje čtyři hierarchicky uspořádané kategorie výukových cílů, jež lze dále shrnout na úroveň dosažených vědomostí – zapamatování a porozumění poznatkům a úroveň dosažení dovedností – aplikace
12
poznatků v typických situacích a aplikace poznatků v problémových situacích. Při formulaci výukového cíle, který má testová úloha zkoušet, používáme aktivní slovesa, jež odpovídají dosažení určité cílové úrovně. Některá jsou uvedena v následující tabulce. Uvedená aktivní slovesa mají význam až v kontextu toho, co konkrétně vyjadřují. Chybou bývá například uvedení obecného cíle bez aktivní vazby. Například: výukový cíl formulovaný slovy „Umět Ohmův zákon.“, necharakterizuje jasně, co to znamená „umět“, jestli umět slovně vyjádřit nebo napsat analytické vyjádření Ohmova zákona nebo umět vysvětlit Ohmův zákon nebo umět použít Ohmův zákon při výpočtech jednoduchých obvodů nebo umět použít Ohmův zákon v praxi při volbě rezistoru, na němž je uveden výkon a odpor. Niemierkova taxonomie výukových cílů: KategoCíl Popis
Aktivní slovesa
rie Vědomosti
A)
Student si vybavuje fakta, termí-
Definovat, napsat,
Zapamatování po-
ny, zákony, nezaměňuje je mezi
opakovat, pojmeno-
znatků
sebou
vat, reprodukovat
B)
Student je schopen zapamatova-
Jinak formulovat,
Porozumění po-
né poznatky předložit v jiné for-
ilustrovat, objasnit,
znatkům
mě než v té, ve které si je
odhadnout, přeložit,
zapamatoval, dovede je uspořá-
převést, vyjádřit
dat, zestručnit
vlastními slovy, zestručnit, uspořádat
Dovednos-
C)
Student používá vědomostí
Aplikovat, použít,
ti
Aplikace vědomostí
k řešení situací, které již byly ve
prokázat, řešit disku-
v typických situacích
výuce vzorově řešeny
tovat, načrtnut, vyzkoušet, registrovat, demonstrovat
D)
Student používá vědomostí
Rozhodnout, provést
Aplikace vědomostí
k řešení problémových situací,
rozbor, kombinovat,
v problémových situa-
které nebyly dosud řešeny
vyvrátit, obhájit,
cích
zhodnotit, posoudit, formulovat problémy
Uvedená Niemierkova taxonomie charakterizuje různé úrovně osvojení vědomostí a dovedností. Přitom vědomosti a dovednosti lze považovat za opravdu osvojené studujícím teprve tehdy, je-li studující připraven k jejich aplikaci v různých, tj. známých i neobvyklých situacích a vytváří-li si k nim pozitivní vztah. Je tedy podstatný rozdíl mezi znát určitý zákon, tj .umět jej reprodukovat, a umět zákon využít v praxi.
13
Další taxonomie vzdělávacích cílů v kognitivní oblasti vychází z Bloomovy taxonomie a pro naše české poměry ji zpracovala formou učebních úloh Dana Tollingerová. Jedná se o pedagogicky velmi účinnou transformaci vzdělávacích cílů v kognitivní oblasti do podoby učební úlohy. Taxonomie je známa pod názvem taxonomie učebních úloh podle jejich operační struktury, protože je uspořádána podle náročnosti na myšlenkové operace, které se uplatňují při jejich řešení. Taxonomie učebních úloh podle jejich operační struktury zahrnuje celkem pět kategorií s postupně vzrůstající náročností na myšlenkové operace. Pro učitele může taxonomie učebních úloh sloužit třem cílům. Pomáhá učiteli, který není odborný psycholog, udělat si představu o tom, jak operačně náročné jsou úlohy, které zadává, co vlastně od studujícího vyžaduje. Pomocí uvedené taxonomie úloh může učitel určit, jak náročně vzdělávací cíle v oblasti kognitivní studujícímu předkládá, jak složité myšlenkové operace od studujícího bude vyžadovat. Úlohami daného typu může učitel ověřit, zda studující dosáhli vzdělávacího cíle v oblasti kognitivní. Je na učiteli, aby zvážil, zda v jeho didaktickém testu jsou zastoupeny úlohy všech kategorií, které chce testem zkoušet. Při sestavování specifikační tabulky pro didaktický test se nejdříve téma (témata), které má být testem zkoušeno, rozdělí na dílčí části (např. podle struktury výkladu v učebnici, podle názvů kapitol v programu výuky atd.). Každé této dílčí části učiva se potom přiřadí určitá váha, např. podle toho, kolik hodin bylo výuce dané části učiva věnováno, podle toho, jaký je rozsah dané části učiva v učebnici atd. Dalším krokem při sestavování specifikační tabulky je rozhodnutí, kolik úloh celkem má test obsahovat. O počtu úloh (min. 10) v testu rozhoduje řada okolností. Na prvním místě je to požadavek dostatečně vysoké reliability testu. Horní hranice délky testu je dána časovými možnostmi ve výuce. Nejdelší testy mívají čistý testovací čas 35 - 40 minut, monotematické didaktické testy 15 - 20 minut čistého času, didaktické testy, které ověřující pochopení výkladu nepřesahují 10 minut. Počet úloh v testu závisí také na druhu používaných testových úloh a na jejich složitosti. U jednodušších otevřených úzkých úloh a u jednodušších úloh s výběrem odpovědí lze orientačně počítat s časem od 0,5 minuty do 1,5 minuty na jednu úlohu. U složitějších úloh jsou časové nároky přiměřeně větší. Po skončeném plánování didaktického testu by autorovi mělo být jasné, co a na jaké úrovni a kolika testovými úlohami, má být zkoušeno. 3.2.2 Konstrukce didaktického testu s příklady testových úloh Ve fázi konstrukce didaktického testu se jedná o vytvoření jednotlivých testových úloh a o vytvoření prvního návrhu didaktického testu. Autor testu rozhoduje o použití typu úloh v didaktickém testu, který závisí na cíli testování, obsahu učiva, který má být předmětem testování.
14
Nejdůležitější druhy testových úloh uvedeme ve členění podle M. Chrásktky (1999), některé rozebereme a uvedeme příklady: A otevřené (s tvořenou odpovědí) A.1 se širokou odpovědí (otevřené široké úlohy) A.1.1 nestrukturované A.1.2 se strukturou A.1.2.1 vymezenou A.1.2.2 danou konvencí A.2 se stručnou odpovědí A.2.1 produkční A.2.2 doplňovací B uzavřené (s nabízenou odpovědí) B.1 dichotomické B.2 s výběrem odpovědí B.3 přiřazovací B.4 uspořádací (seřazovací)
A.1
OTEVŘENÉ ŠIROKÉ ÚLOHY
V těchto úlohách se požaduje od studenta rozsáhlejší odpověď. Může se např. požadovat pojednání na určité téma (např. Význam díla K. H. Borovského pro českou poezii; nebo Význam díla J. A. Komenského pro světovou pedagogiku), vyřešení zadaného problému (např. Navrhněte postup, kterým je možno předejít infikování počítače virem), popis konkrétního procesu (např. Popište princip tisku inkoustové tiskárny). Požadovaný rozsah odpovědi se žákovi naznačuje velikostí vynechaného místa v testovém zadání. V zadání úlohy je možné také vymezit strukturu požadované odpovědi, např. Výpočet kvadratické rovnice (uveďte definiční obor, početní a grafické metody používané pro výpočet kořenů rovnice). Otevřené široké úlohy efektivně zkouší komplexní vědomosti, které si student osvojil v delším časovém období. Umožňují testovat schopnost studenta řešit problémové situace, nelze je však objektivně skórovat. A.2
ÚLOHY SE STRUČNOU ODPOVĚDÍ
V těchto úlohách student uvádí krátkou odpověď, např. vzorec, slovo, symbol. Jsou dvojího typu: produkční a doplňovací. Příklady produkčních testových úloh: Napište tři druhy středověkých církevních škol, v nichž těžiště vzdělání tvořilo sedmero svobodných umění. 1....................................... 2....................................... 3.......................................
15
Napište rovnicí Pythagorovu větu. …………………………………… Kdy byla postavena budova, na níž je latinský letopočet MDXCI? …………………. Napište celé datum založení Karlovy univerzity …………………. Příklady doplňovacích testových úloh: Výchovný systém Dona Boska se nazývá ............................. systém. Starší chlapci a děvčata hrál... volejbal a menší děti je povzbuzoval.... J. A. Komenský se narodil roku.......... Tyto úlohy se snadno navrhují, neumožňují studentům lehce uhodnout správnou odpověď bez příslušných vědomostí. Nevýhodou úloh se stručnou odpovědí je to, že student může odpovídá správně, ale jinak, než si představoval autor testu. Příklad: Jednotkou délky je ……? V tomto příkladě může být správná odpověď např. palec, km, m, míle apod.
I. II. III. IV. V. VI. VII. VIII. IX. X.
B.1
Doporučení pro návrh úloh se stručnou odpovědí (M. Chrástka, 1999): Úloh užívejte jen tehdy, lze-li odpovědět velmi stručně (nejlépe jen jedním údajem). Úlohu formulujte zcela jasně a jednoznačně. Nevyžadujte doslovné opakování textu z učebnice. Uvažte předem všechny možné odpovědi, a je-li jich mnoho, raději úlohu nepoužívejte. Ponechejte v úlohách vždy dostatek místa pro uvedení odpovědi. Dávejte přednost produkčním úlohám před doplňovacími. Chcete-li přece jen použít doplňovací úlohy, dodržujte následující doporučení: Vynechávejte jen důležité údaje. Z neúplné věty musí být patrné, co se má doplnit. Údaj, který se má doplnit, umisťujte pokud možno na konec věty. Pokud se má doplnit několik údajů, vynechejte pro doplnění zhruba stejné místo. ÚLOHY DICHOTOMICKÉ
Úlohy, v nichž student vybírá odpověď ze dvou možností, se nazývají dichotomické, správnou odpověď označuje zpravidla zakroužkováním nebo podtržením. Příklady: V počítači je nejmenší jednotkou nesoucí informaci. bit - byte 16
Jan Masaryk byl první československý prezident. ano – ne Zběr železného šrotu proběhne letos až začátkem prázdnin, ne v červnu jako loni. gramaticky správně – gramaticky špatně Dichotomické úlohy se snadno navrhují, ale je u nich velká pravděpodobnost uhodnutí správné odpovědi a mohou vést pouze k testování pouhých faktů nebo detailů. Doporučení pro návrh dichotomických úloh (M. Chrástka, 1999): I. Tvrzení uváděné v úloze musí být jednoznačně správné a nebo nesprávné. II. Nepoužívejte příliš dlouhých tvrzení. III. V tvrzeních nepoužívejte dvojího záporu. IV. V tvrzeních neužívejte výrazů typu často, téměř, vždy, nikdy, zřídka apod. V. Navrhujte zhruba stejný počet správných a nesprávných tvrzení. VI. Nepoužívejte vět vytržených z učebnice, ani je neobměňujte zařazením záporu.
B.2
ÚLOHY S VÝBĚREM ODPOVĚDÍ
Úlohy s výběrem odpovědí, často nazývané úlohy vícenásobnou odpovědí, jsou tvořeny otázkou a nabízenými odpověďmi (minimálně čtyřmi), z nichž může být jedna správná, nebo jedna nejpřesnější odpověď, nebo jedna nesprávná odpověď, případně může mít úloha vícenásobnou odpověď. Základní formou je úloha, ve které student vybírá jednu správnou odpověď z několika nabídnutých možností. Příklady: a) Povídku Pohorská vesnice napsal(a) spisovatel(ka) • Karolína Světlá • Božena Němcová • Jindřich Šimon Baar • František Palacký b) Pytharogovu větu pro trojúhelník ABC lze vyjádřit vztahem: • c2=a2–b2 • a2=c2–b2 • b2=a2+c2 • a2=b2+c2
17
c) Evropu od Afriky odděluje : • Suezský průplav • Gibraltarský průplav • Panamský průplav • Maltský průplav d) Která z následujících skupin adjektiv je napsána správně? • dražší, kratší, tenší • horší, kratší, hladší • krásnější, hloupější, tvrdčejší • lepčí, větčí, hezčí Jinou formou úloh s výběrem odpovědí jsou úlohy, kde se požaduje jedna nejpřesnější nebo nejsprávnější odpověď. Tyto úlohy mohou být pro studenty obtížnější než stejná úloha zadaná formou otevřené úlohy.
Příklad: Které z následujících tvrzení popisuje základní (hlavní) funkci kyslíku v organismu člověka a živočichů? • • • • • •
kyslík přesně reguluje tvorbu červených krvinek kyslík a živiny se při fotosyntéze přeměňují na energii kyslík umožňuje pohotové přenášení živin krví pomocí kyslíku se uvolňuje energie obsažená v živinách kyslík pomáhá udržovat správnou hustotu krve, aby se nesrážela na kyslík se v plicích vážou škodlivé látky a jsou potom vydechovány
Obměnou úloh typu jedna správná odpověď bývá úloha, ve které má student vybrat jednu nesprávnou odpověď, je však nutné patřičně zdůraznit v zadaní požadavek na nesprávnou odpověď. Příklady: Mezi vnitřní paměti nepatří: • RAM • EPROM • CD-ROM • ROM Které z následujících slov NEMŮŽE být synonymem ke slovu inteligentní? • bystrý • chytrý • intelektuální • hloupý 18
V úloze s vícenásobnou odpovědí student vybírá několik správných odpovědí, někdy se tato úloha nazývá part. Jestliže se rozhodneme part použít, je nutné na to studenty předem upozornit. Part tedy může mít v nabídce několik odpovědí, které vyhovují zadání, někdy dokonce všechny. Ojediněle nemusí být správná žádná z nabízených odpovědí, pak je třeba studenty na tuto skutečnost upozornit a jasně v instrukci odlišit od případu, kdy student nechá úlohu bez odpovědi. Příklady: V úlohách může být několik správných odpovědí, čísla správných odpovědí uveď do vyznačených políček, pokud se domníváš, že žádná odpověď není správná, přeškrtni všechna políčka vodorovnou čarou Mezi savce řadíme: 1. člověka 2. netopýra 3. delfína 4. hada 5. psa
Ke kterým událostem došlo ještě před vyhynutím velkých ještěrů? 1. ohromný rozvoj plazů 2. vyhynutí mamutů 3. vznik Měsíce 4. vyvrásnění Himálají 5. obsah kyslíku v atmosféře vyšší jak 5% 6. přechod života z vodního prostředí na souš 7. rozdělení amerického kontinentu Panamskýcm průplavem 8. vznik jeskynních kreseb v Altamiře
Pytharogovu větu pro trojúhelník ABC lze vyjádřit vztahy: 1. c2=a2–b2 2. a2=c2–b2 3. b2=a2+c2 4. a2=b2+c2 5. b2=c2–a2 6. c2=a2+b2
19
Úskalím úloh s výběrem odpovědí bývá, že student správnou odpověď uhodne. Hádání správné odpovědi lze omezit zařazením neurčité odpovědi: Příklad: Voleb v obci se účastnilo 320 voličů, kteří rozhodovali mezi panem Novákem a panem Mrázem. Polovinu voličů tvořily ženy, čtvrtina z žen, které volily, volila pana Nováka. Kolik hlasů od žen získal pan Mráz? • 280 • 240 • 160 • 120 • správná hodnota není uvedena V takových úlohách si student musí provést výpočet, protože se nemůže být jist, že je správná odpověď nabídnuta. Sestavování úloh s výběrem odpovědí je podstatně obtížnější než příprava úloh otevřených, u kterých je třeba jen správně formulovat otázku nebo problém, úlohy s výběrem odpovědí vyžadují navíc vytvoření vhodných nabídek odpovědí, které by byly stejně přijatelné . Úlohy s výběrem odpovědí by měly mít otázku co nejstručnější, je často vhodné nahradit dlouhý text obrázkem, grafem. Příklad: Obsah lichoběžníka na obrázku je
a) 42 cm2 b) 36 cm2 c) 24 cm2 d) 21 cm2 e) 18 cm2 Doporučení pro návrh úloh s výběrem odpovědí (M. Chrástka, 1999): I. Úlohami s výběrem odpovědí nezkoušíme pokud možno zapamatování konkrétních poznatků. II. Ve formulaci úlohy se vyhýbáme slovům nebo údajům, které by mohly sloužit jako nápověda. III. Pokud se ve formulaci úlohy vyskytuje zápor, zvýrazníme jej např. podtržením. IV. Soubor nabízených odpovědí k jedné úloze by měl být homogenní, tj. podobný obsahovým zaměřením i formou.
20
V. Distraktory se nesmějí navzájem překrývat nebo jinou formou vyjadřovat totéž. VI. Umístění správné odpovědi mezi distraktory se má volit zcela náhodně. VII. Navrhujeme jen takové distraktory, u nichž je předpoklad, že budou využívány. VIII. Při používání úloh s vícenásobnou volbou odpovědi a při používání neurčitých odpovědí na tuto skutečnost žáky upozorníme. IX. Při formulaci úloh s výběrem odpovědí dáváme přednost otázkám před neúplnými tvrzeními. X. V úlohách s výběrem odpovědí se vyhýbáme příliš dlouhým slovním formulacím. B.3
PŘIŘAZOVACÍ ÚLOHY
Přiřazovací úlohy minimalizují možnost uhádnutí správně odpovědi. Jsou zadány instrukcí a obsahují dvě množiny pojmů. Student přiřazuje pojmy jedné množiny k pojmům množiny druhé. Příklad: a) K názvům paměťových médií v levém sloupci správně přiřaďte hodnoty jejich kapacit z pravého sloupce zápisem daného písmene: HDD () A 128 TB FDD () B 512 MB RAM () C 650 MB CD-ROM () D 3 GB E 1,44 MB b) Přiřaď název díla Komenského a jeho charakteristiku volbou písmene: Orbis pictus () A kritika společnosti Informatorium školy mateřské ( ) B cíl a obsah výchovy Labyrint světa a ráj srdce () C obrázková učebnice Velká didaktika () D učebnice cizích jazyků E výchova v rodině Obě množiny pojmů by neměly být stejně početné, aby student, který některá přiřazení zná, měl znesnadněno hádání u neosvojených pojmů. B.4
USPOŘÁDACÍ ÚLOHY
V uspořádacích (seřazovacích) testových úlohách student řadí uvedené prvky podle zadané instrukce. Příklady: Seřaďte osobnosti, které ovlivnily pedagogické myšlení podle doby, ve které žily tak, že nejstaršímu přiřadíte číslo 1 a nejmladšímu číslo 7: 21
John Locke Michel de Montaigne Jan Bosko M. F. Quintilianus Tomáš Akvinský Herbert Spencer Platón
() () () () () () ()
Poskládejte jednotlivé státy od nejlidnatějšího (přiřaďte číslo 1) po méně lidnaté (přiřaďte číslo 5): Německo () Japonsko () Čína () USA () Indie () 3.2.3 Návrh prototypu didaktického testu I když při konstrukci testu dbáme doporučení uváděná u jednotlivých typů úloh, většinou se nám nepodaří vytvořit dokonalý test na první pokus. Je prospěšné vytvořené úlohy nechat posoudit další osobě nebo je na čas odložit a pak se k nim znovu vrátit a posoudit je. Pomocí může být odpovědět si na následující otázky: • Zkouší navržené úlohy skutečně to, co je podstatné? • Není něco podstatného z učiva vynecháno? • Jsou navržené odpovědi jednoznačné? • Jak jsou úlohy obtížné? Úlohy, které obstály při opětovném posouzení, seřadíme dle vzrůstající obtížnosti. Dále určíme čas potřebný na vypracování didaktického testu, u jednoduších úloh počítáme asi s jednou minutou na úlohu. Čas upřesníme podle prvního použití u studentů. Obvykle volíme takový čas, aby v něm 80 % studentů test vypracovalo.
3.3
Ověřování a optimalizace didaktického testu
O tom, zda má vytvořený didaktický test požadované vlastnosti, si ověříme až po jeho vypracování větší skupinou studentů. Standardizované testy se ověřují na velkém vzorku studentů v řádu set respondentů, pro testy učitelské dostačuje, pokud je zadáme několika paralelním třídám, případně využijeme spolupráce s kolegy z jiných škol. Při rozboru získaných výsledků využijeme analýzu obtížnosti, analýzu citlivosti, rozbor vynechaných a nesprávných opovědí.
22
ANALÝZA OBTÍŽNOSTI Obtížnost jednotlivých testových úloh můžeme posoudit podle toho, kolik studentů je dokáže správně vyřešit. Při analýze obtížnosti se vypočítává hodnota obtížnosti Q. Hodnota obtížnosti Q udává procento studentů, kteří úlohu zodpověděli nesprávně a nebo ji vynechali.
kde nn je počet studentů ve skupině, kteří odpověděli nesprávně a nebo neodpověděli, a n je celkový počet studentů ve skupině. Za velmi obtížné jsou pokládány úlohy, u nichž hodnota Q je vyšší než 80, takových úloh by v testu nemělo být mnoho. Úlohy velmi snadné (Q < 20) se doporučuje zařadit psychologických důvodů na začátku testu. ANALÝZA CITLIVOSTI Vysokou citlivost má taková úloha, kterou řeší s velkým úspěchem žáci, kteří mají celkově lepší vědomosti, zatímco žáci, kteří mají celkově horší vědomosti, v této úloze dosahují výsledků špatných. Citlivost úlohy tedy vyjadřuje, jak dalece daná úloha zvýhodňuje žáky, mající lepší vědomosti, před žáky, kteří mají vědomosti horší (viz. M. Chrástka, 1999, s. 49) ROZBOR VYNECHANÝCH ODPOVĚDÍ Pokud vynechalo některé úlohy testu více jak 20% studentů (u otevřených úloh více jak 30%), je užitečné ověřit zadání takové úlohy, zda je dostatečně srozumitelné, případně čas na vypracování odpovědi. ROZBOR NESPRÁVNÝCH ODPOVĚDÍ Nejsnadnější je rozbor nesrávných odpovědí u úloh s výběrem odpovědí. V těchto úlohách prověříme, zda studenti vybírají všechny distraktory, nebo-li zda není některý distraktor tak málo atraktivní, že ho nikdo nevolí jako správnou odpověď, takový distraktor je pak nutné nahradit vhovndějším.
23
4
Návrh postupu pro tvorbu prvních testů
Při studiu výše uvedených etap při tvorbě didaktického testu může být učitel, který chce při ověřování výsledků své výuky nově použít didaktický test, odrazen mnoha požadavky na jeho tvorbu. Uvádím proto následující zjednodušený postup pro tvorbu didaktického testu s výběrovou odpovědí. Učitelé, kteří učí více tříd a několik let, mají v zásobě řadu písemných zkoušek studentů a příslušné zkušenosti i statistické podklady pro vyhodnocování zkoušek. Všechny tyto dovednosti a materiály učitele lze efektivně využít při tvorbě didaktického testu.
4.1
Zjednodušená konstrukce testu s výběrovou odpovědí
1. Vytvořte písemnou zkoušku z otázek s otevřenou odpovědí 2. Zadejte písemnou zkoušku s otevřenou odpovědí alespoň dvěma třídám studentů. 3. Analyzujte odpovědi studujících, roztřiďte je do kategorií variant nesprávných odpovědí. 4. Nejčastěji se vyskytující varianty nesprávných odpovědí můžete použít při tvorbě testu s výběrem odpovědí jako distraktorů. Vyberte čtyři takové distraktory. 5. V program EduBase vytvořte test výběrovými odpověďmi (klasické nebo obrázkové úlohy) 6. Zadejte vámi zkonstruovaný test studentům a změřte dobu trvání vypracování testu. 7. Vyhodnoťte test (za správnou odpověď přiřaďte 1 bod). 8. Seřaďte testy od největšího počtu bodů po nejmenší počet bodů. 9. Vytvořte stupnici hodnocení. Například dle následujícího doporučení. Pokud má učitel z předchozí výuky zásobu písemných zkoušek, může začít až v bodu 3, tedy s analýzou odpovědí.
4.2
Klasifikační hodnocení • • • • •
prvních 15 % studujících je klasifikováno výborně dalších 20 % velmi dobře dalších 30 % dobře dalších 20 % dostatečně zbývajících 15 % studujících nedostatečně
24
5
Systém pro tvorbu testů EduBase
Software doSystem – EduBase opavské firmy Dosli usnadňuje přípravu libovolných výukových materiálů a jejich použití ve výuce. Pro účely této práce se v dalším textu omezíme jen na popis částí programu – modulů, které jsou důležité pro tvorbu testů. Autoři programu nepoužívají terminologii, která je v didaktickém testování obvyklá, rozebereme nejdůležitější odchylky: Pro výše uváděný termín testová úloha se v programu používá označení otázka. V modulu Příprava tematických celků se vytváří otevřené otázky nebo testové otázky, které mohou být následujících typů: • klasické – je to otázka s výběrem odpovědí i s možností vícenásobné odpovědi • obrázkové – je obdobou klasické, kde odpověď je nabízena formou obrázku • přiřazovací – neumožňuje zadat různý počet v množinách pojmů • seřazovací – uspořádací • doplňovací – otevřená otázka, která má jednoznačnou odpověď, tedy úloha se stručnou odpovědí
5.1
Postup tvorby testu v programu
Program je tvořen několika moduly, pro tvorbu testu využijeme modul příprava tématických celků, dále sestavení výukových materiálů a generátor testů. 5.1.1 Příprava tématických celků Nejprve učitel využije modul příprava tematických celků, zde si vybere z nabízených typů testových otázek a vytvoří jednotlivé úlohy didaktického testu. Příklad: Vytvoření klasické otázky v tématickém celku Informatika (viz. následující obrázek) V okně Tématické celky učiva vybereme záložku 4. Testové otázky a další záložku Klasické (je tvořena vlastní otázkou a nejméně dvěma odpověďmi). Aktivujeme tlačítko pro vytvoření nové otázky. V prvním editačním poli Zadání otázky napíšeme její znění (Co musí obsahovat vzorec s odkazem na jiný list?). Do dalšího editačního pole napíšeme znění první odpovědi (název listu oddělený vykřičníkem a adresu buňky), při psaní se automaticky vytvoří další editační pole. Postupně napíšeme všechny nabízené odpovědi. Zadáme, která z odpovědí je správná: klepneme u ní myší do zavrtávacího políčka před řádkem žíme změny.
25
. Ulo-
Z části práce nazvané Zásady tvorby didaktických testů plynou následující zásady platné pro navrhování testových úloh: Vyhýbáme se úlohám kvízového charakteru. Tyto úlohy mohou být sice pro žáky zábavné, ale k serióznímu měření výsledků vzdělávací činnosti se nehodí. Příklad: Počítačová ikona je: grafická značka zastupující program, dokument, soubor židovský náboženský obraz fotografie vlastníka počítače nástroj na spouštění her Snažíme se navrhovat testové úlohy, které jsou navzájem nezávislé, tj. takové, u nichž správné vyřešení jedné úlohy není vázáno na správné vyřešení jiné úlohy v testu. Při formulaci testových úloh musíme dbát na to, aby již tyto formulace neobsahovaly nápovědu správné odpovědi (tzv. nezamýšlená nápověda). Zdrojem nápovědy u úloh s výběrem odpovědi bývá často např. obsahová, formální nebo jiná odlišnost správné odpovědi od distraktorů. V didaktických testech zásadně nepoužíváme chytáků, kterými bychom zkoušeli postřeh nebo důvtip a ne stupeň zvládnutí učiva.
26
Při hodnocení odpovědí v testu je nejvhodnější užívat jednoduchého skórování úloh, kdy za správnou odpověď v úloze připisujeme vždy jen jeden bod. Testových úloh navrhujeme vždy o něco více, než kolik má obsahovat konečná podoba testu. Při ověřování testu se totiž zpravidla ukáže, že řada úloh z různých příčin nevyhovuje. PŘÍKLADY SPRÁVNÝCH A NESPRÁVNÝCH ÚLOH Úloha má být svým obsahem i rozsahem v souladu se základními cíli ve vzdělávací jednotce, se zvláštnostmi učiva a s úrovní studujícího. Vzhledem k tomu, že otázka má podněcovat a usměrňovat pozornost studujícího, měla by být krátká, přesná, výstižná, jednoznačná, jazykově správná. Mezi otázkami by měla být logická posloupnost. Otázka by neměla dovolovat jednoznačnou odpověď typu „ano-ne“ (50 % úspěšnost), obsahovat dva nebo několik úkolů vyžadujících současné řešení a neměla by naznačovat odpověď. Příklady jednoduchých, krátkých, jednoznačných a přesně formulovaných otázek: V jakých jednotkách se měří síla? Jak zapojujeme voltmetr? Jak změříte hustotu stejnorodé látky? Jaký vztah platí pro hustotu látky? Otázku může nahrazovat příkaz: Definujte hustotu látky! Porovnejte oba výsledky! Nesprávné nebo nepřesné otázky ovlivňují porozumění otázce, snižují srozumitelnost otázky, někdy je ovlivněna i odborná správnost. V následující části jsou příklady nesprávných otázek. Jazykově nesprávné otázky: Výchylku dostaneme kde? Je připojen na zdroj jakého napětí? Co to znamená dedukce? Jsou ještě jedny jednotky síly? Víš ještě něco o Herbartovi? Odborně nepřesné, popřípadě nesprávné otázky: Úhel dopadu je kolik? Jeden kilogram má jak velkou tíhu? Tón je jaký, co do síly? Jakým číslem je značena půlnoc? Příliš obecné až povrchní otázky: Co víte o Tomáši Morovi? Co znamená obraz předmětu?
27
Je vhodné, aby učitel před tvorbou otázky nejdříve sám formuloval odpověď, kterou chce od studujícího získat, a teprve potom formuloval na tuto odpověď otázku. Při tvorbě otázek je velmi účelné také používat taxonomii učebních úloh podle složitosti myšlenkových operací. Vhodné je vytvořit otázky na jednotlivé subkategorie úloh podle D. Tollingerové; pak bude patrné, jak obtížná je otázka, která je studentovi v didaktickém testu zadávána. 5.1.2 Sestavení výukových materiálů V modulu sestavení výukových materiálů poskládá autor vlastní test z navržených otázek v modulu Příprava tematických celků. Může využít kromě přímo vybraných otázek nabídku automatického vybrání (viz. následující příklad) několika otázek z většího počtu otázek, pak v různých variacích testu mohou být rozdílné otázky. Příklad:
Obrázek ukazuje vytvoření testu s názvem Lidské tělo s 10 testovými otázkami, které byly vybrány ze tří tématických celků. Z celku Lidské tělo - opěrná s., který obsahuje 124 otázek, byly automaticky vybrány 3 otázky (ty budou vybrány náhodně a pravděpodobně budou v každé variaci testu jiné). Z celku Lidské tělo – kůže budou vybrány přímo tři testové otázky, které jsou zde uloženy pod čísly 12, 94 a 158 (budou ve všech variantách, ale nabízené odpovědi budou v jiném pořadí). 5.1.2 Generování testů Třetím krokem při tvorbě testu v programu EduBase je využití generátoru testů, který vytvoří požadovaný počet variací testu dle nastavených parametrů. Různé varianty testu zamezí opisování studentů. V jednotlivých variacích bude rozdílné pořadí otázek i rozdílné pořadí nabízených odpovědí. Pokud bude 28
využito automatické vybrání otázek, pak budou i vlastní otázky v různých variacích rozdílné. Vytvořený test je možné zadat ke zkoušení na počítači nebo jej vytisknout a zadat v „papírové podobě“. Při tisku si učitel kromě variací testu vytiskne zkoušecí kartičky, kam studenti vepisují zvolené písmeno odpovědi, a vyhodnocovací tabulku, která mu po přiložení ke zkoušecí kartičce pomůže snadno vyhodnotit odpovědi studenta. Při zkoušení na počítači lze nastavit časový limit pro zkoušení, zakázat listování mezi otázkami, automatické vyhodnocení správných a špatných odpovědí počítačem, archivaci všech výsledků zkoušení. Statistika úspěšnosti řešení pak usnadní učiteli ověřit a optimalizovat vytvořený didaktický test. Příklad: Vytiskněte Pokusný test, který je tvořen testovými otázkami. Aktivujeme modul Tisk variací výukového materiálu, viz obrázek:
V levé horní části okna zvolíme složku Pokusné výukové materiály, v dolní části zvolíme výukový materiál Pokusný test. V pravé části okna zadáme počet nově vygenerovaných variací testu a tlačítkem Generovat a vytisknout variace k oknu Tisk sestavy a vytiskneme si variace testu, zkoušecí kartičky a vyhodnocovací tabulku.
29
5.2
Výhody použití systému
Použití systému pro tvorbu testů EduBase přináší zejména tyto výhody: • Z jednou vytvořených úloh lze vytvořit rozdílné testy dle potřeb měnící se výuky nebo při optimalizaci testu lze snadno nahradit nebo upravit nevyhovující úlohy testu. • Pro jeden test lze automaticky generovat velký počet variant testu a vytvořit tak rozdílná zadání pro studenty nebo skupiny. • Vyhodnocení testu usnadní jeho realizace na počítači nebo zápis odpovědí do zkoušecích kartiček a jejich následné přiložení k vyhodnocovací tabulce. Tyto výhody přináší výraznou úsporu času učitele. Test nazvaný Komenský a humanismus je možné nalézt v příloze práce. Je vytvořen ve dvou variantách. Obsahuje 9 testových otázek, jedna byla do testu vybrána automaticky a ostatní přímým výběrem. Ve variaci číslo 1 jsou 4 klasické s jednou nesprávnou odpovědí (otázky číslo 1, 4, 8a 9), 3 přiřazovací (číslo 2, 3 a 7), 1 seřazovací (číslo 6) a 1 doplňovací testová otázka (číslo 5). Ve variaci číslo 2 chybí doplňovací otázka a jsou zde 4 přiřazovací. Tento didaktický test by bylo vhodné optimalizovat doplněním dalších otázek, přeformulováním některých distraktorů.
30
6
Standardizované testy SCIO pro přijímací zkoušky
Projekt Přijímací zkoušky realizuje společnost Scio už od roku 2000. Středních škol, využívajících v přijímacím řízení testy Scio, roce 2007 bylo 237, jednotlivé testy řešilo více jak 20 tis. uchazečů. Společnost nabízí standardizované testy z českého jazyka, matematiky a obecných studijních předpokladů připravené v odlišných variantách pro čtyřleté střední školy, pro osmiletá gymnázia a pro šestiletá gymnázia. Test českého jazyka obsahuje 40 úloh a je připraven na 45 minut čistého času. Test matematiky obsahuje 30 úloh a je připraven na 60 minut čistého času. Test obecných studijních předpokladů obsahuje 60 úloh a je připraven na 60 minut čistého času. Všechny testy jsou nabízeny v rovnocenných variantách pro řádný i náhradní termín přijímacích zkoušek, testy pro čtyřleté střední školy i v rovnocenných variantách pro první a druhé kolo. Zadání jsou k dispozici i ve variantách pro žáky se specifickými poruchami učení. Naše škola využívá od roku 2001 test obecných studijních předpokladů (OSP) pro uchazeče pro čtyřletou střední školu - obor pedagogické lyceum a pro osmileté gymnázium. Tento standardizovaný test se zaměřuje na obecné dovednosti a schopnosti, které vyžaduje efektivní studium na střední škole. Dle výše uvedeného rozčlenění testů je to test standardizovaný, rozlišující (společnost uvádí termín srovnávací), s uzavřenými úlohami a výběrem jedné správné odpovědi. Je rozdělen na verbální, analytickou a kvantitativní část.
6.1
Zkušenosti se SCIO testy na střední škole
Uvedeme nejdůležitější důvody, které na naší škole vedly k rozhodnutí využít testů společnosti Scio pro naše přijímací řízení: Snižují riziko stížností uchazečů a jejich zákonných zástupců na obsah a náročnost testů, protože testy obsahují jen probrané stěžejní učivo vymezené jednotlivými platnými vzdělávacími programy pro základní školy, a to pouze učivo probírané do konce pololetí 9. třídy u uchazečů na čtyřletou střední školu, respektive do konce pololetí 5. třídy. Společnost garantuje vysokou reliabilitu výsledů, tedy že pořadí uchazečů, které z testování vzejde, je jen v minimální míře ovlivněno náhodnými vlivy. Zařazením obecných studijních předpokladů jsou výsledy jen málo závislé na tom, z jaké základní školy uchazeč přichází nebo kolik financí rodiče investovali do přípravy na přijímací zkoušku Jejich použití zmenšuje subjektivitu hodnocení úloh. Při dodrženém harmonogramu proběhnou testy rychle a vyhodnocení je realizované ještě v den zkoušky. Učitelé vyhodnocují testy za použití ICT, zadávají odpovědi do formulářů v počítači, v určenou dobu se centrálně vyhodnotí odpovědi uchazečů a vznikne jejich pořadí dle úspěšnosti v testu obecných studijních předpokladů, které tvoří rozhodující část při bodování v našem přijímacím řízení.
31
6.2
Evaluace a řízení výuky
Ze závěrečné zprávy k projektu Přijímací zkoušky dále vyhodnocujeme, jak si naši uchazeči o studium vedli při zkoušce ve srovnání se všemi uchazeči do příbuzných oborů a můžeme následně korigovat výuku přijatých uchazečů k jejich dalšímu harmonickému rozvoji. Využíváme tak standardizované testy nejen pro potřebu přijímacího řízení, ale k i k efektivnímu řízení následné výuky. Uvedeme příklady z přijímacího řízení realizovaného v roce 2007 a v roce 2008. Z grafu Analýza dovedností a částí – OSP pro pedagogické lyceum (PL) v roce 2007 vyplývá, že naši uchazeči si ve všech částech testu a tedy i celkem vedli nadprůměrně vzhledem ke skupině SPOL, největšího rozdílu od průměru dosáhli v kvantitativní části testu OSP. Uchazeči na osmileté studium byli v řešení úloh OSP celkově rovněž nadprůměrní, i když ne tak výrazně, jako uchazeči PL. V řešení testových úloh kvantitativní části byli mírně podprůměrní vzhledem k ostatním uchazečům na gymnázia v republice, kteří se testu OSP účastnili. V primě gymnázia byla výuka zaměřena na posílení dovedností žáků řešit rozsáhlejší úlohy, které tvořily kvantitativní část testu. V roce 2008 z grafu Analýza dovedností a částí – OSP pro pedagogické lyceum lze vyčíst, že společnost Scio srovnával naše uchazeče o studium s uchazeči na gymnázium a nikoliv s uchazeči zařazenými do skupiny SPOL, tedy do typu oborů pedagogických a příbuzných, jako v roce předchozím. Při tomto srovnání s uchazeči na čtyřleté gymnázium již naši uchazeči vykazují výrazně podprůměrné výsledky ve všech částech testu obecných studijních předpokladů. Je tím potvrzena naše hypotéza, že studenti na lyceum tvoří přechod mezi studenty na gymnáziu a studenty na odborné škole. Uchazeči na oba obory vyučované na škole vykazovali nejslabší výsledky opět v kvantitativní části testu. Vyučujícím v prvních ročnících doporučíme vhodnou strategii na posílení potřebných dovedností. Z uvedených příkladů je patrné, že nám standardizované testy poskytují důležité informace pro další řízení výuky. Během doby, po kterou se naše škola účastní přijímacích testů společnosti Scio, lze konstatovat, že počáteční nedostatky v organizaci projektu i v zadání testů byly postupně odstraněny a testování dosahuje proklamované úrovně. Snad je jen škoda, že v naší republice nelze pro přijímací zkoušky vybírat z pestřejší palety projektů a společností.
32
7
Závěr
Cílem závěrečné práce bylo pomoci kolegům učitelům překonat počáteční potíže při tvorbě a využití výsledků učitelských didaktických testů. Usnadnit učitelům jeho začlenění do vyučovacího procesu a procesu evaluace své výuky i k objektivnímu hodnocení studentů. Práce se zamýšlí nad problematikou didaktického testování na současné střední škole. Popisuje nejdůležitější metodické zásady tvorby didaktického testu s ohledem na jeho uplatnění v různých předmětech, využití výsledků získaných při testování pro evaluaci a následnou korekci výuky. Uvádí množství konkrétních správných i chybných testových úloh pro inspiraci. Nabízí postup pro vytvoření prvních didaktických nestandardizovaných testů, při kterém učitel využije své pedagogické dovednosti a materiály, získané během učitelské praxe. Popisuje základní kroky při práci se systémem pro tvorbu učitelských testů EduBase. Reflektuje zkušenost střední školy se standardizovanými testy SCIO pro přijímací zkoušky a příklady využití výsledků pro další řízení výuky. Rozsah této práce nedovoluje podrobné rozebrání některých témat. Práce však může být teoretickým východiskem k praktickým školením, která na škole budou realizována koordinátorem ICT pro pedagogy a budou zaměřena na tvorbu didaktických testů v prostředí EduBase.
33
8
Použitá literatura
BYČKOVSKÝ, P. Základy měření výsledků výuky. Praha: ČVUT, 1982. Dosli.cz, Informace o produktu [cit. 12. května 2008]. Elektronická adresa http://web.dosli.cz/cze. CHRÁSKA, M. Didaktické testy. Brno: Paido, 1999. ISBN 80-85931-68-0. JEŘÁBEK, J., TUPÝ, J. RVP ZS [cit. 28. května 2008]. Praha: VÚP, 2007. Elektronická adresa http://www.vuppraha.cz/soubory/RVPZV_2007-07.pdf MUŽIČ, V. Testy vědomostí. Praha: SPN, 1971. 132 s. Publikace č. 14-0-168. PRŮCHA. J. Moderní pedagogika. Praha: Portál, 2002. ISBN 80-7178-631-4. SCIO.CZ, Základní informace [cit. 12. května 2008]. Elektronická adresa http://www.scio.cz/skoly/ss/testy/popis.asp. SCIO.CZ, Přijímací zkoušky - závěrečná zpráva. Praha: Scio, 2007 SCIO.CZ, Přijímací zkoušky - závěrečná zpráva. Praha: Scio, 2008 ŠVEC, V., STRÁNSKÝ, Z. Náměty k autodiagnostice a sebezdokonalování pedagogické činnosti vysokoškolského učitele. Brno: Vojenská akademie, 1994. VALKONEN, T. Hodnocení komunikačních kompetencí ve Finsku. Metodický portál RVP [cit. 25. dubna 2008]. Dokument ve formátu HTML. Elektronická adresa http://www.rvp.cz/clanek/443/1326. JEŘÁBEK, J., TUPÝ, J. RVP ZS [cit. 28. května 2008]. Praha: VÚP, 2007. Elektronická adresa http://www.vuppraha.cz/soubory/RVPZV_2007-07.pdf
34
9
Přílohy Didaktický test Komenský a humanismus – číslo variace 1 Didaktický test Komenský a humanismus – číslo variace 2 Zkoušecí kartičky pro zaznamenání odpovědí studentů Vyhodnocovací tabulka pro opravu testu
35
