Doporučená literatura“ Jan Průcha: Pedagogická evaluace, vydala MU v Brně, vydání první, 1996 Miroslav Chráska: Didaktické testy, edice Paido, Brno 1999 1.1.Vzdělávací proces a zpětná vazba Co je to vzdělávací proces? Vzdělávací proces je proces, ve kterém člověk získává nové vědomosti, dovednosti, ale např. i nové vztahy a postoje ke skutečnosti. Fungování vzdělávacího procesu je možné popisovat z nejrůznějších pohledů a stran a používat k tomu často velmi komplikovaných modelů. I když každý z modelů znamená určité zjednodušení a zkreslení a postihuje zpravidla pouze určitou stránku vzdělávacího procesu, mají tyto modely značný význam. Jaký model bychom měli použít pro pochopení významu a místa ve vzdělávacím procesu? Měl by to být model, který předkládá tzv. pedagogická kybernetika. V našich úvahách se budeme zabývat tzv. vyučovacím procesem, což je vzdělávací proces, který probíhá v podmínkách řízeného školního vyučování. V jakém smyslu chápe kybernetika vyučovací proces? Vyučovací proces chápe jako řízený proces se dvěmi složkami: složkou řídící a složkou řízenou. Složkou řídící je učitel, složkou řízenou je žák (kolektiv žáků ve třídě). Řídící složka vysílá k žákovi informace tzv. sdělovacím kanálem. Zdrojem informací může být např. živé slovo učitele, kniha, příručka, film, výukový program atd. Informace způsobují v řízené složce změny stavů. Jde o to, aby tyto změny byly v souladu se záměrem řídící složky (výchovné a vyučovací cíle). Řízená složka (žáci) je velmi složitý systém, ve kterém po vyslání informace probíhají složité procesy, o jejichž průběhu se dozvídáme pomocí tzv. výstupních informací. Výstupní informace informují učitele o změnách stavů řízené složky způsobené jeho činností. Těmto výstupním informacím říkáme také zpětné informace. Přenášejí se k učiteli tzv. zpětnovazebním kanálem, který je realizován různými typy a formami zkoušek. Jestliže se reakce na jisté podněty neshodují se záměry řídící složky, dochází z její strany ke korekci nebo regulaci. Vyučovací proces můžeme tedy chápat (při určitém zjednodušení) jako řízený proces, ve kterém lze rozlišit dvě základní funkce: a) sdělování nových poznatků, b) kontrola množství a kvality osvojených vědomostí a dovedností. Tyto dvě fáze tvoří jednotný celek, který nelze násilně rozdělovat Komunikace mezi učitelem a žákem ve vyučovacím procesu. Obr. Komunikace mezi učitelem a žákem probíhá ve třech informačních kanálech. Kanál sdělovací K s přenáší informace o učivu a informace, které řídí žákovu činnost (instrukce, pokyny atd.). Zpětnovazební kanál K z přenáší informace o tom, jak žák učivo přijal a zpracoval. Zpětnovazební kanál K r přenáší informace o reakcích učitele na výkon žáka. V současné době se daleko větší pozornost věnuje funkci sdělovacího kanálu. Je to sice primární otázka, avšak bez zajištění zpětné vazby a následné reakce na získané informace může být sdělování jakýchkoliv informací zcela neúčinné nebo i kontraproduktivní.
Zpětná vazba realizovaná zkouškou je organickou součástí vyučovacího procesu. Je nutné si uvědomit kolik významů dobře provedená zkouška má: • efektivní řízení pedagogického procesu, • slouží jako motivační prostředek, • celospolečenský význam, • výchovný význam, • kontrola práce učitele i žáků, • slouží jak prostředek pro klasifikaci. Současný stav zkoušení na základních a středních školách K hodnocení žáků se používají různé metody. Přesto si dovolím tvrdit, že současný systém hodnocení a klasifikace žáků je založen převážně na individuálním ústním zkoušení. Ústní zkouška má samozřejmě velký význam zvláště pro rozvíjení vyjadřování a myšlení žáka. Přes tyto nesporné klady má ústní zkouška celou řadu nedostatků. Jaké jsou hlavní nedostatky ústních zkoušek? Zejména se jedná o chudou myšlenkovou strukturu zkoušky. Co se tím myslí? Žák má málo příležitostí ukázat, že pochopil základní vztahy v učivu a je schopný provádět konkrétní nebo abstraktní myšlenkové operace. Většinou se u těchto zkoušek zkoušející učitel zaměřuje pouze na ověření a zapamatování probíraného učiva. Tradiční ústní zkouška postihuje hlavně kvantum vědomostí, méně již kvalitu. Vede spíše k memorování než k řešení problémů a k rozvoji myšlení. Často také obtížnostní struktura bývá taková, že se v ní nemohou uplatnit žáci slabší i žáci velmi dobří. Další závažný nedostatek ústního zkoušení je jeho velká časová náročnost. Zkoušení jednoho žáka by měla trvat 10 – 15 minut. Tento čas většinou učitelé hodnotí jako ztrátový, protože pro výuku mnoho nepřináší. Bohužel zkouška je učiteli chápána jako „nutné zlo“ , jen jako nezbytný podklad pro klasifikaci. Zkouška totiž není chápána jako zpětná vazba mezi učitelem a žákem, ale odtrženě od procesu vyučování. Zkoušky také nemívají dostatečně jasný cíl. Učitel si nestanoví co chce zkouškou zjistit. Mnohdy např. zkouší jen formální vědomosti, ale výsledku zkoušení přisuzuje daleko větší širší platnost. To, že ústní zkouška nemá dostatečně jasný cíl se projevuje tím, že jednotlivé zkoušky se zaměřují na celou řadu vzájemně nesouvisejících skutečností a ve svém celku neumožňují posouzení kvality vědomostí žáka. Dalším problémem je malá objektivita hodnocení. Ta je příčinnou celé řady konfliktních situací mezi učitelem na jedné straně a žákem, rodiči, školskou správou na straně druhé. Slabá objektivita, která je jedním z nejzávažnějších nedostatků ústního zkoušení, je zřejmě způsobena řadou příčin. Jednou ze základních příčin je, že hodnocení nevyjadřuje nikdy jen výkon žáka při zkoušce, ale je posudkem schopností a celkového dojmu, kterým žák působí (psychologové hovoří v této souvislosti o tzv. preferenčních postojích). Při posuzování výsledku zkoušky se učitel snaží dosáhnout jednoty mezi hodnocením, které si přeje použít, a mezi skutečným výkonem žáka. Při vytváření preferenčních postojů u učitelů se uplatňuje celá řada vlivů, např. zevnějšek žáka, jeho chování, prospěch v ostatních předmětech, povahové vlastnosti žáka, ale třeba i sociální postavení rodičů, protekce atd. Dalším nedostatkem je, že učitelé nemají stanovené pevné normy pro hodnocení. Hodnocení a klasifikace získaná u jednoho učitele neodpovídá stejnému hodnocení u jiného. Hodnocení a klasifikace nemá tedy absolutní platnost. Přes uvedené nedostatky by nebylo správné ústní zkoušku zavrhovat. Při dobře vedeném ústním zkoušení vzniká jen těžko zastupitelný osobní kontakt mezi učitelem a
žákem. Zkoušející může bezprostředně reagovat na nesprávné nebo nepřesné odpovědi, má možnost se okamžitě přesvědčit, zda šlo o náhodnou chybu (např. přeřeknutí), či o zásadní neznalost. Tradiční ústní zkouška však dnes již nemůže sama o sobě pro všestranné vyvážené hodnocení žáka stačit. Velmi vhodným doplňkem ústní zkoušky může být i kvalitní didaktický test. Didaktický test Co vlastně rozumíme pod pojmy: test a didaktický test? Výrazu test se používá nejen v pedagogice a psychologii, ale i v řadě jiných, velice různorodých oborů – např. v medicíně, mikrobiologii, chemii, strojírenství, matematické statistice. Etymologický původ slova se odvozuje od latinského slova „testum“, kterým se označoval kelímek, v němž alchymisté zkoušeli kovy. Do českého jazyka byl termín „test“ pak převzat z angličtiny. V angličtině se jím označuje zkouška nebo postup zkoumání kvality, hodnoty nebo složení. Pojem didaktický test (angl. Achievement test) je sice u různých autorů definován různě, ale tato různá vymezení se shodují v tom, že jde o zkoušku, která se orientuje na objektivní zjišťování úrovně zvládnutí učiva u určité skupiny osob. Od běžné zkoušky se didaktický test liší zejména tím, že je navrhován, ověřován, hodnocen a interpretován podle určitých, předem stanovených pravidel. Stručná a výstižná definice didaktického testu (P. Byčkovský, 1982): didaktický test je nástroj systematického zjišťování (měření) výsledků výuky. Naši učitelé slovem test, resp. didaktický test, často označují buď krátkou písemnou zkoušku nebo zkoušku sestavenou výhradně z úloh s výběrem odpovědi. V obou případech dochází k zužování významu pojmu „didaktický test“. Test nemusí být jen písemnou zkouškou, protože jim může být i zjišťována úroveň zvládnutí psychomotorických dovedností (např. dovednost psát na počítači, řídit motorové vozidlo, zhotovit výrobek podle technické dokumentace atd.). Vraťme se k definici didaktického testu. Je složena z dalších termínů, které bychom si měli objasnit. Výuka a výsledky výuky. Výukou rozumíme vzájemnou interakci vychovávajících subjektů (učitelů) a vychovávaných subjektů žáků v rámci organizované výchovy. Děje se činností učitele - vyučováním a činností žáků – učením. Výsledkem výuky jsou pak změny v osobnosti žáka, dosažené výukou. Z didaktického hlediska je jedná o změny v osvojování nových vědomostí a dovedností a získání kladných postojů k učení. Systematické zjišťování. Každé zjišťování předpokládá, že máme k dispozici nástroj k zjišťování, že zjišťování provedeme a výsledky vyhodnotíme. Při zjišťování úrovně vědomostí a dovedností se používá buď běžných (nesystematických) metod, jako je pozorování, ústní či běžné písemné zkoušení, nebo systematických metod zjišťování, kdy měřícím nástrojem bývá většinou didaktický test. Tím se zajišťuje, že výsledky zjišťování poskytnou podstatně spolehlivější a věrohodnější informace než je tomu u výsledků získaných běžnými metodami zjišťování. Měření V definici didaktického testu si všimněme i ekvivalentního termínu měření výsledků výuky k termínu systematické zjišťování výsledků výuky. Co rozumíme pod pojmem měření? Měřením v užším slova smyslu rozumíme především měření fyzikální tj. měření fyzikálních veličin, kde změřit fyzikální veličinu znamená porovnat ji s určitou velikostí stejnorodé veličiny považované za jednotku. Měření podstatně přispělo k rozvoji přírodních věd; přechod od kvalitativního pohledu na realitu ke kvantitativnímu je považován za počátek moderní
vědy. Existence měření je pokládána za nutnou podmínku toho, aby určitá oblast lidského poznání mohla být považována za vědu (Mendělejev). Není pochyb o tom, že ani nejdokonalejšími testy nelze měřit výsledky výuky s přesností a spolehlivostí obvyklou u běžných měření v přírodovědných a technických oborech. V obecné teorii měření se rozlišuje několik úrovní měření a kromě toho se měření dělí na přímé a nepřímé. Stevens (1946) popsal a hierarchicky uspořádal 4 úrovně měření: nominální, pořadové, intervalové, poměrové. Nejjednodušší je nominální měření, při němž se data třídí do navzájem vylučujících se kategorií, přičemž každý z prvků (osoba, objekt, jev) může být podle měřené vlastnosti zařazen pouze do jediné kategorie a všechny prvky lze zařadit. Nominální kategorizace existuje ve dvou formách: a) Každá kategorie obsahuje jen jeden prvek (SPZ aut, atd.). b) V každé kategorii může být více prvků (muži, ženy apod.).
Pro měření pořadové je charakteristické, že u na měřených jevů stanovujeme nejen ekvivalenci, ale i pořadový vztah, podle kterého můžeme konstatovat, zda jev A je větší (dokonalejší, vhodnější, …) než jev B , či naopak. Existují opět dvě formy měření: a) Každý jev je zařazen tak, že jeho pořadí už nemůže dostat žádný jiný jev, např. pořadí studentů při hodnocení aktivity ve cvičení, vzpírání, krasobruslení. b) Častěji se používá měření na pořadových škálách, kdy každému stupni škály může být přiřazeno několik jevů (stupnice známek při klasifikaci). Při pořadovém měření je charakteristické, že získané nebo používané škály nemají stejné intervaly mezi sousedními body škály. Pořadová škála může mít i libovolně stanovený počátek. Pořadové měření se používá všude tam, kde získaná data nelze přesně změřit, jako je tomu např. při měření postojů a preferencí. Nulový bod při měření postojů a preferencí je takovým bodem neutrální bod „0“. Plus hodnoty – aktivní, záporné hodnoty – pasivní. Intervalové měření se provádí na škále s arbitrárně stanoveným počátkem. Na rozdíl od pořadového měření má škála intervalového měření pevně stanovenou měrnou jednotku. Příkladem intervalové škály je Celsiova teplotní stupnice s měrovou jednotkou Celsiův teplotní stupeň. Je zakotvena dvěma arbitrárně stanovenými body: bod tání 0 0 C a bodem varu 100 0 C .V Kelvinově teplotní stupnici je bod tání 0 0 K (= 273,14 0 C ), bod tání ve stupnici Fahrenheitově je Protože intervalové škály mají přesně stanovenou měrovou jednotku, je zřejmé, že můžeme srovnávat rozdíly mezi naměřenými hodnotami. Nemůžeme však uvažovat o podílech a násobcích: teplota 100 0 C není dvojnásobkem teploty 50 0 C. Poměrové měření představuje nejvyšší úroveň měření. Stupnice poměrového měření mají vždy přirozený počátek, tj. přirozenou (absolutní) nulu. Příkladem poměrového měření je měření délky nebo hmotnosti. Stupnice mají přesně definovanou jednotku (1 m, 1 kg apod.) a přirozenou nulu. U poměrových měření můžeme uvažovat i o násobcích a podílech (poměrech). Např. tvrdíme, že délka 4 m je dvojnásobkem délky 2 m.
Povaha měření výsledků výuky Dobré didaktické testy vědomostí a intelektových dovedností se pravděpodobně blíží intervalovým škálám, i když, striktně posuzováno, splňují pouze požadavky kladené na škály pořadové. Didaktickým testům chybí totiž přesně vymezená jednotka. Didaktické testy vyjadřují spíše pořadí studentů v daném testu než vyčíslitelnou úroveň jejich vědomostí. Testová úloha se sice požaduje za jakousi jednotku, není však měrovou jednotkou v pravém slova smyslu testové úlohy se zpravidla liší svou obtížností. To že různé didaktické testy mají různý počátek škály označující nulový výkon není až tak závažné. Daleko závažnější je nepřítomnost stejných intervalů. Proto by jednotlivé intervaly neměly být sčítány. Přesto se při měření výsledků výuky dobře připravenými testy setkáváme s tím, že testy se považují za škály intervalové a jejich výsledky se zpracovávají technikami obvyklými u dat získaných intervalovým měřením. Co nás k tomu opravňuje – stručně řečeno praktické hledisko.Při statistickém zpracování dat intervalového měření získáme mnohem více informací než při zpracování dat pořadového měření. Je ovšem nutné si uvědomit, že výsledky výuky zjišťované didaktickým testem závisí na jeho kvalitě. Nekvalitně připravený didaktický test nebo jeho povrchní interpretace vede ke zkresleným informacím, i když použijeme přesné statistické zpracování jeho výsledků. Vlastnosti dobrého didaktického testu Dobrý didaktický test je měřící nástroj, který je navrhován a používán nejčastěji proto, aby poskytl adekvátní informace potřebné k výukovým rozhodnutím. Aby didaktický test usnadňoval výuková rozhodnutí, měl by mít následující vlastnosti: měl by poskytovat informace adekvátní jejich účelu a oblasti výuky, kde chceme výsledky měřit, údaje zjištěné testem by měly být přesné a spolehlivé a konečně by mělo být snadné požadované údaje získat a interpretovat je. Tyto vlastnosti označujeme termíny: - validita (průkaznost), - reliabilita (spolehlivost a přesnost), - objektivnost, - praktičnost (úspornost), - přijatelnost. 1.
Didaktický test je validní, když výsledky zkoušky vypovídají přesně o těch dovednostech a znalostech, které si zkouška kladla za cíl. Je třeba zajistit, aby tento cíl byl jasný a aby výsledky byly správně interpretovány. Otázky zkoušky musí být srozumitelné a musí odpovídat požadavkům, jež jsou v souladu s osnovami předmětu. Obvykle je sestavena specifikační tabulka pro poskytnutí vodítka těm, kteří budou zkoušku sestavovat.
2.
Didaktický test je objektivní, když výsledky neodráží názory nebo dobrou vůli opravovatele. To samozřejmě vyžaduje postupy a instrukce na zajištění jednotnosti opravování a stejných podmínek, za kterých test probíhá.
3.
Didaktický test je reliabilní (spolehlivá), jestliže stejné výsledky budou dosaženy i při dalším testování. Míru reliability ovlivňuje celá řada činitelů. Jedním z nich je např. počet úloh zařazených do testu. Obecně platí, že zvyšováním počtu úloh při zachování ostatních charakteristik zvyšujeme reliabilitu testu.
4.
Didaktický test je praktický, když není potřeba více peněz a testovacího a opravovacího času, než je nezbytně nutné. Jedná se tedy především o snadnost zadávání, skórování a interpretování výsledků. Požadavek praktičnosti testu nesmí být uplatňován na úkor validity zkoušky.
5.
Didaktický test je přijatelný, když všechny zainteresované strany, tj. studenti, učitelé, rodiče a ti, od nichž se očekává, že budou respektovat výsledek testu, takto koncipovaný test přijímají jako cenný zdroj informací. To vyžaduje otevřenost a průhlednost s ohledem na obsah testu a s ohledem k pravidlům určujících výsledek.
Validita didaktického testu Nejobecnější definice validity je obsažena v otázce (Kerlinger
[ ] ): Měříme to, o čem
se domníváme, že měříme? Nejlepším českým ekvivalentem pro validitu je slovo platnost. Validita je od padesátých let minulého století na základě návrhu Komise pro testové standardy Americké psychologické společnosti (Travers [ ] ) členěna: - kriteriální validita, - obsahová validita, - konstruktová (pojmová, teoretická) validita. Kriteriální validita se vztahuje k tomu, do jaké míry jsou výsledky testu v souhlasu s nějakým znakem (kriteriem), jehož úroveň chceme z výsledků predikovat. Kritériem je proměnná, kterou se snažíme výzkumným nástrojem zjišťovat nebo předpovídat. V podstatě rozeznáváme dva typy kriteriální validity. Jedná se o validitu predikční a validitu souběžnou. Zkoumáme-li predikční validitu jde nám o předpověď (predikci) kritéria. O souběžné validitě mluvíme tehdy, jde-li nám o vztah výzkumného nástroje k současně známým nebo okamžitě zjistitelným hodnotám kritéria. Chceme-li posuzovat predikční validitu u testů studijních předpokladů je nutné zvážit, z kterých vědomostí a dovedností je možno usuzovat na budoucí úspěšnost ve studiu. Posuzování stupně validity se v praxi většinou ponechává na příslušném odborníkovi (nebo na skupině odborníků). Obsahová validita vyjadřuje do jaké míry se obsah testu shoduje s cílem a obsahem vyučování. Obsah úloh didaktického testu by měl být reprezentativním vzorkem zkoušeného učiva. Konstruktovou validitou se posuzuje reprezentativnost výzkumného nástroje ke zjišťovanému konstruktu, resp. k jeho teoretickému modelu. Je tedy založena na teorii a její ověřování znamená shromažďování důkazů, že daný konstrukt je skutečně ve vztahu s výsledky provedeného měření. Metodami tu jsou korelační a faktorová analýza. Konstruktová validita je v podstatě nejobecnějším druhem validity a do jisté míry v sobě zahrnuje, jak kriteriální, tak obsahovou validitu. Reliabilita testu Výsledek didaktického testu u každého studenta je tvořen dvěma složkami: pevnou složkou (skutečné vědomosti a dovednost) a náhodnou složkou (okamžitá kondice, vnější podmínky atd.). Náhodná složka způsobuje, že při zdánlivě stejných podmínkách se výsledky testování mohou významně lišit. U dobrého didaktického testu by se vliv náhodné složky měl uplatňovat co nejméně. O testu poskytujícím výsledky, které jsou jen minimálně dotčeny náhodnými vlivy, můžeme říci, že má vysokou reliabilitu.
Aby byl didaktický test reliabilní je zapotřebí, aby byl spolehlivý. Spolehlivost spočívá v tom, že za týchž podmínek by měl poskytovat stejné (velmi podobné) výsledky. Další podmínkou dobré reliability je přesnost testu. Didaktický test je přesný tehdy, jestliže při jeho použití nedochází k velkým chybám měření. Reliabilita tedy znamená spolehlivost a přesnost, se kterou výzkumný nástroj měří to, co měří. Reliabilita testu je velmi důležitým ukazatelem technické kvality testu. K exaktnímu posouzení míry reliability didaktického testu slouží koeficient reliability. Tento koeficient může nabývat v praxi hodnot od 0 (pro případ naprosté nespolehlivosti a nepřesnosti) až po hodnoty blízké 1 (pro případ dokonalé spolehlivosti a přesnosti testu). Pro individuální pedagogickou diagnostiku se většinou požaduje koeficient reliability minimálně 0,80. Zkoumání reliability lze provádět pomocí celé řady matematicko – statistických metod založených na faktu, že každé měření se skládá z pravé a chybové komponenty. Teoreticky lze reliabilitu vyjádřit jako podíl pravého a celkového (skládajícího se z pravého a chybového) rozptylu měření. Máme-li k dispozici dvě ekvivalentní formy téhož měřícího, je nejjednodušší použít metodu paralelního měření. Velmi rozšířený je výpočet koeficientu reliability metodou půlení. Podmínkou pro použití tohoto modelu výpočtu je, že didaktický test obsahuje sudý počet úloh a jednotlivé úlohy jsou řazeny podle vzrůstající obtížnosti. Při výpočtu se postupuje tak, že celý test se rozdělí na dvě poloviny tím způsobem, že jednu polovinu tvoří úlohy s lichým pořadovým číslem a druhou se sudým pořadovým číslem. Výslekdky dosažené studenty v obou polovinách testu se vzájemně korelují. Samotný výpočet se provádí pomocí Spearmanova-Brownova vzorce (Chráska [ ] , str. 61): rsb = kde rsb je koeficient korelace a
2 ⋅ rp 1 + rp
,
rp je koeficient korelace mezi výsledky žáků v obou
polovinách testu. V práci (odst. 3. )je použitý model výpočtu koeficientu reliability pomocí KuderovaRichardsonova vzorce (Chráska [ ] , str. 59):
rkr =
k ∑ p⋅q 1 − , k − 1 s 2
kde k je počet úloh v testu, p je podíl studentů ve vzorku, kteří řešili určitou úlohu v testu správně, q = 1 − p a s je směrodatná odchylka pro celkové výsledky studentů v testu. Reliabilita je v úzkém vztahu s validitou testu. Aby test byl validní, musí mít vysokou míru reliability ; vysoká míra reliability však ještě neznamená, že test bude validní. Test totiž může spolehlivě a přesně měřit určité vědomosti nebo dovednosti i tehdy, jestliže měří úplně něco jiného, než měřit má.
Klasifikace didaktických testů, druhy didaktických testů Než začneme konstruovat didaktický test bude nutné se seznámit s klasifikací testů a druhy testů. Jednotlivé druhy didaktických testů mají své specifikace a liší se také tím, jaké informace pomocí nich získáváme. P. Byčkovský navrhl v [ ] následující klasifikaci testů: KLASIFIKAČNÍ HLEDISKO: DRUH TESTU:
KLASIFIKAČNÍ HLEDISKO dokonalost přípravy testu a jeho příslušenství měřená charakteristika výkonu povaha činnosti testovaného míra specifičnosti učení zjišťovaného testem interpretace výkonu časové zařazení do výuky tématický rozsah míra objektivního skórování
DRUHY TESTU standardizované kvazi nestanstandardizované standardizované rychlosti úrovně kognitivní psychomotorické výsledků výuky studijních předpokladů rozlišující ověřující výstupní vstupní průběžné (formativní) (sumativní) monotematické polytematické objektivně kvaziobjektivně subjektivně skórovatelné skórovatelné skórovatelné Tab. 1
Testy rychlosti U těchto testů se zjišťuje, jakou rychlostí je schopen řešit určitý typ testových úloh. Testy rychlosti mají pevně stanovený časový limit pro řešení a obsahují velmi snadné úlohy. Předpokládá se, že všichni zkoušení žáci tyto úlohy zvládají a že se liší pouze v rychlosti řešení. Příkladem je test přepisu textu na psacím stroji, ve kterém měříme rychlost úhozů za minutu.
Testy úrovně Jedná se o testy bez časového omezení sestavený pouze z úloh s rostoucí obtížností. Výkon v testu je dán pouze úrovní schopností testovaného řešit úlohy daného typu. Předpokládá se, že testovaný ukončí práci na testu v okamžiku, kdy dosáhne úlohy, jejíž obtížnost je tak vysoká, že ji již není schopen vyřešit. Většina testů používaných v současné době na našich školách jsou testy, které se svým charakterem blíží testům úrovně. Někdy i testy úrovně rychlosti používají jako vedlejšího kritéria pro hodnocení výkonu v testu.
Testy standardizované Didaktické testy, které jsou připravovány profesionály důkladněji a které také mají úplnější vybavení, se označují jako standardizované. Je ověřen, jsou známy jeho základní vlastnosti, je dopředu známé skórování a interpretace výsledků. Profi – např. SCIO, Psychodiagnostika Bratislava.
Nestandardizované didaktické testy Didaktické testy, u nichž nebyly realizovány všechny kroky obvyklé při přípravě a ověřování testů standardizovaných, označujeme jako testy nestandardizované (učitelské, normální). I při konstrukci těchto testů by učitelé měli dbát všech základních pravidel a zásad, které se doporučují u testů standardizovaných.
Kvazistandardizované testy
Tímto termínem se označují testy připravované dokonaleji než učitelské testy, u nichž ale standardizace nebyla provedena beze zbytku. Příklady kvazistandardizovaných testů: Didaktický test zjišťující znalosti z jednoho předmětu na jedné škole (paralelní třídy) nebo několika příbuzných školách.
Testy kognitivní a psychomotorické Dělení na testy kognitivní a psychomotorické vychází z dělení lidského učení do tří oblastí podle B. S. Blooma (učení kognitivní, afektivní a psychomotorické). Výsledky afektivního učení se zjišťují pomocí dotazníků. Pokud didaktický test měří úroveň (kvalitu) poznání u žáků, jde o test kognitivní (např. úlohy z matematiky, překlad do cizího jazyka). Příkladem psychomotorického testu je např. test psaní na PC.
Testy výsledků výuky a testy studijních předpokladů Jako testy výsledků výuky budeme označovat ty testy, které jsou bezprostředně určeny ke zjištění výsledků specifického učení (měří to, co se žáci v dané oblasti naučili). Testy studijních předpokladů mají měří obecnější charakteristiky jedince potřebné k úspěšnému studiu, i když ne tak obecných jako jsou faktory inteligence. Nevylučujeme přitom, že tyto testy mohou obsahovat i úlohy zjišťující výsledky specifického učení.
Testy rozlišující (testy relativního výkonu NR - testy) Podle interpretace výkonu v testu rozlišujeme didaktické testy na tzv. rozlišující (testy relativního výkonu) a ověřující (testy absolutního výkonu). Hlavní rozdíl spočívá v tom, že u rozlišujících testů se výkon žáka určuje vzhledem k populaci testovaných, zatímco u testů ověřujících se výkon určuje vzhledem ke všem možným úlohám, které určité učivo prezentují.
Testy ověřující (testy relativního výkonu CR - testy) Úkolem ověřujících testů je prověřit vědomosti a dovednosti žáka v přesně vymezené oblasti. U ověřujících testů je kritériem úspěchu předem stanovený stupeň zvládnutí učiva. Při konstrukci ověřujících testů je základním problémem výběr učiva, které musí žák bezpečně zvládnout. V naší pedagogické praxi se ověřující testy téměř nepoužívají.
Testy vstupní, průběžné a výstupní Vstupní didaktické testy se zadávají na začátku výuky určitého výukového celku a jejich cílem je postihnout vědomosti a dovednosti, které jsou pro úspěšné zvládnutí daného učiva důležité. Průběžné didaktické testy se zadávají v průběhu výuky a jejich účelem je poskytnout vyučujícímu zpětnovazební informace potřebné k optimálnímu řízení výuky. Mluví se také o tzv. formativních testech – formují vědomosti a dovednosti žáků. Výstupní testy se zadávají buď na konci výukového období nebo na konci určitého celku. Obvykle poskytují informace potřebné k hodnocení žáků (proto také o nich mluví jako o tzv. sumativních testech).
Testy monotematické a polytematické Monotematické testy zkouší jediné téma učební látky, testy polytematické zkouší učivo několika tematických celků.
Testy objektivně skórovatelné Testy objektivně skórovatelné obsahují úlohy, u nichž lze objektivně rozhodnout, zda byly řešeny správně či nikoliv. Výhodou těchto testů je, že skórování může provádět jakákoliv osoba (nebo stroj). Vzhledem k tomu, že velká většina používaných didaktických testů je objektivně skórovatelná , vznikla u části pedagogické veřejnosti nesprávná představa, že test je zkouška, která obsahuje pouze objektivně hodnotitelné úlohy.
Testy subjektivně skórovatelné Subjektivně skórovatelné testy (označované jako esej testy) obsahují úlohy, u nichž není možno stanovit jednoznačná pravidla pro skórování. Mezi subjektivně skórovatelné testové úlohy patří např. tzv. otevřené široké úlohy, ve kterých žák volně odpovídá na položenou otázku uvedením rozsáhlejší odpovědi. Proč je také používáme?
Tvorba didaktického testu Jak budeme postupovat při tvorbě didaktického testu? Řada učitelů začne přímo navrhovat testové úlohy. Tento postup vede k tomu, že navrhnou nevyvážený didaktický test, který nepokrývá rovnoměrně celé testované učivo a většinou vede jen k zapamatování poznatků. Které kroky bychom měli učinit, abychom naplánovali kvalitní didaktický test? Budeme postupovat tak, jako bychom chtěli konstruovat standardizovaný test, přičemž některé kroky se u našich (učitelských) testů mohou vynechat. Tvorbu didaktického testu lze rozdělit do tří základních etap: • plánování testu, • konstrukce testu a • ověřování testu.
Plánování didaktického testu Základní otázka zní: K jakému účelu má didaktický test sloužit? Účel testu bývá samozřejmě je velmi rozmanitý. Může sloužit např. k zjištění výsledků výuky na konci tematického celku nebo na konci pololetí či roku, k zjištění skutečnosti, jak žáci probírané učivo chápou a přijímají. Může sloužit k inspekčním účelům nebo kontrolním účelům, k výběru vhodných studentů na vyšší školy atd. Po ujasnění účelu testování se zpravidla rámcově vymezuje obsah testu.Z rámcového vymezení obsahu testu by však již měl být znám i rozsah učiva, jež má být testem pokryto. U testů bezprostředně navazujících na učivo vymezené učebnicí nebo osnovou je rozsah zpravidla dán rozsahem příslušných tematických celků, jejichž učivo mají testové úlohy zachycovat.
Příklad 1: Rámcové vymezení obsahu testu 1.1
Pohyb a síla. Vzájemný pohyb těles.
(učivo 31 hodin fyziky, 7. ročník základní školy)
1.2
Skladba. Tvarosloví. (učivo 40 hodin českého jazyka, 6. ročník základní školy)
1.3
Znalosti pravidel silničního provozu (vyhláška MV č. Sb.)
1.4
Matematika (učivo 1., 2. 3.ročníku a 1. pololetí 4. ročníku gymnázia)
Rámcově vymezený obsah testu je nutné upřesnit (specifikovat) tak, aby bylo zřejmé, jaký obsah testu mají jednotlivé úlohy zkoušet, na jakou úroveň osvojování vědomostí se při tom mají zaměřovat, kolik úloh je nutné navrhnout atd. Je známo několik technik, kterými se toto upřesnění může uskutečnit. V učitelské praxi se nejvíce používají dvě z nich - technika specifikační tabulky, - technika seznamu výukových cílů.
Technika specifikační tabulky Specifikační tabulka (kromě jiného) upřesňuje, jaká úroveň osvojení znalosti má být jednotlivými úlohami testu zkoušena. Dobrý didaktický test by se neměl zaměřovat pouze na pamětní osvojení učiva, nýbrž by měl zkoušet i vyšší cílové kategorie , jako je porozumění poznatkům, aplikace poznatků, analýza a syntéza poznatků atd. U každé testové úlohy by se měl autor zamyslet nad tím, co vlastně testová úloha zkouší, a snažit se o to, aby úlohy postihovaly v míře co možná největší vyšší cílové kategorie osvojování. Při úvahách o tom, jakou úroveň poznatků úlohy zkouší jsou osvědčené taxonomie výukových cílů (např. Bloomova taxonomie výukových cílů, Niemierkova taxonomie, Tollingerové taxonomie atd.) Jako nejvhodnější se jeví Niemierkova taxonomie výukových cílů (pro vzdělávací oblast). Tato taxonomie obsahuje celkem 4 hierarchicky upořádané kategorie výukových cílů. Kategorie jsou uspořádány tak, že k dosažení určitého cíle je nezbytné dosažení všech předchozích nižších cílů. Jestliže formulujete výukový cíl, jehož dosažení má testová úloha zkoušet, pak k tomu používáme sloves, která označujeme jako aktivní slovesa.
Niemierkova taxonomie výukových cílů A Zapamatování poznatků Této kategorie je dosaženo, jestliže je žák schopen vybavit si určitá fakta (např. termíny, zákony), přičemž je nesmí mezi sebou zaměňovat. Typická aktivní slovesa: definovat, napsat, opakovat, pojmenovat, reprodukovat. B Porozumění poznatkům V tomto případě je již žák schopen zapamatované poznatky předložit v jiné formě než v té, ve které si je zapamatoval, dovede poznatky uspořádat nebo zestručnit. Typická aktivní slovesa: jinak formulovat, ilustrovat, objasnit, odhadnout, přeložit, převést, vyjádřit vlastními slovy. C Používání vědomostí v typových situacích U této kategorie dovede žák použít vědomostí k řešení situací, které ve výuce již byly řešeny. Typická aktivní slovesa: aplikovat, použít, prokázat, řešit, diskutovat, načrtnout, vyzkoušet, registrovat, demonstrovat.
D Používání vědomostí v problémových situacích Žák dovede použít vědomostí k řešení problémových situací, které nebyly ve výuce doposud řešeny. Typická aktivní slovesa: rozhodnout, provést rozbor, kombinovat, vyvrátit, obhájit, prověřit, zhodnotit, posoudit. Technika specifikační tabulky tedy spočívá v tom, že se snažíme přiřadit počty úloh a jejich úroveň osvojení struktuře a důležitosti prověřovaného učiva. a)
Určení struktury učiva, které má být testováno
Při sestavování specifikační tabulky pro didaktický test se nejdříve téma (témata).které má být testem zkoušeno, rozdělí na dílčí části (např. podle názvů kapitol v programu výuky). Každé této části se pak přiřadí váha, např. podle počtu hodin, které byly výuce této části věnovány, podle rozsahu, podle důležitosti atd.. b)
Určení počtu úloh v testu
Dalším krokem při sestavování specifikační tabulky je rozhodnutí, kolik úloh celkem má test obsahovat. O počtu úloh rozhoduje celá řada skutečností. Na prvním místě je to požadavek dostatečně vysoké spolehlivosti a přesnosti tj. reliability testu. Aby byl test reliabilní měl by obsahovat větší počet úloh. S počtem úloh se reliabilita testu zvyšuje. Za dolní hranici lze považovat 10 testových úloh. Horní hranice je dána časovými možnostmi ve výuce. Nejdelší testy ve výuce mívají čistý testovací test 35 - 40 minut. Monotematické didaktické testy obyčejně vystačí s 15 – 20 minutami čistého času. Didaktické testy na začátku nebo na konci hodiny zpravidla nepřesahují 10 minut. Je zřejmé, že počet úloh v testu závisí na druhu používaných testových úloh a na jejich složitosti. Později si sestavíme tabulku udávající orientační hodnoty časů k řešení jednotlivých testových úloh. c)
Určení úrovně osvojení poznatků, kterou mají úlohy ověřovat
U každé části učiva je třeba zvážit, jakou úroveň osvojení poznatků mají úlohy zkoušet. Je samozřejmě vhodné preferovat úlohy s vyšší úrovní osvojení. Není však nijak normativně stanoveno, kolik úloh musí určitou úroveň osvojení zkoušet. Závisí to na zkušenostech a „pedagogickém citu“ zkoušejícího. Specifikační tabulka představuje pro autora testu základní vodítko pro jeho konstrukci Specifikační tabulka vytváří předpoklady k vytvoření vyváženého didaktického testu, zkoušející reprezentativní výběr učiva.
Příklad 2: Specifikační tabulka pro test z fyziky POHYB A SÍLA Při sestavování této specifikační tabulky bylo rozhodnuto, že test se bude skládat z 25 testových úloh s výběrem odpovědi (čas na práci žáků byl orientačně stanoven na 20 minut). Plánovaných 25 testových úloh bylo rozděleno na jednotlivé části učiva tak, aby to přibližně odpovídalo procentovým podílům počtu hodin, které byly výuce věnovány.
Obsah
Počet hodin
Počet úloh Tabulka
Úroveň osvojení
Technika seznamu výukových cílů Pracnější, avšak přesnější je upřesnění obsahu testu pomocí techniky seznamu výukových cílů. U této techniky se učební látka, která má být testována, převádí (transformuje) na seznam výukových cílů, kterých chceme ve výuce dosáhnout. Při této technice formulujeme, co možná největší počet výukových cílů a nepřihlížíme ještě mnoho k jejich významu. Jde nám o to, aby žádný výukový cíl nebyl opomenut. Na druhé straně zařazujeme pouze ty výukové cíle, na něž byla výuka skutečně zaměřena. Výukové cíle formulujeme tak, aby byly zcela konkrétní, vyjadřovaly určitý výkon žáka a byly jednoznačně kontrolovatelné.
Příklad 3: Výukové cíle pro test z fyziky JEDNODUCHÉ STROJE Pro probrání tématického celku Jednoduché stroje má být žák schopen: 1. Vypočítat velikost síly, která je potřebná ke zvedání těles pomocí páky. 2. Určit polohu osy na páce tak, aby páka byla v rovnovážné poloze. 3. Určit velikost síly, kterou zvedáme těleso a) na pevné kladce b) na volné kladce a kladkostroji 4. Stanovit velikost síly. Kterou zvedáme těleso pomocí nakloněné roviny. 5. Určit velikost práce, kterou konáme při použití a) páky b) pevné kladky c) volné kladky a kladkostroje d) nakloněné roviny 6. Uvést 3 příklady, kdy jednoduché stroje usnadňují práci. Atd. Každý výukový cíl musí být zkoušen v testu tolika úlohami, kolik jich odpovídá jeho významu. Můžeme jej opět posoudit pomocí počtu hodin, které mu věnujeme, abychom jej splnili. Výhodou v tomto případě je, že úrovně osvojení výukových cílů vyplývají přímo z formulování výukových cílů a nemusíme je zvlášť stanovovat.
Konstrukce didaktického testu Po ukončení plánování didaktického testu by autorovi mělo být jasné: co bude zkoušeno, na jaké úrovni a kolik testových úloh by mělo být vytvořeno. V etapě konstrukce testu se jedná především o vytvoření jednotlivých testových úloh. Zpočátku vytvoříme tzv. prototyp testu. Jistě víte, že existují různé druhy testových úloh, přičemž každý typ testové úlohy má určité vlastnosti, výhody i nevýhody. Jaké testové úlohy by autor měl zvolit? O tom, který druh testových úloh zvolíme, rozhoduje - cíl, který má testování plnit, - obsah učiva, který má být předmětem testování - materiální a technické podmínky, - a nakonec i obliba určitého druhu testových úloh u autora.
Návrh testových úloh
Je evidentní, že didaktický test se bude skládat z jednotlivých testových úloh (testových otázek, úkolů, příkladů). Každá testová úloha je pro kvalitní test důležitá, a proto by konstruktér testu měl každé úloze věnovat velkou pozornost. Návrhování testových úloh je velmi náročná činnost, k níž je potřeba vedle zkušeností i náležitého teoretického poučení. Autor didaktického testu by měl být nejen odborníkem v předmětu, pro který test připravuje, ale měl by být dobrým pedagogem a psychologem, aby se dokázal vcítit do pozice žáků, které chce testovat. Existují různé typy testových úloh. Testové úlohy se rozdělují na úlohy (dle P. Byčkovského [ ] ):
otevřené (s tvořenou či volnou odpovědí), u kterých student odpověď samostatně uvádí, - uzavřené odpovědi (s nabízenou odpovědí, s nucenou volbou odpovědi), kde se studentovi nabízí několik odpovědí, z nichž jedna nebo více je správných. Otevřené úlohy se dále dělí (podle rozsahu požadované odpovědi) na úlohy: - se širokou odpovědí : a) nestrukturované b) se strukturou - vymezenou - dané konvencí, - se stručnou odpovědí: a) produkční b) doplňovací. Uzavřené úlohy se dělí na úlohy: - dichotomické, - s výběrem odpovědi, - přiřazovací, - uspořádací. -
Otevřené široké úlohy V otevřených širokých úlohách se požaduje od žáka rozsáhlejší odpověď (např. polovina stránky i delší). Otevřené široké úlohy lze doporučit zejména při zkoušení komplexních vědomostí nebo dovedností osvojovaných v delším časovém období. Jsou vhodné pro zkoušení vyšších úrovní osvojování učiva (např. řešení problémových situací apod.), zatímco pro zkoušení nižších úrovní osvojení učiva (např. zapamatování) jsou vhodnější testy s úlohami objektivně skórovatelnými. Skutečnost, že široké testové úlohy nelze objektivně skórovat, by neměla vést k jejich nepoužívání. Komplexní vědomosti a dovednosti lze rozložit na dovednosti dílčí (které se dají zkoušet mnohem snadněji), avšak zvládnutí dílčích dovedností ještě nemusí znamenat zvládnutí dovedností komplexních. Široké testové úlohy se poměrně snadno navrhují, ale jejich hlavní nevýhodou je nemožnost objektivního skórovaní. Při skórování širokých úloh se často postupuje tak, že za správné a úplné zodpovězení úlohy se přisuzuje určitý počet bodů (např. 10). Za každou chybnou nebo chybějící část odpovědi se strhává určitý stanovený počet bodů. V některých případech lze pro skórování širokých úloh vypracovat detailní předpis (matematika), který umožňuje téměř objektivní skórování. Testy vytvořené z otevřených širokých úloh se často označují jako esej testy. Tyto testy obsahují zpravidla jen několik úloh. Od běžných písemných zkoušek se esej liší tím, že při jejich konstrukci, hodnocení a interpretaci výsledků se využívají všechna základní pravidla a postupy obvyklé u ostatních didaktických testů Široké úlohy patří ke klasickým úlohám, jichž se používá při zkoušení již dlouho. Na začátku 20. století to byly téměř jediné úlohy, z kterých sestávaly písemné zkoušky. Setkáme
se s nimi v běžných písemných zkouškách a v ústních zkouškách (např. u maturity, u semestrálních zkoušek na VŠ) i nyní. Zadávají se tématem, otázkou nebo vybídnutím.
Příklad 4: 4.1 4.2 4.3 4.4 4.5
Příklady testů se širokou odpovědí Význam K. Čapka pro českou literaturu. Nakreslete schéma jaderné elektrárny. Charakteristiky a použití standardizovaných testů. Popište výrobu surového železa. Navrhněte koncepci zavodňovacího systému.
V mnoha případech je vhodnější zadání široké úlohy vymezit přesněji uvedením obsahové struktury požadované odpovědi. Obsahovou strukturu zadání vytvářejí jednotlivé části požadované odpovědi uvedené za hlavním zadání.
Příklad 5: 5.1
5.2
Příklad 6: 6.1
Příklady testů se širokou odpovědí (s vymezenou strukturou) Způsoby prověřování vědomostí a dovedností studentů. (Uveďte jednotlivé druhy prověřování; proveďte jejich srovnání s ohledem na adekvátnost, spolehlivost a praktičnost.) Výroba surového železa (uveďte hlavní používané suroviny, nakreslete schéma vysoké pece a popište hlavní probíhající chemické reakce) Příklady testů se širokou odpovědí (s danou konvencí) Popište hlavní stadia tělesného vývoje dítěte do 6. let věku
Otevřené úlohy se stručnou odpovědí Úlohy se stručnou odpovědí vyžadují od žáka, aby vytvořil a uvedl vlastní krátké odpovědi. Může to být např. uvedení čísla, značky, symbolu, vzorce, jednoduchého grafu, určitého slova, příp. několika slov či krátké věty. Úlohy se stručnou odpovědí mohou být dvojího typu: produkční a doplňovací.
Příklad 7: 7.1
7.2
7.3 7.4
Produkční testové úlohy Napište Pythagorovu větu ……………………………………. ……………………………………. Které jsou tři základní složky potravy 1. ……………………………………… 2. ……………………………………… 3. ……………………………………… Napište chemický vzorec kyseliny dusičné ……………………………………………… Určete definiční obor funkce f ( x ) = ln ( 2 x − 8 ) ……………………………………………….
Příklad 8:
Doplňovací testové úlohy
8.1 8.2
Hlavním městem Estonska je ……………………… Po smrti českého krále Karla IV v roce ……………. nastoupil na trůn jeho syn …………………. 8.3 Ptáci zpíval…, včely bzučel….a medvíďata se batolil… po lese. 8.4 K logaritmické funkci y = ln x je inverzní funkcí funkce ……. ………, kterou vyjádříme ve tvaru ……….. 8.5 Zvětšíme-li průměr válce dvakrát a jeho výšku zvětšíme o 50 %, pak se objem válce zvětší ………. ….krát. Mezi výhody úloh se stručnou odpovědí lze počítat zejména to, že se snadno navrhují. Další výhodou je, že neumožňují žákům tak lehce uhádnout správnou odpověď bez příslušných vědomostí, jak je tomu u úloh s výběrem odpovědi. Většinou se předpokládá, že vytvoření je pro žáka náročnější než pouhé rozpoznání správné odpovědi mezi nabídnutými alternativami. Nevýhodou úloh se stručnou odpovědí je to, že žák mnohdy odpovídá správně, ale jinak, než si představoval autor testu. Příklad 9: 9.1 9.2 9.3
9.4
Co je jednotkou tlaku? …………………………………… Nejstarší univerzita ve střední Evropě byla založena …………….. Při sklizni brambor na poli pracovalo dohromady 56 brigádníků. Žen bylo 14. Kolikrát bylo více mužů než žen. …………….. Ve válcové nádobě o poloměru R = 12 cm a výšce v = 25 cm je 10 litrů vody. O kolik cm stoupne hladina vody v nádobě, ponoříme-li do vody ocelovou kouli o poloměru r = 8 cm ?
V příkladě 9.1 může být správná odpověď např. Pa, at, mb, torr, apod. Odpověď může být zapsána i slovy, gramaticky nesprávně nebo nepřesně. V příkladu 9.2 není jasné jakou odpověď měl autor na mysli. V podobných případech nutně vznikají pochybnosti, zda úloha byla či nebyla zodpovězena správně. Pochybnostem při skórování je možné částečně se vyhnout tím, že budeme formulovat co nejpřesněji (v uvedeném příkladě např. můžeme požadovat uvedení „hlavní jednotky tlaku“. V zásadě však u tohoto typu testových úloh mohou vždy nastat, že úloha je zodpovězena částečně správně. Skórování testu, ve kterém jsou použity úlohy se stručnou odpovědí, proto nemůže provádět laik, nýbrž odborník, který zkoušenému učivu dokonale rozumí.
Doporučení pro návrh testových úloh 1. 2. 3. 4. 5.
Úlohy užívejte jen tehdy, lze-li odpovědět velmi stručně (nejlépe jedním údajem). Úlohy formulujte zcela jasně a jednoznačně. Nevyžadujte doslovné opakování textu z učebnice. Uvažte předem všechny možné odpovědi, a je-li jich mnoho, raději úlohu nepoužívejte. Ponechejte v úlohách vždy dostatek místa pro uvedení odpovědí.
Dávejte přednost produkčním úlohám před doplňovacími. Chcete-li přece jen použít doplňovací úlohy, dodržte následující doporučení: Vynechávejte jen důležité údaje. Z neúplné věty musí být patrné, co se má doplnit. Údaj, který se má doplnit, umísťujte pokud možno na konec věty. Pokud se má doplnit několik údajů, vynechejte pro doplnění zhruba stejné místo.
6. 7. 8. 9. 10.
Úlohy dichotomické U dichotomických úloh jsou žákům předkládány dvě alternativy odpovědí s tím, že jedna je správná a tu má označit (např. podtržením, zakroužkováním apod.) Tyto úlohy bývají často označovány jako úlohy s dvoučlennou volbou nebo jako alternativní úlohy(angl. Truefalse). Nejčastější formy dichotomických úloh uvádějí následující příklady.
Příklad 10: Dichotomické testové úlohy 10.1 10.2 10.3 10.4
Dichotomické úlohy jsou nejjednodušší formou uzavřených úloh. ANO – NE Mistr Jan Hus byl upálen 1416 ANO – NE Velikost hlavy novorozence činí přibližně ¼ délky jeho těla. Správně – nesprávně Při vypařování se teplo: spotřebovává – uvolňuje
Výhodou dichotomických úloh je, že se velmi snadno navrhují. Tato konstrukční jednoduchost však může svádět k testování jednotlivých detailů, pouhých faktů (někdy i triviální povahy). Hlavním nedostatkem je velká pravděpodobnost uhodnutí správné odpovědi i bez příslušných vědomostí. Aby se věrohodnosti výsledků získaných testem s dichotomickými úlohami zvýšila, je třeba, aby test obsahoval těchto úloh dostatečný počet.
Doporučení pro návrh dichotomických úloh 1. 2. 3. 4. 5. 6.
Tvrzení uváděné v úloze musí být jednoznačně správné nebo nesprávné. Nepoužívejte příliš dlouhých tvrzení. V tvrzeních nepoužívejte dvojího záporu. Navrhujte zhruba stejný počet správných a nesprávných tvrzení. V tvrzeních neužívejte výrazů typů často, téměř, vždy, nikdy, zřídka apod. Nepoužívejte vět vytržených z učebnice, ani neobměňujte zařazením záporu.
Úlohy s výběrem odpovědí Úlohy s výběrem odpovědí ( v literatuře označované také jako úlohy s vícečlennou nebo vícenásobnou odpovědí, úlohy polynomické, angl. Multiple- choice) vděčí za svoji teoretickou rozpracovanost především rozvoji programovaného učení (hlavně tzv. větvených programů). Úloha s výběrem odpovědi se skládá ze dvou částí: problému nebo otázky (tzv. kmen úlohy) a nabídnutých odpovědí. Úlohy s výběrem odpovědi se v didaktických testech vyskytují v několika formách.
A)
Úlohy typu „jedna správná odpověď“
Základní formou je úloha, ve které žák vybírá jednu správnou odpověď z několika nabídnutých alternativ.
Příklad 11: Úlohy s výběrem odpovědi (jedna správná odpověď) Rovnice x = 3 − 8t , y = 6 + 3t , t ∈ 2, 46 jsou parametrickými rovnicemi
a)
(A) přímky (B) polopřímky (C) úsečky (D) jinak (odpověď jinak znamená, že žádná z odpovědí (A) – (C) není správná) b) (A)
Cesta vlakem nám velmi rychle uběhla. Podtržený větný člen je. podmět (B) předmět (C) přívlastek (D) příslovečné určení
B)
Úlohy typu „jedna nejpřesnější odpověď
Příklad 12: Které následujících tvrzení odpovídá nejlépe na otázku „Co je chemický prvek?“ (A) Prvek je látka, která se skládá z atomů stejného druhu. (B) Prvek je látka, kterou již dále nelze dělit. Prvek je látka složená z atomů, které mají stejné protonové číslo. (C) (D) Jinak C)
Úlohy typu „jedna nesprávná odpověď“
V některých případech lze také požadovat uvedení nesprávné odpovědi. V tomto případě je ovšem nutné zápor ve kmenu úlohy patřičné zdůraznit, protože jinak může snadno dojít k přehlédnutí a nesprávné odpovědi přesto, že má příslušné vědomosti.
Příklad 13: Který následujících není formou oxidačního procesu? (A) (B) (C) (D)
D)
dýchání hnití destilace rezivění
Úlohy s vícenásobnou odpovědí
Jestliže má žák v testové úloze vybrat několik správných odpovědí, hovoříme o tzv. vícenásobné odpovědi. Jestliže se rozhodneme pro použití této úlohy, je nutné na to žáky předem upozornit. V úlohách, kde se požaduje výběr jen jedné odpovědi, je totiž výběr většího počtu odpovědí považován za chybu a žáci by proto mohli váhat, zda více odpovědí uvést.
Příklad 14:
(A) (D )
Kterými státy protéká (nebo se aspoň dotýká) řeka Odra? N ěm eck o S lo v e n sk o
∗
(B ) (E )
(C )
R u sk o P o lsk o
Č e sk á re p u b lik a
∗
∗
Určité problémy u úloh s vícenásobnou odpovědí nastávají při jejich skórování. Neexistuje zde totiž jedna naprosto správná a jedna naprosto nesprávná odpověď, ale také
několik částečně správných odpovědí. Lze doporučit dva přístupy, z nichž první lze stručně vyjádřit slovy „ všechno a nebo nic“. Podle tohoto přístupu přidělíme 1 bod v případě, kdy žák označí všechny správné odpovědi, a 0 bodů tehdy, jestliže bude (třeba jen jedna) odpověď nesprávná. Druhý přístup (diferencovanější) spočívá v tom, že přidělíme 1 „pomocný“ bod za každou správně označenou odpověď a 1 pomocný bod za každou neoznačenou nesprávnou odpověď. Výsledný součet pomocných bodů potom dělíme počtem nabídek v úloze, aby maximální počet bodů v úloze byl1. Tento způsob budeme ilustrovat na shora uvedené testové úloze.
Příklad 15:
Skórování úloh s vícenásobnou odpovědí
Správné odpovědi ve výše uvedené úloze jsou označeny hvězdičkou. Jestliže určitý žák vybere jen tyto správné odpovědi, získá za to 5 „pomocných bodů“ (v žádné, z pěti nabídek neuvedl nesprávnou odpověď). Celkový počet nabídek v úloze je 5 a proto bodové hodnocení daného žáka bude 5:5=1 bod. Pokud by jiný žák v úloze označil např. nabídky B, C, E, potom by tento výkon byl hodnocen třemi pomocnými body (2 za to, že správně uvedl odpovědi C, E a 1 bod za to, že správně neuvedl odpověď D). Bodové hodnocení tohoto žáka v úloze potom bude 3:5=0,6 bodu.
E)
Situační úlohy
Zvláštní modifikací testových úloh s výběrem odpovědi jsou úlohy označované jako situační či interpretační. Jsou to úlohy, u nichž žák vybírá z podstatně většího počtu nabídek, než je obvyklé, přičemž nabídky nejsou předkládány ve formě dlouhého a nepřehledného seznamu, nýbrž vyplynou přímo z dané situace. Pravděpodobnost uhodnutí správné odpovědi bez příslušných vědomostí je u tohoto typu zpravidla velmi malá.
Příklad 16:
Situační úloha
823∗ 43 Na místo označené hvězdičkou napište takovou číslici, aby výsledné šesticiferné číslo bylo dělitelné šesti. V uvedené testové úloze na první pohled nejsou nabízeny žádné možnosti. Je ovšem zřejmé, že žák bude vybírat z deseti čísel (0 - 9). Pravděpodobnost náhodné volby správné odpovědi je 10 %.
Problém hádání správných odpovědí u úloh s výběrem odpovědi Častou námitkou proti užívání testových úloh s výběrem odpovědi bývá, že žák mnohdy správnou odpověď uhádne, aniž by učivo náležitě zvládl. Kolik alternativ by měla testová úloha s výběrem odpovědi mít, aby problém abychom hádání správné odpovědi žákovi ztížili. Doporučuje se nabídnout 4 - 5 odpovědí. Více než5 odpovědí činí úlohu nepřehlednou. Pro dvě a tři nabízené odpovědi se někdy doporučuje tzv. korekce na hádání. Při používání korekce na hádání se přisoudí žákovi počet bodů podle toho, kolika chyb se dopustil. Vychází se z toho, že žák, který odpověď hádá, se dopouští častěji chyb než ten, který úlohy skutečně řeší a odpovídá jedině tehdy, když odpověď zná. Korekci dosažených bodových výsledků lze provést podle vzorce:
n y −1 kde s0 je tzv. opravené skóre (opravený počet bodů), sn je neopravené skóre, n počet nesprávných odpovědí žáka v testu a y je počet nabízených odpovědí v jedné úloze. Pravděpodobnost uhodnutí správné odpovědi lze také v některých případech snížit užitím tzv. neurčité odpovědi. s0 = sn −
Konstrukce testových úloh s výběrem odpovědi Sestavování úloh s výběrem odpovědi je podstatně složitější než příprava produkčních úloh. Produkční úlohy vyžadují pouze správnou formulaci problému nebo otázky, úlohy s výběrem odpovědi vyžadují navíc vytvoření vhodných nabídek odpovědí, které by byly pro žáky stejně atraktivní (přijatelné). Nesprávné odpovědi, jež se žákům předkládají k výběru, označujeme jako distraktory. Návrh vhodných distraktorů je největším problémem při návrhu testových úloh s výběrem odpovědi. Jak připravujeme vhodné distraktory? Samozřejmě, že zkušený učitel ví, jakých nejčastějších chyb se žáci dopouští a na tomto základě tvoří distraktory. Vychází se tedy z otevřených úloh. Učitel řeší danou úlohu s chybami, kterých se žáci dopouští a takto získané výsledky předkládá studentům ve formě distraktorů. Přijatelnost distraktorů je vlastnost značně relativní. Důležitou zásadou při navrhování úloh s výběrem odpovědi je, že informace, otázka i navrhované odpovědi musí být co nejstručnější. Dlouhý a nepřehledný text odvádí žáky od podstaty problému a může je dezorientovat. Proto často nahrazujeme dlouhý text náčrtem, grafem nebo obrázkem. Testové úlohy s výběrem odpovědi bývají často ze strany odpůrců testování hodně kritizovány. Vytýká se jim, že jsou pro žáky daleko snadnější než otevřené úlohy, že pro žáka je daleko snadnější vybrat správnou odpověď mezi předloženými odpověďmi nesprávnými než vytvořit odpověď vlastní tyto poznatky jsou plně opodstatněné pokud zejména u úloh, které zkouší pouze zapamatování konkrétních poznatků. Jestliže testová úloha zkouší některou z vyšších kategorií osvojení, potom u kvalifikovaně sestavených úloh bývá obtížnost stejná, někdy dokonce vyšší než u úloh otevřených. (Proč?).
Doporučení pro návrh testových úloh s výběrem odpovědi 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
Úlohami s výběrem odpovědi nezkoušíme pokud možno zapamatování konkrétních poznatků. ve formulaci úlohy se vyhýbáme slovům nebo údajům, které by mohly sloužit jako nápověda. Pokud se ve formulaci úlohy vyskytuje zápor, zvýrazníme jej např. podtržením. Soubor nabízených odpovědí k jedné úloze by měl být homogenní, tj. podobný obsahovým zaměřením i formou. Distraktory se nesmějí navzájem překrývat nebo jinou formou vyjadřovat totéž. Umístění správné odpovědi mezi distraktory se má volit zcela náhodně. Navrhujeme jen takové distraktory, u nichž je předpoklad, že budou využívány. Při používání úloh s vícenásobnou odpovědí a při používání neurčitých odpovědí na tuto skutečnost žáky upozorníme. Při formulaci úloh s výběrem odpovědi dáváme přednost otázkám před neúplnými tvrzeními. V úlohách s výběrem odpovědi se vyhýbáme příliš dlouhým slovním formulacím.
Přiřazovací úlohy Přiřazovací úlohy (angl. Matching Items) obsahují dvě množiny: množinu pojmů a množinu instrukcí.Úkolem žáka je správně přiřadit pojmy jedné množiny k pojmům množiny druhé.
Příklad 17: a)
Přiřazovací úlohy
K názvům států v levém sloupci správně přiřaďte názvy jejich hlavních měst z prvého sloupce! Švýcarsko Norsko Island Finsko Nizozemsko
b)
( ( ( ( (
) ) ) ) )
A B C D E F G
Oslo Dublin Bern Bonn Reykjavík Helsinky Amsterdam
K názvům kuželoseček přiřaďte rovnice z pravého sloupce! Elipsa
( )
A
Hyperbola
( )
B
Parabola
( )
C D
x2 + y 2 = r 2 x2 y 2 − =1 a 2 b2 2 py = x 2 x2 y 2 + =1 a 2 b2
V uvedených příkladech je vždy počet pojmů v pravém sloupci úmyslně větší než počet pojmů v levém sloupci. Tuto zásadu bychom měli vždy dodržovat u tohoto typu úloh. Pokud by totiž obě množiny byly stejně početné, měl by žák, který některá přiřazení zná usnadněnou situaci tím, že mu počet možných přiřazení zmenšoval. Výhodou přiřazovacích testových úloh je, že omezují možnost uhodnutí správné odpovědi na minimální míru. Jejich použití je však možné jen v poměrně omezeném okruhu učiva.
Uspořádací úlohy V uspořádacích testových úlohách se od žáka požaduje, aby uspořádal prvky dané množiny pojmů jedné třídy do řady. Úloha tohoto typu se skládá z dané množiny prvků a z instrukce, která uvádí, podle kterého kritéria a jakým způsobem se mají prvky uspořádat. Prvky je možno řadit např. podle velikosti významu, stupně obecnosti, chronologicky atd.
Příklad 18: a)
Uspořádací úlohy
Seřaďte následující racionální čísla podle velikosti tak, že k nejmenšímu z nich připíšete 1 a k největšímu 4.
b)
0,5
12 18
− 0, 001
15 60
..…..
…….
………..
……
Seřaďte uvedená moravská města podle počtu obyvatel. Seřazení proveďte připsáním pořadových čísel 1 až 6 tak, aby město s největším počtem obyvatel mělo číslo 1. Olomouc Opava Prostějov Ostrava Jeseník Šumperk
c)
…… .…... …… …… …… ……
Seřaďte uvedené malíře podle doby, ve které tvořili tak,že nejstaršímu z nich přiřadíte 1 a nejmladšímu 5. Peter Paul Rubens ….. Paul Gauguin ….. Salvador Dali ….. Francisco de Goya ….. Michelangelo Buonarroti …..
Určité problémy může působit skórování uspořádacích úloh. Nesprávné seřazení prvků ve skupině může totiž být provedeno mnoha způsoby, přičemž se jedná o různě závažné chyby. Nejjednodušší skórování se provádí tak, že za zcela správné vyřešení úlohy, tj, za uvedení naprosto správného pořadí, se přiděluje jeden bod, za všechna ostatní řešení 0 bodů. Tento postup se doporučuje v případech, kdy počet seřazovaných pojmů je menší nebo rovný 5. Jestliže se v testové úloze seřazuje více prvků než 5, je v literatuře doporučován složitější, ale citlivější způsob skórování uspořádacích úloh. Podle tohoto postupu se žákovi přidělí skóre, které se určí výpočtem podle vzorce ∑ dmax − ∑ d (1) x= ∑ d max kde x je skóre určitého žáka v uspořádací úloze, d jsou jednotlivé odchylky žáka od správného pořadí a d max jsou největší možné odchylky žáka od správného pořadí.
Příklad 19:
V následující tabulce jsou výsledky jistého žáka N , ve kterém se od správného pořadí poněkud odlišuje. Určete skóre žáka N podle vzorce (1). Správné pořadí
obrácené pořadí
největší možné odchylky
pořadí uvedené žákem N
odchylky u žáka N
Olomouc Šumperk Prostějov Ostrava Jeseník Opava ∑ d max , ∑ d
2 5 4 1 6 3
5 2 3 6 1 4
3 3 1 5 5 1 18
x=
3 2 5 1 6 4
1 3 1 0 0 1 6
18 − 6 = 0, 66 bodu. 18
Zásady platné pro navrhování všech druhů testových úloh Při navrhování všech testových úloh bychom měli dodržovat některé obecně platné zásady. 1.
Vyhýbáme se úlohám kvízového charakteru. Tyto úlohy mohou být pro žáky zábavné, ale k serioznímu měření výsledků vzdělávací činnosti se nehodí.
Příklad 20:
Biografie je (A) nauka o konstrukci biografů (B) životopis (C) zápis o chování živočichů
1.
Snažíme se navrhovat testové úlohy, které jsou navzájem nezávislé, tj. takové, u nichž správné řešení jedné úlohy není vázáno na správné vyřešení jiné úlohy v testu.
2.
Při formulaci testových úloh musíme dbát na to, aby již tyto formulace neobsahovaly nápovědu správné odpovědi (tzv. nezamýšlené nápovědy). Zdrojem nápovědy u úloh s výběrem odpovědi bývá často např. obsahová, formální nebo jiná odlišnost správné odpovědi od distraktorů.
Příklad 21: Kámen o hmotnosti m volně padal po dobu t do hluboké propasti. Jak hluboká je propast? (A)
h=
tg 2 2
(B)
h = mgt 2
(C)
h=
gt 2 2
(D)
h = mg 2 t
V uvedeném příkladě je nápověda skryta v tom, že pouze správná odpověď (C) poskytuje při rozměrové zkoušce jednotku délky. 3.
V didaktických testech zásadně nepoužíváme tzv. „chytáků “, u nichž nezkoušíme stupeň zvládnutí učiva, ale zcela jiné charakteristiky žáka (např. postřeh, vtip atd.).
Příklad 22:
4.
Ve válcové nádobě o poloměru r = 12 cm a výšce v = 25 cm je 10 litrů vody. O kolik cm stoupne hladina v nádobě, ponoříme-li do vody ocelovou kouli o poloměru R = 8 cm.
Při hodnocení odpovědí v testu je nejvhodnější užívat tzv. jednoduchého skórování (binárního skórování) úloh. Kdy za správnou odpověď v kterékoliv úloze připisujeme
vždy jen jeden bod. Ukazuje se, že tento způsob skórování u běžných testů s objektivně skórovatelnými úlohami plně vyhovuje. Složitější a pracnější – tzv. vážené skórování (u něhož přiřazujeme různé počty bodů úlohám podle jejich náročnosti) se většinou doporučuje u úloh, které se výrazně liší časem, který je třeba k jejich vyřešení (zodpovězení). 5.
Testových úloh bychom měli navrhovat vždy o něco více, než kolik má obsahovat konečná podoba testu. Při ověřování testu se totiž zpravidla ukáže, že řada úloh z různých příčin nevyhovuje.
7.
Náležitou pozornost je nutné věnovat grafické úpravě úloh. Text musí být dokonale čitelný a přehledný, písmo dostatečně velké a výrazné.
8.
Ke každému testu bychom měli vydat pokyny pro jeho zpracování. Zejména by mělo být jasné, kde bude žák zapisovat správné odpovědi, jak je možné dělat opravy výsledků v případě, že se splete a chce výsledek opravit, jak jsou úlohy ohodnoceny (způsob skórování) a kolik má na vyřešení testu času.
Návrh prototypu didaktického testu Jestliže autor testu dodržoval při návrhu úloh doporučení uváděna dříve, lze předpokládat, že se vyvaroval základních nedostatků v obsahové i formální stavbě úloh. Málokdy se však podaří navrhnout napoprvé úlohy naprosto dokonalé. Zkušenosti ukazují, že bývá prospěšné vytvořené testové úlohy na nějaký čas (alespoň několik dnů) po návrhu odložit a teprve potom se k nim kriticky vrátit. Jinou metodou, jak přispět k vytvoření co nejkvalitnějších úloh, je nechat navržené úlohy posoudit kompetentní osobou (ještě lépe několika kompetentními osobami). V podmínkách školní praxe můžeme požádat kolegy, kteří vyučují stejný předmět, případně také vyučující příbuzných předmětů. Je dobré ptát se těchto odborníků např. na následující otázky pro testové úlohy s výběrem odpovědí:
Posouzení technické kvality úloh s výběrem odpovědi 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18.
Je kmen úlohy pro zamýšlenou skupinu testovaných formulován jasně? Jsou z kmene úlohy odstraněny nepodstatné údaje? Je úkol v kmenu úlohy jasně vymezen? Jsou nabídky pro zamýšlenou skupinu testovaných formulovány jasně? Je z formulace nabídek vyřazen zbytečný text a údaje? Existuje jediná správná odpověď? Jsou z textu úlohy vyřazena slova „vždy“, „žádný“ a „všechno“? Je jako distraktorů použito běžných chybných odpovědí studentů? Je vyřazena nabídka „vše uvedené“? Jsou nabídky zařazeny do logické posloupnosti (pokud existuje)? Je správná odpověď umístěna mezi nabídkami náhodně? Jsou všechna opakující se informace přeřazena z nabídek do kmene? Mají všechny nabídky přibližně stejnou délku? Vyhovuje formulace kmene a nabídek požadavkům české gramatiky? Jsou všechny zápory zvýrazněny? Jsou odstraněny takové formulace, které by mohly usnadňovat správnou odpověď? Je úloha zpracována dobře graficky? Zkouší navrhována testová úloha skutečně to, co je daném učivu důležité?
19. 20.
Je bodové ohodnocení navržené úlohy v souladu s obtížností úlohy? Posuďte (bez ohledu na případné technické nedostatky) míru shody mezi úlohou a výukovým cílem, který má úloha měřit. Použijte škály: Shoda: 1 – nedostatečná, 2 – slabá. 3 – celkem dobrá, 4 – dobrá, 5 – dokonalá.
Z úloh, které obstály při posouzení kompetenty sestavíme první návrh (prototyp) didaktického testu. Konstruujeme-li běžný rozlišující test, potom je třeba, abychom úlohy v testu seřadili podle vzrůstající obtížnosti. Součástí přípravy testu k jeho použití je také přibližné určení času, který budou žáci k vypracování potřebovat. Orientačně můžeme postupovat podle následující tabulky.
Orientační hodnoty časů k řešení jednotlivých testových druhů úloh Testové úlohy
Čas v min. na 1 úlohu
Počet úloh na 40 min.
Široké, psaná odpověď v rozsahu 1 – 2 strany ½ strany
12 – 25 8 – 12
2 –3 4–6
produkční krátké (bez výpočtu) delší (s výpočtem, náčrtem, grafem, atd.)
0,5 – 1 1–5
40 - 60 10 – 30
s výběrem odpovědi výpočet nevyžadující výpočet vyžadující
0,5 – 1,5 1–5
30 - 50 10 – 30
přiřazovací
1–2
20 – 40
doplňovací dichotomické uspořádací
0,5 – 1
40 - 60
Konkrétnější představu o časových nárocích na zpracování testuje možné si učinit až po prvním použití testu na vzorcích žáků. Většinou se doporučuje, aby časový limit pro byl zvolen tak, aby 80 – 90 % žáků stačilo testem projít.
Forma testu a varianty testu Didaktické testy se zadávají zpravidla v písemné formě. Protože již při návrhu testových úloh se musí pamatovat na to, jak budeme skórovat, a proto je nutné rozhodnout, zda testovaní budou uvádět odpovědi na zvláštním listu (záznamovém archu), přímo psát do PC nebo řešit úlohy přímo v zadání testu. Ideální je, aby všichni studenti řešili stejný test. Předpokládá se, že studenti budou testovaní v podmínkách zaručujících, že nedojde k opisování a napovídání. Není-li tomu tak, je nezbytně nutné vytvořit dvě nebo více ekvivalentních variant (Jak?).
Popis populace testovaných
Připravuje-li učitel test pro studenty, které vyučuje, zpravidla zná důvěrně jejich charakteristiky. Jinak je tomu u konstruktéra testu připravujícího test pro široké použití. V tomto případě by se měl se základními charakteristikami testovaných seznámit. Základní charakteristiky testovaných: - věk, - intelektová vyspělost, - úroveň zvládnutí mateřského jazyka, - zvládnutí běžné terminologie oboru, z kterého je test navrhován, - celková úroveň a specifické rysy jejich výuky, - předchozí zkušenosti s didaktickými testy, - dovednost používání určitých pomůcek (kalkulačka, normy, PC, atd.) - porozumění symbolům a běžným zkratkám, - dovednost číst technickou informační grafiku (technické výkresy, schémata, grafy tabulky atd.)
