Moderní trendy v hodnocení znalostí

Moderní trendy v hodnocení znalostí RNDr. Čestmír Štuka, Ph.D., MBA (1. LF UK) MUDr. Martin Vejražka, Ph.D. (1. LF UK) RNDr. Patrícia Martinková, Ph.D. (ÚI AV ČR) Mgr. Martin Komenda (LF MU) MUDr. Jan Trnka, Ph.D. (3. LF UK)

Testový cyklus Definování cílů výuky Zkušenosti učitele

Zpětná vazba Plán testu (Blueprinting)

Psaní a oponování otázek

Banka úloh

Pilotování testu Analýza výsledků testu (reliabilita, validita, položková analýza)

Standardizace

Realizace testu

Ohodnocení studentů

Moderní trendy v hodnocení znalostí

Volně upraveno podle: TAVAKOL, Mohsen a Reg DENNICK. Post Examination Analysis of Objective Tests. AMEE, 2011. AMEE guide; sv. 54. ISBN 978-1-903934-91-3.

Otázky MTF • Multiple true/false Chlorid amonný má ve své molekule čtyři atomy vodíku rozpuštěním ve vodě dává zásaditý roztok uvolňuje po přidání hydroxidu sodného amoniak je silné oxidační činidlo


Otázky SBA • Otázky s jedinou nejlepší odpovědí (single best answer, SBA) 32letý muž přichází pro 4 dny trvající, postupně progredující slabost končetin. Dosud byl zdráv, před 10 dny však prodělal infekci horních cest dýchacích. Je afebrilní, arteriální tlak má 130/80 mmHg, tepovou frekvenci 94 / min. Dýchání je mělké a nápadně zrychlené. V orientačním neurologickém nálezu dominuje symetrická slabost mimických svalů a svalů horních i dolních končetin. Čití je intaktní. Hluboké šlachové reflexy nelze vybavit. Zánikové jevy jsou negativní. Která z následujících diagnóz je nejpravděpodobnější? (Vyberte jedinou odpověď)

akutní diseminovaná encefalomyelitida syndrom Guillain-Barré myasthenia gravis poliomyelitis polymyositis


Pět zásad tvorby SBA 1. Ptejte se na významné problémy – Vyvarujte se „chytáků“

2. Testujte využití znalostí, nikoliv fakta sama – Otázka bývá dlouhá, odpovědi krátké

3. Formulujte jasně a jednoznačně – Odborník správně odpoví i se zakrytými odpověďmi

4. Pozor na slova „většinou“, „zřídka“, „výjimečně“, 5. Nabídnuté odpovědi musí být homogenní


Otázky SBA Pět zásad 5. Nabídnuté odpovědi musí být homogenní


Tvorba SBA Otázka MTF: Akutní intermitentní porfyrie je podmíněna poruchou biosyntézy

kolagenu kortikosteroidů mastných kyselin hemu tyroxinu

E-testování – Moderní trendy v hodnocení znalostí

Tvorba SBA Dosud zdravý 33letý muž přichází pro epizody křečovitých bolestí břicha a svalové slabosti, které se vyskytují v posledním půl roce. Podobné obtíže mívá teta a bratranec. V průběhu epizody je břicho vzedmuté, peristaltika obleněná. V neurologickém nálezu je snížená síla velkých svalů horních končetin. Nález odpovídá defektu biosyntetické dráhy pro (vyberte jedinou nejlepší odpověď)

kolagen kortikosteroidy mastné kyseliny hem tyroxin


Standardizace testů Zajištění rovnosti podmínek, porovnatelnosti výsledků testovaných a různých verzí testu, aby zkoušení bylo: • spravedlivé • objektivní • reprodukovatelné Moderní trendy v hodnocení znalostí

Standardizace Standardizace jako zajištění rovnosti podmínek Standardizované testování ve staré Číně Hannibalův současník Čchin S'-chuang, který vládl malému, zaostalému státu Čchin, dobyl a podmanil všechna okolní království. Jeho následníci, aby udrželi dobytá území pod kontrolou, zrušili v 1. př. n. l. výsadní postavení aristokracie a státní správu svěřili centralizovanému byrokratickému aparátu, do nějž bylo třeba vybírat kompetentní a loajální úředníky. Uchazeči o státní službu skládali přísné písemné císařské, nebo též literátské zkoušky. Tento systém výběru úředníků byl pak používán 2000 let. Testování bylo písemné, anonymizované a velmi důkladně chráněné.


Standardizace testů • určení objektivní hranice pro úspěšné absolvování testu • stanovení mezí pro klasifikaci testové skóre nemá vypovídací hodnotu o tom, jak student v testu obstál vyjádření výsledků testovaného vzhledem k • výsledkům reprezentativního vzorku • nebo k absolutním kritériím

Absolutní standardizace - porovnává výkony studenta s pevnými kritérii Relativní standardizace - porovnává výsledky studentů mezi sebou Moderní trendy v hodnocení znalostí

Relativní a absolutní standardizace

E-testování – Moderní trendy v hodnocení znalostí

Relativní standardizace 0,4

četnost

0,3 34,1%

0,2 0,1

0,1%

34,1%

0,1%

13,6%

13,6% 2,1%

-4σ

-3σ

nedostatečně

2,1% -2σ

-1σ

dobře

μ

+1σ

+2σ

velmi dobře

+3σ

-4σ

výborně

• Nevztahuje se k obsahu testu, ale porovnává studenty mezi sebou • Závislost hodnocení jednotlivce na výkonu dané skupiny – V každém testu určitá část studentů neuspěje bez ohledu na znalosti

• Měřítkem směrodatná odchylka Moderní trendy v hodnocení znalostí

Absolutní standardizace • Frekventant kurzu první pomoci nesmí projít testem, pokud nezvládne základní kardiopulmonální resuscitaci. Jde tedy o „absolutní kritéria“ pro průchod testem a tento krok se proto nazývá absolutní standardizace. Kritériem může být počet bodů, kterého musí frekventant dosáhnout. Např. 75% Při arbitrárním stanovení meze úspěšnosti mohou být testy příliš jednoduché, nebo naopak příliš obtížné

EXPERTNÍ POSUDEK Angoffova a Ebelova metoda Moderní trendy v hodnocení znalostí

Standardizace • Co je smyslem vysokoškolského vzdělávání? • První pohled – vysokoškolské vzdělávání jako na šestiletý test inteligence, který třídí jednotlivce podle intelektuálních schopností a pracovních návyků. Tento přístup odráží zájem potenciálních zaměstnavatelů vybrat nejvhodnější kandidáty na omezený počet míst a pomáhá zajistit, aby na klíčová místa byli vybráni intelektuálně nejschopnější. Při studiu staví tento přístup studenty proti sobě, nechává je mezi sebou soutěžit.

• Druhý pohled – smyslem vzdělávání je osvítit, posilovat a socializovat budoucí občany. Pedagog by se podle tohoto pohledu neměl tolik soustředit na rozřazování studentů podle schopností, ale pomoci jim najít správnou představu o světě a sobě samotných s cílem vybavit je znalostmi, intelektuálními nástroji a návyky, které z nich učiní informované a kulturně gramotné členy společnosti.

Moderní trendy v hodnocení znalostí při výuce medicíny

Standardizace • Relativní standardizace umožňuje zjistit, kteří studenti se naučili nejvíce, ale nezjistíme, jestli se studenti ve skutečnosti naučili dost. • Absolutní standardizace umožňuje zjistit, zda-li se studenti naučili dost, ale nemusíme být schopni určit, kteří studenti se naučili nejvíce.


Položkové banky • Životní cyklus položky → cena • Cena → uchovávání, sdílení • Uchovávání, sdílení → Položkové banky • IDEAL Consortium • 23 škol, 32 tis. otázek, Austrálie, Asie

• Medical Assessment Alliance • 31 škol, 90 tis. otázek (německy)

• Medical Schools Council Assessment Alliance • 31 škol GB, porovnatelnost vzdělání (od 2010 náhrada národní licenčních zkoušek) Moderní trendy v hodnocení znalostí

Testové programy Položkové banky → AdapƟvní testování → VlastnosƟ položek → StaƟsƟcká analýza → Teorie odpovědi na položku (IRT)


Moderní trendy Nové formáty otázek (SBA) Standardizace Sdílení otázek Položkové banky Týmová práce

Kam dál? Co nenajdeš v hlavě, najdeš v lexikonu!

www.wikiskripta.eu/Testy www.rogo.cz

Moderní trendy v hodnocení znalostí

Recommend Documents