METODIKA HODNOCENÍ KVALITY VÝUKY

Příloha č. 9/04/11

Inovace mezioborového studijního programu Ekonomika a management se zaměřením na znalostní ekonomiku reg. č. CZ.1.07./2.2.00/28.0317

METODIKA HODNOCENÍ KVALITY VÝUKY NA EKONOMICKÉ FAKULTĚ TU V LIBERCI

doc. Ing. Jozefína Simová, Ph.D. Mgr. Tomáš Langer

Liberec 2014

OBSAH Úvod ................................................................................................................................................ 3 1 Cíle systému hodnocení kvality výuky ..................................................................................... 3 2 Základní parametry systému hodnocení kvality výuky.......................................................... 4 3 Řízení systému hodnocení kvality výuky ................................................................................. 5 4 Časový harmonogram hodnocení kvality výuky ..................................................................... 5 5 Výstupy systému hodnocení kvality výuky .............................................................................. 7 6 Průvodní informační kampaň hodnocení kvality výuky ........................................................ 8 7 Elektronický systém hodnocení kvality výuky ........................................................................ 9 7.1 Popis systému hodnocení kvality výuky ............................................................................... 9 7.2 Základní parametry elektronického systému hodnocení kvality výuky .............................. 10 7.3 Možnosti výstupů systému hodnocení kvality výuky.......................................................... 10 Závěrečné shrnutí ........................................................................................................................ 11

Seznam tabulek Tabulka č. 1 Časový harmonogram hodnocení kvality výuky…………………………………... 6

2

TECHNICKÁ UNIVERZITA V LIBERCI | Studentská 1402/2 | 461 17 Liberec 1 | Ekonomická fakulta | Voroněžská 1329/13 | 460 02 Liberec 2 tel.: +420 485 352 388 | [email protected] | www.ef.tul.cz | IČ: 467 47 885 | DIČ: CZ 467 47 885

Úvod Systém hodnocení kvality výuky na Ekonomické fakultě Technické univerzity v Liberci vzniknul jako výstup projektu MŠMT Inovace mezioborového studijního programu Ekonomika a management se zaměřením na znalostní ekonomiku, reg. č. CZ.1.07/2.2.00/28.0317 v rámci jeho klíčové aktivity KA 04 Zavedení systému vnitřní evaluace. Cílem klíčové aktivity projektu je zavést systém pravidelného monitorování potřeb a názorů studentů na studium a kvalitu výuky předmětů i vyučujících. Monitoring má sloužit jako zpětná vazba pro garanty předmětů, vedení kateder a fakulty. Realizován je elektronicky. Předkládaná metodika poskytuje informace o procesu zavedení systému a realizace hodnocení kvality výuky a vychází z požadavků projektu. Metodika popisuje cíle a základní parametry systému, časové vymezení a harmonogram aktivit spojených s realizací hodnocení kvality výuky včetně průvodní informační kampaně, výstupy systému a navržený elektronický systém hodnocení kvality výuky. Zpracování metodiky bylo podpořeno skupinovými diskusemi (workshopy) se zástupci kateder, vedením fakulty i studenty. Z těchto diskusí byly získány cenné podněty a připomínky. Tyto pak byly implementovány do výsledné metodiky hodnocení. Hlavním výstupem systému hodnocení kvality je elektronický dotazník, jenž je součástí vytvořeného elektronického systému hodnocení kvality výuky, který umožňuje uživatelsky snadný sběr dat, jejich následné vyhodnocení a zpracování výsledků hodnocení kvality výuky do požadovaných výstupů. Lze předpokládat, že vytvořený systém hodnocení kvality výuky významnou měrou přispěje k monitorování a zvýšení kvality vzdělávání studentů studijního programu Ekonomika a management. Systém hodnocení byl nastaven tak, aby motivoval studenty k hodnocení kvality výuky a vyučujícím poskytoval důležitou zpětnou vazbu.

1 Cíle systému hodnocení kvality výuky Mimo požadavky definované projektem, v rámci něhož je systém tvořen, vzniká systém hodnocení kvality výuky s následujícími cíli: • poskytnout studentům komplexnější systém hodnocení kvality výuky dávající možnost výstižněji vyjádřit postoje a názory, • zvýšit kvalitu výuky na podkladu hodnocení řady parametrů, 3


• ověřit kvalitu vlastní výuky ze strany vyučujících, • umožnit vyučujícím objevit možný prostor pro zvýšení kvality výuky, • poskytnout vedoucím pracovníkům nástroj pro hodnocení kvality výuky a navázat jej na další personální procesy.

2 Základní parametry systému hodnocení kvality výuky Systém je navržen s následujícími parametry: • hodnotiteli v systému budou studenti Ekonomické fakulty TU v Liberci, a to jak prezenční, tak i kombinované formy studia, vždy v obou semestrech všech ročníků bakalářského a navazujícího magisterského studia, • hodnocení je navrženo jako nepovinné, nebude tedy vůči studentům ničím podmíněno ani kontrolováno (ověřováno), • hodnocení bude probíhat anonymně, bez zveřejnění jména hodnotitele, jeho ID a dalších údajů vážících se ke konkrétní osobě hodnoceného, • student vždy bude mít možnost hodnotit každý předmět, který absolvoval a každého vyučujícího, který jej vyučoval, • hodnocení bude prováděno dvakrát ročně vždy po ukončení daného semestru, • možnost hodnotit budou mít studenti vždy po dobu šesti týdnů po skončení semestru, • hodnocení bude prováděno výhradně elektronicky, • systém bude upraven do takové podoby výstupu, aby mohl být snadno zobrazen i na mobilních zařízeních (tablety, smartphony apod.), • hodnoceny budou zvlášť cvičení a přednášky, • hodnocení bude probíhat formou elektronického dotazníku umožňujícího automatické zpracování a zobrazení výstupů, • otázky budou zaměřeny na následující okruhy: o identifikační údaje studenta, o hodnocení obsahu předmětu (přednášek a cvičení), o hodnocení vyučujícího (přednášejícího a cvičících) o studenti budou hodnotit na 5bodové škále, kde 1 znamená výborné hodnocení, 5 pak velmi špatné hodnocení, o výjimečně budou některé otázky obsahovat i možnost odpovědi „neumím posoudit“, a/nebo „nelze hodnotit“, • ke každé otázce bude možnost se vyjádřit i slovně, 4


• při najetí myší na otázku se objeví nápověda (zpravidla uvedena kurzívou níže v textu), • v případě problémů mohou studenti kontaktovat Ing. Zbyňka Hubínku (zástupce IT oddělení EF TUL) na e-mailové adrese [email protected] • hodnocení bude předcházet informační kampaň (viz dále) s cílem zapojit do hodnocení co nejvíce studentů.

3 Řízení systému hodnocení kvality výuky Pro řízení systému hodnocení bude ustanovena Komise pro hodnocení kvality výuky, která bude zasedat nejméně třikrát ročně – vždy před každým semestrem a jednou ročně po skončení hodnocení na konci letního semestru. Cílem setkání před hodnocením bude především kontrola obsahu a aktualizace systému a nastavení a spuštění informační kampaně. Cílem setkání po skončení hodnocení pak bude vyhodnocení systému, návrhy pro jeho aktualizaci a řešení případných problémů. Komise bude složena z následujících osob: • děkan fakulty, • proděkan fakulty pro studijní záležitosti (předseda komise), • vedoucí studijního oddělení fakulty, • zástupce IT oddělení fakulty, • vedoucí všech kateder fakulty, • garanti studijních oborů. Z jednání komise bude pořizován zápis, který bude schvalován děkanem fakulty.

4 Časový harmonogram hodnocení kvality výuky Časový harmonogram zahrnuje časové vymezení aktivit spojených s hodnocením kvality výuky na EF TUL, které jsou uvedeny v tabulce č. 1.

5


Tabulka č. 1 Časový harmonogram hodnocení kvality výuky Termín Měsíc před spuštěním hodnocení

Týden před spuštěním hodnocení Den následující po ukončení semestru 14. den od spuštění hodnocení Týden od ukončení hodnocení Dva týdny od ukončení hodnocení

Tři týdny od ukončení hodnocení

Aktivita Kontrola obsahu a aktualizace systému Technická kontrola a testování systému Příprava informační kampaně: - zpracování informačních materiálů - tisk a výroba materiálů - distribuce materiálů Spuštění informační kampaně: - fyzické a elektronické vyvěšení materiálů - instruktáž vyučujících k motivaci studentů Spuštění hodnocení

Odpovědnost Komise IT oddělení fakulty Komise Studijní oddělení Studentská komora AS EF

Ukončení hodnocení Kontrola a čištění dat Příprava dat k publikování

IT oddělení

Zveřejnění hodnocení: - souhrnná data studentům - komplexní data o vlastní výuce jednotlivým vyučujícím - souhrnná a komplexní data nadřízeným pracovníkům vyučujících Zasedání Komise pro hodnocení kvality výuky

IT oddělení

Komise

Z testování dotazníku vyplynuly dvě alternativy pro načasování procesu hodnocení kvality výuky (sběru dat): • 1. alternativa: 10. týden semestru až 1. týden zkouškového období, • 2. alternativa: 2–3 týdny na začátku dalšího semestru. 6


Vzhledem k výhodám i nevýhodám obou variant byla zvolena varianta 2, přičemž třetí a pátý ročník bude hodnotit na konci semestru (varianta 1). Jak vyplynulo z testování dotazníku, motivací pro vyplnění dotazníků je pro studenty zpětná vazba formou zveřejnění výstupů z hodnocení.

5 Výstupy systému hodnocení kvality výuky Systém hodnocení kvality výuky umožní následující výstupy: • souhrnná data ve formátu relativních četností a průměrů hodnocených atributů: o pro jednotlivé přednášky a cvičení, o pro jednotlivé vyučující (přednášející a cvičící), o pro jednotlivé předměty, o pro jednotlivé katedry.

• Data budou publikována s různou mírou zveřejnění pro níže uvedené subjekty takto: • studenti a akademická obec (veřejně přístupné výsledky hodnocení předmětů a vyučujících): o Souhrnná data (průměry) za všechny vyučované a hodnocené předměty v semestru v členění přednášky, cvičení, vyučující bez detailního členění a slovních odpovědí. • jednotliví vyučující (pouze výsledky hodnocení jimi vyučovaných předmětů a jejich osoby jako vyučujícího): o Souhrnná data za celý semestr čítající všechny jimi vyučované předměty (přednášky i cvičení) v detailním vyhodnocení všech hodnocených atributů (otázek) obsahu předmětu (přednášek a cvičení) a vyučujícího včetně slovních odpovědí. o Komplexní data k jednotlivým otázkám dotazníku včetně slovních odpovědí umožňující identifikovat slabá místa a prostor pro zlepšení.

7


• vedoucí katedry, garanti oborů, děkan (výsledky hodnocení výuky jim podřízených vyučujících): o Souhrnná data za celý semestr čítající hodnocení výuky předmětů (přednášek, cvičení) a vyučujících podle odpovídající podřízenosti v detailním rozlišení s uvedením průměrného hodnocení atributů obsahu předmětů (přednášek a cvičení) a osoby vyučujícího včetně komentářů. o Komplexní data k jednotlivým otázkám dotazníku včetně slovních odpovědí všech předmětů a vyučujících podle jejich podřízenosti umožňující identifikovat slabá místa a prostor pro zlepšení.

6 Průvodní informační kampaň hodnocení kvality výuky Pro zvýšení efektivity systému hodnocení kvality výuky a především pro zvýšení účasti studentů na hodnocení, a tím i validity výstupů, je navržena informační kampaň provázející každé hodnocení. Kampaň by měla startovat jeden týden před spuštěním hodnocení a skončit by měla v den ukončení hodnocení. Kampaň by měla obsahovat následující prvky: • plošná inzerce formátu nejméně A3 na obvyklých místech fakulty (nástěnky, hlavní vstupní dveře do budov apod.), • plošná inzerce formátu A4 na obvyklých místech fakulty (nástěnky, dveře do učeben, plocha u výtahů), • informace o způsobu a systému hodnocení, • informace o hodnocení kvality výuky na webových stránkách projektu INPROTUL a Ekonomické fakulty, • případně další kanály dle rozhodnutí fakulty (např. Facebook). Součástí kampaně by také mělo být informování studentů ze strany vyučujících a motivace studentů k zapojení do hodnocení.

8


7 Elektronický systém hodnocení kvality výuky Elektronický systém hodnocení kvality výuky je jedním z hlavních výstupů klíčové aktivity KA 04. Zahrnuje tvorbu elektronického dotazníku, systém umožňující sběr dat, jejich následné vyhodnocení a převedení výsledků do požadovaných výstupů hodnocení kvality výuky. Návrh systému vychází z požadavků projektu a zohledňuje poznatky získané ze skupinových diskusí (workshopů) se zástupci kateder, vedením fakulty a studenty.

7.1 Popis systému hodnocení kvality výuky Na počátku studia na univerzitě každý student získává přístupové údaje (přihlašovací jméno a heslo) do intranetu univerzity. Student se může do systému přihlásit na adrese https://efis.tul.cz, tlačítko Přihlášení. V krátké době (jaro 2015) budou autentizační údaje ověřovány službou Shibboleth (požadavek správy akademické sítě). Po přihlášení bude student vyzván k vyplnění dotazníku, resp. dotazníků, týkajících se předmětů, na které je (nebo byl) zapsán. V okamžiku spuštění je jmenná identifikace studenta zahozena a k záhlaví formuláře je připojen pouze hash z této identifikace a z dalších dat vytvořený. Takto systém v sobě nedrží personálie respondenta a nelze je ani nijak rekonstruovat. Data jsou ukládána do datové struktury opírající se o tabulku záhlaví, která definuje předmět a pozici respondenta (ročník, obor, stupeň). K této tabulce jsou připojeny dílčí tabulky obsahující hodnocení, a to nejvýše dva záznamy pro otázky týkající se výuky (jedna pro přednášky a druhá pro cvičení – kteroukoli lze vypustit), jedna tabulka s otázkami na studijní materiály a jedna tabulka sdružující všechny komentáře. Změny ve struktuře nastat mohou, ukáže-li se to nezbytné při zpracování větších objemů dat. Současná koncepce umožňuje strukturální změny v tabulkách bez ohrožení datové integrity výstupů. Každý běžný formulář je tedy uložen do pěti, resp. čtyř záznamů.

9


7.2 Základní parametry elektronického systému hodnocení kvality výuky Jedná se o databázi postavenou na SŘBD MySQL s webovým frontendem v jazyce PHP. Vstupní hranou je formulář vytvořený standardními prostředky HTML, analogický formuláři papírovému. Unikátnost vyplnění a anonymita je zajištěna hashem generovaným z autentizačních dat respondenta. Hash je přidělen záhlaví formuláře a není možné vložit dva formuláře se stejným hashem (variantně – formulář se stejným hashem přepisuje formulář dříve vložený). Výstupní sestavy jsou generovány jako zobrazitelný HTML kód (webová stránka, resp. část stránky) ve struktuře popsané v metodice pilotáže s tím, že samostatně hodnotí jak pozici předmětu, tak pozici vyučujícího (samostatně přednášky a cvičení). Autorizaci lze nastavit podle požadované hierarchie (kdo smí vidět co). Výstup lze variantně generovat v běžně zpracovatelných formátech (TXT, CSV). Výstup do formátu MS Excel se z licenčních důvodů neuvažuje, místo něj lze použít formát CSV. Parsing do libovolného otevřeného XML formátu lze zajistit dodatečně, dosud nevznikl žádný požadavek v tomto směru.

7.3 Možnosti výstupů systému hodnocení kvality výuky Výstupy systému jsou dány výstupním parserem. Standardně je k dispozici PHP, který vygeneruje data v podobě HTML tabulky, lze doplnit i výstup do PDF prostřednictvím TeXu. Dalším standardním výstupním formátem je CSV pro každou dílčí tabulku, položky jsou oddělovány středníkem kvůli kompatibilitě se starými verzemi MS Excelu. Středníky vyskytující se v textových polích jsou vypouštěny. Tento stav není považován za uspokojivý a bude nadále pracováno na variantě zachování středníků. Výpočty provádí jednak SŘBD, jednak parser (přednost má zpracování databází z důvodu rychlosti). Pokud bude nutné provádět složitější statistické analýzy, lze použít konektor Rserve k statistickému paketu R, systém je pro tuto možnost připraven. Veškeré výpočty se provádějí v reálném čase a nikam se neukládají, takže pro účely zobrazení jsou k dispozici vždy aktuální data. Výstupy jsou diferencovány podle úrovně oprávnění – anonymní uživatel uvidí pouze souhrnné výsledky, oprávněný uživatel svoje pořadí, lze přiřadit i další práva (vyučující v rámci katedry, fakulty, předmětu atd.). Struktura autorizace je otevřená a lze ji ze strany administrátora podle požadavků měnit. 10


Závěrečné shrnutí Metodika hodnocení kvality výuky na Ekonomické fakultě Technické univerzity v Liberci byla zpracována v rámci projektu MŠMT Inovace mezioborového studijního programu Ekonomika a management se zaměřením na znalostní ekonomiku, reg. č. CZ.1.07/2.2.00/28.0317 jako součást klíčové aktivity KA 04 Zavedení systému vnitřní evaluace. Poskytuje ucelený a komplexní postup pro pravidelné monitorování názorů studentů na studium a kvalitu výuky předmětů i vyučujících. Podává detailní informace o jednotlivých krocích procesu hodnocení kvality výuky, který řeší z hlediska koncepčního, technického, administrativního i organizačního. Metodika popisuje cíle a základní parametry systému, časové vymezení a harmonogram aktivit spojených s realizací hodnocení kvality výuky včetně průvodní informační kampaně, výstupy systému a navržený elektronický systém hodnocení kvality výuky. Při tvorbě metodiky byly zohledněny potřeby a požadavky vedení fakulty, vyučujících i studentů. Systém hodnocení byl nastaven tak, aby motivoval studenty k hodnocení kvality výuky, zajistil jejich dostatečnou účast v procesu hodnocení a vyučujícím poskytoval důležitou zpětnou vazbu. Přesto navržený systém hodnocení kvality výuky není vnímán jako konečný a jediný možný. Naopak, systém je otevřen dalšímu testování a změnám, které jeho praktické používání přinese. Praxe ukáže, jaké koncepční, technické či organizační úpravy budou nutné pro jeho zdokonalení. Systém byl koncepčně a tematicky navržen jako maximálně možný tak, aby dával dostatečně velkou zpětnou vazbu vyučujícím pro identifikování oblastí zlepšení kvality výuky. Pravidelné využívání systému hodnocení kvality výuky možná přinese potřebu pro zjednodušení dotazníku a/nebo jiné nastavení forem výstupů a prezentace výsledků. Největší riziko selhání systému hodnocení kvality výuky však představuje lidský faktor. Neochota studentů nebo vyučujících či vedení fakulty systém hodnocení kvality využívat povede k jeho stagnaci a neplnění funkce, pro kterou byl navržen. Zvlášť v počáteční fázi jeho zavedení je potřeba práci se systémem a jeho vylaďování věnovat zvýšenou pozornost. Lze předpokládat, že vytvořený systém hodnocení kvality výuky významnou měrou přispěje k monitorování a zvýšení kvality vzdělávání studentů studijního programu Ekonomika a management.

11


Metodiku hodnocení kvality výuky na Ekonomické fakultě Technické univerzity v Liberci v rámci projektu MŠMT Inovace mezioborového studijního programu Ekonomika a management se zaměřením na znalostní ekonomiku, reg. č. CZ.1.07/2.2.00/28.0317 jako součást klíčové aktivity KA 04 Zavedení systému vnitřní evaluace zpracovali doc. Ing. Jozefína Simová, Ph.D. a Mgr. Tomáš Langer

V Liberci 12. 12. 2014

……………………………………… doc. Ing. Jozefína Simová, Ph.D.

12


METODIKA HODNOCENÍ KVALITY VÝUKY

Recommend Documents