Vizsgák, feladatlapok készítése

TÁMOP-4.1.3-08/1-2008-0004 A felsőoktatási szolgáltatások rendszerszintű fejlesztése

Vizsgák, feladatlapok készítése Készítette: Einhorn Ágnes

Tartalomjegyzék 1. Bevezetés. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2. A vizsgák, mérési rendszerek fejlesztése. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.1 A vizsgafejlesztés alapelvei. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 A vizsgafejlesztés folyamata. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 3. A mérési követelmények meghatározása. . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 4. A mérőeszközök fejlesztése. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 4.1 Mérési formák, feladattípusok . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 4.2 A mérőeszköz-fejlesztés folyamata. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11 4.3 Az értékelés megtervezése. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12 5. A mérés lebonyolítása. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 6. A mérési eredmények értékelése és elemzése. . . . . . . . . . . . . . . . . . . . . . . . . 14 Hivatkozások . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2

1. Bevezetés A globalizálódó Európában mindenütt megfigyelhető jelenség, hogy egyre bonyolultabbá válnak az életutak: gyakrabban váltják a polgárok lakhelyüket, foglalkozásukat, és a megnövekedő szabadidejükben egyre több dologgal foglalkoznak kényszerűségből vagy kedvtelésből. Természetes következménye ennek az egyén igénye arra, hogy a különböző módon, helyen és időben megszerzett tudását (ismereteit, képességeit, készségeit, kompetenciáit) szükség esetén valamilyen intézményben is érvényesítse. Amikor pedig egy intézménynek a máshol vagy korábban megszerzett ismeret vagy készség meglétéről kell döntenie, a sok különböző lehetőség között természetesen rendelkezésére áll a mérés is. S bár első látásra ez tűnik a legmegfelelőbb eszköznek, hiszen elvileg a mérés segítségével közvetlen, konkrét és pontos adatokat gyűjthetünk az érintettek tudásáról, készségeiről vagy képességeiről, mégis érdemes néhány dolgot megfontolni, mielőtt a mérés mellett döntünk. A szakszerű, tehát a megbízható és érvényes adatokat eredményező mérés megvalósítása meglehetősen idő- és pénzigényes dolog, hiszen ahhoz, hogy eredményeinket valóban jó lelkiismerettel használni tudjuk, szigorú feltételeket kell teljesítenünk. A rosszul előkészített és kivitelezett mérés eredménye nem biztos, hogy érvényes és megbízható képet ad az alany tudásáról, és a szakszerűtlen vagy felszínes mérésre támaszkodó hamis ítélet sokszor nagy kárt okozhat. Tudomásul kell vennünk továbbá, hogy a készségek mérése mindig bonyolultabb, mint az ismereteké. Minél komplexebb tehát a mérési cél, minél több benne a készség szintű elem, annál nehezebb a mérőeszközök fejlesztése. S végül együtt kell élnünk azzal a gondolattal is, hogy nem minden mérhető. Sokszor a problémák megoldásához szükséges legfontosabb képességek és tulajdonságok azok, amelyek a pillanatnyilag rendelkezésünkre álló mérési módszerekkel a legkevésbé vagy a legnehezebben mérhetők. A helyzetet bonyolítja, hogy a magyar mérési gyakorlatot egy sajátos kettősség jellemezi. Egyrészről megállapítható, hogy egyes kultúrákban nagy megbecsülés övezi a mérési eredményeket, a vizsgabizonyítványokat, tehát a külső kontrollt feltételező formalizált eszközöket, és Magyarország ezek közé tartozik. Ráadásul azt is tudjuk, hogy nálunk az önértékelésnek viszonylag kicsi a presztízse, és nehezen találnak teret az alternatív mérési módszerek, portfóliók stb. Másrészről azonban a pedagógiai mérés nagyon dinamikusan fejlődő terület, amely az elmúlt két-három évtizedben hihetetlenül nagy utat tett meg, de lényegéből fakadóan erős korlátai vannak. Ez az írás segítséget kíván nyújtani azoknak a szakembereknek, akik a validációs, elismerési folyamatban vizsgák, mérések lebonyolítását tervezik. Ez a validációs folyamatnak csak egy kis részterülete, a folyamat egészéről itt nem szólunk (ehhez lásd Derényi–Tót, 2011). A fejezet elkészítése során arra a gazdag tapasztalatra és szakirodalmi háttérre támaszkodtunk, amely a vizsgafejlesztés, vizsgaminőség témakörében a nemzetközi és hazai mérésekhez kapcsolódóan, illetve a nyelvvizsgáztatás köré szerveződve felgyülemlett. Ezek a folyamatok jól kijelölik a méréssel kapcsolatos lehetőségeket és kötelezettségeket, remélhető tehát, hogy világosan kirajzolódnak a legfontosabb döntési pontok, és a validációval foglalkozó, adott esetben kevés mérési tapasztalattal rendelkező szakemberek számára körvonalazódik, mit érdemes mérlegelni a döntések során. Mivel a mérés területén jól algoritmizálható folyamatokat alkalmaznak, a fejezet folyamatleírásokat, ellenőrzésre is használható kérdéssorokat is tartalmaz. Hangsúlyozzuk azonban, hogy az első döntési pont mégis az, hogy egyáltalán a mérés eszközéhez nyúljunk-e, és ebben a kérdésben mindenképpen megfontolandó tanács, hogy csak akkor érdemes mérni, ha már minden egyéb lehetőséget kimerítettünk. 3

2. A vizsgák, mérési rendszerek fejlesztése 2.1 A vizsgafejlesztés alapelvei A nemzetközi mérések, illetve a nyelvvizsgák gyakorlatából jól kiszűrhető, milyen tevékenységek szükségesek a professzionális mérési koncepció kialakításához, továbbá magához a méréshez, vizsgáztatáshoz. Mivel a validációs, elismerési eljárás során alkalmazható mérés nagyon különböző helyzetekben történhet, a vizsgáztatásból származó tapasztalatok nem ültethetők át automatikusan erre a területre (például kicsi a létszám, speciális a mérési terület, összetett készségterületeket kell mérni). Ez a fejezet annak a mérlegelésében segíti a szakembereket, hogy a mérési helyzet és a rendelkezésre álló források, továbbá a helyi lehetőségek ismeretében, hogyan tudják a legjobban kialakítani a mérési koncepciót. Kiemelkedően fontos ebből a szempontból, hogy milyen lépésekre van szükség a mérőeszközök fejlesztésekor, milyen sorrendben, illetve milyen következményekkel járhat a folyamat bármely lépésének elhagyása. Az egyes teendők ütemezése mellett részletezzük azt is, milyen típusú szakértelem kell a különböző lépésekhez, azaz a mérési rendszer kialakításakor az adott intézményben mely szereplőket érdemes bevonni. A mérési folyamat előkészítése és megtervezése alapvetően három kérdés köré csoportosítható: MIÉRT? ê MIT? ê HOGYAN? Először tehát azt érdemes megfogalmazni, mi a célja vagy az oka a mérésnek. Ebben a tekintetben döntő különbséget jelent, hogy a mérésnek a tanulási szakaszt lezáró értékelő funkciója, esetleg diagnosztikai vagy elsődlegesen pedagógiai, azaz nevelési célja van-e (vö. Golnhofer, 2003). A validációs eljárás esetében a mérés leginkább a záróvizsgákhoz, illetve a tanulási folyamattól független készségmérő vizsgákhoz áll a legközelebb. A cél eldöntése után azt kell rögzíteni, hogy egészen pontosan mit akarunk mérni, és a mérési követelményeket egy záróvizsga esetében nyilvánvalóan a tanítási/tanulási célokból lehet levezetni, független tudásszintmérő vizsga esetén pedig szakértők döntése alapján kell meghatározni, hogy az adott vizsgán milyen követelményeket várnak el. Csak ezt a bonyolult döntési folyamatot követheti a mérési módszerek meghatározása. A validációs/elismerési eljárás során a lényeg éppen a referenciához való viszonyítás, az ebből levezetett standard lehet a mérés alapja is. A napi mérési gyakorlatban megfigyelhető, hogy általában viszonylag kevés időt és energiát fordítanak a mérési célok pontos meghatározására, inkább a megszokott, hagyományos feladattípusokhoz nyúlnak automatikusan, azaz először azt találják ki, milyen feladatokat alkalmaznak, vagyis a hogyanra koncentrálnak. Ebből következően az alkalmazott feladatok határozzák meg, milyen mérési célokat (mit?) lehet a segítségükkel érvényesíteni Ilyen módon általában nem lehet egészen pontosan megmondani, mit mértünk valójában, esetleges a mérés, kevéssé használhatók az eredmények. Ha tehát nem sikerül a mérési terület logikájához igazodva a lehető legpontosabban rögzíteni a mérési célokat, akkor nagyon kicsi az esély a jó mérési eredményre. A konkrét feladatlapok vagy vizsgák előállítását tehát mindenképpen meg kell előznie egy tervező, koncepcionáló szakasznak.

4

2.2 A vizsgafejlesztés folyamata A nagyobb publikumot érintő, szakszerűen előállított vizsgák fejlesztése jellemzően az 1. ábrán megjelenő modell alapján zajlik (vö. Milanovic, 1997, 7; Perlmann–Balme, 1996, 312; Bachmann–Palmer, 1996, 87; Bárdos, 2002, 84–85.). 1. ábra: A vizsgafejlesztés folyamata A mérési célok és a követelmények rögzítése (miért, mit): a követelmények meghatározása, a követelmények érvényességének ellenőrzése. ê A mérés kereteinek rögzítése (hogyan): az értékelési rendszer, a mérőeszközök megtervezése. ê Mérőeszközök fejlesztése: kísérleti feladatok és értékelési útmutatók készítése, érvényességük eldöntése szakvélemények segítségével, kipróbálásuk, az eredmények alapján továbbfejlesztésük.

ç é ç é ç é é è

ê A mérés lebonyolítása: a mérőeszközök előkészítése (feladatkészítés), a mérés lebonyolítása, értékelés (kódolás, javítás).

é é é è

ê A mérési eredmények elemzése, monitorozása: a mérés tapasztalatai alapján a mérés kereteinek (a követelményeknek és a mérési rendszernek) a megerősítése vagy módosítása.

é é è

Az 1. ábra tehát a vizsgafejlesztés egyes lépéseit mutatja időrendben, az ábra jobb oldalán a folyamatosan felfelé mutató nyilak arra utalnak, hogy a mérési módszerek megtervezése és kialakítása, sőt az alkalmazása során mindig szükség van a folyamat monitorozására, továbbá a tapasztalatok tükrében érdemes szükség esetén visszatérni egy-egy korábbi fázishoz (változtatni a mérési követelményeken, az értékelési rendszeren vagy a mérőeszközön). A mérőeszközök fejlesztése egy önmagát ciklikusan ismétlő folyamat (erre utalnak a vízszintes nyilak), amikor újra és újra meg kell ismételni az adott lépést, esetleg vissza kell nyúlni az alapokhoz a kipróbálás eredményének tudatában. A mérés lebonyolítása és az eredmények elemzése után pedig szükség esetén vissza kell térni a folyamat egy egészen korai szakaszába, akár a mérési keretek megvál5

toztatásához is. Ez a folyamatos ellenőrzés és változtatás a vizsgaminőség egyik nagyon fontos kritériuma: egy mérőeszköz vagy mérési rendszer soha nincs kész, nem hagyható magára. A vizsgák, mérőeszközök létrehozása során kiemelendő továbbá a konzultáció, az együttműködés fontossága, egyéni munkában ugyanis nem lehet jó vizsgát, feladatlapot fejleszteni. Nyilvánvaló, hogy a mérési követelményeknek, a mérési rendszernek szakmai konszenzust kell tükrözniük, ám a mérőeszközök fejlesztése is olyan tevékenység, amelyhez szakmai együttműködés szükséges: a feladatlapok, feladatok minőségén pedig sokat lehet javítani azzal, ha alapos ellenőrzésnek és elemzésnek vetik őket alá, amely több az egyszerű lektorálásnál. Próbáljuk meg most ezt a bonyolultnak tűnő folyamatot egy konkrét példán modellezni: hogyan festene tehát egy felsőoktatási intézmény mérésen alapuló elismerési eljárása, ehhez a sémához igazodva (1. táblázat). Természetesen ez a validációs/elismerési eljárás nem csak az egyetemen, főiskolán végezhető el, hanem adott esetben egy erre kijelölt külső helyszínen is. Fontos továbbá megjegyezni, hogy ez a teljes validációs/elismerési folyamatnak csak egy kis része (a teljes eljárás leírásához lásd Derényi–Tót, 2011, 78–100). Mivel a lépések megtervezésekor nagyon fontos, hogy milyen típusú szakértelemre van szükség az adott munkafázisban, tehát milyen tudással rendelkező közreműködőket kell bevonni, az alábbi folyamatábrában ezt is feltüntetjük. Háromféle szakértelmet lehet azonosítani: (1) tantárgyi szakembernek nevezzük azt a személyt, aki alapvetően a szükséges terület tartalmához értő, ezeket a tartalmakat tanító tanár; (2) validációs felelősnek nevezzük azt a szakembert, aki az intézmény tanulmányi osztályán az elismerési eljárás koordinálásával és ellenőrzésével foglalkozik; (3) megemlítjük továbbá az adminisztratív segéderőt is. 1. táblázat: Egy mérésen alapuló validációs/elismerési eljárás lépései egy felsőoktatási intézményben (modell) Lépés / tevékenység

Szakértelem

A validációs kérelem ismeretében az illetékes kijelölése, aki megállapítja validációs felelős a követelményeket, illetve szakmailag előkészíti a mérést. Követelmények meghatározása a képzési követelmények, tematikák, tantárgyi szakember programok alapján. A mérési módszer elvi szerkezetének rögzítése (például írásbeli vizsga: tantárgyi szakember esszé; szóbeli vizsga: interjú; portfólió), a mérési rendszer, a mérőeszközök fejlesztése. Feladatok, feladatlapok, értékelési útmutatók készítése (ennek lépéseit tantárgyi szakember lásd később). A mérés lebonyolítása.

validációs felelős, adminisztrátor, tantárgyi szakember

Az eredmények elemzése.

validációs felelős, tantárgyi szakember

Döntés.

tantárgyi szakember

Nyilvánvaló, hogy a folyamatot az adott helyzethez és a lehetőségekhez kell igazítani, de azzal is tisztában kell lennünk, ha túl sok lépést hagyunk el, akkor önkényes lesz a mérés. Természetesen a folyamat tervezéséhez fontos tisztázni az egyes lépések időigényét is, ez azonban ebben a modellezett helyzetben nem adható meg pontosan.

6

3. A mérési követelmények meghatározása Korábban részleteztük, hogy csak a mérési célokból kiindulva lehet mérőeszközöket fejleszteni, ebből a szempontból tehát nagy jelentősége van az intézményben meglévő dokumentációnak. Ahhoz, hogy egy követelményszintű leírásra pontos mérőeszközt lehessen építeni, arra van szükség, hogy a kimeneti követelményeket tartalmazó dokumentáció pontos célmeghatározásokat tartalmazzon. Ebből a szempontból a legegyszerűbb az ismeretjellegű tudás kezelése, amely közvetlenül mérhető, ezért a követelményekben egyszerűen felsorolható. Ennél nagyobb nehézséget jelent azonban a képességjellegű tudás megfogalmazásának pontossága, ezt a tudást működése vagy szerkezete felől közelítve lehet a legjobban leírni (Csapó, 1996, 293). Ahhoz ugyanis, hogy feladatot lehessen készíteni, nem elegendő csak a témát vagy a tartalmat megadni, hanem egészen pontosan meg kell határozni, hogy a vizsgázónak milyen tevékenységre kell képesnek lennie. Mérőeszközök leginkább tehát olyan formában megadott követelményekre építhetők, amelyekből kiderül, hogy a vizsgázó „mit tudjon csinálni, mivel, esetleg hogyan”. Mivel a különböző tantárgyi programok és követelmények változó részletességgel és pontossággal készültek el, előfordulhat, hogy azok nem elég pontosak, nem jól értelmezhetőek. Ebben az esetben a tantárgyi szakembereknek kell meghatározniuk, hogy egész pontosan mit kell lefednie a mérésnek. Ha erre nincs mód (nincs rá elég idő, nem érdemes vele foglalkozni a nagyon kevés érintett hallgató miatt, nincs egyetértés az érintett szakemberek között stb.), akkor nem érdemes a méréssel foglalkozni: ha nem tudjuk pontosan meghatározni, hogy milyen képességelemet akarunk mérni, akkor nincs esélyünk jó és érvényes mérőeszközök fejlesztésére.

4. A mérőeszközök fejlesztése Ha egészen pontosan meghatároztuk, mit akarunk mérni, akkor a következő lépésben meg kell terveznünk a mérési rendszert, rögzítenünk kell, hogy konkrétan milyen formában akarjuk mérni a jelentkező tudását, képességeit. Ebben a fejezetben áttekintjük a lehetséges mérési formákat, feladattípusokat, majd a feladatfejlesztés minőségi kritériumait, végül az értékelési rendszer kialakításával kapcsolatos problémákat. Különösen érdekes lehet ugyanis a bonyolultabb értékelési rendszerek kidolgozása, így az esszék, szimulációk vagy portfóliók összetettebb értékelési skáláinak kialakítása. Ezen a ponton érdemes tisztázni egy terminológiai kérdést. Mérőeszközön bármilyen feladatot vagy feladatsort értünk, amely mérésre használható szóban, írásban vagy bármilyen más formában. Erre a nemzetközi szakirodalom többnyire a teszt szót használja, mivel azonban ez a kifejezés a magyar köznyelvben sokkal szűkebb értelmű, a tanulmányban kerüljük használatát.

4.1 Mérési formák, feladattípusok A különböző feladattipológiák a feladatok széles körét rendszerezik valamilyen formában. A mérőfeladatokat általában a vizsgázó tevékenysége alapján csoportosítják, ebben az értelemben a feladatok egy skálán helyezkednek el abból a szempontból, hogy megoldásuk során a vizsgázónak mennyi mozgástere vagy szabadsága van (2. ábra), és ez a tulajdonság kihat a feladatok értékeléséhez szükséges technikákra is. Zártnak nevezik azokat a feladatokat, amelyek során a vizsgázó a megadott lehetőségek közül felismeri és kiválasztja a jót (például feleletválasztó, igaz-hamis feladatok). E feladatoknak általában egyetlen lehetséges megoldása van. Nyitott feladatoknak tekintik azokat, ahol a vizsgázó szabadon alkotja meg a megoldást (például esszé, gyakorlati produktum, komplex projektfeladatok, portfóliók), ezeknek sokféle megoldása lehetséges. Ezen a skálán találhatók olyan feladattípusok is, amelyekben a vizsgázó7

nak nemcsak felismernie, kiválasztania kell a jó megoldást, hanem önálló munkában meg is kell alkotni azt, ám mégis nagyon kicsi a mozgástere. Ilyenek például a kiegészítő feladatok, melyeknek többféle megoldása lehet, ám a lehetőségek száma viszonylag kicsi. A feladattipológiák eltérnek abban az értelemben, hogy e feladatokat a zártak vagy a nyitottak közé sorolják, továbbá vannak olyan rendszerezések is, amelyek ezekre a feladattípusokra a félig nyitott elnevezést használják (Albers–Bolton, 1995, 28). Természetesen mindegy, hogy a feladatokat hogyan rendszerezzük, fontos azonban, hogy a feladatok viselkedése meglehetősen különböző abból a szempontból, hogy ezen a skálán hol helyezkednek el. 2. ábra: A feladatok rendszerezése FELADATTÍPUSOK Feleletválasztás, igaz-hamis, hozzárendelések

ZÁRT

Kiegészítések Rövid válasz Szövegalkotás, rajz, problémamegoldó feladatok, komplex feladatok

NYITOTT

Forrás: Einhorn, 2008, 159 Amikor egy mérési koncepció kialakításakor arról döntünk, milyen feladattípusokat használunk, több szempontot is mérlegelnünk kell. A legfontosabb természetesen az illeszkedés a mérési célhoz, ebben a tekintetben azonban nem lehet általános érvényű igazságokat megfogalmazni, azaz nem lehet egyértelmű megfeleltetéseket tenni lehetséges mérési célok és feladattípusok között. Az az általánosító megállapítás azonban mindenképpen megállja a helyét, hogy a zártabb feladattípusok, amelyekben a vizsgázónak a megadott lehetőségek, elemek kiválasztásával, rendezésével kell megoldania a feladatot, inkább alkalmasak ismeretelemek mérésére, míg a nyitottabb feladatok, ahol a tanulónak nagyobb mérlegelési lehetősége van, vagy a feladat megoldásához komplex tevékenységeket kell elvégeznie, alkalmasabbak a tudás alkalmazásának, tehát a műveletek mérésére. Természetesen ettől eltérő feladatok is léteznek, de a mérési cél szempontjából ez lehet az egyik legfontosabb irányelv. A következő mérlegelési szempont a feladatok fejlesztésével, illetve az eredmények értékelésével járó terhekkel kapcsolatos. A zárt feladatok elkészítése általában nehezebb, nagyobb gyakorlatot és szakértelmet igényel, ezeknél gyakrabban fordulnak elő feladatkészítési hibák, félreérthető vagy nem jó megoldások, illetve általában hosszabb ideig tart az elkészítésük. A feladat értékelése esetében azonban pont fordított a helyzet: a zártabb feladatok gyorsabban javíthatók, nem kell hozzájuk feltétlenül szakmai tudással rendelkező személyzet, míg a nyitottabb feladattípusok esetében nincs mód mechanikus javításra, mindenképpen szaktanárokra van szükség az értékeléshez, és ez a folyamat általában időigényesebb, tehát egy-egy kijavítandó dolgozatra több munkaidőt kell fordítani. Általánosítva megállapítható tehát, hogy a zártabb feladattípusok esetében hosszabb és drágább a feladatkészítés folyamata, gyorsabb és olcsóbb viszont a javítás, míg a nyitott feladatok esetében fordított a helyzet: gyorsabban és olcsóbban lehet őket elkészíteni, míg az értékelésük lassúbb és drágább. Ebből következően kevés vizsgázó esetén csak akkor érdemes zárt feladatokat használni, ha ezt a mérési cél kifejezetten indokolja, nagy vizsgázói létszám esetén már érdemes lehet ugyan a zárt formátumokat használni, mindenképpen figyelembe kell azonban venni a korábban említett azon sajátosságukat, hogy az alkalmazási készség, a problémamegoldó készség mérésére kevéssé alkalmasak. A feladattípusok tulajdonságaihoz feltétlenül hozzátartozik az értékeléssel kapcsolatos jellemzőjük is. Erre a 4. fejezetben még visszatérünk, azt azonban már ezen a ponton is érdemes rögzíteni, hogy a feladatkészítés során a megoldandó feladattal párhuzamosan kell fejleszteni a feladathoz tartozó értéke8

lési útmutatót, amely tartalmazza egyrészt a klasszikus megoldó kulcsot, másrészt minden olyan észrevételt vagy teendőt, amelyre a feladatot értékelő szakembernek tekintettel kell lennie az értékelés során (például hogyan viszonyuljon a nyelvhelyesség problémájához vagy a részben jó megoldásokhoz). A validációs, elismerési eljárásban használható feladattípusokat most a nyitottságuk szerinti logikai sorrendben tekintjük át, ám olyan csoportosításban, amely a három leggyakoribb vizsgafajta (írásbeli, szóbeli, gyakorlati) köré rendezi őket. A hagyományos írásbeli vizsga leggyakoribb feladattípusai a feleletválasztó, az egymáshoz rendelés, a sorrendbe rakás, az igaz-hamis feladat, a kiegészítő feladat megadott válaszelemekkel, illetve a nélkül, a rövidebb vagy hosszabb választ igénylő nyílt végű kérdések, a problémamegoldás és az esszé. Feleletválasztás Ez a feladattípus kiválóan alkalmas kisebb részletek pontos ismeretének mérésére. Általában 3-4 megoldási lehetőség közül kell kiválasztani az 1-2 jó megoldást. Az elkészítése nagyon pontos munkát igényel, hiszen a leggyakrabban előforduló hibaforrás az, hogy a megadottnál több jó megoldás is lehetséges, illetve hogy a rossz megoldások (disztraktorok) között vannak olyanok, amelyek nyilvánvalóan nem illeszkednek a megoldásba. Több fajtája létezik: lehet keresni jó vagy rossz válaszokat, esetleg több jó és rossz választ, ezeket azonban nem jó egy feladaton belül váltogatni. A feladattípus megoldása a vizsgázótól nagy koncentrációt igényel, ha sokat alkalmazunk ebből a feladattípusból, monotonná válik a vizsga. További hátránya, hogy viszonylag nagy a tippelés lehetősége, igaz, a megoldási lehetőségek számának emelésével ez valamelyest ellensúlyozható. Egymáshoz rendelés / válaszok illesztése Ez a feladattípus alkalmas lehet összefüggések, apró részletek tudásának mérésére. Sok alkalmazása lehetséges: fogalmak – definíciók; kérdések – válaszok; szöveges információk – adatok stb. egymáshoz rendelése. E feladattípusnál is viszonylag gyakori hibaforrás, hogy több megoldás is lehetséges, illetve nagyon bonyolulttá válhat, ha sok elem összeillesztésével kell dolgozni. A feladat egyes részletei között komoly nehézségi különbség lehet (a feladat megoldása során egyre kevesebb válaszlehetőség marad, és ettől egyre könnyebbek az itemek1), ezért érdemes ebben a feladattípusban fölösleges elemeket is beiktatni, erre azonban fel kell hívni a vizsgázó figyelmét. (Például öt fogalomhoz 7-8 magyarázat társul.) Sorrendbe rendezés Ez a feladattípus folyamatok, időbeli struktúrák reprodukálására alkalmas, esetleg szövegértés mérésére. Gyakori hibaforrás, hogy nem elég egyértelmű maga a feladat, illetve az egyes itemek nehézsége között különbség van. Az egymáshoz rendeléshez hasonlóan itt is érdemes fölösleges elemeket beilleszteni, természetesen erre fel kell hívni a vizsgázók figyelmét. Igaz-hamis feladat Ez a feladattípus pontos tudáselemek mérésére alkalmas leginkább, de lehet következmények, logikai kapcsolatok mérésére is alkalmazni. Gyakori hibaforrás itt is, hogy nem teljesen egyértelmű a megfogalmazás, tehát nem teljesen igaz vagy hamis a megadott válasz, illetve ennek az ellentéte, amikor a rossz válasz túlságosan nyilvánvaló. A feladattípus nagy problémája, hogy a megoldás során 50%-os eséllyel lehet tippelni.

1 Az item a feladat legkisebb egysége.

9

Kiegészítő feladat A vizsgázónak megadott szövegeket, mondatokat vagy kifejezéseket kell kiegészítenie megadott elemek segítségével vagy a nélkül (ez egyben a feladattípus két altípusa is). Definíciók, összefoglalások reproduktív felidézésére alkalmas, illetve folyamatok reprodukálására vagy tudáselemek pontos mérésére. A feladat nehézsége természetesen szabályozható azzal, hogy milyen arányban vannak kiegészítendő hiányok a szövegben. Rövid választ igénylő kérdések A néhány szavas, egy-egy kulcsinformációt tartalmazó kérdések tartoznak ide. A feladattípus elsősorban ismeretelemek mérésére alkalmas. Hosszabb választ igénylő kérdések A feladat alkalmas logikai összefüggések felismerésének mérésére, érvelésre, indoklásra, problémamegoldásra. A legnagyobb nehézséget a különböző vizsgázói válaszok objektív értékelése jelenti, de erről később még esik szó. Problémamegoldás Komplex alkalmazási feladat, de a természettudományok speciális feladatait is ide soroljuk. Általában egy modellezett helyzet megoldását kell megalkotnia a vizsgázónak, fontos tehát a modellezett helyzet pontos leírása: kinek, mit, hol, miért stb. Az elbírálás során a leggyakoribb döntést igénylő kérdés az, hogy csak a teljesen jó megoldást vagy annak részelemeit is értékelni lehet. Ebben tehát mindenképpen előzetesen döntést kell hozniuk a feladatok készítőinek. Esszé A bonyolultabb, összefüggéseket feltáró, komolyabb háttértudást igénylő feladat nagyon változatosan használható Szakszerű alkalmazásához feltétlenül szükséges az értékelési rendszer részletes kidolgozása. A szóbeli vizsga jellemző feladattípusai az interjú zárt vagy nyitottabb kérdések segítségével, a megadott téma kifejtése, a problémamegoldás és a vita. Interjú zárt vagy nyitottabb kérdések formájában Ez a klasszikus vizsgahelyzet, amelyet az előkészített kérdések segítségével lehet összemérhetőbbé vagy objektívebbé tenni. Megadott téma kifejtése Ez is a klasszikus vizsgahelyzet megteremtése. A feladattípus esetében eldöntendő kérdés, hogy a vizsgázó előre készíti el előadását, vagy felkészülési időt kap a helyszínen. Problémamegoldás, vita Ez a feladattípus általában vitahelyzetet szimulál, kiválóan alkalmas páros vizsgára, de természetesen a vizsgázó a vizsgáztatóval is folytathat beszélgetést. Mivel a vita során a vizsgázónak összefüggéseket kell átlátnia és érzékeltetnie, kifejezetten alkalmas komplex tartalmak mérésére, ám számítani kell arra, hogy a kommunikatív technikák megléte vagy hiánya erősen befolyásolja az eredményt. A gyakorlati vizsgán leggyakrabban valamilyen fizikai és szellemi produktum elkészítése vagy a szimuláció fordul elő.

10

Valamilyen fizikai vagy szellemi produktum elkészítése Ennél a feladattípusnál bizonyos készségszintű elemek közvetlenül mérhetők. A feladattípus komoly előkészítést igényel, fontos előre mérlegelni a feladat idő- és eszközigényét, továbbá ehhez is elő kell készíteni az értékelési szempontok hierarchiáját. Szimuláció A szimuláció olyan problémamegoldó feladat, amikor a vizsgázó egy valós helyzetet, problémát old meg, valamilyen valós személy szerepében. Ez a feladattípus akkor alkalmazható jól, ha a mérendő készségek interakcióban valósulnak meg a legjobban. A feladattípus esetében az értékelés okozza a legtöbb problémát. Talán a legkomplexebb mérési forma a portfólió, amely lényegéből fakadóan nagyon jól használható a validáció/elismerés eljárásán belül. A portfólió a jelentkező különböző munkáit tartalmazza, tehát kiválóan alkalmas arra, hogy egy hosszabb folyamat során keletkezett különböző típusú eredményeket összegezzen a segítségével a hallgató. Ennek az értékelési formának a legnagyobb nehézsége, hogy pontos információkat kell adni arról, hogy milyen típusú munkákat, dokumentumokat kell benne összegyűjteni, szükség esetén segítséget kell nyújtani a jelentkezőknek az elkészítéséhez, és nem egyszerű az értékelése sem, hiszen egyértelmű és jól használható értékelési szempontokat kell találni hozzá (ehhez részletesebben lásd Falus–Kimmel, 2003). A felsőoktatási intézményekben azonban van ehhez kapcsolódó tapasztalat, mert a tanárképzésben elterjedt ennek az értékelési eljárásnak a használata. Elvileg a lebonyolításhoz tartozik, de feladattipológiai értelemben is értelmezendő az, hogy egyéni, páros vagy csoportos vizsgáról beszélünk. Elképzelhető ugyanis olyan szimulációs vagy más feladat, amely párban vagy csoportban zajlik. Az ilyen feladatok előkészítésekor, illetve az értékelési rendszer kidolgozásakor tekintettel kell lenni erre.

4.2 A mérőeszköz-fejlesztés folyamata A mérés megbízhatósága szempontjából megkerülhetetlenül fontos a vizsgaminőség, feladatminőség kérdése. A vizsgafeladatok fejlesztéséhez kapcsolódó szakirodalom, illetve a gyakorlati tapasztalatok alapján ma már elég sok információnk van arról, hogyan lehet biztosítani a vizsgák és a felhasznált feladatlapok jó minőségét, azaz jól követhető leírások vannak arról, milyen lépésekre és eljárásokra van szükség a megbízható és érvényes mérőeszközök létrehozásához. Természetesen erre is érvényes az, hogy a vizsgáknál használatos drága és bonyolult minőségbiztosítási formákat kisebb mérések esetében nem mindig lehet vagy érdemes használni. Az azonban mindig tudatos döntést igényel, hogy milyen lépésekről és eljárásokról mondunk le, tudomásul véve a várható következményeket. A feladat minősége szempontjából az a döntő tényező, hogy mennyire sikerül meghosszabbítani azt az utat, amit a feladat a készítőjétől a vizsgázóig megtesz. A feladat készítője ugyanis nyilvánvalóan nem veszi észre a nem egyértelmű, félreérthető dolgokat, a rossz megoldásokat. A hagyományos feladatfejlesztési eljárás során azonban nagyon sokszor csak a feladat készítője dolgozik a feladattal, mielőtt a vizsgázó kezébe kerülne, illetve fontosabb vizsgák esetén legfeljebb egy lektor olvassa végig a feladatokat ellenőrzésképpen. Ezzel szemben nyilvánvaló, hogy minél többször van mód arra, hogy újabb szakemberek lépjenek be a folyamatba, és a feladat megoldása során felfedezzék az esetleges hibákat, annál jobb minőségű feladatot lehet létrehozni. Súlyosbítja a problémát az a tény, hogy a készségmérő feladatok készítése során még több hibalehetőséggel kell megküzdeni, mint az ismereteket mérők esetében. E feladatokat ugyanis általában az jellemzi, hogy bonyolultabbak a mérési célok, sok autentikus anyagot használnak, általában helyzetbe ágyazottan írnak le jelenségeket és megoldandó problémákat. További nehézséget jelent, hogy a mérési követelmények általában komplex készségleírásokat tartalmaznak, ráadásul ezeket többnyire minőségi 11

szintekbe is sorolják. Ebből következően számtalan olyan hibaforrás jelentkezik ezekben a feladatokban, amelyek a hagyományos ellenőrzési eszközökkel nehezebben fedezhetők fel. Gyakori hibaforrások például a következők: »» a feladat készségszintje nem megfelelő, »» az autentikus élethelyzet nem érthető vagy nem megfelelő, »» nem egyértelmű a feladat mérési célja, vagy mást mér, mint amit mérnie kellene, »» nincs egyértelmű megoldás, vagy túl sok különböző megoldás lehetséges. Ezért érdemes a nagyobb jelentőségű, több vizsgázót érintő vizsgák előkészítési folyamatába bizonyos elemeket beépíteni, amelyek javítják a felhasznált feladatok minőségét, és ezzel együtt a mérés biztonságát. Ezek azonban mindenképpen hosszabbá és bonyolultabbá teszik az előkészítési folyamatot (vö. Einhorn, 2006/a). Nyilvánvaló, hogy a kisebb mérések esetében le kell mondani a bonyolult vagy költséges eljárásokról, ám van néhány olyan elem, amely mindenképpen megfontolásra érdemes mindenféle feladatlap előkészítése során. Legelterjedtebb megoldás a feladatsorok egyszerű lektorálása helyett a bizottsági moderálás (Alderson et al., 1995, 63). Ebben az esetben az előkészített feladatokat a bíráló szakemberek először megoldják (mintha vizsgázók lennének), majd minden feladatot megbeszélnek, koncentrálva a problémás és kritikus dolgokra. Az ilyen megbeszélések során általában sok olyan új vonatkozás jelenik meg, amelyek segítik a feladat kijavítását, és a feladat több hibájára derül fény, mintha egyszerűen egykét lektor ítélné meg azokat egyéni munkában. Ebben a fázisban gazdagítható és javítható az előkészített értékelési útmutató is. További fontos minőségi elem lehet a feladatok kipróbálása legalább kis mintán (akár csak 3-4, a vizsgázókhoz hasonló élethelyzetben lévő emberrel). Ennek során sok félreérthető vagy a célcsoport számára nem egyértelmű megfogalmazás is azonosítható és kijavítható, illetve újabb lehetséges megoldások merülhetnek fel. A kipróbálás tehát sokat javíthat az értékelési útmutató minőségén is. Ezen túlmenően a feladat megoldásához szükséges idő is pontosabban megállapítható. Mindkét eljárás hátránya, hogy meghosszabbítja és megdrágítja a feladatfejlesztési folyamatot, viszont mindenképpen jobban megindokolhatóvá és tisztességesebbé teheti az elismerési eljárás során alkalmazott döntést, azaz javíthatja a vizsgaminőséget. Végezetül álljon itt egy ellenőrző lista, amelynek segítségével a felhasznált feladatok minősége felülvizsgálható: »» Van a feladatnak jól meghatározható mérési célja? »» Megfelel ez a mérési cél a követelményeknek, standardoknak? »» Egyértelműen kiderül a feladatmeghatározásból, hogy mi a teendője a vizsgázónak? »» Nem túl bonyolult a feladatmeghatározás? »» Elég áttekinthető a feladat (külső szerkesztés)? »» Van elég hely a megoldáshoz? »» Értékelhető a feladat eredménye? »» Van a feladatnak értékelési útmutatója?

4.3 Az értékelés megtervezése Az ismereteket mérő feladatok esetében az értékelés viszonylag egyszerűnek tekinthető, hiszen egyértelmű lista vagy leírás készíthető a jó megoldásokról, és ehhez képest meghatározható a rossz, tehát nem elfogadható megoldás. A készségek mérése esetén mindig nehezebb az értékelés, hiszen általában sok különböző megoldás lehetséges, így a legtöbbször nem lehet egyértelmű listákat adni a jó megoldásokról. A mérés biztonsága érdekében viszont el kell érni, hogy a különböző értékelők egymáshoz hasonló alapelvek alapján dolgozzanak, ráadásul az egész értékelési folyamatnak átláthatónak és a vizsgázó számára is követhetőnek kell lennie. 12

Nyitottabb feladattípusokat a felsőoktatásban elég gyakran használnak a vizsgáztatás során mind szóban, mind írásban. E feladattípusok értékelése hagyományosan két alapelv alapján történik: az értékelő globális ítéletet alkot, a megszokott tanári értékelő módszerrel, vagy a feladat mérési céljához igazodva valahogyan hibákat azonosítanak, és a hibaszám alapján, többnyire pontlevonásos módszerrel értékelnek. Az első esetben az értékelő tulajdonképpen semmiféle konkrét fogódzót nem kap, legfeljebb a maximum és a minimum van megadva, egyéni belátása szerint kell tehát értékelnie. Mindkét megoldás problematikus, hiszen az első esetében az egyéni megítélések eltérése komoly értékelési különbségekhez vezethet, a második esetben pedig a hiba azonosítása jelent komoly problémát elvi értelemben. Az idegen nyelvi vizsgáztatásban az íráskészség és a beszédkészség értékelésében ezért analitikus skálákat alkalmaznak, és ez az eljárás megjelenik az anyanyelvtudás értékelésében (vö. Horváth, 1998), illetve más területeken, például a vizuális kultúra esetében is (vö. Kárpáti, 1997). Az analitikus skála létrehozása sok módon lehetséges (vö. Bárdos, 2002). A folyamatnak egyszerűsítve az a lényege, hogy a tesztkészítők eldöntik, milyen szempontok szerint kívánják a dolgozatokat értékelni, meghatározzák, hogy ezek az értékelés során milyen arányban lényegesek, ezáltal nagyon határozottan kifejezve véleményüket a különböző szempontok közötti prioritásokról. Ezt követően az egyes szempontokon belül pontosan leírják a különböző minőségi szinteket. Az ilyen skálákat hosszadalmas fejlesztési folyamatban lehet csak kialakítani, amely során azokat több vizsgázói produktumon és sok javítóval kell kipróbálni. A skálák használatához elengedhetetlenül fontos az értékelők képzése is, hiszen a legpontosabban megfogalmazott leírás sem mindig ad elég segítséget az értékelő számára a konkrét döntési helyzetben (Einhorn, 2006/b). Mint korábban utaltunk rá, ezen a téren olyan elvi kérdésekkel is foglalkozni kell, hogy a szövegalkotási képesség, helyesírás vagy a retorikai képességek milyen arányban és módon jelennek meg az értékelésben, tehát a szakmai tartalom és a nyelvi, kommunikatív minőség értékelése hogyan viszonyul egymáshoz. Mindenképpen rögzíthetjük alapelvként, hogy az esszékérdések, illetve a szóbeli vizsgáztatás esetében az értékelési szempontokat előre el kell készíteni, és gondoskodni kell arról, hogy a vizsgáztatók ezeket értelmezni és alkalmazni tudják, továbbá hogy a vizsgázók is ismerjék azokat. A kiegészítést igénylő nyitott feladatok esetében alapvető döntési pont az értékelés során, hogy mekkora szabadsága van az értékelőnek a válaszok megítélésében, azaz csak a megadott válaszok fogadhatók-e el, vagy bármi, amit az értékelő helyesnek gondol. Ez természetesen csak akkor jelent komoly problémát, ha sok vizsgázó feladatait kell egyszerre értékelni, tehát több értékelő dolgozik párhuzamosan. Ebben a kérdésben általában az a logikus és jó szándékú feltételezés szokott döntően érvényesülni, hogy a jól képzett szakemberek előírás nélkül is el tudják dönteni, hogy mi a jó és mi a rossz. A vizsgáztatási tapasztalat azonban azt mutatja, hogy az értékelői szabadság általában komoly eltérésekhez és ebből következően igazságtalan döntésekhez vezethet. A kiegészítést igénylő feladatok esetében jó eredményeket lehet elérni olyan megoldó kulccsal, amely a jó megoldások mellett tartalmaz néhány nem teljesen jó, de még elfogadható, illetve nem elfogadható megoldást is. Ilyen típusú útmutató azonban csak akkor készülhet, ha van mód a feladatok előzetes kipróbálására. Az esszé típusú kérdéseknél, illetve a szóbeli feladattípusoknál természetesen nehéz megítélni, hogy tartalmilag (szakmailag) milyen minőségű a létrehozott szöveg. Az eredmények összemérhetősége szempontjából lényeges, hogy e feladattípusokhoz készüljön olyan megoldási útmutató, amelyben rögzítik, milyen tartalmi elemeket várnak el mindenképpen a feladat minimális és maximális megoldása esetén. Erre tehát akkor is szükség van, ha nem készül teljesen kidolgozott értékelési skála, amelyben a tartalmi szempontok teljesítéséhez természetesen különböző minőségi szinteket kell leírni. Az értékelés szempontjából nagyon fontos vizsgaszervezési kérdés, hogy egyéni vagy páros, esetleg csoportos vizsgáról van-e szó, hiszen minden vizsgázónak azonos eséllyel kell rendelkeznie, és az értékelését nem befolyásolhatja a vele együttműködő, együtt vizsgázó társa teljesítménye. 13

Jól látható a fentiekből, hogy a nyitott feladatok értékelésére alkalmazható értékelési skálák létrehozása hosszadalmas és munkaigényes folyamat, de mindenképpen érdemes kisebb vizsgák esetében is azonosítani az értékelés szempontjait, és az érintett képességszinteket. A hagyományos pedagógiai gyakorlatban még nem nagyon elterjedt a képességszintek megfogalmazásának technikája. Ebben a tekintetben mintának tekinthetők az idegen nyelvek esetében már létező és elfogadott szintleírások (Közös európai referenciakeret…), illetve az Országos képzési keretrendszer széles körűen alkalmazható készségleírásai is (Falus–Imre–Kotschy, 2010; Temesi, 2011). Az értékelés megtervezésében további fontos szempont, hogy – éppen a szubjektivitás csökkentése érdekében – érdemes a nyitott feladatok értékelésére egymástól függetlenül két értékelőt felkérni, és ezzel a lehetőséggel sok vizsga él is. Ilyen esetekben azonban előre meg kell határozni, hogy a két független értékelő véleménye között mekkora különbség tolerálható, illetve protokollt kell kidolgozni arra az esetre, ha nagyon eltérőek az értékelések. Tény azonban, hogy a kettős értékelés természetesen megdrágítja a folyamatot.

5. A mérés lebonyolítása A felsőoktatási környezetben a szóbeli és írásbeli vizsgáztatásnak nagy hagyományai vannak, nem újdonság tehát, hogy két alapelvet kell szem előtt tartani a mérés lebonyolítása során: az első a meg nem engedett eszközök kizárása, a másik pedig a vizsgázó számára optimális környezet biztosítása. A vizsga készítője akkor lehet biztos a dolgában, ha hihet abban, hogy a létrejött mérés eredményei valóban tükrözik a vizsgázók képességeit vagy tudását, azaz biztos lehet abban, hogy a rossz vizsgaeredmény nagy valószínűséggel annak eredménye, hogy a vizsgázó nem éri el a kívánt képesség-, tudásszintet, és nem valamilyen más oka van (például valamilyen zavaró körülmény). A következő ellenőrző lista kérdései gyakorlati segítséget kívánnak nyújtani a mérés lebonyolításához: »» Minden érdekelt szakember számára elfogadhatóak-e a követelmények? »» A követelmények megfogalmazása elég részletes és pontos-e ahhoz, hogy belőlük kiindulva feladatokat lehessen készíteni? »» A feladatlapokat készítők számára egyértelmű-e, hogy milyen dokumentumok alapján kell dolgozniuk? »» A feladatsorokat ellenőrizték-e lektorálással vagy moderálással? »» A vizsgázó számára elérhetők-e a szükséges információk a mérési követelményekről és a vizsgáról? »» A feladatlapon rajta van-e minden szükséges információ? »» A vizsgához elő van-e a készítve minden szükséges segédeszköz? »» Az értékeléshez készültek-e megfelelő értékelési szempontok?

6. A mérési eredmények értékelése és elemzése A mérési eredmények feldolgozása ma már szinte önálló tudományterület, a pszichometriai eljárások alkalmazásáról bőséges szakirodalom található, köztük olyanok is, amelyek nagyon gyakorlatiasan foglalják össze a rendelkezésre álló lehetőségeket (például Csapó, 1996). Itt csak arra a sajátosságra hívjuk fel a figyelmet, hogy a tesztek eredményei mindig két dologról hordoznak információkat: egyrészt a vizsgázók teljesítményéről, másrészt azonban magukról a mérőeszközökről is. Minél kevésbé sikerült a feladatok készítése során a folyamatot minőségbiztosítási elemekkel feldúsítani (nem volt moderálás, nem próbálták ki a feladatokat stb.), annál nagyobb a veszélye annak, hogy a feladatok esetleges hibái 14

rontanak a vizsgázói teljesítményeken. Erre nagyon érzékenynek kell lenni a kisebb mérések esetében is, és érdemes használható protokollt előkészíteni azokra az esetekre, ha felmerül a gyanú, hogy a feladatok hibásak, illetve mindenképpen rögzíteni kell, hogy a vizsgázóknak milyen fellebbezési lehetőségeik vannak. Ezen túlmenően az eredmények a vizsga továbbfejlesztésére is jól használhatók. A mérési eredmények alapján érdemes módosítani az alkalmazott mérőeszközöket, az értékelési eljárást, adott esetben a mérés alapjául szolgáló követelményekhez is érdemes visszanyúlni. A vizsgák alkalmazása során sajátos kettősség figyelhető meg: egyszerre kell ugyanis merevnek és rugalmasnak lenni. Egyrészt minden elemet (követelményt, feladatlapot, előírást, értékelési útmutatót stb.) nagyon szigorúan és fegyelmezetten kell alkalmazni, hiszen ez az objektivitás és a megbízhatóság alapfeltétele, másrészről azonban mindig készen kell állni a vizsga megváltoztatására és javítására. Folyamatosan adatokat kell gyűjteni, hogy szükség esetén módosítani tudjuk a korábban elkészített és jónak gondolt elemeket. Nagy vizsgák esetén – különösen akkor, ha a feladatlapokat többször is felhasználják – fontos tevékenység a vizsga folyamatos monitorozása és továbbfejlesztése, és ez a tevékenység kisebb mérések esetében sem maradhat el. A szakterület számtalan megoldási módszert ismer tehát, amelyek segítségével utólag sok hasznos információ derül ki a feladatokról, mégis nagyon fontos, hogy lehetőleg a mérés lebonyolítása előtt tegyünk meg mindent a jobb mérési minőségért. Az érintett vizsgázók számára ugyanis egyszeri – és sokszor jelentős következményekkel járó – lehetőség az, ami a vizsgáztatónak csak rutinfeladat. A vizsgák végigkísérik az életünket, és még a komoly lehetőségekkel rendelkező és nagy jelentőségű vizsgákat létrehozó intézmények anyagaiban is előfordulhatnak hibák. Nincs tökéletes vizsga, és nincs tökéletes feladatlap, de a jobb minőségre mindig lehet és kell törekedni. A tanulmány ehhez akart néhány gyakorlati tanácsot adni.

Hivatkozások Albers, H. – Bolton, S. (1995): Testen und Prüfen in der Grundstufe. Einstufungstest und Sprachstandsprüfungen. Berlin etc., Langenscheidt. [Fernstudieneinheit 7.] Alderson, J. Charles – Clapham, Caroline –Wall, Dianne (1995): Language Test Construction and Evaluation. Cambridge, Cambridge University Press. Bachmann, F. Lyle – Palmer, S. Adrian (1996): Language Testing in Practice. Oxford, Oxford University Press. Bárdos Jenő (2002): Az idegen nyelvi mérés és értékelés elmélete és gyakorlata. Budapest, Nemzeti Tankönyvkiadó. Csapó Benő (1996): Tudásszintmérő tesztek. In: Falus Iván (Szerk.): Bevezetés a pedagógiai kutatás módszereibe. Budapest, Keraban, 277–316. Derényi András – Tót Éva (2011): Validáció. A hozott tudás elismerése a felsőoktatásban. Budapest, Oktatáskutató és Fejlesztő Intézet. Einhorn Ágnes (2006/a): A vizsgafeladat fejlesztésének folyamata és kritériumai. Új Pedagógai Szemle, 56 (1), 67–74. Einhorn Ágnes (2006/b): A német nyelvi érettségi vizsgafeladatok fejlesztése. A tartalmi érvényesség és az értékelhetőség ellentmondásai. In: Horváth Zsuzsanna – Lukács Judit (Szerk.): Új érettségi Magyarországon. Honnan hová? Egy folyamat állomásai. Budapest, Országos Közoktatási Intézet. 153–172. Einhorn Ágnes (2008): Fejlesztés vagy vizsgatréning? A fejlesztő- és a mérőfeladatok különbségei. In: Bánkuti Zsuzsa – Lukács Judit (Szerk.): Tanulmányok az érettségiről. Hatásvizsgálat, tantárgyi vizsgák értékelése, feladatfejlesztés. Budapest, Oktatáskutató és Fejlesztő Intézet. 147–167. 15

Falus Iván – Imre Anna – Kotschy Beáta (2010): Az OKKR szintjei és szintleírásai (szintézis). Budapest, Oktatáskutató és Fejlesztő Intézet. (http://tamop413.ofi.hu/okkr-orszagos-kepesitesi/okkr-3elemi-projekt) (2010. december 15.) Falus Iván – Kimmel Magdolna (2003): A portfólió. Budapest, Gondolat Kiadói Kör ELTE BTK Neveléstudományi Intézet. [Oktatás-módszertani Kiskönyvtár I.] Golnhofer Erzsébet (2003): A pedagógiai értékelés. In: Falus Iván (Szerk.): Didaktika. Elméleti alapok a tanítás tanulásához. Budapest, Nemzeti Tankönyvkiadó. 385-416. Horváth Zsuzsanna (1998): Középiskolai tantárgyi feladatbank III. Anyanyelvi tudástérkép. Budapest, Országos Közoktatási Intézet [Mérés – értékelés – vizsga 4.] Kárpáti Andrea (1997): Középiskolai tantárgyi feladatbank II. Vizuális nevelés: vizsga és projektmódszer. Budapest, Országos Közoktatási Intézet [Mérés – értékelés – vizsga 3.] Közös Európai Referenciakeret: nyelvtanulás, nyelvtanítás, értékelés. (2002): Pedagógustovábbképzési Módszertani és Információs Központ Kht. – Kulturális Együttműködés Tanács Közoktatási Bizottság Élő Nyelvek Osztálya Strasbourg. Milanovic, Michael (Hrsg., 1997): Gemeinsame Europäische Rahmenrichtlinien für den Fremdsprachenunterricht. Praktische Anleitung für Prüfer. Council of Europe. Perlmann-Balme, Michaela (1996): Die Revision der Zentralen Mittelstufenprüfung. Prinzipien der Prüfungsentwicklung. In: Jahrbuch Deutsch als Fremdsprache Intercultural German Studies. Band 22., München, Iudicium. 311–334. Temesi Ferenc (Szerk., 2011): Az Országos képesítési keretrendszer kialakítása Magyarországon. Nemzetközi háttér, elvi megfontolások, megvalósítási javaslatok. Szakértői összefoglaló anyag. Budapest, Oktatáskutató és Fejlesztő Intézet.

16