TÁMOP-4.1.3-08/1-2008-0004 A felsőoktatási szolgáltatások rendszerszintű fejlesztése
Az OKKR szintjei és a magyar közoktatás mérési rendszerei Készítette: Horváth Zsuzsanna
Pillérvezető: Elemiprojekt-vezető: Alprojekt: Elemi projekt: Dátum:
Temesi József Temesi József Országos Képesítési Keretrendszer 4. Az OKKR bevezetésének előkészítése 2010. január 17.
Tartalomjegyzék Bevezetés. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 A minőség és eredményesség fogalma . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Képzési szakaszok, képesítések . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 A közoktatás mérési rendszerei. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 A közoktatási mérési rendszer alapvető részei. . . . . . . . . . . . . . . . . . . . . . . 6 Kitérő: a tanulói teljesítménymérés előnyei és kockázatai. . . . . . . . . . . . . . . . . 8 A közoktatási mérési rendszer elemeinek bemutatása. . . . . . . . . . . . . . . . . . . . . . . 11 A közoktatási információs és statisztikai adatszolgáltatási rendszer. . . . . . . . . . . . 11 A középfokú felvételi rendszer és az ehhez kapcsolódó központi írásbeli vizsgarendszer. . 12 A kétszintű érettségi vizsgarendszer . . . . . . . . . . . . . . . . . . . . . . . . . . 15 A pedagógiai mérési rendszer. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 Magyarország részvétele a nemzetközi mérési-értékelési programokban . . . . . . . . . 17 Az országos pedagógiai mérési rendszer . . . . . . . . . . . . . . . . . . . . . . . . 18 Diagnosztikus célú, kritériumorientált mérési rendszerek az 1. és a 4. évfolyamon . . . . . 18 A) Diagnosztikus fejlődésvizsgáló rendszer az 1. évfolyamon. . . . . . . . . . . 18 B) Diagnosztikus mérés a 4. évfolyamon. . . . . . . . . . . . . . . . . . . . . 19 Összehasonlító jellegű kompetenciamérések a 6., a 8. és a 10. évfolyamon . . . . . . . . 19 Célok, jellemzők, szolgáltatott információk. . . . . . . . . . . . . . . . . . . . 19 A mérési rendszer kialakulásának története. . . . . . . . . . . . . . . . . . . . 22 A mérési rendszer legfontosabb fejlesztési irányai. . . . . . . . . . . . . . . . . 23 Irodalom. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2
Bevezetés1 A minőség és eredményesség fogalma Az OKKR létrehozásában kulcsfogalom a tanulmányi eredményesség, a kimenet fogalma, amely szoros összefüggésben áll a minőség, eredményesség értelmezésével, azzal, mit is tekintünk eredményességnek, és milyen kritériumokkal írjuk le a kívánatos és a megvalósult eredmények minőségét (Horváth, 2010). A minőség és eredményesség meghatározása minden szakterületen, így az oktatásban is szakmai viták tárgya. (Ezek szorosan hozzákapcsolódnak a hatékonyság kérdéséhez is, amely elsősorban a pénzügyi ráfordítások és az eredmények közötti kapcsolatra utal, vagyis arra, vajon egy-egy oktatási rendszernek adott eredmények eléréséhez mekkora pénzügyi ráfordításra van szüksége.) Vita tárgya lehet az is, hogy mit kell az oktatás eredményének tekinteni. E fogalom olyan eltérő dolgokra utalhat, mint például »» a tanulók tudásszintje (lásd OKKR tudás/képesség) »» a szocializáció sikeressége (lásd OKKR attitűdök) »» az iskolarendszerből kilépők munkaerő-piaci esélyei »» a magasabb iskolázottság révén az egyének által elérhető jövedelmek nagysága »» az oktatás révén keletkező társadalmi tőke értéke (lásd OKKR egésze, ide értve az. autonómia, felelősségvállalás fogalmát is) Érdemes hangsúlyozni, hogy az elmúlt években különösen az utóbbi, azaz a társadalmi tőke iránt nőtt meg a szakmai és a társadalmi érdeklődés, mivel ennek a társadalmi integráció, kohézió, illetve a gazdasági növekedés meghatározásában is egyre fontosabb szerepet tulajdonítanak. Társadalmi tőke alatt az e kérdéssel foglalkozó szakértők olyan tényezőket értenek, mint például az együttműködési és szövetkezési hajlam, a bizalom, a viszonosság elvének a tiszteletben tartása, a polgári aktivitás vagy a civil társadalom hálózatteremtő képessége (The Well-being..., 2001). Nem kevésbé vitatott a minőség értelmezése. Magyarországon a közoktatásban e fogalom három párhuzamos értelmezése figyelhető meg, amelyek jól kiegészítik egymást:2 1. a nemzeti standardoknak való megfelelés, 2. az egyes intézmények által meghatározott helyi standardok követése és 3. a szolgáltatásokat igénybe vevők vagy partnerek elégedettsége Mindezek az oktatás eredményeinek vagy termékeinek a minőségére utalnak, emellett azonban alkalmazzák e fogalmat az intézményi működés egészére is, ami a vezetés hatékonyságához és a szervezeti kultúrához kapcsolható. Az oktatás minőségéről és eredményességéről beszélve általában megkülönböztetik a bemeneti és a kimeneti tényezőket. Az előbbiek, azaz a bemeneti tényezők körébe tartoznak például a tanítást és tanulást meghatározó tantervi programok, az írott vagy multimédiás ismerethordozók, a tanárképzési és továbbképzési programok, valamint a tanulás intézményi szintű megszervezése. Ezek minőségét olyan eljárásokkal lehet értékelni, mint az akkreditáció, a beválási vizsgálatok vagy az intézményértékelés. 1 Az anyag összeállításához felhasznált forrás: Balázsi Ildikó (2010): A magyar közoktatás mérési rendszere. Kézirat. Oktatási Hivatal. 2 Átfogó minőségfejlesztés a közoktatásban. TÁMOP 3.1.8. Szakmai háttéranyagok. OFI, 2010.
3
A kimeneti elemek közé sorolható a tanulmányi teljesítmény vagy a továbbtanulás és az elhelyezkedés sikere. Ezeket mérésekkel, vizsgákkal vagy továbbtanulási és elhelyezkedési mutatók elemzésével lehet értékelni. Az értékelési funkció egyre nagyobb jelentőséggel bír a fejlett országok közoktatási rendszereiben. A pedagógiában korábban elfogadott megközelítéssel szemben, amely a tanulói teljesítmények mérésére helyezte a hangsúlyt, ma már a nemzetközi gyakorlatban is az vált elfogadottá, hogy a közoktatás minőségének és eredményességének értékelését több színtéren, több terület és tevékenység célbavételével kell folytatni. Fontos megemlíteni, hogy a minőségnek és az eredményességnek minden oktatási rendszerben többféle, egymással nemegyszer vetélkedő értelmezése létezik (Horváth – Környei, 2003). A minőség és az eredményesség értékelésére nemcsak az jellemző, hogy sokféle területre irányul, hanem az is, hogy e folyamatban többféle közreműködő vesz részt, és eredményeit különböző társadalmi szereplők kívánják felhasználni. Ezek közé tartoznak maguk a tanulók, a pedagógusok, az iskolák vezetői, az intézményfenntartók, az országos irányítás, továbbá az oktatási szolgáltatásokat igénybe vevő társadalmi csoportok, mint amilyenek a szülők vagy a végzetteket foglalkoztatók. Érdemes külön is kiemelni a helyi és a központi oktatásirányítás érdekeltségét az értékelési funkció fejlesztésében: ez ugyanis felhasználható az oktatás irányításának, befolyásolásának és fejlesztésének eszközeként is. A rendszerszintű értékelés például rámutathat olyan tényezőkre, amelyek kívül esnek az oktatásügy eszközeivel közvetlenül befolyásolható területeken – amilyen például a tanulói teljesítmények regionális vagy településtípusoktól és szociokulturális csoportoktól függő eltérései –, és hozzájárulhat a pénzügyi hatékonyság elemzéséhez, amennyiben információkat szolgáltat arról, milyen erőforrásokkal érték el az érintettek a feltárt eredményeket. A legtöbb ország közoktatási rendszerében a minőség és eredményesség biztosításának kiemelkedően fontos eszköze az iskolák mint intézmények értékelése önmaguk és külső szakértők által. Ez utóbbi feladatot számos országban a közoktatási felügyelet végzi, amely az elmúlt évtizedek reformjainak hatására sok helyen az állami hatalmat megjelenítő hatóságból modern, profes�szionális értékelő szervezetté alakult. Magyarországon az iskolák mint intézmények rendszeres külső értékelésének a feladata az iskolafenntartókra hárul, akik ezt az állam által elismert szakértők igénybevételével végezhetik. Elmondható, hogy miközben országos szinten kevéssé van jelen az eredményesség és hatékonyság összefüggését megérteni és elemezni kívánó akarat, addig az iskolafenntartók és az iskolák körében az eredményesség megközelítésének igen színes változatai léteznek (Horn – Sinka, 2006). Ugyanakkor Magyarországon még nem alakultak ki azok a megbízhatóan működő módszerek és eljárások, amelyek a decentralizált irányítási viszonyok között képesek lennének biztosítani és folyamatosan fenntartani a közoktatás minőségét. Ez kétségkívül érvényes az iskolák külső értékelésére is: nincs ugyanis garancia arra, hogy meghatározott időszakonként minden egyes iskolában elfogadható szakmai színvonalon elvégzett intézményértékelésre kerüljön sor, és annak eredményei alapján megfelelő vezetői vagy fenntartói intézkedések szülessenek (Balogh – Drahos – Péteri, 2004)
Képzési szakaszok, képesítések Ahhoz, hogy a közoktatás egyes szakaszain elérhető kimeneti pontokon tanulmányozzuk a kvalitatív eredményskálákat, döntést kell hoznunk, mit tekintünk e szempontból releváns szakaszhatárnak. Az OKKR előkészítését célzó szakmai anyagokban A közoktatás képesítési rendszerének áttekintése című háttéranyag (Palotás, 2007) 21 szempont szerint vizsgálja meg a 2007-ben érvényes jogszabályok szerinti pedagógiai szakaszokban azonosítható képesítéseket. A tanulmány megállapítja, hogy a közoktatásban megszerezhető végzettségek részben egyes képzési szakaszok teljesítéséhez, részben állami vizsga letételéhez kapcsolódnak.
4
A közoktatás szakaszai Bevezető szakasz 1–2. évf.
Kezdő szakasz
3–4. évf.
Alapozó szakasz 5–6. évf.
Fejlesztő szakasz 7– 8. évf.
Az általános műveltséget megszilárdító szakasz 9–10. évf.
A közoktatásban az alapfokú végzettség megszerzése alapesetben évfolyamszám elvégzéséhez, a középiskolai végzettség megszervezése viszont vizsgához kapcsolódik. A Kt. 25. § (4) bekezdése szerint a 8. évfolyam sikeres elvégzéséről kiállított bizonyítvány – iskolatípustól függetlenül – alapfokú iskolai végzettséget tanúsít.* A közoktatásban az alapfokú végzettség megszerzése alapesetben évfolyamszám elvégzéséhez, a középiskolai végzettség megszervezése viszont vizsgához kapcsolódik. A Kt. 25. § (4) bekezdése szerint a 8. évfolyam sikeres elvégzéséről kiállított bizonyítvány – iskolatípustól függetlenül – alapfokú iskolai végzettséget tanúsít.**
Az általános műveltséget elmélyítő, pályaválasztási szakasz 11–12., 13. évf.
A Kt. 9. § (8) bekezdése szerint „az érettségi bizonyítvány középiskolai végzettséget tanúsít, és a felsőoktatási intézménybe való felvételre, illetve szakképzésbe való bekapcsolódásra jogosít.*** Az érettségi vizsga szintjének a végzettség tekintetében nincs jelentősége. A vizsga szintje a felsőoktatási intézménybe való felvétel esetén bír (korlátozott) jelentőséggel.
* Érdemes megjegyezni, hogy az alapműveltségi vizsga 2006. évi eltörlése előtt sem volt lényeges különbség ezen a téren a végzettséget illetően. Az alapfokú végzettséget akkor is a 8. évfolyam sikeres elvégzése tanúsította, az alapműveltségi vizsga pedig nem végzettséget, hanem jogszabályban meghatározottak szerint szakmai vizsga letételére, illetve munkába állásra jogosított (volna). ** Alapfokú iskolai végzettség az alapesettől eltérően is megszerezhető. Lásd: Kt. 27. § (8) bekezdése. *** Talán figyelmet érdemel, hogy a középiskolai végzettség megszerzését a jogszabály nem érettségi vizsga letételéhez, hanem a bizonyítvány megszerzéséhez köti. Így van jelentősége annak, hogy az érettségi bizonyítvány kiadását szabályozó rendelkezést is értelmezzük. Az érettségi vizsga vizsgaszabályzatának kiadásáról szóló 100/1997. (VI. 13.) Kormányrendelet 45. § (1) bekezdése mondja ki, hogy érettségi bizonyítványt kell kiállítani annak, aki teljesítette az érettségi vizsga követelményeit. Ugyanez a szakasz rendelkezik továbbá arról is, hogy pontosan milyen adatokat kell tartalmaznia az érettségi bizonyítványnak. Forrás: 202/2007. (VII. 31.) Korm. rendelet a Nemzeti alaptanterv kiadásáról, bevezetéséről és alkalmazásáról szóló 243/2003. (XII. 17. Korm. rendelet módosításáról
Ahogy a táblázat összegzi, a közoktatásban az alapfokú végzettség megszerzése alapesetben évfolyamszám elvégzéséhez, a középiskolai végzettség megszervezése viszont vizsgához kapcsolódik. A Kt. 25. § (4) bekezdése szerint a 8. évfolyam sikeres elvégzéséről kiállított bizonyítvány – iskolatípustól függetlenül – alapfokú iskolai végzettséget tanúsít.3 Az alapfokú iskolai végzettséget tehát az oktatási intézmény által kiállított bizonyítvány tanúsítja, amelyben ötfokú osztályzatskálával jelzik az egyes tanulók tanulmányi eredményességét. A tanulási eredményesség referenciapontja az iskola pedagógiai programja, amely tartalmazza a helyi tanterv mellett az intézmény értékelési eljárásait, értékelési szempontjait is. A középfokú nevelés-oktatás szakasza a 9. évfolyamon kezdődik és szakiskolában a 10., középiskolában a 12. vagy 13. évfolyamon fejeződik be. A középfokú szakasz két részre tagolódik: a 9. évfolyamon kezdődő és a 10. vagy 11. évfolyam végéig tartó általános műveltséget megszilárdító, és a 11. vagy 12. évfolyamon kezdődő és a 12. vagy 13. évfolyam végéig tartó elmélyítő, pályaválasztást segítő szakasz. A szakképesítés megszerzésére felkészítő szakasz a középfokú nevelés-oktatás szakaszát követően kezdődik és az Országos Képzési Jegyzékben (OKJ) meghatározott szakképzési évfolyamon fejeződik be.4 Az 3 Alapfokú iskolai végzettség az alapesettől eltérően is megszerezhető. A Kt. 27. § (8) bekezdése szerint annak aki elmúlt 16 éves és nem fejezte be az általános iskola nyolcadik évfolyamát, hat évfolyam megléte esetén 20, hét évfolyam megléte esetén 10 hónapos szakiskolában történő felzárkóztató oktatás befejezéséről szóló bizonyítványa alapfokú iskolai végzettséget tanúsít. Ha a tanuló hat évfolyamnál kevesebb évfolyamot fejezett be, akkor a húsz hónapos felzárkóztató oktatás után a szakképzési évfolyamok számát eggyel megnövelve és minden szakképzési évfolyamon legalább 350 órában biztosított általános műveltséget megalapozó képzés keretében szerezhet alapfokú végzettség meglétéhez kötött szakképesítést. Az így megszerzett szakképesítés alapfokú iskolai végzettséget is tanúsít. 4 Ezzel összefüggésben érdemes megjegyezni, hogy a Kt. 25. § (5) bekezdése szerint iskolarendszerű szakképzés – jogszabály szerint meghatározott esetben – az alapfokú végzettség megszerzése előtt is felkészíthet szakmai vizsgára.
5
ötödik és nyolcadik évfolyam közötti szakaszt különböző iskolatípusokban (általános iskola, gimnázium, szakközépiskola, szakiskola) egyaránt teljesíteni lehet (Palotás, 2007). A fenti szakaszok ismertetésére azért van szükség, mert a közoktatásban az alapfokú végzettség megszerzése alapesetben évfolyamszám elvégzéséhez, a középiskolai végzettség megszerzése viszont vizsgához kapcsolódik. A szakaszhatári képesítések leírási lehetőségének szempontjából összegezve ugyanis az állapítható meg, hogy mind a tanulási folyamat tartalmai, mind a tanulmányi követelmények, mind az eredményességét vizsgáló eljárások az intézmény felelősségi körébe tartozó tényezők. A jelenlegi OKKR-javaslatban csak a 4. szinten megjelenített érettségi vizsga épül központi követelményekre és értékelési eljárásokra. Az osztályzatoknak közismerten „helyi értékük” van. Sem szakmai, sem laikus körökben nem kérdőjelezik meg, hogy a mögöttük levő tudás iskoláról iskolára változik. Sem országos, sem nemzetközi összehasonlító vizsgálatokra nem lehet azokat felhasználni, és talán éppen ezért a jegyekkel való osztályozás „minőségéről” viszonylag kevés, nagyobb adatbázisra támaszkodó elemzés jelent meg. Az iskolai osztályzat „értékéről”, összehasonlíthatóságának korlátairól, az osztályzat érvényességéről írott helyzetelemzés, illetve kritikai észrevétel közös eleme az iskolai osztályozás és értékelés funkciózavara: „Az értékelésnek ez a sokfélesége, a félév végi jegyeknek a többféle információforrást összegző tendenciája akár még hasznos is lehetne, ha nem lenne benne csaknem minden egyes értékelő tevékenységben lehetséges hibaforrásként a tanár egyéni, szubjektív értékítélete. Bármennyire hasznosnak tűnik is látszólag a sokféle forrásból kiinduló összegző osztályzat, az kevésbé alkalmas a tanulók tudásának mérésére. Különböző jellegű, a tanulási folyamatról és annak eredményéről gyűjtött információk keverednek benne. Az értékelésnek ez a rendszere, a tanulás irányításában szerepet játszó motiváló, segítő-formáló értékelés és a minősítő értékelés összemosódása, az objektív teljesítménymérés kultúrájának kialakulatlansága az értékelés funkciózavaraihoz vezet” (Csapó, 2004). Az alapfokú végzettséget bizonyító dokumentumot – jóllehet érvényességét számos kritika éri – a tanuló tanulási pályafutásában mégis meghatározó szerepűnek kell tekintenünk, legalábbis két szempontból. Mérvadóak az alapfokú oktatásban elért tanulmányi eredmények egyrészt a további tanulási út megválasztásában, sőt megvalósíthatóságában, másrészt „a milyen tanuló vagyok, voltam” nagy valószínűséggel jelentős szerepet játszik a tanuló önképében, önmaga értékelésében. A tanulói énkép és önismeret formálódása ugyanis jórészt az iskolai tapasztalatokon, a tanári értékelésen, és a társakkal való összehasonlításon keresztül valósul meg. Az alakuló, változó énkép azonban maga is befolyásolja azt, hogy hogyan teljesít a fiatal az iskolában, hogyan viselkedik a társaival és a tanáraival szemben, milyen célok elérésére törekszik (Kőrössy, 2005). A motivációkutatások az iskolai osztályzatok „együttjárását” vizsgálva empirikusan is megerősítették, hogy az olvasási képesség (nem meglepő módon) ugyanolyan erős összefüggést mutat a matematikával és a természetismerettel, mint az irodalommal és a nyelvtannal. Ennek részben az az oka, hogy a tantárgyi osztályzatok belső összefüggésrendszere nagyon erős. Ritkán fordul csak elő, hogy egy tanuló különböző tantárgyakból kapott jegyei jelentősen eltérnek egymástól (Józsa, 2007).
A közoktatás mérési rendszerei A közoktatási mérési rendszer alapvető részei Az alábbi bemutatásban a magyarországi közoktatás mérési rendszerei közé soroljuk mindazokat a rendszereket, amelyeket létét jogszabályok írják elő, és közvetlenül kvantitatív adatokat szolgáltatnak a közoktatás szereplőinek egyikéről vagy mindegyikéről; tanulóról, iskoláról, iskolafenntartóról. A köz6
oktatási mérési rendszer működtetéséért az Oktatási Hivatal felelős. Ezúttal is köszönetet mondok az Oktatási Hivatal munkatársainak a rendszer megismertetését lehetővé tevő szakmai háttéranyagokért. Mindezen rendszerek célja, hogy külön-külön és együttesen minél pontosabb és árnyaltabb képet adjanak a közoktatási rendszer egészéről és annak egyes részleteiről a politikai döntéshozatal, a különféle külső értékelési rendszerek, és a szereplők önértékelése számára egyaránt. A közoktatási információs és statisztikai adatszolgáltatási rendszer A középfokú felvételi rendszer és az ehhez kapcsolódó központi írásbeli vizsgarendszer A kétszintű érettségi vizsgarendszer A pedagógiai mérési rendszer a) Magyarország részvétele a nemzetközi mérési értékelési programokban b) Az országos pedagógiai mérési rendszer (Országos Kompetenciamérés) A közoktatás minőségének és eredményességének az értékelésében kiemelkedően fontos szerepet játszik a tanulmányi eredmények mérése. Erre elsősorban azokon a tudásterületeken kerül sor, amelyek 1. az alapvető kulturális kompetenciák körébe sorolhatóak, 2. tantárgyközi jellegűek, azaz mind képzésük, mind használatuk valamennyi tantárgyra vagy több tantárgycsoportra is kiterjed, valamint 3. a továbbtanulás és a munkaerő-piaci boldogulás szempontjából egyaránt meghatározónak minősülnek. Ilyenek elsősorban az olvasás-szövegértés, a matematika, a természettudomány, az informatika, az idegen nyelvek és az új információs és kommunikációs technológiák (IKT). Abban, hogy ezeket a területeket mind a hazai, mind a nemzetközi mérési gyakorlat kiemelten kezeli, szerepet játszik az is, hogy ezek vizsgálatára alakultak ki nagy tömegű adat felvételét és elemzését lehetővé tevő megbízható módszerek. Az OECD PISA-program vizsgálati eredményeinek az adatok felhasználói (pl. oktatáspolitikusok, a gazdasági szféra szereplői) különösen jelentős előrejelző érvényességet tulajdonítanak, mint azt a 2006os természettudományi vizsgálat esetében deklarálták is a mérés céljai között. A rendszer részeit és a közoktatás 12 (13) évfolyamára való ráépülését az Oktatási Hivatal alábbi ábrája szemlélteti:5
5 Balázsi Ildikó, 2010.
7
A modell minden olyan statisztikai adatgyűjtési eljárást, illetve tanulói mérést tartalmaz, amely lehetővé teszi a közoktatás eredményességének megismerését és elemzését. A modell elemei azonban természetesen eltérő szerepet töltenek be, hagyományuk, az oktatási rendszerbe való beágyazottságuk is különböző. A legnagyobb hagyománnyal az 1851 óta működő érettségi vizsga rendelkezik. Az IEA által tervezett és szervezett nemzetközi mérésekben az 1970-es évek óta részt vesz Magyarország, míg az OECD PISA 2015-ig tervezett, háromévenkénti ciklusokban szervezett mérési programja 2000 óta létezik. A DIFER (diagnosztikus mérés), az Országos kompetenciamérési program, illetve a középfokú felvételi rendszer gyakorlatilag a 2000 körüli időszaktól működik. (Részletesen lásd később). Az OKKR funkciója szempontjából mérlegelhetjük az egyes rendszerelemek jelentőségét. A közoktatás mérési rendszerének elemei és az OKKR lehetséges kapcsolódásai A mérési rendszer eleme
OKKR-felhasználási feltételek
Érettségi vizsga
A vizsgakövetelmények részletes elemzése A vizsgaeredmények rendszeres statisztikai és kvalitatív elemzése
Országos Kompetenciamérés
Az eredmények (szövegértés, matematika) statisztikai visszajelzése és kvalitatív elemzése
Középiskolai felvételi vizsga
Az eredmények (szövegértés, matematika) kvalitatív elemzése
4. évfolyamos diagnosztikus mérés Az eredmények kvalitatív elemzése, trendelemzéssel DIFER
A DIFER rendszer használatának nyomon követése, standardok kialakítása
Nemzetközi mérések
Az eredmények szisztematikus statisztikai és kvalitatív elemzése, összehasonlító elemzések
Kitérő: a tanulói teljesítménymérés előnyei és kockázatai A teljesítményorientált elszámoltathatósági rendszerek legfontosabb eszköze a tanulói teljesítmények külső mérése standardizált tesztek segítségével. Az eszköz alkalmazásához a legkülönbözőbb, néha egymással ellentmondó célok kapcsolódnak, mint amilyenek például a külső intézményértékelés megbízható informálása, a pedagógusok osztálytermi gyakorlatának befolyásolása, a pedagógusok és a diákok motiválása a teljesítményjavításra, a szülői döntések informálása, az iskolák jutalmazásáról vagy éppen bezárásáról szóló döntések informálása stb. Összességében elmondható, hogy a döntéshozók (megrendelők) még nagy mérési iparral rendelkező országokban sem teljesen tájékozottak a tanulói teljesítménymérés lehetőségeivel és az adatok felhasználhatóságával kapcsolatban. (Ennek a tájékozatlanságnak igazi vadhajtásai is megfigyelhetőek néhány délkelet-európai országban, ahol komolyan felvetődik az egyes pedagógusok teszteredmények alapján történő differenciált bérezésének gondolata.) Az üzemszerű és rendszeres mérés oktatáspolitikai eszközként, meglehetősen új, ezért túl sok illuzórikus és irreális elvárás fűződik hozzá. A „Nem hagyunk hátra gyermeket” USA szövetségi kezdeményezés értékelésének is az volt az egyik fő következtetése, hogy a túl sok ellentmondó elvárás legyengítette a tesztekre alapozott elszámoltathatósági politika hatását. A tanulói teljesítmények mérésében általában kritériumorientált vagy normaorientált teszteket alkalmaznak. A két teszttípus közötti különbség lényegében eltérő interpretálhatóságukban van, ennek megfelelően különböző célokat szolgálnak. A kritériumorientált teszt a tanuló teljesítményét valamilyen elvárt készség- és tudásszinttel hasonlítja össze, elméletileg tehát azonos eredményt produkálhat minden tesztet kitöltő tanuló esetében, legalábbis, az eredmények nem feltétlenül szóródnak jelentős mértékben. A normaorientált teszt ezzel szemben különböző tanulók teljesítménye közötti összehasonlítást szolgálja, standardizált teszt alkalmazása esetén az eredmények az egyenlő eloszlás görbéjét rajzolják ki. A kétfajta teszt által felkínált lehetőségeket az elszámoltathatóságot szolgáló tesztelés felől nézve azt kell látnunk, hogy a kritériumorientált teszt alapja valamilyen tartalmi szabályozó (tanterv, stan8
dard), a teszt a szabályozóban rögzített teljesítménykövetelmények teljesülését méri. A normaorientált teszt nem alapszik standardokon, a mérés célja tanulók, illetve az aggregáció bizonyos szintjein iskolák, tanulói csoportok vagy oktatásirányítási-területi egységek teljesítményének összehasonlítása. Noha a kétfajta cél és az ezeknek megfelelő kétfajta teszt között bizonyos korlátozott mértékben van „interpretációs átjárás”, a közpolitikai megrendelésben mégis szükség van arra, hogy a megfelelő mérőeszközök kiválasztása érdekében a különböző célok között prioritásokat rögzítsünk. Ami a sajátos magyar helyzetet illeti, ez a dilemma nehezen megoldható. Egyfelől figyelembe kell venni, hogy a tantervi szabályozás elerőtlenedése miatt erős igény van arra a visszaható tartalmi szabályozási hatásra, amit az érettségi követelményekre épülő vizsga gyakorol a középiskolákra, de amit a legtöbb eredményességi problémát felhalmozó általános iskolában nem érvényesít semmi (az általános iskolai bizonyítvány mögött nem állnak rögzített teljesítménykövetelmények). E probléma egyik lehetséges megoldása lehetne a nyolcadik évfolyam végére rögzített teljesítménystandardok és az azokra épülő összegző (elszámoltathatósági célokat szolgáló) mérés. Természetesen van példa arra, hogy az oktatáspolitika normaorientált tesztek adott teljesítményszintjét tekintse kritériumnak (mint például a PISA mérési program eredményeinek segítségével rögzített oktatáspolitikai célok esetében), ez azonban „kiütné” a tartalmi szabályozó funkciót. Másfelől azonban a magyar közoktatási rendszer korábban összefoglalt strukturális jellemzői alapján a rendszer-kompatibilis opció az iskolák teljesítményének nyilvános összehasonlításán alapuló, a helyi szereplők „kiszolgálását” szolgáló mérés lenne. Ennek a célnak azonban a kritériumorientált teszt csak korlátozott mértékben felel meg, mert az szükségképpen információveszteséget okoz, és mert eredményei a laikusok számára nehezen interpretálhatóak.) Az interpretálhatóság különösen fontos követelmény egy olyan országban, mint Magyarország, ahol a tanulói teljesítmények mérését elsősorban tudományos kutatásnak, jobb esetben az oktatáspolitika informálását szolgáló eszköznek, és nem közpolitikai eszköznek tekintik, ahol egyértelműen rögzített oktatáspolitikai megrendelés hiányában a mérési szakma maga jelöl ki célokat és ahol – mindezzel ös�szefüggésben – a mérési eredmények potenciális felhasználói (szülők, fenntartók) méréssel kapcsolatos tudása csekély. Mindezek után lássuk, milyen előnyökkel kecsegtet, illetve milyen kockázatokat rejt a tesztekkel szolgált elszámoltathatósági rendszer? Ami az előnyöket illeti, azok számosak és attraktívak: »» A tanulói teljesítmények mérése igen könnyen domináns eszközzé alakítható, az elszámoltathatósági kapcsolatok szereplőinek befolyásolásához egyszerűen csak nyilvánosságra kell hozni az iskolaszinten aggregált adatokat. »» Hatékony politikaformáló eszköz; fókuszálja a figyelmet, erőteljesen tematizálja a szakmai diskurzus, relatíve könnyen kommunikálható. »» Mivel a mérési adatokból könnyen képezhetőek a ráfordításokat és az eredményeket összekapcsoló indikátorok, kitűnő közpolitikai eszköz. »» A mérési eredmények ráirányítják a figyelmet a mérés alapjául szolgáló célokkal kapcsolatos eredményességi problémákra, így keresletet teremtenek a fejlesztés számára. Sok értékelés dokumentálja, hogy a teszteken alapuló elszámoltathatósági politikák hatására sok helyen megnőtt a továbbképzéseken való részvétel, megtörtént a tantervek felülvizsgálata, és az alulteljesítő gyermekek több személyre szabott segítséget kaptak. »» Mint arról volt szó, felerősíthetik a tartalmi szabályozók hatását, kikényszerítik az iskolákkal szemben rögzített külső elvárásokhoz való alkalmazkodást. »» Számos kutatás bizonyítja, hogy az elszámoltathatóságot szolgáló mérések közvetlen hatást gyakorolnak a pedagógusok munkájára. Sok esetben kikényszerítik a pedagógusok által követett célok és a tanítási idő beosztásának újragondolását, igényt teremtenek hatékonyabb pedagógiai módszerek alkalmazására stb.
9
Ami a kockázatokat illeti, azok nem kevésbé számosak, és paradox módon gyökerüket tekintve sok esetben azonosak az előnyökkel: »» A tesztelésen alapuló elszámoltathatósági rendszerek egyik legjelentősebb kockázata a hozzájuk kapcsolódó következmények erejéből fakad, túl dominánssá válhatnak. Szélsőséges esetben a pedagógusok vagy iskolák, hogy feljavítsák a teszteredményeket akár csalhatnak is, ami erősen csökkentheti az eredmények megbízhatóságát és végtelenül drága minőségbiztosítást kényszeríthet ki. (A csalás sok esetben dokumentálhatóan előforduló mellékjelensége a rendszernek.) »» A mérési adatokon alapuló teljesítményorientált rendszerek nagyon nagy hatást gyakorolnak az elszámoltathatósági kapcsolatok szereplőinek viselkedésére, de erre számtalan más dolog is hatást gyakorol. Ez a rendszer – igen sok oktatáspolitika előfeltételezései ellenére – nem képes kontrollálni a szereplők viselkedését. »» Ha az iskolák személyzete a teszteredmények rövid távú javítására és nem a hosszú távú pedagógiai fejlesztésre törekszik bekövetkezik az, amit a szakirodalom a „teszteredmények inflációjának” nevez: a javuló eredmények mögött nem a mérni hivatott kompetenciák fejlődése, hanem a tanulók „tesztkitöltési” képességének javulása áll. Ennek az oka az, hogy a pedagógusok az alkalmazott feladatokra fókuszált módon kezdenek el tanítani, a teszt kitöltésére trenírozzák a gyermekeket (teaching to the test), ennek rendelik alá a módszerek kiválasztását és a tanulási idő beosztását. Ez a hatás a szándékolt eredmény fordítottját produkálja, elszegényíti, és nem gazdagítja a pedagógiai gyakorlatot. »» Ezt súlyosbíthatja, ha a méréshez a pedagógusokkal szembeni túlzó elvárások párosulnak, továbbá ha a tanárok elérhetetlennek találják a célokat, akkor rövidre zárják a tanítás és a teszt közötti kapcsolatot. »» A mérésbe kódolt egyik legfontosabb korlát, hogy túlságosan fókuszálja a figyelmet: láthatóvá teszi azokat a problémákat amelyeket mérünk, de láthatatlanok maradnak azok, amelyeket nem. Míg a minőségértékelés rendelkezik azzal a potenciállal, hogy azonosítsa a legkülönbözőbb intézmények merőben különbözőbb problémáit, a mérés csak azokat a problémákat tárja fel, melyekre a mérési célokat kijelölő ágens „rákérdez”. »» A teszt eredménye nem azonos azzal, aminek mérésére hivatott. A mérhetőség érdekében a mérni hivatott kompetenciákat elemeire bontjuk és ezen elemek mérésére szolgáló feladatokat alkotunk, melyek alkalmazásával következtetünk az egyes elemek fejlettségére. A mérési eredmény tehát behelyettesítő (proxy), nem azonos a mérendő kompetenciával. Az viszont, hogy következményeket rendelünk a mérési eredményekhez nem engedi meg azok óvatos és önmérsékleten alapuló interpretációját, hajlamosak vagyunk túl komolyan venni a mérési eredményeket. »» A mérés önmagában nem tárja fel azokat a tényezőket, melyek magyarázzák a mérési eredményeket, ezért a kizárólag teszteredményekre alapozott oktatáspolitikák hatása erősen kétséges. Sokszor keletkezik az a látszat, hogy a mérésen alapuló elszámoltathatóság érvényesítésének hatására javulnak a tanulói teljesítmények. Valójában azonban a két dolog nem zárható rövidre, a teljesítmények változása mögött számtalan más tényező is állhat. (Mérés segítségével tehát azonosítani lehet a beavatkozás célcsoportját, de a beavatkozás módját már nem feltétlenül.) »» Sokszor bebizonyosodott, hogy a tesztekkel szolgált elszámoltathatóság negatív hatást gyakorolhat az oktatás méltányosságára. Így például az Egyesült Államok néhány államában ennek hatására megugrott az SNI-programokba utalt gyermekek száma, mert azok rontották az átlageredményeket. Minél több tudás halmozódik fel a mérésen alapuló elszámoltathatósági rendszerek káros mellékhatásairól, annál több befektetésnek vagyunk tanúi e negatív következmények kezelése érdekében. Az erről 10
szóló javaslatok valódi hatásáról azonban még nem tudunk eleget, számolnunk kell azzal, hogy egyszerűen képtelenség problémamentes rendszert alkotni. A valóban kockázatokat mérséklő javaslatoknak alapvetően három csoportja van: (i) a mérés módszertanának fejlesztése és a célok és módszertan közötti kapcsolat erősítése, (ii) a mérési eredmények másodlagos feldolgozása (például a hozzáadott érték mérése), valamint (iii) a méréshez kapcsolt fejlesztő szolgáltatások rendszerének kiépítése. Ami itt említést érdemel, az adatok másodlagos felhasználása, illetve a mérés alkalmassá tétele a másodlagos felhasználásra, amely a „nyers”, iskolaszinten aggregált adatoknál árnyaltabb képet képes nyújtani az iskolák teljesítményéről. Ezek egyike a pedagógiai hozzáadott érték számítása, amely több egymást követő és összekapcsolt mérés eredményeinek alapján a tanulók várható fejlődéséhez képest kimutatható eltérést mutatja ki. A másik – a magyarországi „kompetenciamérések” feldolgozása során is alkalmazott – eszköz a szocioökonómiai hozzáadott érték számítása, amely a tanulók társadalmi hátterét leíró változókból képzett indexhez rendelt várható teljesítménytől való eltérésről tudósít (Radó, 2009).
A közoktatási mérési rendszer elemeinek bemutatása6 A közoktatási információs és statisztikai adatszolgáltatási rendszer Jogi környezet: A közoktatási információs és statisztikai adatszolgáltatási rendszer részben a közoktatási jogszabályok, részben a statisztikai adatgyűjtést országosan szabályozó jogszabályok alapján szerveződik. Ezek a jogszabályok határozzák meg a kezelt adatok körét és a közoktatási rendszer szereplőinek adatszolgáltatási kötelezettségeit egyaránt. A rendszer felépítése: A közoktatási információs és statisztikai adatszolgáltatási rendszer két fő részből áll: »» A közoktatási információs rendszer »» A közoktatási intézményi statisztikai adatszolgáltatási rendszer A rendszer szolgáltatásai: A közoktatási információs rendszer egy folyamatosan működő informatikai rendszer, amely naprakész nyilvántartást tartalmaz a tanulók (oktatási azonosító szám és az ahhoz csatolt adatok), a pedagógusok (pedagógus azonosító szám és az ahhoz csatolt adatok), a közoktatási intézmények (intézményi azonosító szám és az ahhoz csatolt adatok), valamint az intézményfenntartók adatairól. A rendszer szolgáltatásainak egy része minden állampolgár számára elérhető, más részei csak az arra jogosultak számára, megfelelő hozzáférési feltételekhez kötve használható. Elemzések, kutatások természetesen ez utóbbiak adattartalmáról is készíthetők. A rendszer néhány szolgáltatása a teljesség igénye nélkül: »» a közoktatási intézmények, fenntartók közérdekű adatainak nyilvántartása, –– adatfeltöltés és módosítás, –– adatlekérdezési szolgáltatás, »» a tanulók és a pedagógusok nyilvántartása intézmények szerint, »» óvodai és iskolai körzethatárok nyilvántartása és megjelenítése,
6 Balázsi Ildikó, 2010.
11
»» a tanulmányi eredmények nyomon követése, visszacsatolása az általános iskolák számára a középiskoláktól, »» nyomtatványmegrendelő rendszer az iskolák számára, »» tankönyvmegrendelő rendszer az iskolák számára, »» az egyéb, elektronikus formában zajló közoktatási programok szoftvereibe való intézményi belépés és a hozzáférési jogosultságok kezelésének biztosítása, »» speciális üzenetküldő rendszer, amellyel a közoktatási programok napi információi eljuttathatók az intézményekhez vagy azok egy célcsoportjához. A közoktatási intézményi statisztikai adatszolgáltatási rendszer egy olyan internetalapú informatikai rendszert jelent, amelynek segítségével az intézmények eleget tudnak tenni éves statisztikai adatszolgáltatási kötelezettségüknek. Ennek során részletes adatokat küldenek teljes oktatási és tevékenységi struktúrájukról. Az adatokat a Központi Statisztikai Hivatal hozza nyilvánosságra, de természetesen a közoktatás rendszerei számára közvetlenül is felhasználhatók. Fejlesztési irányok: Mindkét rendszer folyamatos fejlesztés alatt áll a szolgáltatások mennyisége és minősége tekintetében. Néhány fejlesztési irány: »» az adattartalom bővítése, »» az adattartalom összehangolása a két részrendszerben, »» a rendszerek integráltsági fokának növelése, »» a központi rendszerek és a helyi iskolai informatikai rendszerek kapcsolatának fejlesztése.
A középfokú felvételi rendszer és az ehhez kapcsolódó központi írásbeli vizsgarendszer Jogi környezet: A magyarországi iskolarendszerben a diákok és az iskolák számára egyaránt fontos pont az általános iskola (8. évfolyam) és a középiskola (9. évfolyam) közötti átmenet. Kevesebb tanulót érint ugyan, de hasonlóan fontos elem a tanulók egy részének az ún. nyolc évfolyamos gimnáziumokban (4. évfolyam után), illetve a hat évfolyamos gimnáziumokban (6. évfolyam után) való továbbhaladása is. Éppen ezért ezen átmeneteket jogszabályok szabályozzák. A legfontosabb alapelvek: »» a tanuló (szülő) szabad iskolaválasztása, »» az iskola igazgatójának döntési joga a felvételről, »» a felvétel feltételeinek egységessége és nyilvánossága, »» az egyenlő bánásmód biztosítása. Mindezen elvek az alábbiak szerint érvényesülnek: A középiskolák maguk határozzák meg saját felvételi rendszerüket, amelyben pontosan rögzíteniük kell, hogy milyen képzéseket kívánnak indítani, milyen szempontrendszer és számítási eljárás alapján bírálják el a felvételi jelentkezéseket, milyen speciális eljárásokat alkalmaznak a sajátos nevelési igényű jelentkezők elbírálására stb. A feltételek meghatározásában azonban a jogszabály több ponton korlátozza őket. E korlátozások között talán a legfontosabb, hogy a középiskolák nem rendezhetnek saját írásbeli vizsgákat. Ha az eljárásukban írásbeli produktumot várnak el, az csak a központi írásbeli vizsgákon megszerezhető vizsgaered12
mény lehet. (A többéves tapasztalat szerint a középiskolák kb. fele nem ír elő írásbeli vizsgát, hanem a tanulók felvételét korábbi tanulmányi eredményeik alapján bírálja el.) Középiskoláknak mindezeket egy kiadványban (felvételi tájékoztató) kell nyilvánosságra hozniuk a tanév elején, saját környezetükben és a közoktatási információs rendszerben is. A tovább tanulni szándékozók, amennyiben szükséges, részt vesznek a központi írásbeli vizsgákon. A vizsga eredményének ismeretében jelentkeznek az általuk kiválasztott középiskolákba, a jelentkezéskor meghatározva, hogy melyik intézménybe mennének a legszívesebben, és melyikbe kevésbé, az általuk meghatározott prioritás szerint sorrendbe állítva azokat. A középiskolák a hozzájuk jelentkezők esetében saját felvételi szabályaik szerint meghatározzák az általuk alkalmasnak ítélt tanulók felvételi sorrendjét, illetőleg azt, ha valakit nem tartanak alkalmasnak a felvételre. Egy központi informatikai rendszer a tanulók intézményválasztási sorrendjének és az iskolák felvételi „döntésének” összevetésével meghatározza, hogy melyik tanuló melyik intézménybe kerül felvételre. A döntést szolgáló algoritmusban elsődleges a tanuló választása, ám ez csak akkor érvényesülhet, ha az intézmény felvehetőnek ítélte és a tanuló belefér az intézmény által meghatározott létszámkeretbe is. Az immár sokéves tapasztalat szerint a tanulók körülbelül 70%-a abba az intézménybe kerül be, amelybe leginkább vágyott. A rendszer felépítése: A felvételi rendszer a címében is említett két alapvető összetevőből áll: »» a középfokú felvételi eljárás informatikai rendszere, »» a központi írásbeli vizsgák rendszere. A középfokú felvételi eljárás informatikai rendszere lényegében egy internetalapú szoftver, amely az általános és középiskolák számára biztosítja annak lehetőségét, hogy a felvételi folyamat teljes adminisztrációja elektronikus úton történjen. A rendszer néhány szolgáltatása a teljesség igénye nélkül: »» a jelentkezési lapok elektronikus kitöltése, »» a diákok jelentkeztetése a központi írásbeli vizsgákra, »» az írásbeli vizsgák adminisztrációjának támogatása, »» a vizsgaeredmények elektronikus rögzítése, tárolása, »» a középiskolákba történő jelentkezés adminisztrációja, »» a jelentkezett tanulók rangsorolásának lehetősége a középiskolákban, »» a felvételi jelentkezéseket elbíráló algoritmus, »» az eredmények kommunikációját segítő alrendszer. Az informatikai rendszerben évről-évre keletkezett adatok alkalmasak arra, hogy nyomon követhető legyen a diákok továbbtanulási szándéka, az iskolák felvételi követelményei, a középiskolák kapacitása, az iskolák férőhelyeinek betöltöttsége. Mindezek értelmében a felvételi informatikai rendszer a közoktatás szereplői számára (oktatáspolitika, fenntartók, iskolák, szülők) fontos információforrást jelent. A központi írásbeli vizsgák eredményeinek tárolása a vizsgán részt vevők teljesítményének ös�szemérése mellett lehetővé teszi a vizsga feladatlapjainak, mint mérőeszközöknek, méréselméleti értékelését is. A központi írásbeli vizsgák rendszerében a tanulóknak magyar nyelvi és matematikai feladatlapokat kell megoldaniuk. Az egyes feladatlapok megoldására szánt idő 45 perc. Külön feladatlapok készülnek a nyolc és a hat évfolyamos gimnáziumokban, illetve a kilencedik évfolyamon tovább tanulni készülők számára. 13
A feladatlapokat az Oktatási Hivatal dolgoztatja ki, sokszorosíttatja és juttatja el a vizsgák helyszínére. A vizsga célja méréselméleti szempontból a különböző vizsgateljesítmények megfelelő és megbízható összehasonlítása. A feladatlapok tartalmáról a legpontosabb felvilágosítást az alábbi tájékoztató adja, mely az Oktatási Hivatal honlapján folyamatosan minden érdekelt rendelkezésére áll:
TÁJÉKOZTATÓ A KÖZÉPFOKÚ BEISKOLÁZÁS EGYSÉGES ÍRÁSBELI FELVÉTELI VIZSGÁINAK FELADATLAPJAIRÓL ÁLTALÁNOS INFORMÁCIÓK A FELADATLAPOKRÓL A felvételi vizsgán részt vevő diákoknak mind az anyanyelvi, mind a matematika írásbeli vizsgákon 45 perc alatt tíz feladatból álló feladatsort kell megoldaniuk, ezzel tárgyanként 50-50 pontot szerezhetnek. A feladatlapokat készítő – gyakorló pedagógusokból álló – bizottságok a Nemzeti alaptanterv alapján állítják össze a feladatsorokat. Munkájukban alapelv, hogy nem részesítik előnyben egyik jelenleg forgalomban lévő tankönyvcsalád anyagát sem. Azzal is számolnak, hogy az egyes iskolákban a tananyag feldolgozása nem egyforma ütemű, ezért a feladatlapok elsősorban az adott évfolyamot megelőző évfolyamok tematikus anyagára építenek. Az írásbeli felvételi vizsga célja elsősorban az eredményes középiskolai tanuláshoz szükséges alapvető készségek és képességek, kompetenciák felmérése, ezért egyik feladatlap sem hagyományos tantárgyi teszt. A konkrét ismeretek, a tanulási folyamatban megismert, begyakorolt eljárások alkalmazása mellett egyes feladatok újszerű összefüggésekben, szokatlan módon is teret nyitnak a tanultak mozgósításának, az ötletes alkalmazás képességének, a kreativitásnak. A 8. évfolyamra külön feladatsor készül az ún. tehetséggondozó iskolákba felvételizők számára. A kétféle feladatsor jellemzően ugyanarra a tananyagtartalomra, ismeretanyagra épül, a különbség elsősorban az egyszerűbb és az összetettebb feladattípusok arányában, a tanultak önálló alkalmazásának fokában, a megoldáshoz szükséges asszociációk mélységében jelenik meg. A feladatlapok összeállításának szempontjai, a feladattípusok belső arányai a korábbi évekhez képest alapvetően nem változnak, így az OH honlapján megtalálható korábbi feladatsorok továbbra is segíthetik a felkészülést. A MAGYAR NYELVI FELADATLAPOKRÓL A tízből kilenc feladat egy-egy részkérdéshez, részképességhez kapcsolódik. Megoldásukhoz a tanulóknak a korábbi években elsajátított nyelvi, kommunikációs és helyesírási ismeretekkel kell rendelkezniük, valamint bizonyságot kell tenniük az életkoruknak megfelelő szövegértési, szövegalkotási, gondolkodási képességekről és íráskészségről. A feladatok tehát a korábbi évfolyamokon tanultak alkalmazását kívánják meg, s elsősorban nem a nyelvtani ismeretanyag reprodukálását mérik, hanem az anyanyelvi készségek működésének színvonalát és az alapvető gondolkodási műveletekben való biztonság fokát (pl. felismerés, rendezés, tömörítés, következtetés, véleményalkotás). A feladatok szépirodalmi, ismeretterjesztő és
14
köznapi szövegekhez egyaránt kapcsolódhatnak. Az összetettebb tizedik feladat önálló szövegalkotást kíván a tanulóktól: adott témáról, adott műfajban kerek, egész, lezárt szöveget kell fogalmazniuk. A fogalmazásnak a téma megtartása és a terjedelmi kívánalom mellett (ez évfolyamonként eltérő) az alapvető nyelvhelyességi, szerkesztési, helyesírási és stílusbeli követelményeknek is meg kell felelniük. A MATEMATIKA-FELADATLAPOKRÓL A matematika-feladatlapok nem kizárólag a tantárgyban tanultakat mérik, hanem ehhez kapcsolódóan a tanulók gondolkodásának jellemzőit is. Az ismeretek alapeszközként szolgálnak a feladatok megértéséhez, a problémák megoldásához. Bizonyos feladatok megoldásának folyamatában a vizsgázónak többféle kompetenciát is mozgósítania kell. A feladatmegoldás sikerességében a tantárgyi ismeretek mellett fontos szerepet kaphat a feladatmegoldó készség, a problémaérzékenység, a kreativitás, a logikai biztonság, a szabálykövetés, a koncentrálóképesség, vagyis a figyelem összpontosítása és tartóssága. Fontos kompetencia az életkori sajátosságoknak megfelelő szintű írásbeli kommunikáció is. Ebből következően elvárás a megoldások rendezett, olvasható, követhető írásos rögzítése.
Az általános iskolákból érkező jelentkezők számára az írásbeli vizsgákat a középiskolák szervezik, és – az Oktatási Hivatal által kibocsátott értékelési útmutató alapján – azok kiértékelését is ők végzik. Mivel a javítást végzők a javítás egységességében és korrektségében egyaránt érdekeltek, nincs szükség az egyébként rendkívül költséges központi javításra. A nyolc évfolyamos gimnáziumokban az adott generáció kb. 3%-a, a hat évfolyamos gimnáziumokban kb. 5%-a ír a bekerülés érdekében írásbeli vizsgát. A kilencedik évfolyamon való továbbtanulás érdekében az adott generáció több mint 60%-a vesz részt az írásbeli vizsgákon, így a vizsgák eredménye tartalmi szempontból is értékelhető információt hordoz. Fejlesztési irányok: Mind az informatikai rendszer, mind pedig a vizsgarendszer a tapasztalatok szerint jól betölti funkcióját. A fejlesztés egyik iránya annak biztosítása, hogy az egyes évek feladatlapjai minél inkább hasonló követelményeket állítsanak a vizsgázók elé. A másik fő irány, a rendszer által szolgáltatott adatoknak egyre mélyebb és egyre sokrétűbb elemzése lehet, annak érdekében, hogy azok az oktatási rendszer minden szereplője számára jobban hasznosulhassanak.
A kétszintű érettségi vizsgarendszer Jogi környezet: Magyarországon az érettségi vizsga a középiskolai tanulmányokat lezáró állami vizsga, és mint ilyen, különféle szintű jogszabályok által szigorúan szabályozott. Az érettségi vizsga célja a jogszabály szerint annak megállapítása, hogy a vizsgázó a. rendelkezik-e az általános műveltség alapjaival és olyan képességekkel, amelyek alkalmassá teszik az önművelésre; b. szert tett-e megfelelő tárgyi tudásra, gondolkodási és tájékozódási képességre, képes-e ismereteinek rendszerezésére és gyakorlati alkalmazására; c. felkészült-e a felsőoktatási intézményekben folyó tanulmányok megkezdésére. 15
Az érettségi vizsgabizonyítvány középfokú végzettséget tanúsít, feljogosít bizonyos munkakörök betöltésére, és a felsőoktatási továbbtanulás feltétele. A rendszer szempontjából alapvető fontosságú, hogy a vizsgatárgyak tartalmi követelményei, a vizsgafeladatok tartalmi és formai összetétele, valamint a vizsga leírása jogszabályban részletesen rögzített. Így a vizsgára való felkészüléshez és felkészítéshez az egyforma informáltság feltételei mindenki számára garantáltak. A tartalmi szabályozás fontos alapelve, hogy a vizsgakövetelmények a tárgyi tudás mellett hangsúlyosan terjedjenek ki az alkalmazási készségekre is, így minél inkább közelítsenek a tantárgyi kompetenciák méréséhez. A jogi szabályozás fontos alapelve, hogy a vizsgarendszer a lehetőségekhez képest legnagyobb objektivitást biztosítson. A vizsgateljesítmények értékelése százas fokozatú skálán (százalékos eredmény) történik, amely az általában szokásos néhány (5-7-10) fokozatú skálánál lényegesen jobb összehasonlíthatóságot biztosít. Magyarországon a felsőoktatási intézményekbe való bekerülés az érettségi vizsga után nem automatkus. A különféle képzési irányokra, szakokra való bejutásért éles verseny folyik. E verseny elbírálása az érettségi vizsgákon elért teljesítmények alapján történik, ezért az érettségi vizsgarendszer a felsőoktatási továbbtanulás meghatározásában is döntő szerepet játszik. Az érettségi vizsgabizonyítvány megszerzéséhez a diákoknak négy kötelező és egy szabadon választott vizsgatárgyból kell sikeres vizsgát tenniük. A kötelező vizsgatárgyak: magyar nyelv és irodalom, matematika, történelem, egy idegen nyelv. A vizsgarendszer kétszintű. A vizsgázók maguk döntik el, hogy egy adott vizsgatárgyból középvagy emelt szinten kívánnak vizsgázni. A döntést alapvetően a felsőoktatási, továbbtanulási szándék határozza meg; az igazi „karrier” szakokra emelt szintű vizsga nélkül alig-alig lehet bekerülni. A rendszer felépítése: A középszintű vizsgák a középiskolákban zajlanak. Az írásbeli vizsgarészekhez központi feladatlapok készülnek és értékelésük helyben ugyan, de központilag kiadott javítási-értékelés útmutatók alapján történik. A középszintű szóbeli vizsgatételeket a középiskolák maguk dolgozhatják ki, természetesen a vizsgakövetelmények által meghatározott keretek között. Az emelt szintű vizsgák külső vizsgák. Az írásbeli vizsgák a vizsgázók középiskolájától független vizsgahelyszíneken, számukra ismeretlen tanárok felügyelete mellett zajlanak, a vizsgadolgozatok azonosítására kódszámok szolgálnak. A javítás során az értékelők nem tudhatják, hogy kinek a dolgozatát javítják. A szóbeli vizsgák háromtagú, a vizsgázó szempontjából független, bizottságok előtt zajlanak. A vizsgarendszer működtetéséért alapvetően az Oktatási Hivatal a felelős. A hivatal készítteti el mindkét szinten az írásbeli vizsga feladatlapjait és javítási-értékelési útmutatóit, gondoskodik azok sokszorosításáról és eljuttatásáról a vizsgahelyszínekre. A hivatal szervezi meg továbbá a független emelt szintű vizsgák minden elemét. Az Oktatási Hivatal működteti az érettségi vizsgák lebonyolítását támogató internetes informatikai rendszert is. Ez a rendszer a jelentkeztetéstől a vizsgaeredmények megállapításáig és közléséig végigköveti a vizsgaszervezés teljes folyamatát. Mivel használata minden vizsgáztató intézmény számára kötelező, a szoftverben tárolt adatok szinte teljes körű képet adnak a vizsgák menetéről és eredményeiről.
16
A rendszer szolgáltatásai: Az érettségi rendszer szolgáltatásait most elsősorban a mérési rendszer szolgáltatásai szempontjából tekintjük át: »» regisztrálja egy érettségiző korosztály teljesítményét a kötelező és választott vizsgatárgyakból, »» biztosítja az egyes vizsgaeredmények összehasonlíthatóságát, »» a szaktanárok és szakértők számára lehetővé teszi a vizsgaeredmények teljes körű, sokrétű elemzését, és így a tantárgyi fejlesztés alapjául szolgálhat, »» a vizsgakövetelmények a közoktatási rendszer tartalmi szabályozásának leghatékonyabb elemei, így közvetlen hatással vannak a tantermi munkára is. Fejlesztési irányok: Az érettségi vizsgarendszer ún. „tanuló rendszer”. Ez első sorban méréselméleti szempontból van így. A vizsgaeredmények feldolgozásának egyik legfontosabb célja annak elősegítése, hogy az adott vizsgatárgyak évről-évre fejlesztett feladatsorai egymással közel azonos követelményeket állítsanak a vizsgázók elé, ily módon a rendszer maximálisan kiszámítható legyen. Az immár ötéves tapasztalatok azt mutatják, hogy ez a feltétel igen jó közelítéssel teljesül. A vizsgarendszerben felhalmozott adatok számos lehetőséget nyújtanak a közoktatási rendszer szereplőire (iskolák, fenntartók) vonatkozó jellemzők, mutatók előállítására. Ezek az elemzések jelenleg még – kapacitás hiányában – nem készülnek el, az ez irányú fejlesztés lehetősége tehát nyilvánvaló. Akár rövid távon is elérhető lenne, hogy a vizsgaeredményekből a közoktatási mérési rendszerhez hasonló elemzések készüljenek a középiskolák és fenntartóik számára.
A pedagógiai mérési rendszer Magyarország részvétele a nemzetközi mérési-értékelési programokban Jogi környezet: A nemzetközi mérésekben való részvételt jogszabály nem írja elő. A rendszer felépítése: Ma Magyarország három tanulói teljesítménymérésben vesz részt: az IEA TIMSS és PIRLS mérésében, valamint az OECD PISA-program vizsgálataiban.7 A hazai eredményeket lásd egyrészt az Oktatási Hivatal kiadványaiban, másrészt a Közoktatási Mérési Értékelési Osztály honlapján: www. kompetenciameres.hu. A rendszer szolgáltatásai: A mérések a rendszer egészéről adnak képet. A nemzetközi jelentéssel egy időben jelenik meg a magyar összefoglaló jelentés (a legutóbbi ciklusoktól). A jelentések angolul elérhetők a www.pirls.hu, a www. timss.hu, valamint a www.oecd-pisa.hu oldalakon.
7 Az Oktatási Hivatal az évenként megrendezésre kerülő Országos kompetenciamérések mellett az OECD (Organisation for Economic Co-operation and Development/ Gazdasági Együttműködési és Fejlesztési Szervezet) és az IEA (International Association for the Evaluation of Education Achievement – Tanulói Teljesítmények Vizsgálatának Nemzetközi Társasága) által szervezett nemzetközi felmérések hazai lebonyolításáért és az adatok interpretálásáért is felelős.
17
Az országos pedagógiai mérési rendszer Jogi környezet: Az országos pedagógiai mérési rendszer jól beágyazott, logikailag megalapozott jogi környezetben működik: »» a jogszabály kötelezően előírja, hogy mely évfolyamokon, milyen kompetenciaterületeken, kik számára kötelező a pedagógiai mérésekben való részvétel, »» ezzel párhuzamosan meghatározza, hogy a mérések megszervezése mely intézmény feladata (Oktatási Hivatal), »» a mérési feladatokat munkajogi szempontból is beilleszti az iskolák feladatrendszerébe, »» előírja a mérés során keletkezett adatok nyilvánosságra hozatalát, »» az iskolák számára kötelezővé teszi saját mérési eredményeik elemzését, felhasználását, »» azokban az intézményekben, ahol a mérési eredmények jelentős problémákra utalnak, kötelezővé teszi az iskola és fenntartója számára is a beavatkozást. A jogi szabályozásnak ez a rendszere azt hivatott kifejezni, hogy az állam a közoktatás szereplői számára biztosítja a mérési rendszer – egyébként meglehetősen kiterjedt és professzionális – szolgáltatásait, ám egyben kötelezi őket annak megfelelő használatára, és szükség esetén a megfelelő intézkedések megtételére. A rendszer felépítése: Az országos pedagógiai mérési rendszer alapvetően két részrendszerre osztható: »» diagnosztikus célú, kritériumorientált mérési rendszerek az 1. és a 4. évfolyamon, »» összehasonlító jellegű kompetenciamérések a 6., a 8. és a 10. évfolyamon . A jelentős különbözőségek miatt a két részrendszert a továbbiakban külön ismertetjük
Diagnosztikus célú, kritériumorientált mérési rendszerek az 1. és a 4. évfolyamon A) Diagnosztikus fejlődésvizsgáló rendszer az 1. évfolyamon A rendszer céljai: A rendszer célja, hogy az iskolarendszer kezdő szakaszában a tanítóknak olyan mérőeszközt biztosítson, amely alkalmas az iskolai fejlődéshez szükséges alapkészségek diagnosztizálására. Ebben az életkorban a gyermekek fejlettsége és haladási üteme igen eltérő. A pedagógus nyilvánvalóan érzékeli ezeket a különbségeket, ám a tanórai munka során nem feltétlenül képes megállapítani a lassúbb fejlődés okát. Ebben segíti őt ez a mérőeszköz rendszer. Használata éppen ezért nem kötelező. A jogszabály csak azt írja elő, hogy az 1. évfolyam elején minden tanítónak fel kell mérnie, hogy melyek azok a tanulói, akik esetében indokolt a mérés lefolytatása, és ezeket a tanulókat később meg is kell mérnie. A rendszer szolgáltatásai: A mérőeszközzel az alábbi területek vizsgálhatók: »» szociális motívumok és készségek »» írásmozgás-koordináció »» tapasztalati összefüggés-megértés »» beszédhanghallás »» tapasztalati következtetés 18
»» relációszókincs »» elemi számolási készség A mérés módszertana az életkori sajátosságokhoz igazodik. A mérés játékos formában, színes, érdeklődést keltő eszközökkel, a pedagógus és a gyermek közvetlen kommunikációjában valósul meg. A pedagógus a „beszélgetés” során feljegyzi a gyermek válaszait, majd az erre a célra készült szoftverben rögzíti azokat. A szoftver előállítja számára a gyermek egyéni képességprofilját. A mérőeszköz csomag használata – annak ellenére, hogy nem kötelező – elterjedt az iskolákban: Az intézmények 88,7%-ában rendszeresen használják, országosan évente a tanulók kb. 30%-át mérik fel (kb. 30 000 diák). B) Diagnosztikus mérés a 4. évfolyamon A rendszer céljai: Ezen az évfolyamon az életkori sajátosságoknak megfelelően a klasszikus értelemben vett kompetenciamérés nem indokolt. A 4. évfolyamos un. diagnosztikus mérőeszköz segítségével az mérhető, hogy bizonyos alapvető képességek, készségek tekintetében az adott tanuló a korosztályára jellemző szinthez képest fejlődésében milyen szinten áll. Mivel ebben az életkorban a különbségek még természetesnek mondhatók, a mérési eredmény itt nem igazán alkalmas arra, hogy az iskola munkáját jellemezze. A mérés célja a 4. évfolyamon elsődlegesen az, hogy a pedagógusokat informálja a gyermek egyes képességeinek, készségeinek fejlettsége tekintetében, hogy ezen adatokra építve ki tudja dolgozni az adott csoportra vagy akár tanulóra „szabott” speciális fejlesztési irányokat, módszereket. A rendszer szolgáltatásai: A tesztek a 4. évfolyamon nem tantárgyi ismereteket, hanem sok év alatt fejlődő alapkészségeket, képességeket (írás, olvasás, számolás, gondolkodás) mérnek. A mérés minden tanuló számára kötelező, de központi elemzésre csak egy 200 iskolából álló reprezentatív minta adatait dolgozza fel az Oktatási Hivatal. Ennek oka, hogy a mérés célja az egyéni fejlődés diagnosztizálása, amely az iskolában, helyben kell, hogy megtörténjen. Az országos trendek meghatározásához elegendő a minta feldolgozása. A teszt megíratása után az iskolák az Oktatási Hivatal által üzemeltetett online szoftverben saját tanulóik eredményeit rögzíthetik, és előállíthatják az egyéni, osztály vagy iskola szintű elemzéseiket. A rendszer sikerét jellemzi, hogy a szoftverbe való belépések száma egy év alatt több mint 32 000 volt. Fejlesztési irányok: A diagnosztikus tesztek prognosztizálható lassú eróziója miatt – uniós támogatás segítségével – megkezdődött egy – a jelenlegi 4. évfolyamos mérést majdan helyettesítő – többfokozatú mérési eszközrendszer kidolgozása. Ez a tervek szerint az életkori sajátosságok figyelembe vételével az 1-től a 6. évfolyamig teszi majd lehetővé az alapkészségek fejlődésének diagnosztikus jellegű mérését.
Összehasonlító jellegű kompetenciamérések a 6., a 8. és a 10. évfolyamon Célok, jellemzők, szolgáltatott információk A 2001-ben bevezetett Országos kompetenciamérés elsődleges célja az, hogy objektív adatok tükrében minél árnyaltabb, sokrétűbb képet szolgáltasson az iskolák eredményességéről az ország többi iskolájával összevethető módon, segítve ezzel az intézmények önértékelését, és hozzájárulva a külső értékelés teljességéhez. 19
Az Országos kompetenciamérés (National Assessment of Basic Competencies) az ország szinte minden 6., 8. és 10. évfolyamos tanulójára kiterjedő éves mérési rendszer. A felmérés alól csupán azok a tanulók mentesülnek, akik olyan fokú sajátos nevelési igénnyel küzdenek, amely megakadályozza őket a részvételben: autisták, értelmi fogyatékosok vagy súlyos testi fogyatékkal élnek. Az integráltan tanított diszlexiás, diszgráfiás és/vagy egyéb tanulási nehézséggel küzdő tanulók részt vesznek a felmérésben, de az iskolák nyilvános jelentéseiben nem jelennek meg az eredményeik. A felmérésben a tanulók matematika- és szövegértés-feladatokat tartalmazó tesztfüzeteket töltenek ki (4 x 45 percben), valamint szüleik bevonásával, önkéntes alapon egy a családi hátterüket felmérő kérdőív kérdéseire is választ adnak. A mérésben alkalmazott feladatok nem az adott évfolyam tantervi követelményeiben meghatározott tudástartalom elsajátításának mértékét mérik, a felmérés nem az adott tanévi tananyag ismeretanyagának számonkérése, hanem azt vizsgálja, hogy a diákok által a közoktatásban addig elsajátított ismereteket milyen mértékben tudják alkalmazni a mindennapi életből vett feladatok megoldásában. A felmérés tartalmi kerete (framework) – amely definiálja a mérési területeket (cognitive domains), meghatározza a feladatok típusait és arányát – miniszteri rendelet mellékletét képezi, így a tesztanyagok jogszabályban is rögzített deklarált tartalommal bírnak. A felmérés tesztanyagait az Oktatási Hivatal Közoktatási Mérési Értékelési Osztálya (Educational Authority, Department of Assessment and Evaluation) állítja össze. A felmérés adatfelvétele minden évben a tanév végén, május utolsó hetében történik. Az intézmények lezárt, a mérés előtt fél órával felbontható csomagokban kapják meg a tesztanyagokat. A felmérés standardizálása érdekében az intézmények felméréssel kapcsolatos teendőit, eljárásrendjét Útmutató foglalja össze, az ebben leírtak betartása minden intézmény számára kötelező. A felmérés szabályszerű lebonyolítását külső minőségellenőrök biztosítják, akik jegyzőkönyvben jelentést tesznek az Oktatási Hivatalnak. Minden iskolaépületben van a felmérés napján minőségellenőr, aki szabadon közlekedhet az egyes osztályok között. A minőségellenőr nem tartózkodik folyamatosan az érintett osztályok tantermeiben, a tesztírást az intézmény tanárai vezetik. A felméréssel kapcsolatos adminisztrációs feladataikat az intézményeknek az Oktatási Hivatal által üzemeltetett online szoftverben kell elvégezniük. A mérési anyagok azonosítására a tesztfüzetek és háttérkérdőívek a 2007/2008 tanév mérésétől kezdődően a tanulók egyedi mérési azonosítóit tartalmazó címkékkel vannak ellátva. A tanuló egyedi mérési azonosítóját kizárólag a tanulót oktató intézmény jogosult és képes előállítani az OH által fejlesztett és üzemeltetett online szoftver használatával. A mérési azonosító több célt is szolgál. Egyrészt a tanuló és szülei ennek megadásával tekinthetik meg a tanuló mérési eredményét az adatok nyilvánosságra kerülése után. Másrészt lehetővé teszi az eredmények egyéni szintű longitudinális vizsgálatát, így a 6., 8. és 10. évfolyamon összekötött adatok segítségével a pedagógiai hozzáadott érték kimutatására is lehetőséget biztosít (a 2009/2010 tanévi mérés jelentéseitől). A felmérés tesztanyagainak kódolása (marking) központilag, az OH KMÉO irányításával történik, szigorú minőségbiztosítási szabályok betartásával, amelyek biztosítják, hogy a nyíltvégű feladatok (open-ended questions) javítása egységes szabályrendszer alapján történjen. Az adatbevitelt, adattisztítást és statisztikai adatfeldolgozást (eg. computing students’ ability scores and items’ parameters with Item Response Theory models, weighting and standardization etc.) követően az OH a mérést követő év februárjában, azaz kilenc hónappal a felmérés után hozza nyilvánosságra a mérési eredményeket. Az OH több szinten és többféle jelentést készít Az Országos jelentés mellett készül Fenntartói, Intézményi, Telephelyi jelentés és egyéni szintű Tanulói jelentés. Emellett elkészülnek a tesztfeladatok jellemzőit (javítási útmutató, statisztikai paraméterek, tartalmi keretbeli besorolás, rövid jellemzés) bemutató Feladatok és jellemzőik kötetek.
20
Az Országos jelentés összesített eredményeket tartalmaz és elsősorban az oktatáspolitikusok és oktatáskutatók számára ad az oktatási rendszerre vonatkozó mutatókat. Az Országos jelentés 10-12 oldalas rövid jellemzés után az eredményeket táblázatok és ábrák alkalmazásával ismerteti. A jelentés tartalomjegyzéke a következő: Jogszabályi háttér A 2009. évi Országos kompetenciamérés számokban A felmérésről Eredmények Ajánlás Ábrák és táblázatok Országos eloszlások és trendjeik Megoszlás a képességszinteken Eloszlások területi bontás szerint Eloszlások a település típusa szerint Eloszlások a képzési formák esetében A fiúk és lányok eredményei A családi háttér hatása Az egyéni ambíciók és a szülői elvárások Iskolai tényezők és az eredmények kapcsolata Melléklet A családiháttér-index (CSH-index) A telephely tanulói összetétele alapján képzett index A tanulási nehézségekkel küzdők aránya alapján képzett index
7 8 9 11 19 20 20 24 27 45 48 51 54 67 75 101 101 103 103
Az Országos jelentést az OH megküldi az Oktatási és Kulturális Minisztériumnak, amely a honlapján nyilvánosságra hozza azt. A Fenntartói, Intézményi és Telephelyi jelentések a fenntartó, intézmény, illetve telephely összesített eredményeit mutatják be többféle ábra és táblázat segítségével. Az alap jelentéstípus a telephelyi jelentés, mert a magyar oktatási rendszerben jellemző, hogy akár több iskola, akár különböző településeken lévő iskolák is egy közigazgatási egységet képezhetnek, egy igazgató irányítása alatt állhatnak. A telephelyi jelentés évfolyamonként, képzési típusonként foglalja össze az eredményeket a következő ábra- és táblázatcsoportok segítségével. A jelentés a telephely létszámadatainak összegzésével indul, majd mérési területenként a következő című oldalakat tartalmazza: Átlageredmények, A képességeloszlás néhány jellemzője, Átlageredmény a családiháttér-index tükrében, Képességeloszlás, Az átlageredmény változása, A képességeloszlás változása, A képességeloszlás néhány jellemzője osztályonként, A képességeloszlás osztályonként. Az Intézményi és Fenntartói jelentések hasonló típusú adatokat adnak, illetve az intézmény telephelyeinek/a fenntartó intézményeinek eredményeit összegzik. A jelentések az intézményre vonatkozó adatok mellett az országos, területi és képzési formák szerinti eredményeket is ismertetik összehasonlítási alapként. A Fenntartói, Intézményi és Telephelyi jelentések nyilvánosak, az Oktatási Hivatal honlapjáról az intézmény nevének vagy azonosítójának megadásával letölthetők. (www.kompetenciameres.hu) A Tanulói jelentés az egyes tanulók eredményeit mutatja be, a tanuló által elért képességpontot, feladatonkénti eredményét és azt, hogy az országos, az iskolája és az osztálya eredményéhez ez hogyan viszonyul. A tanulói jelentés eléréséhez a mérési azonosító ismerete szükséges, így azokat csak a tanuló és szülei, valamint iskolája érhetik el. 21
Az utóbbi két mérésben az alábbi jelentéstípusok, a jelzett darabszámban készültek el és kerültek nyilvánosságra: A jelentés típusa
2008-ban (db)
2009-ben (db)
302 646
288 219
7 430
7 297
–
3 672
5 712
5 456
–
2 901
3 524
3 384
–
1 629
Tanulói Telephelyi Telephelyi összefoglaló Iskolai Iskolai összefoglaló Fenntartói Fenntartói összefoglaló
A jelentések mellett az intézmények saját eredményeiket a FIT elemző szoftverrel is elemezhetik, amelyben elérik összes tanulójuk összes mérési adatát, és további elemzéseket készíthetnek. Megvizsgálhatják a feladatonkénti eredményeket, vagy összehasonlíthatják különböző tanulócsoportjaik (például fiúk és lányok) eredményét. A FIT-szoftverbe belépve az iskola nemcsak azoknak a tanulóknak az eredményei láthatja, akik a mérést abban az iskolában írták meg, hanem saját a tanulóinak a korábbi iskolájukban szerzett mérési eredményeihez is hozzáférnek. Így például a középiskola az eredmények nyilvánosságra kerülése után (azaz a második félév elején) megnézheti a 9. évfolyamosainak az általános iskola 8. évfolyamán szerzett mérési eredményét is. A szoftver népszerűségét mutatja, hogy az Oktatási Hivatal egy év alatt több mint 28 000 belépést regisztrált. Az OH a jelentések mellett azok értelmezését segítő leírásokat is nyilvánosságra hoz, valamint pedagógusoknak, intézményvezetőknek, fenntartóknak szervezett előadásokon és képzéseken mutatja be, hogyan lehet a jelentéseket értelmezni és felhasználni az iskola munkájának értékelésében. A mérések iskolai és tanulói adatbázisai a kutatók számár elérhetők, akik másodelemzés céljából az adatbázisokhoz ingyen hozzájuthatnak. A mérési rendszer kialakulásának története Az Országos kompetenciamérés 2001-ben indult útjára, sok eleme azonban bővült, változott az azóta eltelt csaknem 10 év folyamán. Az évek során a mért évfolyamok megváltoztak és bővültek, a központilag elemzett tanulók köre bővült, a mérés adminisztrációs rendszere szinte teljes egészében számítógépes alapokra került, a minőség-ellenőrzés teljes körűvé vált, a jelentések tartalma folyamatosan bővült, az iskolai szintű jelentések nyilvánosak és online módon elérhetők lettek, a mérési azonosító bevezetésével lehetővé vált a tanulók nyomon követése és az egyéni eredmények visszajelzése is. Az első mérés adatfelvétele még az 5. és 9. évfolyamon, a tanév első negyedévében történt, azaz az ISCED 2 és ISCED 3 iskolafokozatok bemeneti pontjain szolgáltatott adatokat. A döntéshozók deklarált célja ekkor a mérés bevezetésével az volt, hogy a tanárok értékelési kultúráját fejlesszék és a kompetenciaalapú feladatokat megismertessék, a kompetenciafejlesztést bevigyék a tanári gondolkodásba. A bemeneti pontokra tett mérés azt is sugallja, hogy a mérés bevezetői elsősorban az iskolák és a tanárok számára kívántak a tanulók fejlesztését szolgáló információkat adni. Erre utal az is, hogy a központi elemzés számára minden iskolából csak 20-20 tanuló adatait gyűjtötte be a rendszer, amelyről a tanév végéig visszajelzést adott. Így a tesztanyagok nagy része az iskolában maradt, ahol a tanárok anyagi ellenszolgáltatást kaptak a füzetek javításáért, amely kötelező volt. A rendszerben ugyanakkor már ekkor is megvolt az az elem, hogy a központilag begyűjtött füzetek adataiból minden intézmény számára objektív, az országos eredményekkel és a többi iskola eredményével összevethető jelentés készült. Ekkor a jelentések még nem voltak nyilvánosak, minden iskola csak a saját jelentését kapta meg. Így tehát az első mérést egyfajta kettősség jellemezte. Bizonyos elemek 22
már ekkor is az iskolai önértékelés objektív adatokkal támogatását szolgálták, más elemek azonban a bemeneti, fejlesztési irányvonalak kijelölését segítő szándékot jeleztek. A következő tanévben a mérés célpopulációja és időpontja megváltozott, ekkor már a 6. és 10. évfolyam tanulóit mérte a felmérés, és az időpont az iskolaév végére került. A 2003/2004 tanévben ez kiegészült a 8. évfolyammal, ekkor érte el a mérés azokat a célpopulációit, amelyekkel ma is működik. Ekkor még a központilag javított iskolánkénti 20 tanulós minta nem változott, ugyanakkor a tanárok javítási kötelezettsége és az ezzel járó anyagi juttatás a második méréstől már nem volt része a rendszernek. A központilag begyűjtött és egységes eljárásrendben javított és elemzett adatok köre először 2006ban bővült, amikor a 8. évfolyamos tanulók adatait először teljes körűen begyűjtötte és feldolgozta a mérési rendszer, a 2008-as méréstől kezdődően pedig a központi elemzés teljes körűvé vált. Az alábbi táblázat a mérés célpopulációjáról és a központi értékelésben szereplő tanulók körét foglalja össze tanévenként. Tanév 2001/2002 2002/2003 2003/2004 2004/2005 2005/2006 2006/2007 2007/2008 2008/2009 2009/2010
Évfolyam 5. és 9. évfolyam 6. és 10. évfolyam
A központi adatfeldolgozásba bevont tanulók köre Iskolánként 20-20 tanuló Iskolánként (és 10. évfolyamon képzési formánként) 20-20 tanuló 6., 8. és 10. évfolyam Iskolánként (és 10. évfolyamon képzési formánként) 20-20 tanuló A mérés finanszírozási problémák miatt elmaradt 6., 8. és 10. évfolyam 6., 8. és 10. évfolyam
6. évfolyam: 200 iskola; 8. évfolyam: teljes körű; 10. évfolyam: telephelyenként és képzési formánként 30-30 tanuló Teljes körű
A 2006/2007-es mérés után a fenti változások mellett az iskolai és fenntartói szintű jelentések nyilvánossá váltak, interneten elérhetők bárki számára. Az eredmények iskolai szintű nyilvánosságra hozását számos vita előzte meg, támogatói a közintézmények közpénzen gyűjtött adatainak közérdekű voltát, ellenzői az adatok könnyű félreértelmezhetőségét, hibás felhasználásának kockázatát hangoztatták leginkább. A nyilvánosság igényének kielégítését a kormányzat és az Oktatási Hivatal a hibás felhasználás kockázatának csökkentése érdekében úgy oldotta meg, hogy az intézményi szintű jelentéseket nyilvánosságra hozta, azokat intézményenként bárki megtekintheti, de sorrendek készítésére alkalmas adatsorokat nem tett elérhetővé. Így sorrendi táblák nehezen készíthetők, a jelentések pedig az egyszerű átlageredmények (és annak megbízhatósági tartománya – confidence interval) mellett sok egyéb adatot is közölnek, így árnyalva az intézményről mutatott képet. Emellett a jelentések értelmezését segítő útmutatók és egyéb segédanyagok hangsúlyozzák, hogy mire lehet és mire nem lehet felhasználni az adatokat. A mérési rendszer legfontosabb fejlesztési irányai A 2007/2008 tanévtől a mérési azonosító bevezetésével a tanulói szintű nyomon követhetőség is megvalósult, a 2009/2010 tanév jelentése ezért új elemekkel bővül, a tanulók kétéves fejlődésének visszajelzése is megjelenik majd a családiháttér-index és az iskola teljesítménye közötti összefüggés visszajelzése mellett. Az Országos kompetenciamérés bevezetésének pillanatától törekedett arra, hogy a tanulók eredményeit kontextusba helyezve mutassa be, ezért a jelentésben az első iskolajelentésektől kezdve megtalálható az önkéntes tanulói kérdőív adataiból számított szociális-kulturális helyzetet mérő index és a teljesítmény kapcsolatát bemutató ábracsoport. A tanulók fejlődésének nyomon követése azonban ekkor 23
még nem volt megoldható, mert országos adatbázisban a személyes adatok teljesítménymutatókkal ös�szekapcsolása a magyar alkotmányban rögzített személyiségi adatvédelmi jogokkal ütközik. Ennek a jogi akadálynak a leküzdésére vezette be a kormányzat 2008-ban a mérési azonosítót és az azt előállító online számítógépes szoftvert, amelyben az iskolák belépés után elő tudják állítani tanulóik mérési azonosítóját. A központi adatbázisban már csak a mérési azonosító jelenik meg, amely így a tanuló azonosítására nem alkalmas, ugyanakkor a különböző évek mérési eredményeinek összekötésére igen. További fontos fejlesztési irány az iskolák elemzési készségeinek fejlesztése.
Irodalom Átfogó minőségfejlesztés a közoktatásban. TÁMOP 3.1.8. Szakmai háttéranyagok. Kézirat. OFI, Budapest, 2010. Balázsi Ildikó (2010): A magyar közoktatás mérési rendszere. Kézirat. Oktatási Hivatal, Budapest. Balogh Miklós – Drahos Péter – Péteri Gábor( 2004) (szerk.:): Fenntartható-e a közoktatás? Hatékonysági szempontok érvényesítése a közoktatásban. Az Oktatáspolitikai Elemzések Központja nyilvános közpolitikai elemzése. OKI, Budapest. www.ofi.hu/Tudástár/Oktatáspolitikai elemzések. Csapó Benő (2004):A tudásvagyon újratermelése. In: Magyar Tudomány, 11. sz. 1233–1239. p. Horn Dániel – Sinka Edit (2006): A közoktatás minősége és eredményessége. In: Jelentés a magyar közoktatásról 2006. OKI, Budapest, 341–377. p. Horváth Zsuzsanna (2010): Kvalitatív szintleírások és teljesítményszintek a magyar közoktatásban. Iskolakultúra, 2010. 4–5. sz. 69–119. p. Horváth Zsuzsanna – Környei László (2003): A közoktatás minősége és eredményessége. In: Jelentés a magyar közoktatásról 2003. OKI, Budapest,. 309–348. p. Józsa Krisztián (2007): Az elsajátítási motiváció. Műszaki Kiadó, Budapest. Kőrössy Judit (2005). A tanulói énkép formálódása és a tanári értékelés kapcsolata. In: Kósa Barbara – Simon Mária (szerk.): Új vizsga – új tudás. Az új éretttségi hatása az iskolakezdéstől a záróvizsgáig. Az Országos Közoktatási Intézet zárókonferenciája. OKI, Budapest. Palotás Zoltán (2007): A közoktatás képesítési rendszerének áttekintése. Háttéranyag. OFI, Budapest. Radó Péter (2009): A szakmai elszámoltathatóság biztosítása a hazai közoktatásban. In: Új Pedagógiai Szemle, 6. sz.. The Well-being of Nations (2001): The Role of Human and Social Capital. OECD, Paris.
24
25
