Kádárné Fülöp Judit
A nemzetközi felmérések hazai felhasználása A másodelemzések lehetőségei Több mint 40 éve foglalkozom nemzetközi felmérésekkel, de ez az első olyan szeminárium, ahol az a cél, hogy megismerhessük, hogy hogyan is kell a felmérés adataival és eredményeivel dolgozni, és mire lehet azokat használni. Előadásomban arról szeretnék szólni, hogy mire használhatók és mire nem a nemzetközi eredményvizsgálatok. A nemzetközi eredményvizsgálatokat a kezdetektől fogva arra szánták, hogy a figyelmet eltereljék az oktatásügynek arról a szokásos szemléletéről, hogy „hányan vannak az oktatásügyben”. Tehát a mennyiségi adatok helyett a minőségi adatok elemzésére akarta a hangsúlyt helyezni. Hosszú út vezetett el idáig, és még most sem vagyunk a célnál, a tényeken alapuló oktatáspolitikánál. A nemzetközi mérések egy másik fontos célja, hogy a különböző országok oktatási rendszereinek jó és gyenge oldalait megismerjék, és egymással összevessék. Ennek az alapfilozófiája: hogy minden oktatási rendszer egy kísérlet, amit, ha közelebbről megnézünk, és bizonyos paraméterek mentén összehasonlítjuk őket, akkor olyan általános megállapításokat tehetünk, hogy egy oktatási rendszerben milyen oktatáspolitika az, ami jobb és milyen az, ami gyengébb eredményeket hoz létre. Ebből következően arra is választ kaphatunk, hogy milyen tényezők mentén érdemes fejleszteni az oktatást az egyes országokban. Vagyis cél, hogy az egyes országok egymástól kölcsönösen tanuljanak, a jó gyakorlatokat máshol is bevezessék. A mérések eredményei tükrében reflektáljanak a saját oktatási rendszerükre, amihez szükséges a kitekintés és az összehasonlítás. Az IEAkutatóknak kezdetben nem volt még deklarált céljuk a mérésekkel, hiszen az első lépés az volt, hogy egyáltalán lehetséges-e olyan teszteket készíteni, amelyeket minden országban egyformán lehet értelmezni. Az első sikereken felbuzdulva elég hamar eljutottak ahhoz, hogy a mérések alkalmasak lehetnek arra is, hogy trendindikátorokat képezzenek. Az első matematika-vizsgálatot 1964-ben volt, a második 1980-ban. 1970-ben volt egy „hattantárgy”
tanulmány,
amelynek
keretében
természettudomány,
olvasás,
irodalom,
állampolgári ismeretek, angol és francia idegen nyelvből voltak mérések. Ezt követően a természettudomány, az olvasás és a matematika kiemelt területe lett a nemzetközi eredményeket mérőknek, és mindhárom terület azóta is minden mérésen szerepel. Amikor nemzetközi mérésekről beszélünk, akkor alapvetően az IEA- és a PISA-vizsgálatokról van
1
szó. Van egy harmadik, egy afrikai IEA is, amit SAQMEC-nek szoktak rövidíteni, vagyis ez a három olyan nagy konzorcium van, amelyik nemzetközi iskolai eredményvizsgálatokkal foglalkozik. A mérések közös jellemzője, hogy országos szintre optimalizált mintákkal dolgozik. A méréseket lehetőleg olcsón kell megoldani, de a kiválasztott országos mintáknak olyannak kell lenniük, amelynek segítségével az ország egészére vonatkozólag elég jó becslést kaphatunk. E mellett, mivel mindenki szeretne mélyebb elemzéseket is végezni, lehetséges, hogy nem országos véletlen mintát, hanem országos rétegzett véletlen mintát válasszunk. Így, ha valamely ország azt gondolja, hogy bizonyos szegmensek között nagy különbségek vannak az adott oktatási rendszerben, azok megtehetik azt, hogy ezek között a szegmensek között is összehasonlításokat végeznek. Nálunk a településtípus és a tantervtípus a két rétegképző szempont minden vizsgálatban. Nemzetközi megegyezés alapján választják ki, hogy mi az, amit mérni akarnak. Ez nem csak a tesztekre igaz, hanem a háttérkérdőívekre is, mivel a tervezéskor eldöntik, hogy milyen típusú mutatókat akarnak kihozni a vizsgálatokból. Nagyon komolyan veszik, hogy ezek a döntések közös megegyezéssel készüljenek el. Az egyik leghosszabb időt igénybe vevő egyeztetési folyamat az, hogy ki kellett szűrni, hogy mit mérünk, és mit nem mérünk. Milyen témákban fejlesztenek kérdőívet, és milyen mutatókat akarnak ezekből megkapni. Ezt úgy oldották hogy először készült –szakirodalmi háttértanulmánya alapján – egy lista arról, hogy melyek azok a tényezők, amelyeket érdemes ezen a szinten vizsgálni, mivel a szakirodalom alapján ezek a listában szereplő mutatók az iskola minőségéhez, az oktatás minőségéhez hozzájárulnak. Ilyenek például az igazgatásnak a módja, a vezetés stílusa, a pedagógusok attitűdjei, az iskola légköre, a pedagógusok tanítási módszerei. Ez körülbelül egy 12 itemből álló sorozat volt, amelyik mindegyike egy-egy nagy indikátortémát fedett le, amelyeket nem lehet egy-két kérdéssel megvizsgálni, hanem több skálát kell készíteni hozzájuk, hogy valamilyen ésszerűen megbízható következtetést lehessen levonni belőlük. Több alkalommal megjárta a fenti lista az egyes országokat, hogy a 12 itemet állítsák sorrendbe, úgy hogy minden item 10 és 100 között kapott egy pontértéket úgy, hogy összesen 100 pontot lehetett kiosztani. Az országok rangsorait összesítették. Az első négyet (a legmagasabb pontértéket kapott négy itemet) kiválasztották, és a többi kimaradt, mert nem kapott elég támogatást. És ezt követően kezdődtek el a mérőeszközök fejlesztése. A mérés folyamatában az elkészült eszközöket először néhány országban kipróbálják, javítják, majd ezt követi a valódi mérés. A nemzetközi felmérések egyik alapvető jellemzője, 2
hogy a viszonyítás alapja az a részt vevő országok körének eredménye. Ha az eredmények trendjeit is szeretnék ismerni, mint a PISA-ban, akkor az első mérésnél rögzítik a skálát, majd ehhez viszonyítanak. Az első mérésben a mért 30 OECD-ország közül 27 részt vett, így ez a rögzített skála megfelelő volt. Azokat az OECD-országokat, akik később kapcsolódtak be, illetve a nem OECD-országokat ezekhez az először megállapított viszonyítási ponthoz mérték. Természetesen ezek a viszonyítási alapok nem örök életűek, hiszen a vizsgálatok módszertana is javul, az igények és a színvonal is változik. Ez, ha úgy tetszik, korlátozza a trendek figyelését, ugyanakkor ez egy elvárhatóan reális korlát. Az, hogy a PISA az OECDországok összességét tekintette viszonyítási keretnek, jelentős előrelépés volt az IEA mérésekhez képest, ahol a viszonyítás a részt vevő országok összességéhez történik, és ahol nagyon sok különböző kultúrájú és oktatási rendszerű ország vesz részt. Most már a PISA-ban is sokféle ország vesz részt, de azoknak az országoknak, akik nem OECD-országok (a nem fejlett országok), a viszonyítási alapja már a fejlett országok. A felmérések egyik alapvető jellemzője, hogy a kimenet, tehát az oktatás eredményessége szempontjából vizsgálódnak, és az országok közötti összehasonlítás az alapvető célkitűzésük. De ezen túlmenően és ezt egy kicsit meg is haladva, nagyon sok olyan kutatási kérdést is meg lehet válaszolni az adatok segítségével, amelyek nem függnek össze egészen közvetlenül a tanulási teljesítményekkel. Ilyen például a tanulói motiváció és annak okaira vonatkozó kérdések. Vannak a motiváció és az iskolai változók közötti összefüggések. Ez kezdettől fogva fontos, az alapítók és a konstruktőrök pedagógiai filozófiáját jellemző kérdésfeltevések voltak. Nem elégedtek meg azzal, hogy a teljesítményt mérjék, mert hittek abban, mi is hiszünk, hogy az élethosszig tartó tanulás alapja a motiváció. Hatottak a vizsgálatokra azok az egyéb nemzetközi adatgyűjtések is, amelyek során nem a tanulói teljesítményeket mérték, mint például, hogy milyen az iskolai autonómia. Az, hogy ez a kérdés bekerült a PISAvizsgálatba egy külső impulzus hatására történt. Hasonlóan, számos más kutatási eredmény hatására, bekerültek a mérésbe például a tanulói önbizalomskálák. Fontos kérdéskör az iskolai szelekció és a tanulási eredményesség összefüggésének vizsgálata is. Természetesen nem várhatunk bármilyen kérdésre választ ezekből a mérésekből. Nem lehet elvárni például, hogy olyan problémákra is választ kapjunk, amelyekkel kapcsolatban nem tettek fel kérdéseket. A kérdések kiválogatásának egyik alapvető szempontja, hogy azokról a témákról, amelyekkel kapcsolatban az oktatáspolitikus nem tud beavatkozni, nem érdemes kérdezősködni, mert azon nem tudunk változtatni. Nyilvánvaló, mivel a mérés mintavételes, 3
nem lehet olyan kérdésekre válaszolni, amelyek olyan iskolákra vonatkoznak, akik nem vettek részt a mérésben. Érdemes végiggondolni, hogy milyen típusú vizsgálatokat, másodelemzéseket lehet végezni a mérések eredményeinek segítségével. A legtriviálisabb, hogy használjuk a kész adatokat. A kész adatok többféleképpen is hozzáférhetők: meg lehet venni a nemzetközi elemzést és le lehet tölteni az összes exel-táblázatot. Megvan az összes adatbázis, elemi adatokkal. A következő, még mindig elég egyszerű lehetőség, az adatok további boncolgatása. Rétegszintű lebontása, település- és iskolatípus szerinti lebontása stb. Ehhez sem kell mást elővenni, mint a nemzetközi elemzést, ami tele van jól használható táblákkal, vagy akár magukat az exeltáblákat, amelyekbe csak egyszerűen behelyettesítjük a rétegadatokat, amit viszont az adatbázisból ki lehet szűrni. Ezzel megvizsgálhatjuk, hogy a keresett rétegek között van-e különbség. Ha nem találunk különbséget, az is információ. Például az iskolai légkör tekintetében nem lehet iskolatípusok közötti különbséget megállapítani. Vagyis a teljesítménykülönbségek nincsenek összefüggésben az iskolai légkörrel. Minden ilyen elemzés és különösen a nemzetközi jelentés alapos végigolvasása nagyon hasznos tud lenni. Miközben az ember olvassa, rengeteg ötlete támad. Néha azért, mert kicsit szeretne ellentmondani annak, aki ezt írta, vagy úgy érzi, hogy ez nálunk nem így van. Más esetekben azt gondolja, hogy nekünk van arra magyarázatunk, hogy ez miért van így. A rétegek szerinti elemzés sok érdekes jelenséget mutathat meg. Olaszországban mindig elkészítik. Kanadában tartományelemzést végeznek. Németországban tartományokra lebontva vizsgálják az adatokat. Az amerikaiak mindig elvégzik a rétegelemzéseket az egyes államokra. Az Egyesült Államokban végeznek hazai elemzéseket, de szükségük van a nemzetközi mérésekre is, hogy összevethessék például a kaliforniai tanulók eredményeit az európai tanulók eredményeivel. Mi mindig csak egy adatot kapunk az Egyesült Államokból, az a szövetségi átlag. De ami igazán érdekli őket, az az államok közötti különbség. És ki is tudják mutatni, mint ahogy mi is, hogy a szakiskolásaink Törökország szintjén, a gimnazistáink pedig Finnország átlagszintjén vannak. A 2000-es PISA első jelentésében sok olyan adat volt, ami egyszerűen a kérdésekre adott válaszok eloszlását közölte. A későbbiekben ezek egyre kevésbé kerültek bele az alapkötetekben. Az elemi kérdésekre adott elemi válaszok pedig rendkívül érdekesek, és egyéni elemzést igényelnek. Tehát érdemes visszamenni ezekhez az elemi eloszlásokhoz. Ezt 4
könnyen megtehetjük, mivel minden egyes kérdésre le lehet kérdezni az eloszlásokat, beleértve a kérdőíveket is a PISA-adatbázisból. Van egy másik lehetőség is, hogy a nemzetközi adatforrásokat együtt használjuk más adatforrásokkal. Létezik egy rendkívül jó iskolai statisztikánk, ami minden egyes iskoláról számtalan adatot tartalmaz a PISA-vizsgálat évében. Ott van továbbá a kompetenciamérés adatbázisa, ami minden évben, minden iskoláról ad teljesítményadatokat. Ehhez hozzávesszük a nemzetközi adatfelvételeket és a kérdőíveket, amelyek nyilvánosak. Tehát ezek különböző összevetésével, egy csekély munkával olyan adatbázishoz jutunk, ami egyedi, extra, a kutató saját ötletéből származik. Tesztet összeállítani nagyon nehéz, kérdőíveket még nehezebb. Tehát a nemzetközi mérésekben olyan kérdőíveket használnak, amelyeket már vagy használtak, és tökéletesnek bizonyult, vagy már használtak, csak javítanak rajta, mert az előző ciklusban egyik-másik kérdés nem működött annyira jól. Vagy külön fejlesztették erre a célra különféle feltáró kutatásokkal. Vagy pedig legalább egy országban már használták, és évek óta jól működik. A nemzetközi kérdőíveknek van még egy előnye, hogy erre vannak referenciaértékek. Ha ezeket az adatokat egy iskolában felvesszük, akkor meg tudjuk mondani, hogy annak az eredménye hogyan viszonyul az országos átlaghoz vagy az iskolatípus átlagához vagy a rétegátlagához. Tehát használatuknak kettős haszna van, az egyik, hogy nem kell újat kitalálni, a másik, hogy van hozzá referenciaérték. Nyilvánvaló, hogy amikor elkezdjük használni az adatbázist valamilyen elképzeléssel, nem lehet megkerülni azt, ami minden kutatásban elemi, hogy először ki kell tűzni egy kutatási célt, ami semmiképpen ne legyen túl tág, túl általános. Csak egy szerény vizsgálatot próbáljunk tervezni. Ha az ehhez szükséges adatokból az információforrásokban van olyan, ami már létezik, ha csak egy ilyen adat van is, akkor azt onnan kell venni, és nem kell megkérdezni. Az embernek előre kell látnia, hogy milyen mutatókat akar a vizsgálatból kihozni. Úgy szelektálja a kérdéseket, hogy semmi felesleges ne maradjon benne, és csak azok a kérdések értékesek, amiket valamilyen mutatóban fel tudunk használni, az összes többit úgy is eldobjuk. Ezeknek az adatbázisoknak a használatát minden egyéb kutatási módszerrel lehet kombinálni, beleértve
az
interjúkat.
A
háttéradatot
megtaláljuk 5
a
statisztikai
osztályon.
A
kompetenciamérésben megtaláljuk a teljesítményadatokat. Felteszünk hozzá egy-két kérdést, lehetőleg olyat, amit megtalálunk a nemzetközi adatbázisokban, így össze tudjuk vetni a referenciaértékkel. Így összességében arra spórolunk meg időt, hogy megtervezzük a kutatást, és az adatait elemezzük. Ez utóbbi, amire a legtöbb időt kell fordítani, és nem arra, hogy strigulázzuk az adatokat. Érdemes még arra is gondolni, hogy régebbi adatok is vannak különböző publikációban, elképzelhető, hogy ott is lehet olyan információkat találni, amelyeket fel lehet használni a mai kutatásokhoz.
6
Nemzetközi felmérések hazai felhasználása Másodelemzések lehetőségei Műhelykonferenciák a nemzetközi tanulói teljesítménymérések hatékony hazai felhasználása érdekében 2009. május 7. Kádárné Fülöp Judit Oktatási és Kulturális Minisztérium
I. Mire jók a nemzetközi eredményvizsgálatok?
Célok
A közvélemény számára érthető üzenetek megfogalmazása az oktatás javításáról A tények tiszteletén alapuló fejlesztő oktatáspolitika elterjesztése Az egyes oktatási rendszerek jó és kevésbé jó gyakorlatainak összehasonlítása és tanulmányozása hatékonyság szempontjából Általános következtetések levonása (Milyen oktatáspolitika működik? Milyen környezetben érvényes? Mi javítható oktatáspolitikai intézkedésekkel?) Kölcsönös tanulás Trendkövetés – az oktatáspolitika monitoringja
A nemzetközi mérések jellegzetességei
Az országos szintű becslésekre optimalizált minták Rétegspecifikus elemzések lehetősége (nálunk: tantervtípus, településtípus) Nemzetközi megegyezés alapján készült keretek és teszttervek Közös tesztek és kérdőívek A viszonyítási pont a nemzetközi átlag (nincs abszolút mérce!) Trendkövetés – az oktatáspolitika monitoringja
Milyen kérdések megválaszolásában használhatók a nemzetközi felmérések?
Milyenek az országok közötti különbségek, és mi van ezek hátterében? Milyen tanulási eredményeket érnek el a diákok (területi, szociokulturális, iskolatípus szerinti különbségek)? Mekkorák a különbségek a tanulási eredményekben, és ezek milyen háttértényezőkkel függnek össze? Milyen jellemző tanítási és tanulási stílusok mutathatók ki, s ezek hogyan függnek össze az eredményességgel? Milyen a diákok tanulási motivációja, viszonyulása az egyes tanulmányi területekhez? Milyen az iskolák légköre általában? Hogy érzik benne magukat a diákok és a tanárok? Milyen tényezők befolyásolják leginkább a tanítás hatékonyságát (nemzetközileg, illetve egy adott országban)? Melyek a jellemző akadályai, korlátai a tanítási, illetve a tanulási eredmények javításának (országosan, egy-egy régióban, rétegben)? Milyen mértékű az iskolák önállósága és ez hogyan függ össze az eredményességgel? Összefüggnek-e a szelekciós mechanizmusok az eredményességgel? Összefügg-e a tanítás eredményessége a tanulók motiváltságával? Van-e ebben szerepe az iskolának?
Mire nem tudnak válaszolni a nemzetközi eredményvizsgálatok?
Amire nem tettek fel kérdéseket Milyenek az eredmények egy adott iskolában, amelyik nem vett részt a felmérésben az országos átlaghoz képest? Mit kell tenni az eredmények javításához országos, illetve iskolai szinten?
II. Milyen kutatásokban használhatók a nemzetközi felmérések és adatbázisaik?
Milyen típusú másodelemzésekre alkalmasak a nemzetközi elemzések
Hazai adatok a nemzetközi adatok tükrében
A nemzetközi elemzésben szereplő hazai adatok további boncolgatása (réteg, iskolatípus, régió szerinti elemzések)
Forrás: Nemzetközi jelentés, adatbázis
A teljesítmény helyett más függő változó szempontjából vizsgáljuk meg az adatokat
Forrás: Nemzetközi jelentés, más publikált nemzetközi adatforrások
Forrás: Kérdőívek, nemzetközi adatbázis
Vissza az alapadatokhoz
Forrás: Kérdőívek, interaktív adatleszívás, kompendium
Nemzetközi felmérések információinak felhasználása más adatforrásokkal
Háttérkérdőívek felhasználása a kompetencia mérés adatainak kiegészítésére trendkövető vizsgálatban
Forrás: Kompetenciamérés adatbázis, nemzetközi kérdőívek
Milyenek az iskolák a teljesítményskála felső és alsó kvartilisében?
Forrás: nemzetközi vagy kompetencia adatbázis, nemzetközi kérdőívek
III. Hogyan fogjunk hozzá?
Milyen kérdésekre kell válaszolni az elemzés/vizsgálat tervezésekor?
Mit akarunk megtudni? Melyek a vizsgálat hipotézisei (előfeltevései)? Milyen információforrások állnak rendelkezésre, amelyek esetleg kiválthatják a mérést (korábbi vizsgálatok, szakirodalom)? Milyen mutatókat tervezzünk? A választott módszer alkalmas-e a hipotéziseink vizsgálatára? Mennyire általánosíthatók az eredményekből levont következtetések? Kikről szól a vizsgálat? A tanulókról? Az iskolájukról? A tanárokról? Kell-e kiegészítő adatfelvétel vagy interjú? Mennyi időbe kerül a kikérdezés a válaszolónak? Számíthatunk-e az együttműködésére?
Milyen nemzetközi adatforrások állnak rendelkezésre?
1970-71-es IEA vizsgálat publikált eredményei 1980 IEA második matematika vizsgálat? 1985 IEA SIMSS? 1991 IEA Reading Literacy Study ------------------------------------------------------------------1995 IEA TIMSS (Third International Mathematics and Science Study)? 2001,2006 IEA PIRLS 2003, 2008 TIMSS 2000, 2003, 2006, 2009 OECD PISA TALIS 2009 (2009 júliusától)
PISA hozzáférések
PISA www.PISA.OECD.org
What PISA produces
2000 2003 2006
PISA 2006 results and analysis How to obtain...
Mit találunk az OECD letölthetők között:
Download pdf file-ban a kiadványok A kötet(ek) táblázatai és ábrái excelben Adatbázisok
Kérdőívek szövege (angolul) Egy változós táblák (Compendium) Interaktív adatválogatás (csak két dimenziós, csak teljesítmény változókkal) Komplex táblák lekérdezési lehetősége saját táblaterv alapján (az ACER-en keresztül)
Az adathasználat illemszabályai
A nemzetközi forrásokból vett adatok forrására hivatkozni kell a szakirodalmi hivatkozás szabályai szerint. A nemzetközi adatbázisok használatakor a technikai leírás által megadott értelmezési keretek között kell maradni! Ha szükséges, kérjenek segítséget az Értékelési Osztálytól. A másodelemzések eredményeit, publikációit az OH, ill. az OKM gyűjti! Kérjük küldjék el, vagy legalább jelezzék, ha készült ilyen, mert ezekről időnként nemzetközi beszámolót is kérnek. A nemzetközi vizsgálatok eszközrendszerei és adatbázisai nagy értékű, köztulajdonú szellemi termékek.
KUTATÁSI ÉS OKTATÁSPOLITIKAI HASZNOSÍTÁSUK KÖZÉRDEK!
A nemzetközi adatok kihasználatlanul hevernek!
A nemzetközi vizsgálatok eszközei és adatai nagy értékű védett szellemi termékek, amiért a magyar állam nagyon sokat fizet. Jobb hasznosításuk a fenntarthatóság miatt kutatói és társadalmi érdek. Doktori disszertációk témája lehetne… Számos publikáció adatforrása lehetne… A jobb hasznosításra vonatkozó javaslatokat az OKM szívesen fogadja!
Köszönöm a figyelmet!
Köszönöm a figyelmet!
