Balázsi Ildikó
A magyar tanulók tudása nemzetközi összehasonlításban Az Oktatási Hivatalban a Közoktatási Mérési Értékelési Osztály bonyolítja a Magyarországon folyó tanulói teljesítményméréseket a szervezéstől kezdve egészen a sajtótájékoztatóig. Mi végezzük a kompetenciamérésnek a szakmai feladatait is: a tesztfüzetek összeállítását és az iskolajelentések készítését. A nemzetközi mérések elsősorban arra alkalmasak, hogy nemzetközi összehasonlításban lássuk a magyar tanulók eredményeit, és az oktatási rendszer egészére vonatkozó országos következtetéseket vonjunk le belőlük. A kompetenciamérés viszont, mivel minden iskolába eljut, és minden iskola kap róla visszajelzést, közvetlenül az iskolai munkában használható fel. A kompetenciamérés esetében a legfontosabb felhasználási területet az iskolánkénti eredmények adják, továbbá sokkal részletesebb országos jelentések készülhetnek belőle, mint a nemzetközi mérésekből. A nemzetközi mérések ugyanis csak egy mintán zajlanak (150 iskola részvételével), megyei szintű eredményeket például nem lehet az adataikból értelmezni. A kompetenciamérés (mivel teljes körű) erre is alkalmas, akár kistérségi szinten is vizsgálható az eredménye.
A nemzetközi mérések menetrendje Egy nemzetközi mérés menetrendje a következő: az első lépés – ami nem minden alkalommal ismétlődik –a megrendelői igény és a mérés céljainak meghatározása. Ebből következik minden egyéb: hogyan néz ki a tesztfüzet, valamint hogy milyen elemzéseket adnak a végén a szakemberek. Ha ez a megrendelői igény tisztázott, akkor elkezdődhet a többéves munka, amelyet három fő csoportba osztottam. Az első lépés a próbamérés, ami a feladatok kipróbálásáról, a fordításáról és a beméréséről szól minden országban. Ezt követi a fő mérés, majd a munka az értékeléssel zárul. A próbamérés A tartalmi keret A próbamérés első lépése a tartalmi keret fejlesztése és bírálata. A tartalmi keretek fejlesztése a céloknak megfelelően történik. A PISA-mérésnek és az IEA-méréseknek más a célja, és 1
ebből következően másként dolgozták ki a tartalmi kereteiket is. A tartalmi keret fejlesztése a legelső mérés előtt igen nagy munka, amely eltarthat akár egy évig vagy néha tovább is. Egyeztetik a szakemberekkel és a részt vevő országokkal is. Majd mindegyik további mérés előtt ezeket újra előveszik, átnézik, valamelyest módosítják. Nagyon azonban nem lehet, mivel trendekre vonatkozó elemzéseket csak úgy lehet végezni, ha nagyon nem változtatnak a tesztanyagokon. Feladatfejlesztés, a kérdőívek kidolgozása Ha a tartalmi keretek elkészültek, akkor következik a feladatfejlesztés, a kérdőívek kidolgozása és az első bírálata. Ebben a fázisban már a részt vevő országoknak is nagyon nagy szerepük van. A kérdőívek fejlesztésében nagyon figyelembe veszik, hogy az országok mit tartanak fontosnak. Vannak olyan opciók, amelyek azért kerülnek a kérdőívbe, mert a részt vevő országok kifejezetten kérik, illetve olyan is van, ami azért kerül ki, mert nem tartják fontosnak az országok. A feladatok fordítása Ha a feladatok elkészültek, akkor következik a fordítás és annak a többlépcsős ellenőrzése. A feladatokat általában két nyelvről (angol és francia) több fordító fordítja az egyes országok nyelvére, majd összevetik a két fordítást. Így alakul ki az a végleges forma, amit az egyes országokban megfelelőnek tartanak. A fordításnak nagyon fontos szabályai vannak, például az egyes feladatok szövegének azonos bonyolultságúnak kell lennie minden nyelven. Ha mi elkészültünk a magyar verzióval, akkor elküldjük a feladatokat ellenőrzésre, ahol megvizsgálják, hogy egyenértékűek-e az eredeti feladatokkal (a nemzetközi központ véleményezi), majd a véleményt visszaküldik nekünk. Így alakul ki a végleges változata a feladatoknak, a kérdőíveknek és az útmutatóknak is. A mintaválasztás A mintaválasztás is fontos része a folyamatnak, bár a próbamérésnél még nem törekednek reprezentatív mintára, hiszen ott a feladatokat próbálják ki, de ebben a fázisban is lényeges, hogy mindenféle iskola részt vegyen a kipróbálásban. A próbamérésben viszonylag kevesebb iskola és több tesztfüzet szokott kipróbálásra kerülni, körülbelül 40-45 iskola vesz részt benne. * A kipróbálásnál nem csak a tesztanyagot, hanem az eljárásrendet is teszteljük, tehát ugyanolyan szabályok szerint történik a felmérés, mint majd a fő mérés során. A próbamérés 2
után a feladatok javítása következik, amit mi kódolásnak hívunk, majd az adatbevitel. (A kódoláshoz is útmutatóink vannak.) A próbamérés után végezzük el azoknak az adatoknak a gyűjtését, amelyek alapján végül az elemzések készülnek. Ehhez szükséges a feladatoknak és a háttérkérdőíveknek a bírálata a próbamérés adatainak figyelembevételével. A mérés A tesztfüzetek és a háttérkérdőívek összeállítása A próbamérés eredményeinek figyelembevételével kezdődik a fő mérés tesztfüzeteinek és háttérkérdőíveknek az összeállítása. Ezt a nemzetközi központ végzi, de a nemzeti központok adatainak és véleményeinek figyelembevételével. Ebben a folyamatban ismét készülnek fordítások: a próbamérések alapján szükséges változásokat át kell vezetni a nemzeti verziókba. A mintaválasztás A mintaválasztásnál a nemzetközi központok nagyon odafigyelnek arra, hogy reprezentatív mintát válasszanak minden egyes országból. A nemzeti központoknak ebben annyi feladata van, hogy kiküldjük az iskolák listáját a tanulók létszámával. A mintát a nemzetközi központ választja. A mérés és a javítás Ezután következik az adatfelvétel (a feladatok megoldása az iskolában), s végül a kódolással és az adatbevitellel zárul ez a szakasz. A nyíltvégű feladatok javítása és az adatok rögzítése a záró lépés. Az értékelés Az értékelés fázisát az adattisztítással kezdjük, amely több hónapos folyamat. A nemzetközi központok a nemzeti központokkal szoros együttműködésben ellenőrzik az adatokat, kiszűrik a hibás értékeket, a logikailag furcsa értékeket, ezeket ellenőrizzük, visszakeressük a tesztfüzetekben. Kijavítjuk a hibákat. A hibák kijavítását az olyan változóknak a kiszámítása követi, amelyek nem közvetlenül az adatokból származnak. Ilyen a képességpont, amelynek egy viszonylag bonyolult valószínűségelméleti modell az alapja. Ez lesz az az érték, amely a tanulóknak a teszten elért eredményét, illetve a képességeiket modellezi. Ekkor történik a különböző háttérváltozók, 3
összevont mutatók kiszámítása is. A családi és a szociális háttérre képeznek mutatókat, a háttérkérdőívekben megjelenő kérdések alapján. Ezt követően elkészítik a végleges adatbázist, amit megküldenek a nemzeti központoknak. Itt még egy ellenőrzés következik, majd a sajtótájékoztatóval zárul a nemzeti központoknak és a nemzetközi központoknak az alapmunkája. A nemzeti sajtótájékoztatót általában egy nappal később vagy ugyanazon a napon tartják, mint a nemzetközi sajtótájékoztatót, és a nemzeti összefoglaló eredmény is nagyjából egy időben jelenik meg a nemzetközi jelentéssel. A mérések eredményeinek nyilvánosságra hozatala, az elemzések és a másodelemzések megjelenése különböző szakfolyóiratokban a mérések igen fontos része. * Ez a folyamat a tartalmi keret elkészítésétől az értékelésig minimum három és fél éves. A próbamérésre egy évvel a fő mérés előtt kerül sor, és azt megelőzi a feladatok fejlesztése és a tartalmi keret kidolgozása. A nemzetközi sajtótájékoztató pedig körülbelül másfél évvel az adatfelvétel után szokott megtörténni. Tehát 3-4 éves folyamat egy mérési ciklus.
A nemzetközi mérések A továbbiakban a PISA-ról, a TIMSS-ről és a PIRLS-ről beszélek. A PISA az OECD megrendelésére készül. (Az igazgatótanács magyar tagja és egyben egyik alelnöke Csapó Benő1.) A TIMSS és a PIRLS az IEA – a Nemzetközi Oktatáskutató Társaság – megrendelésével zajlik. Itt az éves közgyűlés magyar tagja Brassói Sándor2. A mérések lebonyolítását különböző nemzetközi kutatócsoportok végzik. A PISA esetében erre minden alkalommal tendert írnak ki. A 2006-os mérést az Ausztrál Oktatáskutató Társaság (ACER) és a holland CITO oktatáskutatással foglalkozó cég bonyolította le. A TIMSS-t és a PIRLS-t a Bostoni Egyetem TIMSS és PIRLS Nemzetközi Központ (Boston College TIMSS&PIRLS ISC) szervezi és bonyolítja le, ők az adott mérések nemzetközi központjai. A nemzeti lebonyolítókat nemzeti központoknak hívják, és Magyarországon ezt a feladatot mi látjuk el. A mérések különbözőségei a megrendelő szervezetekből levezethetők. Érdemes már a nemzeti felelősöknek az elnevezésére is figyelni. Míg a PISA-mérésben a nemzeti
1
Csapó Benő egyetemi tanár a Szegedi Tudományegyetem Neveléstudományi Intézetének vezetője, az MTA doktora, a Neveléstudományi Doktori Iskola, az MTA SZTE Képességkutató Csoport és az SZTE Oktatáselméleti Kutatócsoport vezetője. 2 Brassói Sándor az Oktatási és Kulturális Minisztérium Közoktatási Főosztályának főosztályvezető helyettese.
4
központokban projektmenedzser, addig a PIRLS-ben és a TIMSS-ben nemzeti kutatásvezető dolgozik. A PISA-ban inkább lebonyolító, menedzselő feladatokat látnak el a nemzeti központokban, a TIMSS és a PIRLS inkább egy kutatásbázisú feladat. A PISA-mérés Az OECD olyan indikátort szeretett volna létrehozni, amely megjeleníti az oktatás minőségét az egyes országokban, vagyis a PISA azt vizsgálja, hogy milyen az adott ország oktatásának minősége. Milyen a hamarosan a munka világába vagy az egyetemekre belépő 15-éves tanulóknak a tudása? Hogyan tudják ezt a tudást alkalmazni? Képesek-e megfelelni a társadalmi és a gazdasági kihívásoknak? Éppen ezért a PISA nem tantervi tartalmakat mér, hanem alkalmazásképes tudást. És ez minden feladatában érződik is. A PISA a 15-évesek szövegértését, matematikatudását és a természettudományos tudását méri. Azért őket, mert ők még minden OECD-országban a kötelező beiskolázás tanulói. A legtöbb 15-éves tanuló ezekben az országokban a közoktatásban található. Háromévente méri ezeknek a tanulóknak a tudását, de minden ciklusban más az, ami hangsúlyosabban megjelenik. Az első PISA-mérésben (2000) a szövegértés volt ez a terület, majd a matematika (2003), utána a természettudomány (2006) és most, 2009-ben ismét a szövegértés. Minden mérési ciklusban igyekeznek valami újat is kipróbálni és újat mérni a kutatók. 2003ban a problémamegoldó képesség volt ez az új terület, 2006-ban egy számítógépes természettudomány-vizsgálatot végeztek. De ez utóbbi összesen három országban sikerült, mert a megvalósításához laptopok kellettek, és egy viszonylag bonyolult eljárásrendet kellett követniük az országoknak. Majd ezt fejlesztették tovább 2009-re, ahol elektronikus szövegértés mérése történt opcionálisan (tehát ebben nem kötelező részt venni az országoknak). A 2009-es elektronikus szövegértés mérésében viszonylag sok ország (22) részt vett, közöttük Magyarország is. Az elektronikus szövegértés nem egyszerűen szövegértés a számítógép előtt. Ennek a mérésnek egy számítógépes környezetben való eligazodás is része. Például e-maileket kell olvasniuk a tanulóknak, fórumokhoz kell hozzászólniuk. Egyszóval ez a fajta mérés komplexebb, más típusú szövegértést mér, mint a papíralapú mérés. Hiperlinkes, több honlapon való eligazodást és egyéb készségeket is igényel, nem csak a szövegek értését. A 2009-es mérés nemrég fejeződött be, most a kódolás végén tartunk.
5
A PISA, ezeknek a számítógépes kísérleteknek az ellenére, nagyrészt papíralapú mérés. Mindig felmerül, hogy esetleg nagyobb részben támaszkodjanak a számítógépes felmérésekre, de a papíralapú mérés az viszonylag stabil alapnak tűnik. Ezen nem akarnak változtatni, annál is inkább, mert akkor a trend-elemzések lehetőségét veszélyeztetik. A felmérés papíralapú része 2 óra, négyszer 30 perces tagolásban. Mindig arról a területről van a legtöbb feladat, ami éppen hangsúlyosabban szerepel az adott évben. 2006-ban, amikor a természettudomány volt hangsúlyosabb, akkor attitűdkérdések is szerepeltek magában a tesztfüzetben is, tehát a feladatok kapcsán is megkérdezték a tanulókat arról, hogy fontosnak tartják-e az adott területet, érdekli-e őket. E mellett a felmérés tartalmazott egy 20-30 perces tanulói háttérkérdőívet is, ami a családi háttérre, a tanulók informatikai ellátottságára, ambícióira kérdezett rá. A háttérkérdőívek között iskolai és szülői kérdőív is van. Volt olyan szándék, hogy tanári kérdőív is legyen, de ez a PISA esetében nem könnyű, hiszen a mérés nem tantárgyak szerinti, hanem tantárgyközi kompetenciákat mér. E mellett nem osztályalapú a kiválasztás, hanem minden olyan iskolából, amely bekerült a mintába véletlenszerűen 35 15-éves tanulót választanak ki, és az sem egyértelmű, hogy a tanulók melyik tanárának kellene kitöltenie a tanári kérdőívet. Minden ciklusban felmerül a tanári kérdőív lehetősége, de a megvalósítás problémái akkorák a nyerhető információhoz viszonyítva, hogy végül soha nem vállalkoznak rá. Mintán végzik a felmérést. 150 iskola, iskolánként 35 tanuló kerül kiválasztásra, irányított véletlen mintavétellel. Régiónként és iskolatípusonként kontrollált mintavétellel igyekeznek arra, hogy biztosan valid eredményeket kapjanak. Az IEA által megrendelt mérések A TIMSS- és a PIRLS-mérések esetében az IEA a megrendelő. Ezek a mérések szintén mintán történő felméréssorozatok. Nem három, hanem négy- és ötéves ciklusokban dolgoznak. A felmért területek hasonlóak, a különbség annyi, hogy ezeknél a méréseknél a tartalmi kidolgozást alapos tantervelemzés előzi meg, és a méréseket úgy dolgozzák ki, hogy a tartalmi keretek ezeknek a tantervelemzéseknek az alapján készültek. A feladatok is sokkal inkább megfelelnek a tanterveknek. Érzékelhető a különbség a PISA- és a TIMSS-mérés feladatai között, de még inkább a PIRLS és a PISA között. Ez utóbbi kettő több területen is különbözik, mivel azonban a PIRLS a negyedik évfolyamosokat méri, az életkorbeli különbségek is nagyok. 6
A TIMSS a matematikai és a természettudományi területet méri, negyedik és nyolcadik évfolyamon történik az adatfelvétel. A PIRLS a negyedik évfolyamos tanulók szövegértését teszteli. A TIMSS négyévente zajlik, 1995-től kezdődően, a PIRLS ötévente és 2001-ben kezdődött. Mindkét mérés papíralapú. Mindkettő valamivel rövidebb időtartamú, mint a PISA. A negyedik évfolyamon a TIMSS kétszer 35 perces, a PIRLS kétszer 45 perces munkát jelent. A nyolcadik évfolyamon a TIMSS kétszer 40 perc. A tesztfüzetek kitöltését követi egy tanulói háttérkérdőív Ezeknél a méréseknél több kérdés vonatkozik a felmért tantárgyak tanulására. A tanulóktól többet kérdeznek arról, hogy hogyan tanulják a matematikát, a természettudományt, az olvasást. Iskolai, tanári és szülői kérdőívek is csatlakoznak a méréshez. Az IEA felméréseknél a tanári kérdőív nagyon fontos része a felmérésnek a kezdetektől.
Hazánkban
körülbelül
4000-5000
gyerek
vesz
részt
a
mérésekben
évfolyamonként. A mintavétel annyiban különbözik a PISA mintavételétől, hogy itt a kiválasztott iskolákból egy-egy teljes osztályt választanak ki. A nemzetközi mérések további jellemzői A részt vevő országok köre egyre bővül mindhárom mérésben. A PISA 2006-os vizsgálatában mintegy 60 ország vett részt. Az összes (30) OECD-ország és nagyon sok partnerország csatlakozott. Láthatóan a csatlakozók köre egyre bővül, a 2009-es vizsgálatban még többen vesznek részt. Mivel OECD megrendelésre készül a felmérés, ezért a PISA-vizsgálatban mindig az OECD-országok adják a kiindulási pontot. A döntéshozó testületben a partnerországoknak véleményezési joguk van, de a döntéseket az OECD-országok képviselői hozzák. A TIMSS felméréseiben részt vevő országok esetében is hosszú a lista. A TIMSS és a PIRLS esetében a különböző döntéseket a részt vevő országok hozzák, egyenlő súllyal szerepel mindenki a döntések meghozatalánál és az értékelésnél is. Több a fejlődő ország a TIMSS- és a PIRLS-vizsgálatokban, a PISA-vizsgálatban a fejlett országok adják a bázist. A PISA-ban az OECD-országok tanulói teljesítményátlagához viszonyítják az egyes országok teljesítményét. Ebben a felmérésben az OECD-országok eredménye a fontos, és a partnerországok is ehhez tudják mérni magukat. A TIMSS-ben és a PIRLS-ben viszont a 7
mérésben részt vevő valamennyi ország eredménye az, ami a nemzetközi skálát adja. Ezt általában 500 pontban rögzítik az első mérés során, a szórás pedig 100 pont. Ezek a mérések normatív mérések, tehát a nemzetközi átlaghoz viszonyíthatjuk az egyes eredményeket, de az nincs meghatározva, hogy mit jelent az a tudás, amit a nemzetközi átlag takar. Így az értelmezhetőség segítésére alakították ki a teljesítményszinteket. A teljesítményszintek kialakítására többféle módszer is létezik. A módszerektől függetlenül azonban az a lényeg, hogy felosztják a teljesítményskálát intervallumokra, és meghatározzák, hogy melyik intervallumban mit tudnak a tanulók. Mi az, amit képesek megoldani, és mi az, amit nem.
A magyar tanulók eredményei A 2006-os PISA-mérés természettudományos eredményei A 2006-os PISA-vizsgálaton a magyar diákok természettudományos eredménye 504 pontos volt. Ez az OECD-országok átlagával megegyező. Fontos megjegyezni, hogy az egyes felmérések eredményei esetében nem adhatjuk meg az országok eredményeinek pontos sorrendjét, mivel hibával mérünk. Tehát azt állapíthatjuk meg csupán, hogy melyek azok az országok, amelyek nálunk jobban teljesítettek, melyek azok, amelyek hozzánk hasonlóan, és melyek azok, amelyek statisztikailag kimutatható módon gyengébben. De nincs sorrend, hanem teljesítménytartományok vannak. A 2006-os PISA-mérésben a természettudomány terén Magyarország az OEDC-országok között a 13-17 helyet érte el, tehát egyértelműen a középmezőnybe került a 30 országból. Az összes részt vevő országot tekintve pedig a 19-23 helyezést érte el. Tehát csak ennyire lehet pontosan megmondani, hogy milyen eredményt értek el a magyar tanulók átlagosan. Ugyanezen a mérésen a legjobb teljesítményt elért országok: Finnország, a távol-keleti országok, Kanada és Észtország. Az eredmények értékelésének egy másik megközelítése a képességszintek szerinti megoszlás elemzése. Itt a szerint vannak sorrendbe rendezve az országok, hogy a tanulók hány százaléka teljesített a kettes szint alatt. A legalacsonyabb százalékos értékkel megjelenő ország érte el így a legjobb eredményt. Itt szintén Finnország, Hong-Kong, Észtország szerepelnek az első helyen. Hasonló a sorrend, mint amikor az átlageredmények szerint rendezzük az országokat, de azért egy kicsit különbözik attól. Magyarország előrébb szerepel, mint az átlageredményes skálán. Ez azért van, mert a magyar tanulók viszonylag homogén eredményt értek el, vagyis 8
kicsi a szórása a magyar tanulók eredményeinek. Ezért mind a leggyengébben, mind a legjobban teljesítő tanulók között kevesebben vannak a magyar tanulók. A nagy többség a többi képességszinten található. Vannak persze nagyon jók és nagyon gyengék nálunk is, de nem annyi, mint egy tipikus OECD-országban. Ez a tapasztalat egyébként az összes felmért területen és az összes évfolyamon. Minden mérésben látszik, hogy a magyar tanulók szórása a nemzetközi áltag alatti, tehát viszonylag stabilan teljesítenek. A mérések jelentései az egyes tudásterületekre is, illetve a különböző kompetenciaterületekre is közölnek részeredményeket. A természettudományos PISA-vizsgálatban négy tartalmi területet és három kompetenciaterületet különböztettek meg. A magyar tanulók a fizikai rendszereken teljesítettek a legjobban, abban egészen jó eredményt értek el, és a leggyengébb volt a teljesítményük a megismeréssel kapcsolatos rendszerek területén. Ebben a részben a tudományos vizsgálatok módszereiről alkotott ismeretekhez kapcsolódó kérdések szerepeltek. A kompetenciaterületek közül a magyar tanulók a jelenségek természettudományi magyarázatában jeleskedtek leginkább. A legjobb eredményt elért országok esetén többnyire a természettudományi
bizonyítékok
alkalmazása
kompetenciaterület
eredményei
a
legmagasabbak. A 2006-os PISA-mérés szövegértési eredményei Ha a 2006-os PISA-jelentésből a szövegértés eredményeit tekintjük, látható, hogy 482 ponttal szerepeltünk, ami szignifikánsan az OECD-átlag alatt van, amely 2000 óta szignifikánsan csökkent, 500 pontról 492 pontra. 2006-ban a szövegértésben a 29 ország közül a 17-22 helyet szerezte meg Magyarország. A részterületek eredményei itt kevésbé különböznek egymástól, mint a természettudománynál. A 2006-os PISA-mérés matematika eredményei Matematikából a magyar tanulók átlageredménye 491 pont volt, ez a 18-23 helyet jelenti az OECD-országok között. Ha a tudásterületeket külön-külön megnézzük, akkor láthatjuk, hogy a legjobb eredményt a mennyiségek, változások és összefüggések részterületen érték el a magyar tanulók, a leggyengébbet pedig a tér és alakzatok területen. A 2007-es TIMSS eredmények A magyar negyedik évfolyamosok matematikából az átlag fölött teljesítettek, 510 pontos eredménnyel. 13 ország teljesített ennél az eredménynél jelentősen jobban. A nyolcadik évfolyamos tanulók esetében matematikából Magyarország nagyon előkelő helyet foglal el, 9
mindössze öt ország előz meg bennünket. 517 ponttal egy jól teljesítő csoport elején vagyunk. Előttünk csupán távol-keleti országok találhatók. Ha az elkülönített részterületek eredményeit nézzük, ezekben sincsenek nagyon nagy különbségek, stabil eredményt látunk. Talán egyedül az adat és a valószínűség című részterület nyolcadik évfolyamos eredménye az, ami kiemelkedően jó. A természettudomány eredményei hasonlóan jónak mondhatók. Mindkét korcsoportban a skálaátlag fölött teljesítünk. 536 pontot értünk el a negyedik évfolyamon, és öt ország eredménye volt jobb ennél. A természettudományban negyedik évfolyamon szintén a távolkeleti országok, valamint Oroszország előz meg minket. A nyolcadikosoknál négy ország teljesített nálunk jelentősen jobban. A magyar tanulók teljesítményátlaga 539 pont volt. A részterületeket tekintve a negyedik évfolyamon az élővilág sikerült kiemelkedően, a nyolcadik évfolyamon pedig a fizika az, ami a legjobban ment. A kompetenciaterületeket ebben a mérésben az ismeret, alkalmazás, értelmezés területeire bontják. A negyedikesek az alkalmazás területén érték el a legjobb eredményt, a nyolcadikosok viszont már az ismeretek előhívásában voltak a legjobbak. A 2007-es PIRLS eredmények A PIRLS-mérésben is nagyon jó eredményt értek el a magyar tanulók. Mindössze négy résztvevő előzte meg Magyarországot, 551 ponttal előkelő helyen szerepelnek tanulóink. A PIRLS-mérésben két kategóriába osztották azokat a szövegeket, amelyekkel a tanulók találkoztak. Az egyik csoportba az információszerző szövegek tartoztak, amelyek inkább magyarázó, a tankönyvi szövegekre jobban hasonlító szövegek voltak, a másik csoportot az élményszerző szövegek alkották, amelyek alapvetően irodalmi jellegű szövegek. Ha ezeken a területeken vizsgáljuk az eredményeket, akkor láthatjuk, hogy az élményszerző szövegek esetében teljesítettek jobban a tanulóink, de az információszerző szövegeken elért eredményünk is nagyon jó. Ez utóbbi kategóriában is kevés olyan ország volt, akik jobban teljesítettek. A magyar tanulók eredményeinek változásai az egyes méréseken Ha a trendeket vizsgáljuk, akkor megállapíthatjuk, hogy a PISA-mérésekben nem történt változás az egyes években, az 1-2 pontos különbségek, amelyek a szövegértés és a matematika területén láthatók, nem jelentősek. Nem csak az átlageredmény az, ami mindig ugyanaz, de semmilyen más téren nem mutatkozott elmozdulás. Ezt a tendenciát nem 10
mondhatjuk el a TIMSS- és a PIRLS-mérések esetében. Ott láthatunk elmozdulásokat. A TIMSS-nél már egy viszonylag hosszú adatsort hasonlíthatunk össze. Matematikából 2003ban volt a negyedik évfolyamon egy kiugróan jó eredmény, ehhez képest 19 ponttal kevesebb a 2007-es eredmény, de a '95-ös kiinduló eredményhez képest is 12 pontos a csökkenés. Bár ez a változás nem túl nagy, de azért kimutatható. Nyolcadik évfolyamon pedig a kezdeti 527 ponthoz képest 10 ponttal csökkent az eredmény, és itt is volt némi ingadozás. A természettudomány esetében a negyedik évfolyamon javult az eredmény, különösen a '95-ös adatokhoz képest. A nyolcadik évfolyamon pedig a kezdeti eredményhez képest nem volt változás. A PIRLS-vizsgálatban a 2001-es eredményhez képest 2006-ban 8 pontos növekedés volt, ami szintén nem mondható jelentősnek, de statisztikailag szignifikáns változás. A mérések eredményeinek összehasonlító elemzése Látható, hogy a PISA-mérésben mindig a középmezőnyben teljesítünk, ugyanakkor a TIMSSben és a PIRLS-ben rendre jó eredményt érnek el a magyar tanulók, alig van olyan ország, akik nálunk jobb eredményt értek el. Joggal merül fel a kérdés, mi ennek az oka. A mérések között lényeges különbségek vannak. A PISA és a TIMSS esetében két műveltségi terület (matematika, természettudomány) megegyezik, de más a mért korosztály. A TIMSS nyolcadik évfolyamos tanulókat mér, akik zömmel 14-évesek, és vannak közöttük 15-, illetve 13-évesek is. A PISA 15-éves tanulókat mér, akik a 9.-10. évfolyamon találhatók, de vannak még valamennyien a 8. évfolyamon is, és a 7. évfolyamon is megmérjük az ott tanuló 15-éveseket. Mint azt már jeleztük, a különböző megrendelők és a különböző mérési célokból következően más a tartalmuk az egyes felméréseknek. Tehát a TIMSS tantárgy közeli, tantervalapú mérés, a PISA pedig az alkalmazásképes tudást méri. Más a résztvevő országok köre is. 25 olyan ország van, ez azért nem olyan kevés, akik mind a két mérésben részt vettek. De a PISA felmérésben az OECD-országok átlagához viszonyítunk, és OECD-országból azért kevesebb olyan van, amely mind a két felmérésben részt vett. A TIMSS-ben pedig a '95-ös részt vevő országok eredményéhez viszonyítunk, tehát mást jelent az 500 pont a PISA felmérésnél és a TIMSS felmérésnél. Ha a két matematikamérésben csak a közös országok (25 ország) eredményét tekintjük, akkor egy ilyen ábra adódik.
11
A PISA 2006 és a TIMSS 2007 eredményeinek összehasonlítása matematikából
TIMSS 2007 - a 8. évfolyamos tanulók átlageredménye
680
Korea Tajvan Japán
Hongkong
Magyarország Oroszország Szlovénia Egy. Áll. Cseho. Litvánia Ausztrália Szerbia Olaszo. Svéd o. Románia Izrael Norvégia Thaiföld Bulgária Törö kország Jordánia Tunézia
480
Indonézia Kolumbia Katar 280 270
459
648
PISA 2006 - a tizenöt éves tanulók átlageredménye A 25 ország átlageredményének az átlaga feleltethető meg egymásnak a két mérésnél. Ez 459 pont a PISA-nál, és a 480 pont a TIMSS-nél. Ha ehhez viszonyítjuk Magyarország eredményeit, akkor láthatjuk, hogy azok között az országok között vagyunk, amelyek a 459 pontos PISA-átlagnál és a 480 pontos TIMMS-átlagnál jobb eredményt értek el. Általánosságban is igaz, hogy aki jobb eredményt ért el a PISA-ban, az jobb eredményt ért el a TIMSS-ben is és fordítva. Vannak olyan országok, akik esetében nem igaz a fenti összefüggés, például Ausztráliában a PISA sokkal jobban sikerült, mint a TIMSS. De az országok nagy része, köztük Magyarország is az átló mentén helyezkedik el. Az országok nagyjából annyival teljesítettek e fölött a közös átlag fölött a PISA-mérésben, mint a TIMSSben. Tehát ez a két eredmény valójában nem is különbözik annyira, mint ahogy az az első ránézésre tűnik.
12
Ettől függetlenül az is igaz, hogy másképpen méri a tanulók matematika- és természettudomány-tudását a két mérés. De ha finomítjuk az összehasonlítást, akkor látható, hogy valójában az eredmények nem különböznek annyira, mint amennyire gondolnánk. Vannak országok, amelyek lényegesen jobban teljesítenek az egyik vagy a másik területen, de Magyarország nem ezek közé az országok közé tartozik. Hasonlítsuk össze a PIRLS- és a PISA-vizsgálatokat is. A két mérés között ebben az esetben is vannak jelentős különbségek. A PIRLS-ben a 4. évfolyamos tanulókat mérjük, a PISA-ban pedig a 15-éveseket. A 4. osztályosok az olvasás tanításában még találkoznak olyan jellegű feladatokkal, mint amit a PIRLS mér. A PISA-feladatok ugyanakkor teljesen újszerűek a tanulóknak. Sokkal több feladatban fordul elő a nem folyamatos szöveg, a táblázat, az összesítés, amihez hasonlókkal ők az iskolában többnyire nem foglalkoznak. A részt vevő országok köre ez esetben is más. Mint már láttuk, az eredmények is különböznek. De ha az előzőekhez hasonlóan vetjük össze a két mérés eredményeit, akkor láthatjuk, hogy ez esetben sem olyan nagyok a különbségek, mint azt elsőre gondolnánk. Magyarország azoknak az országoknak a körében van, amelyek a közös országok átlaga fölött teljesítettek mind a PISAban, mind pedig a PIRLS-ben. Ugyanakkor a PIRLS-ben akkor is valamivel jobban teljesít Magyarország, hogyha csak a közös országok átlagát nézzük, és ahhoz viszonyítunk. * Mindegyik mérésben látható, hogy a magyar oktatási rendszerben a családi háttér és a tanulói teljesítmény közötti kapcsolat erős. A PISA jelentéseiben foglalkoznak ezzel a kérdéskörrel, ott vizsgálják és fejtik ki leginkább. A másik, ami a PISA-vizsgálatokból egyértelműen kiolvasható, hogy az egyes iskolák között nagyok a különbségek. A tanulók viszonylag homogén csoportokban tanulnak egy-egy iskolán belül, de az iskolák között sokkal nagyobbak a különbségek, mint más országokban. Ezek a különbségek nem csak a teljesítmény mentén jelentkeznek, hanem a családi háttér mentén is. Viszonylag homogén családi hátterű tanulók tanulnak egy-egy iskolában, és a különbségek az iskolák között jelentkeznek. Ez a jelenség valamilyen mértekben minden országban megjelenik, de Magyarországon nagyon erősen. Érdekes vizsgálati terület a tanárok neme és életkora. Látható, hogy Magyarországon sokkal több az alsósoknál is és a felsőbb évfolyamokon is a női tanár, mint a nemzetközi viszonylatban. Különösen a 8. évfolyamon nagy a különbség. A 4. évfolyamon nemzetközi szinten mindenhol igaz, hogy kb. a tanítók 80%-a nő, Magyarországon ez az arány 95-97%. A 13
8. évfolyamon nemzetközi szinten 57-59% a női tanárok aránya. Magyarországon 76-80%. Ha a tanárok életkori megoszlását tekintjük látható, hogy nemzetközi szinten 40 évnél idősebbek tanítják a diákoknak a 48-55 %-át. Magyarországon a tanulók 72-76%-át, a tanulók háromnegyedét 40 évnél idősebb tanár tanítja. Érdekes még az óraszámok összehasonlító elemzése. Magyarországon alacsonyak a matematika és a természettudomány tantárgyak óraszámai. A 4. évfolyamon matematikából a nemzetközi átlag 144 óra, nálunk ez 110 óra. A 8. évfolyamon 120 óra és 99 óra ez az arány. Természettudományból hasonló a helyzet. Bár itt a 8. évfolyamon az összehasonlítás nem annyira egyszerű. Vannak országok, amelyek integráltan tanítják a természettudományt, ők ezekben az átlagokban nem jelennek meg. Azokban az országokban összességében alacsonyabb az óraszám természettudományból, mint a tantárgyanként tanító országokban. Lehet, hogy az a tanítási módszer hatékonyabb, és nincs szükség olyan magas óraszámokra, de ilyen módon ez az összehasonlítás nem végezhető el. Tehát az önálló tantárgyakat tanító országokhoz viszonyítva a természettudományban is alacsonyabb a magyar óraszám, mint a nemzetközi átlag. Végül
kiragadtam
a
sokféle
háttéradatból
a
PIRLS-vizsgálatok
alapján
megtett
megállapításokat az olvasási szokásokról. Sok kérdés szerepelt arra vonatkozóan, hogy a tanulók és a szüleik mennyit és hogyan olvasnak, és milyen az olvasáshoz való viszonyuk. Ebből azt látható, hogy a magyar tanulók többet olvasnak, mint a nemzetközi átlag. A szülők viszont kevesebbet olvastak 2006-ban, mint 2001-ben, ebben csökkenő tendenciát találtunk. És bár kiemelkedően teljesítettek a tanulóink a PIRLS-vizsgálat szövegértés tesztjében, az olvasás iránti attitűdjük és az olvasói önképük csak a nemzetközi átlag szintjén van, tehát nem olyan magabiztosak, mint amennyire azt az eredményeik indokolnák. Sok további eredmény megtalálható a honlapokon, minden olyan dokumentum, ami alapján az eredményeket értékelni, értelmezni lehet, és a nemzetközi eredmények is letölthetők.
14
A magyar tanulók tudása nemzetközi összehasonlításban Balázsi Ildikó Oktatási Hivatal Közoktatási Mérési Értékelési Osztály
A KMÉO feladatai Nemzetközi tanulói teljesítménymérések magyarországi szervezése és teljes körű lebonyolítása • PISA ‐ Programme for International Students Assessment • TIMSS ‐ Trends in International Mathematic and Science Study • PIRLS ‐ Progress in International Reading Literacy Study A kompetenciamérés szakmai szervezése • A tesztanyag kidolgozása • Eljárásrend kidolgozása • Az eredmények feldolgozása és visszajelzése
Nemzetközi mérések lebonyolításának fázisai
• Megrendelői igény, a mérés céljai • Próbamérés • Főmérés • Értékelés
Próbamérés • Tartalmi keret fejlesztése és bírálata • Feladatfejlesztés, kérdőívfejlesztés, valamint a feladatok és kérdőívek első bírálata • Fordítás és a fordítás többlépcsős ellenőrzése • Mintaválasztás • Próbamérés • Kódolás és adatbevitel
Főmérés • A feladatok és háttérkérdőívek második bírálata a próbamérés eredményeinek figyelembevételével • A főmérés tesztfüzeteinek és háttérkérdőíveinek összeállítása • A feladatokban, háttérkérdőívekben és kódolási útmutatókban történt változások implementációjának ellenőrzése • Mintaválasztás • Főmérés • Kódolás és adatbevitel
Értékelés Adattisztítás Képességpontok és háttérmutatók képzése A végleges adatbázis elkészítése A nemzetközi kötet publikációja és a sajtótájékoztató • Nemzeti jelentések és nemzeti sajtótájékoztatók • A mérés eredményeinek nyilvánossága • Másodelemzések • • • •
A nemzetközi mérések szervezeti felépítése • Megrendelő és a felmérés felelőse:
– PISA: OECD Titkárság, Irányító testület: PISA Governing Board, magyar tag: Csapó Benő – TIMSS és PIRLS: IEA – Nemzetközi Oktatáskutató Társaság, IEA General Assembly magyar tagja Brassói Sándor
• Nemzetközi lebonyolítók:
– PISA: Core A (ACER) és Core B (CITO) Konzorcium – TIMSS és PIRLS: Bostoni Egyetem
• Nemzeti lebonyolítók: Nemzeti Központok, Magyarországon a KMÉO – PISA: Nemzeti Projekt Managerek – TIMSS és PIRLS: Nemzeti Kutatásvezetők
Megrendelő, célok ‐ PISA • A PISA az OECD (Organization for Economic Cooperation and Development) megbízásából készülő monitorozó jellegű felmérés-sorozat • Az oktatás minősége, a 15 éves tanulók tudása az ország jövőbeni társadalmának és gazdaságának indikátora • A PISA nem tantervi tartalmakat mér, hanem alkalmazásképes tudást
A PISA‐vizsgálat alapjellemzői Programme for International Students Assessment
Mért terület: Szövegértés, matematika, természettudomány Korosztály: 15 év Mérési ciklus: 3 évente - 2000 óta Alkalmanként mindhárom terület, de egyik hangsúlyos PISA 2000 szövegértés PISA 2003 matematika PISA 2006 természettudomány PISA 2009 szövegértés Egyéb, tantárgyközi(bb) mérési területek: 2003: problémamegoldó készség 2006: CBAS (Computer-based Assessment of Science) 2009: ERA (Electronic Reading Assessment)
A teszt technikai jellegzetességei • A megírandó teszt : Nagyrészt papíralapú mérés 2 óra, a felmért műveltségi területtel kapcsolatos feladatok és attitűd-kérdések 20-30 perc tanulói háttérkérdőív (családi háttér, informatikai ellátottság, ambíciók)
• Iskolai és szülői kérdőív (szándék: tanári is) • Minta: legalább 150 iskola, iskolánként 35 tanuló véletlen
mintavétellel
Megrendelő, célok – TIMSS, PIRLS • Az IEA (International Association for the Evaluation of Educational Achievement) megbízásából készülő monitorozó jellegű felmérés-sorozat • A matematika, természettudomány és olvasásszövegértés oktatás fejlesztése érdekében szolgáltat összehasonlító adatokat • Alapos tantervelemzés előzi meg, a részt vevő országok tanterveinek alapján készülnek
A TIMSS- és a PIRLS-mérés jellemzői • Mért terület: – matematika és természettudomány (TIMSS), – szövegértés (PIRLS)
• Korosztály: – 4. és 8. évfolyam – 4. évfolyam
• Mérési ciklus: – 4 évente - 1995‐től, – 5 évente - 2001‐től
A tesztek technikai jellegzetességei • A megírandó teszt : Papíralapú mérés 2*35, 2*40, illetve 2*45 perc tesztírás 20-30 perc tanulói háttérkérdőív (családi háttér, ambíciók, a felmért tantárgy tanulása)
• Iskolai, tanári és szülői kérdőív • Minta: legalább 150 iskola, iskolánként egy osztály véletlen
mintavétellel
Részt vevő országok PISA 2006
Részt vevő országok TIMSS 2007
Részt vevő országok – PIRLS 2006
Eredmények • Az első mérés során rögzítik a skálát: – Skálaátlag 500 pont • PISA: az OECD országok átlaga • TIMSS és PIRLS: valamennyi részt vevő ország átlaga
– Szórás 100 pont
• „Normatív” mérések • Teljesítményszintek
Eredmények
T E R M É S Z E T T U D O M Á N Y
A diákok képességszint szerinti megoszlása: természettudomány 2006
A természettudományi tudásterületeken és kompetenciák terén elért eredmények Mérési részterület
A magyar diákok átlageredménye
A Föld és a világegyetem
512 pont
Élő rendszerek
509 pont
Fizikai rendszerek
533 pont
Megismeréssel kapcsolatos ismeretek
492 pont
Kompetencia
A magyar diákok átlageredménye
Természettudomá- 483 pont nyi problémák felismerése Jelenségek természettudományi magyarázata
518 pont
Természettudomá- 497 pont nyi bizonyítékok alkalmazása
S Z Ö V E G É R T É S
A szövegértés műveleti területeken elért eredmények (PISA 2000) Mérési részterület
A magyar diákok átlageredménye
Információvisszakeresés
478 pont
Értelmezés
480 pont
Reflexió és értékelés
481 pont
M A T E M A T I K A
A matematika tudásterületeken elért eredmények (PISA 2003) Mérési részterület
A magyar diákok átlageredménye
Tér és alakzatok 479 pont Változások és összefüggések
495 pont
Mennyiségek
496 pont
Bizonytalanság
489 pont
A három mérési terület OECD‐átlaghoz viszonyított eredményei országonként
Eredmények TIMSS 2007 MATEMATIKA
4. évfolyam
Eredmények TIMSS 2007 MATEMATIKA
8. évfolyam
A matematika részterületein elért eredmények 4. évfolyam Mérési A magyar diákok részterület átlag-eredménye Számok 510 pont Geometriai alakzatok és mérés Adatábrázolás
510 pont
Adat és 524 pont valószínűség
504 pont
Mérési részterület
8. évfolyam Mérési A magyar diákok részterület átlag-eredménye Számok 517 pont Algebra 503 pont Geometria 508 pont
A magyar diákok A magyar diákok átlageredménye átlageredménye 4. évfolyam 8. évfolyam
Ismeret Alkalmazás
507 pont 511 pont
513 pont 518 pont
Értelmezés
509 pont
513 pont
Eredmények TIMSS 2007 TERMÉSZETTUDOMÁNY
4. évfolyam
Eredmények TIMSS 2007 TERMÉSZETTUDOMÁNY
8. évfolyam
A természettudomány részterületein elért eredmények 4. évfolyam Mérési A magyar diákok részterület átlageredménye
Élő világ
548 pont
8. évfolyam Mérési A magyar diákok részterület átlageredménye 534 pont Biológia
Fizikai világ
529 pont
Kémia
536 pont
Fizika
541 pont
Földtudomány
531 pont
Földtudomány
517 pont
Mérési részterület
A magyar diákok A magyar diákok átlageredménye átlageredménye 4. évfolyam 8. évfolyam
Ismeret Alkalmazás
531 pont 540 pont
549 pont 524 pont
Értelmezés
529 pont
530 pont
Eredmények PIRLS 2006 SZÖVEGÉRTÉS
A szövegértés részterületekein elért eredmények Mérési részterület
A magyar diákok átlageredménye
Információszerző 541 pont szövegek Élményszerző szövegek
557 pont
Mérési részterület
A magyar diákok átlageredménye
Információ544 pont visszakeresés és egyenes következtetések Értelmezés, 554 pont összefoglalás és értékelés
Trendek
A PISA 2000, 2003 és 2006 eredményeinek összehasonlítása: vannak‐e trendek?
Mérési terület Szövegértés Matematika Természettudomány
2000 2003 2006 480
482
482
490
491 504
A TIMSS 1995, 1999, 2003 és 2007 eredményeinek összehasonlítása Matematika
A TIMSS 1995, 1999, 2003 és 2007 eredményeinek összehasonlítása
Természettudomány
A PIRLS 2001 és 2006 eredményeinek összehasonlítása Év
Átlagpontszám
S.H. Az S.H. átlagpontszám változása
2001
543
2,2
2006
551
3,0
+8
3,7
A mérések eredményei közötti különbségek lehetéses okai
TIMSS‐PISA különbségek a két mérés között • Más korosztály: – TIMSS: 8. évfolyam – PISA 15 évesek (9. és 10. évf.) • Más tartalom: – TIMSS tantárgy közeli, tantervalapú – PISA alkalmazásképes tudást mér • Más résztvevők – 25 közös ország Ha csak a közös országok eredményét nézzük:
A PISA 2006 és a TIMSS 2007 eredményeinek összehasonlítása matematikából
TIMSS 2007 - a 8. évfolyamos tanulók átlageredménye
680
Korea Tajvan Japán
Hongkong
Magyarország Oroszország Szlovénia Egy. Áll. Cseho. Litvánia Szerbia Olaszo.SvédAusztrália o. Románia Izrael Norvégia Thaiföld Bulgária Törö kország Jordánia Tunézia
480
Indonézia Kolumbia Katar 280 270
459
648
PISA 2006 - a tizenöt éves tanulók átlageredménye
A PISA 2006 és a TIMSS 2007 eredményeinek összehasonlítása természettudományból
TIMSS 2007 - a 8. évfolyamos tanulók átlageredménye
652
Tajvan Korea Cseho. Japán Magyarország Szlovénia Hongkong Oroszország Egy. Áll. Ausztrália Litvánia Svédo. Olaszo. Jordánia Szerbia Norvégia Thaiföld Izrael Románia Bulgária Tu nézia Törökország
491
Indonézia Kolumbia
330 300
465
630
PISA 2006 - a tizenöt éves tanulók átlageredménye
PIRLS‐PISA összehasonlítása Szempontok
IEA PIRLS
OECD PISA
Célpopuláció
4. osztályosok
15 évesek (többnyire 9. és 10. évfolyam)
A teszt és a kerettanterv összevetése
Nagymértékben fedi egymást
Nem fedi egymást
Részt vevő országok
20 OECD + 21 egyéb ország
30 OECD ország + 11 egyéb ország
Eredmények
Átlag feletti eredmények
Átlag alatti eredmények
További következtetések az adatok és a háttérkérdőívek alapján
Szelektív iskolarendszer és a családi háttér hatása a PISA adatai alapján • Az oktatási rendszerünk szelektivitása – képesség és családi háttér szerint is – A tanulók közötti képességkülönbség 70%‐a az iskolák átlageredménye közötti különbségből származik – A tanulók szociális, gazdasági és kulturális helyzetét mérő index különbségeinek 46%‐a az iskolák átlagos családi háttere közötti különbségből származik
• A családi háttér erős hatása a képességre – A szociális, gazdasági és kulturális index egységnyi növekedésével 44 ponttal nő a várható természettudomány eredmény – A szociális, gazdasági és kulturális index különbségei a képességkülönbségek 21%‐át magyarázzák
Tanárok neme, életkora – TIMSS és PIRLS alapján Nemek szerinti megoszlás: Nemzetközi szinten jellemző a nők túlsúlya az oktatásban, de Magyarország azon országok egyike, ahol a legkiegyenlítetlenebb a nemek közötti megoszlás. 4. évfolyam: nemzetközi átlag: 79%/83% ‐ M.o.: 95%/97% 8. évfolyam: nemzetközi átlag (mat/ttud): 57/59% ‐ M.o.: 80/76% Életkor: Nemzetközi szinten a diákok 48‐55%‐át tanítják 40 évnél idősebbek Magyarországon ez az arány 72‐76%
Óraszámok – TIMSS alapján Matematika
4. évfolyam ‐ Nemzetközi átlag: 144 óra (1 óra = 60 perc) ‐ Magyarország: 110 óra 8. évfolyam ‐ Nemzetközi átlag: 120 óra (1 óra = 60 perc) - Magyarország: 99 óra
Óraszámok – TIMSS alapján Természettudomány
4. évfolyam ‐Nemzetközi átlag: 67 óra (1 óra = 60 perc) ‐ Nyugat‐európai, távol‐keleti, tengerentúli országok: 70‐106 óra ‐Magyarország: 54 óra 8. évfolyam Óraszámok (nemzetközi átlag/ Magyarország): Biológa: 63/48 Földtudomány: 52/43 Kémia: 60/45 Fizika: 63/42
Olvasási szokások – PIRLS alapján • A magyar tanulók többet olvasnak, mint a nemzetközi átlag • A szülők kevesebbet olvastak 2006‐ban, mint 2001‐ben • Tanulóink olvasás iránti attitűdje és olvasói önképe a nemzetközi átlag szintjén
Elérhetőségek • Magyar PISA‐oldal: oecd‐pisa.hu • Nemzetközi PISA‐oldal: mypisa.acer.edu.au • Magyar TIMSS‐oldal: www.timss.hu • Nemzetközi TIMSS‐oldal: http://timss.bc.edu/ • Magyar PIRLS‐oldal: www.pirls.hu • Nemzetközi PIRLS‐oldal: http://pirls.bc.edu/ • E‐mailcímünk:
[email protected] [email protected] [email protected]
Köszönöm a figyelmet!
