2010.08.31.
Tartalom • A projekt célja • Tesztelt játékok • A tesztelés menete
GOET (Game On Extra Time) – projekt ismertetése
– Felhasználói felület tesztelése – Pedagógiai tesztelés
Sikné dr. Lányi Cecília Faragó Kinga Pannon Egyetem, VIRT 8200 Veszprém, Egyetem u. 10.
[email protected]‐pannon.hu 1
• A pedagógiai tesztelés magyarországi tapasztalatai • Jövőbeli tervek ‐ hipotézis • Összefoglalás
„GOET” projekt
„GOET” projekt célja
• A „Game on Extra Time ‐ Serious Educational Games to develop Prevocational Skills in People with Learning Difficulties (GOET)” című, UK/08/LLP‐LdV/TOI/163_181 számú projekt a „Transfer of Innovation: Leonardo da Vinci Lifelong Leraning” EU pályázati program keretében két éves futamidejű (2008. október 1 – 2010. szeptember 30). • Web oldala: http://goet‐project.eu/ • Partnereink: • Nottingham Trent University, Nottingham, Anglia • BID Services with Deaf People, Birmingham, Anglia • Greenhat Interactive Ltd, Kidderminster, Anglia • Insitute of Mobile Technologies for Education and Culture (IMOTEC), Vilnius, Litvánia • PhoenixKM BVBA, Kortemark, Belgium • Pannon Egyetem, Veszprém, Magyarország
• A projekt keretén belül a partnerekkel közösen olyan virtuális játék alapú tanító szoftvereket fejlesztettünk (serious game) és tesztelünk, amely jól használható lesz olyan szakiskolákban (vocational education and training, VET) ahol tanulásában akadályozott diákokat (people with learning disabilities) oktatnak. • ÖNÁLLÓ ÉLETRE NEVELÉS!
A projekt keretében fejlesztett szoftverek
Játékok, amiket minden partner országban teszteltünk
•
• • • • • •
Azon szoftverek amiket minden partner országban teszteltünk Cheese factory My Appearance 3D Work Tour VR Supermarket Memobile
• • • • • • •
Azon szoftverek, amiket nem minden partner országban teszteltünk Route Mate Anger management Office Personal Hygiene Starting Work Stress (conveyor)
• Starting work (Munkába állás): az első napi munkába állást szimulálja Half Life 2 engine‐t használva. • Cheese factory (sajtgyár): a népszerű Tetris játék mintájára a törteket és százalékokkal való számolást gyakoroltatja. • Memobile: Flash technológiát használva a mobil telefonokon tanítja a felhasználót hogy mit kell a munkába menet előző tanítja a felhasználót, hogy mit kell a munkába menet előző nap összekészítenie. Mit kell magával vinnie. • My Appearance (megjelenésem): Flash technológián alapuló játék azt tanítja, hogy a reggeli felkeléstől a munkába indulásig milyen napi rutin feladatokat kell elvégezni otthon reggel. • VR supermarket (VR szupermarket): Flash és 3D technológiával készült virtuális boltban a tanuló gyakorolhatja a pénzzel való fizetést.
1
2010.08.31.
My appearance (a megjelenésem)
Néhány szoftver pár képben
My appearance (a megjelenésem)
My appearance (a megjelenésem)
My appearance (a megjelenésem)
My appearance (a megjelenésem)
2
2010.08.31.
My appearance (a megjelenésem)
My appearance (a megjelenésem)
My appearance (a megjelenésem)
Cheese factory („sajt gyár”)
Cheese factory („sajt gyár”)
Starting work (Munka megkezdése)
3
2010.08.31.
Starting work (Munka megkezdése)
Memobile
Főmenü Egy feladat
Memory
Flash technológiát használva a mobil telefonokon tanítja a felhasználót, hogy mit kell a munkába menet előző nap összekészítenie. Mit kell magával vinnie. A munkahelyen mire kll ügyelnie, illetve a munkát befejezve mi a teendője.
Route mate
Virtual Supermarket (Virtuális bolt)
Virtual Supermarket (Virtuális bolt)
Virtual Supermarket (Virtuális bolt)
4
2010.08.31.
Virtual Supermarket (Virtuális bolt)
Virtual Supermarket (Virtuális bolt)
Virtual Supermarket (Virtuális bolt)
Virtual Supermarket (Virtuális bolt)
A tesztelés menete
A felhasználói felület tesztelése
• A játékok tesztelése két fázisban zajlott/ zajlik. • Először a pedagógusokat kértük meg egy‐egy kérdőív kitöltésére, mely a felhasználói felületre és a használhatóságra vonatkozott. • Majd Magyarországon két iskolában történt/ történik a Majd Magyarországon két iskolában történt/ történik a tesztelés 5 héten keresztül, az egyikben középsúlyos értelmileg akadályozott diákok tanulnak, a másikban pedig diszlexiás diákok. Az 5 hét alatt a diákoknak a kiválasztott játékokkal hetente kétszer 20 percet kellett játszani, közben a tesztet megfigyelő pedagógus egy kérdőíven értékelte és jegyezte a tanuló megnyilvánulásait illetve eredményét. • Ugyanez a tesztelés 1 litván és 2 angol iskolában is lezajlott.
•
• • • • • • • • • • • • • • • • • • •
Általános kérdések: Kérem, nevezze meg az országot, ahol az előzetes tesztelést végzik és az előzetes teszt elvégzésének idejét: 2 magyar, 1 litván és 2 angol iskola/ fejlesztő központ oktatói értékelték a játékokat, minden játékot összesen 10‐15 szakértő Kérem, nevezze meg, milyen képességű fiatalokból áll a célcsoport: Kérem, jelölje be az alábbi listán, melyik játék kerül előzetes tesztelésre: Cheese factory My Appearance 3D Work Tour VR Supermarket Memobile Route Mate Anger management Office Personal Hygiene Starting Work Stress (conveyor)
5
2010.08.31.
A felhasználói felület tesztelése •
Likert skálán alapuló válasz:
•
1. egyáltalán nem
• • • • • •
1. Szoftver élvezhetőségére vonatkozó kérdések: Mennyire vélte fárasztónak a szoftver használatát? Mennyire találta élvezetesnek a szoftver tartalmát? Mennyire találta monotonnak a szoftver játékmenetét? Mennyire vélte úgy, hogy a szoftver könnyen kezelhető? y gy, gy y Mennyire volt jellemző a szoftver eredeti célján kívüli tevékenység a használat során? Mennyire szívesen használta a szoftvert?
• • • • • •
2. átlagnál kevésbé
A felhasználói felület tesztelése •
3. átlagosan 4. átlagnál jobban
5. teljes mértékben
2. Szoftver felhasználhatóságára vonatkozó kérdések: Mennyire mutat be valóságos szituációkat a szoftver? Mennyire tartja relevánsnak és fontosnak a szoftverben prezentált problémákat? Mennyire véli elegendőnek (elegendően nagynak / változatosnak) a szoftver által tartalmazott kérdések adatbázisát? Mennyire volt könnyű használni a szoftvert?
A felhasználói felület tesztelése
• 3. Szoftver kezelhetőségére vonatkozó kérdések: • Mennyire vélte elegendőnek az ismétlést / ismételhetőségre való lehetőséget a szoftverben? • Mennyire találta elkülönítettnek a szoftverben egymást követő tartalmi részeket (új pálya / új feladat stb.)? • Mennyire vélte követhetőnek végigjátszhatónak a szoftvert? • Mennyire voltak koncentrálást zavaróak a szoftverben felhasznált hangok és a zene? • Mennyire volt érthető a szoftverben felhasznált beszédhang? • Mennyire volt jellemző a játékban való tájékozódásból adódó hibázás? • Mennyire okozott nehézséget a szoftver elindítása? • Mennyire okozott nehézséget a szoftver bezárása a játék végén? • Mennyire okozott nehézséget a szoftverből való kilépés a játék menete során?
Miért innovatív? !!!!!
•
• • • •
• • •
4. Szoftver grafikai megvalósításaira vonatkozó kérdések: Mennyire valósághű a szoftver? Mennyire találta élvezetesnek a szoftver kinézetét? Mennyire találta célkitűzésének megfelelőnek / ahhoz illeszkedőnek a szoftver kinézetét? Mennyire könnyen voltak felismerhetőek a szoftverben felhasznált képek? M Mennyire voltak segítőek a szoftverben felhasznált illusztrációk / hátterek? i lt k ítő k ft b f lh ált ill t á iók / hátt k? Mennyire volt egyértelmű a szoftverben felhasznált képek és a hozzájuk rendelendő cselekvés (opció) kapcsolata? Mennyire volt jellemző a szoftver képeinek felismerhetetlenségéből adódó hibázás? Mennyire volt jellemző az utasítások meg nem értéséből adódó hibázás? Mennyire vélte ingergazdagnak a szoftver kinézetét? Mennyire vélte részletgazdagnak a szoftver játékfelületét?
•
Személyes jegyzetek, egyéb megjegyzések
• • • •
A pedagógiai tesztelés és tesztelési tapasztalatok
• EU program keretében • Tanulásában akadályozott ‐ középsúlyos értelmileg sérült diákok • Nincs a tantervükben kötelező informatika i ükb kö l ő i f ik oktatás • IKT az élet egyre több területén • Játékokon keresztül IKT oktatás • ÖNÁLLÓ ÉLETRE NEVELÉS!
Observational Checklist
Minden játékot 13‐52 diák tesztelt 5 iskolában Magyarországon a két partner iskolában 12 Magyarországon a két partner iskolában 12‐ 24 diák A tesztelési tapasztalatokról Faragó Kinga számol be
6
2010.08.31.
Observational Checklist
Observational Checklist
A magyarországi pedagógiai tesztelés és tesztelési tapasztalatok
Részvételem a tesztelésben
•
Részvételem a tesztelésben
•
A tesztelés menete
•
Tapasztalatok
•
Az eredményességet mérő csillag (ábrával)
•
Előtte állapot
•
Utána állapot
•
Néhány következtetés
A tesztelés menete •
Diákok helyet foglaltak egy-egy számítógépnél
•
Ügyeltünk arra, hogy lehetőség szerint ugyanoda üljenek és ugyanazon pedagógus dolgozzon velük
•
Foglalkozások előtt pedagógusokkal megbeszéltük melyik játékok lesznek tesztelve aznap
•
Kitöltöttük a megfigyelőlapok fejlécét
•
Játékonként 10 perc a ráfordítandó idő, majd szabadfoglalkozás a diákoknak
•Diplomamunkám készítése során a Game on Extra Time (GOET) projekt fejelsztő játékok hatékonyságvizsgálatát végző kutatásában végeztem el részfeladatot. •A Kozmutza Flóra Általános Iskola Készségfejlesztő Speciális Szakiskola és Kollégiumban teszteltem 5 héten keresztül heti 4 alkalommal 14 és 22 év közötti diákokat. •A diákok életviteli készséget fejlesztő játékokkal játszottak, két pedagógussal együtt én végeztem megfigyelést ezen informatikai jellegű foglalkozásokon.
Tapasztalatok • Az alkalmak minél részletesebb rögzítésére törekedtünk • Rugalmasan specifikáltuk azokat a területeket, ahol érdemesebb részletesebb megfigyeléseket is tenni (Például egérhasználat) • Nehézségek (pontszámok lejegyzése, megosztott figyelem, stb.) • Mindennapi események hatása a foglalkozásokra
7
2010.08.31.
Az eredményességet mérő csillagok
Az eredményességet mérő csillag ábrája Magabiztosság
• Tesztelés 1. és 5. hetében töltöttük ki őket • A csillag ágai számegyenesek, melyeken megadott szempontokat kell értékelni, mennyire jellemzőek az adott diákra • Az ágakban szereplő tulajdonságokat a GOET projekt készítői határozták meg • Nem a játék során megfigyelt viselkedést rögzíti, hanem a diák egész napi, általános magatartását
Utasítások betartása
• Három csoport: szakkörösök, ez alkalommal felkértek és régi g szakkörösök • A számítógép-használati kultúra változását figyeltük • Lelkesek és együttműködők voltak, élményt jelentett számukra a számítógép használata
Részvétel
• Digitális kompetenciájuk fejlődött • Egyénekre és a csillag ágaira lebontva 1,3 13 értéknyi javulást figyeltünk meg • Átlagos értékek mellett néhány egyéni fejlődés is nagyon látványos és bíztató volt • * Vági Lilla igazgatóhelyettes (informatika szakkör vezető) tapasztalatai alapján
Koncentráció
Óralátogatás
Utána állapot • Nem játékonként mértük a fejlődést, hanem az 5 hetes intervallum egészének hatását Szakkörösök
Alkalmiak
Régi szakkörösök
Egyénenként E é ké t átlagos fejlődés
9,9
8
14
Tulajdonságonkénti átlagos fejlődés
1,24
1
1,75
Utasítások betartása
Magabiztosság
Részvétel, időbeni pontosság
Leginkább fejl. ág
Legkevésbé fejl. ág
Néhány következtetés*
Önbecsülés
Időbeni pontosság
Előtte állapot • Vági Lilla tanárnő értékelte a gyermekeket
Belefeledkezés
Koncentráció, Óralátogatás utasítások betartása
Óralátogatás
Körülmények a Kozmutza Flóra iskolában • Számítógépes terem – 7 db multimédiás számítógép internet elérési lehetőséggel • Multimédiás kocsi, projektorok laptop – 3 db tanulói + 1db tanári előadásra • Multimédiás számítógép a tanári szobában, internet eléréssel • Számítógépek a felső szakaszos osztályokban. – Ezek ajándékba kapott, a tanulók számára használható • Legális szoftverek a könyvtárban – 35‐40 db – A veszprémi Pannon Egyetemről tesztelésre kapott programok 10‐15
8
2010.08.31.
A szoftverek pedagógiai szempontból • Önmagában is élményt jelent a tanulóknak • A kipróbált programok nagyszerűen használhatóak a kompetencia fejlesztésre • Matematika • Szociális kompetencia • Szövegértés
• Lehetővé válik a differenciálás • Egyéni ütemben való haladás • Interaktív tanulási folyamat indul el. A program visszajelzést ad, javíttat.
Tanulási környezet változása • Készségek, kompetenciák, jártasságok, attitűdök kialakítása • Az egész életen át történő tanulás képességének és készségének kialakítása képességének és készségének kialakítása • A tanulás érdekes, játékos vállalkozás • Heterogén korcsoportban történő tanulás
Eredményességi csillag egyénenként 2 fő 10
10
Magabiztosság Belefeledkezés
8
8
Önbecsülés
6
6
Koncentráció Óralátogatás
4
4
Részvétel
2
Időbeni pontosság
2
Utasítások betartása
0
0
3 fő
10
10
8
8
6
6
4
4
2
2
0 előtte
utána
0 ELŐ TTE ( dát um : 2010. 03. 10. )
UTÁNA ( dát um : )
9
2010.08.31.
Oklevelek átadása
Esettanulmányok • 1. Szervezet neve • 2. Tanuló személyét elfedő azonosító • 3. Bevezetés (A tanuló adatai, készségei, személyiségének leírása (projekt kezdeti stádiumában), miért került ő kiválasztásra • 4. Részvétel (korábbi tapasztalatok, mennyire volt lelkes, hogy részt vehet) • 5. Eredmények (Hogyan változtak a tanuló készségei, személyisége, magabiztossága, tudása, milyen hozzászólásai voltak neki, vagy mit fűz hozzá a tanár/megfigyelő a tevékenységéhez). • (A továbbiakban csak az 5. pont szerepel a diákon a bemutatón elhangzanak az előtte lévő pontok is.)
Tanuló személyét elfedő azonosító: „A 20”
Tanuló személyét elfedő azonosító: „B 15”
• Lelkesedése végig kitartott. A mindennapokban is sokszor kérdezett a feladatokról és minden találkozáskor jelezte, hogy jön a foglalkozásra. Nagyon jót tett önbizalmának, erősebb lett. A z iskolai feladatait is tudatosabban végezte. Csoportvezetője elmondása szerint sokat és örömmel mesélt a feladatokról. A foglalkozásokon egyre kevesebb segítséget igényelt, nagyon örült a dicséretnek, a sikernek. Minden alkalommal együttműködő volt, nagyon csendes volt, figyelt az utasításokra. A munka végeztével elmondta, hogy tetszett neki és az osztályban szeretné megmutatni a többieknek. Számomra fontos, hogy a fiatal jól érezte magát, kapott ettől a feladattól további lelkesedést, együttműködőbb és erősödött önbizalma. Ismereteit tanulmányaiban és a mindennapokban is tudja használni.
• Egyre jobban elmélyült a munkában, összehasonlította az előző alkalom eredményét. Megerősödött önbizalma és sokat fejlődött a megoldás folyamatában. Lelkesedése végig kitartott. Együttműködőbb lett és erősödött önbizalma. Egyre kevesebbet beszélt, és önállóan dolgozott. Eredményei jók lettek. Az elsajátított ismereteket ól tudja majd hasznosítani. A mindennapokban is praktikusabb lesz. Kitartása jól fejlődött. Látóköre szélesebb lett. Betekintést nyert a munka világába, ezt meg is fogalmazta, sokat tanultam –mondta. Máskor is szeretnék hasonlót. Szabadidejében főleg a vásárlást választotta.
Tanuló személyét elfedő azonosító: „H 16” • Egyre jobban elmélyült a munkában, összehasonlította az előző alkalom eredményét. Erősödött önbizalma és sokat fejlődött a megoldás folyamatában. Lelkesedése végig kitartott. Együttműködő volt és kitartó. Hamar vállalta az önálló munkát. Eredményei jók lettek. Minden feladat tetszett neki, ezt el is mondta, hogy nagyon jó szívesen teszi. Szeretné, ha minden feladatba részt vehetne. Új ismereteket szerzett, Ú megismerte a munkába járás világát. Egyfajta ösztönzést érez, hogy gyakorlatban is kipróbálja. Ismereteit a mindennapokban is jól tudja hasznosítani. Nagyon jó hatást váltott ki nála a program. Sokat kérdez róla és várja a folytatást.
Tanuló személyét elfedő azonosító: „Sz 19” • Nagy türelmet és figyelmet követelt végig. A segítséget nem minden alkalommal fogadta el. Hamar önálló akart lenni és ezért többször belekeveredett a feladatba. A segítséget nem mindenkitől fogadta el. Érzékenyen reagált a javításra. Eredményei javultak, és már önálló feladatot is tudott végezni. Nagy tanulság volt a vele való munka, hogy mennyire fontos az általános jó állapot és közérzet a fiataloknál. Mennyire sokat kell j p y törődni velük, segíteni őket. Ezért több alkalommal teljesen külön kellett vele a feladatot megoldani, a közös foglalkozáson a megnyugtatásra tudtam koncentrálni, hogy egy megfelelő állapotba kerüljön. A feladat elvégzéséhez mindig ragaszkodott. A sikerélményre óriási szüksége volt. Ezért ott maradt és ő külön végezte el a feladatot. Tanulságos volt a vele való munka. Örülök, hogy őt is beválasztottam a programba. Úgy érzem ez által sok jó dolgot kapott. A szerzett ismeretket segítséggel tudja használni. A munka számára csak erős támogatottság mellett lesz elérhető.
10
2010.08.31.
Meglátások ¾BÁTRABBAK A GYEREKEK ……. ¾ÖNBIZALMUK ERŐSÖDIK ¾UDVARIASSABB LESZ ¾HIGGADTSÁG JELLEMZI ¾KITARTÁSA NŐ ¾MINDENKÉPPEN POZITÍV VÁLTOZÁS
KÖVETKEZIK BE SZEMÉLYISÉGÉBEN!
Jövőbeli tervek, hipotézis • Előző projekt tapasztalatok: aki jártas volt a számítógéppel való munkában, agyi sérülése (stroke, afázia …) után is „biztonságban” érezte magát a számítógéppel • A jövő idősei mi vagyunk, akik aktívan használjuk az A jövő idősei mi vagyunk, akik aktívan használjuk az IKT‐t ma, szükségünk lesz rá! • Hipotézis: értelmileg akadályozott diákok teszt eredményeit felhasználhatjuk idős demenciás, vagy más értelmileg „hanyatló” felhasználóknak készülő szoftverek tervezéséhez • Értelmileg akadályozott: idős – fiatal ?! (tesztelni kellene – ki lesz partner ebben?)
Összefoglalás • A projekt keretén belül a partnerekkel közösen olyan virtuális játék tanító szoftvereket fejlesztettünk (serious game) és tesztelünk, amely jól használható lesz olyan szakiskolákban (vocational education and training, VET) ahol értelmileg sérült diákokat (people with learning értelmileg sérült diákokat (people disabilities) oktatnak. • ÖNÁLLÓ ÉLETRE NEVELÉS! • A felhasználói felületek tesztelése júniusban befejeződőtt. • A pedagógiai tesztelést szeptember végén fejezzük be.
KÖSZÖNET • A tesztelésben részt vevő iskolák vezetőségének, tanárainak elsősorban Vági Lilla igazgatóhelyettesnek, a szakkör vezetőjének • Külön köszönet a tesztelésben résztvevő DIÁKOKNAK! • Köszönet az egyetemi hallgatóknak, akik a szoftvereket szakdolgozat keretében készítették, elsősorban Harmath Lajosnak • A teszt telefonokért Telenor Hungary Plc.
Köszönjük a figyelmet!
http://goet-project.eu/ A UK/08/LLP-LdV/TOI/163_181 „Transfer of Innovation: Leonardo da Vinci Lifelong Leraning” program TÁMOGATÁSÁVAL
11
2010.08.31.
Sikné Lányi Cecília Pannon Egyetem e‐mail:
[email protected]‐pannon.hu
University of Pannonia Virtual Environment and Imaging Technologies Laboratory
12
