WHAT IS LITTLE GEM? Quick scan method to evaluate your applied (educational) game (light validation)
1. Standardized questionnaires Validated scales from comprehensive GEM (Game based learning Evaluation Model)
2. Canvas to define game specific learning outcomes 3. Data analysis tool
LITTLE GEM MODEL (BASIC) Input
Proces
Output
Learner
Design features
Personal features
Learning features
Learning outcomes
LITTLE GEM METHOD Measure features from every ‘block / colour’ (but not all features within a block) Proces
Input
Output
Design features • • • • • • • •
Feedback Challenge Control Social interaction Rules & Goals Usability Game world Big game
Learner
Learning features Personal features • •
Bio/demographical Education/experience
• • • • • •
Intrinsic motivation Self-efficacy Value/usefulness Engagement/ concentration Perceived choice Effort
Learning outcomes • Self-assessment • Assessment (knowledge, skills, attitutes)
PERSONAL FEATURES Only most basic information • • • •
Name Age Gender Level / class / function
LEARNING FEATURES Choose the most important features for your game 5-7 items per feature, 5point Likert Scale
Summary with example items (English) Intrinsic motivation The game was fun to do
Self-efficacy I was pretty skilled at this subject
Value/usefulness I was pretty skilled at this subject
Engagement/concentration During the game I was completely focused
Perceived choice I felt like I had to do this (R)
Effort I put a lot of effort into this
LEARNING FEATURES Items (Dutch) Antwoord categorieën: helemaal mee oneens – mee oneens – neutraal – mee eens – helemaal mee eens
1 2 3 4 5 6 7
1 2 3 4 5 6 7
Intrinsic motivation Ik speelde de game met veel plezier De game boeide me niet (R) Tijdens de game bedacht ik me hoe leuk ik het vond Ik vond de game saai (R) Ik vond de game best plezierig De game was leuk Ik vond de game heel interessant Self-efficacy Ik vind mezelf aardig goed in het onderwerp Ik denk dat ik het onderwerp best goed deed in vergelijking met andere leerlingen Na een tijdje oefenen met het onderwerp had ik het gevoel dat ik er aardig goed in was Ik ben tevreden met mijn prestaties tijdens de game Ik was tijdens de game best goed met het onderwerp Ik ben niet zo goed in het onderwerp (R) Ik vind mezelf aardig goed in het onderwerp
1 2 3 4 5 6 7
Value / usefulness Ik denk dat de game belangrijk was om met het onderwerp te oefenen Ik zou bereid zijn om de game opnieuw te doen omdat ik het waardevol vind Ik denk dat het spelen van de game me helpt om het onderwerp te beheersen Ik geloof dat het spelen van de game me iets oplevert Ik denk dat het een belangrijke training is Ik geloof dat de game waardevol voor mij is Ik denk dat de game nuttig is om met het onderwerp te oefenen
LEARNING FEATURES Items (Dutch) Antwoord categorieën: helemaal mee oneens – mee oneens – neutraal – mee eens – helemaal mee eens
1 2 3 4 5
Engagement / concentration Tijdens de game ‘zat ik er helemaal in’ Ik voelde me betrokken bij wat ik deed tijdens de game Tijdens de game was mijn aandacht volledig gericht op het onderwerp Ik kon tijdens de game mijn aandacht vasthouden Tijdens de game was ik volledig geconcentreerd
1 2 3 4 5
1 2 3 4 5 6 7
Perceived choice Ik geloof dat ik enige keuze had over het spelen van de game Ik voelde dat het niet mijn eigen keuze was om deze game te spelen (R) Ik had niet echt een keuze om de game te spelen (R) Ik had het gevoel dat ik dit moest doen (R) Ik speelde de game omdat ik geen keuze had (R) Ik speelde de game omdat ik dat wilde Ik speelde de game omdat ik moest (R)
Effort Het was belangrijk voor me om goed te presteren tijdens de game Ik heb erg mijn best gedaan tijdens de game Ik heb niet veel energie gestoken in het spelen van de game (R) Ik heb niet erg mijn best gedaan om goed te presteren tijdens de game (R) Ik heb een hoop energie gestopt in de game
DESIGN FEATURES Choose the most important features for your game 5 items per feature, 5point Likert Scale Summary with example items (English) Feedback I knew how to get better
Challenge The goal of the game was achievable
Control I felt in control
Social interaction I learned from my peers
Rules & goals I knew (eventually) what the goal was
Usability I could quickly get started with the game
Game world I thought the game was attractive
Big game The game fitted the curriculum well
DESIGN FEATURES Items (Dutch) Antwoord categorieën: helemaal mee oneens – mee oneens – neutraal – mee eens – helemaal mee eens
1 2 3 4 5
Feedback Ik wist hoe goed ik het deed Ik heb zelf ervaren hoe ik de game beter kan spelen Tijdens het spelen van de game werd ik steeds beter Mijn acties hadden een effect in de game Ik wist hoe ik beter kon worden
1 2 3 4 5
Challenge De game was voor mij te moeilijk (R) De game bleef voor mij uitdagend De game sloot aan bij mijn niveau De game was voor mij te makkelijk (R) Het game-doel was haalbaar
1 2 3 4 5
Control Ik kon niet de acties uitvoeren die ik verwachtte (R) Ik kon zelf kiezen hoe ik het doel wilde bereiken Ik werd beperkt in wat ik wilde doen (R) Ik heb zelf ervaren wat goed werkte in de game Ik had het gevoel dat ik controle had
1 2 3 4 5
Social interaction Ik vond het prettig om de game samen te spelen Er waren genoeg mogelijkheden om samen te spelen Het was nuttig om de game samen te spelen Ik heb geleerd van medespelers Samen spelen droeg niet bij aan het behalen van het doel (R)
DESIGN FEATURES Items (Dutch) Antwoord categorieën: helemaal mee oneens – mee oneens – neutraal – mee eens – helemaal mee eens
1 2 3 4 5
Rules & Goals Ik wist (uiteindelijk) wat het doel was De spelregels waren (uiteindelijk) duidelijk Ik wist wat ik wilde bereiken in de game Ik wist hoe ik het doel kon bereiken Ik begreep niet hoe ik de game moest spelen (R)
1 2 3 4 5
Usability Ik kon snel met de game aan de slag De werking van de game was duidelijk Ik kon niet alle mogelijkheden van de game gebruiken(R) Het duurde lang voordat ik begreep hoe de game werkte (R) Ik vond de game gemakkelijk uit te voeren
1 2 3 4 5
Game world Ik vond de game aantrekkelijk Ik vond de game voldoende realistisch De game sloot aan bij mijn belevingswereld Ik ging helemaal in de gamewereld op Ik had een interessante rol in de game
1 2 3 4 5
Big game Ik begreep waarom we de game zijn gaan spelen De game sloot goed aan bij de lesstof Ik vond de discussie achteraf nuttig. Wat ik in de game geleerd kan ik erbuiten toepassen Ik begreep niet wat de game met de lesstof te maken had (R)
DESIGN FEATURES Open questions 1. What was striking about the game or session? 2. What are 3 positive aspects of the game or session? 3. What are 3 aspects of the game or session that need further improvement? 4. Additional remarks?
LEARNING OUTCOMES Self-assessment (standardized) 1. What have you learned from the game (open question) 2. After playing the game I know more of subject (5point Likert scale)
3. I am capable of skills (5point Likert scale)
LEARNING OUTCOMES Assessment (game-specific) Choose max. 3 most important learning goals and how to measure (Dutch)
USE OF LITTLE GEM
DATA ANALYSIS Use of Excel script
Average scores 5
4 3 2 1
SCIENTIFIC BACKGROUND Comprehensive GEM Model: Oprins, E., Visschedijk, G., Bakhuys-Roozeboom, M., Dankbaar, M., Trooster, W. & Schuit, S. (accepted). The Game-based learning Evaluation Model (GEM): measuring the effectiveness of serious games using a standardized method. International Journal of Technology Enhanced Learning.
