Studentmodel in de DWO

Studentmodel  in  de  DWO   Sietske Tacoma, 26 oktober 2015

  Dit document beschrijft de mogelijkheden voor implementatie van een studentmodel in de Digitale Wiskunde Omgeving. Een studentmodel is een automatisch gegenereerde weergave van de kennis en vaardigheden van een student op een bepaald domein, bijvoorbeeld statistiek. We willen dit model gebruiken om de student inzicht te geven in kennis en vaardigheden die hij/zij al goed beheerst en mogelijke verbeterpunten. We zullen hiervoor gebruik maken van een zogenaamd overlay-model. In paragraaf 1 wordt toegelicht wat een overlay-model precies is en uit welke onderdelen dit model bestaat. Vervolgens wordt in paragraaf 2 beschreven wat er in de DWO al mogelijk is voor het inzetten van een overlay-model. Hieruit komen enkele nadelen en tekortkomingen in de huidige situatie naar voren, waarvoor oplossingen worden besproken in paragrafen 3, 4 en 5. In paragraaf 3 ligt de nadruk op de beschrijving van het domein, in paragraaf 4 op de invulling van scores voor de verschillende onderdelen van het domein en in paragraaf 5 op de weergave van het studentmodel voor studenten en docenten. In paragraaf 6 wordt tot slot beschreven welke concrete aanpassingen aan de DWO moeten worden gedaan om de in paragraaf 3, 4 en 5 besproken oplossingen daadwerkelijk te kunnen uitvoeren.

1. Het  overlay-­‐model  

Voor het studentmodel zullen we een zogenaamd overlay-model gebruiken. Dit bestaat uit een domeinmodel, dat weergeeft welke kennis een expert van het domein heeft, en een zogenaamde overlay, dat de kennis van de student op een bepaald moment weergeeft (Brusilovsky & Millán, 2007). Een domeinmodel bestaat uit een onderverdeling van het domein in stukjes domeinkennis. In de literatuur worden deze “pieces of domain knowledge” ook wel “concepts” genoemd, daarom duiden we de stukjes domeinkennis ook aan met de term concepten. In veel implementaties bestaat het domeinmodel uit een grote hoeveelheid concepten. Dit heeft als gevolg dat zowel het opstellen van het domeinmodel als het toekennen van concepten uit het domeinmodel aan specifieke opgaven veel tijd vraagt en moeilijk eenduidig te doen is (Sosnovsky & Brusilovsky, 2015). Daarom moet goed overwogen worden hoe groot of klein en hoe specifiek of algemeen de concepten in het domeinmodel zijn. Voor hypothesetoetsen hebben we een domeinmodel ontwikkeld, dat wordt beschreven in een ander document. Naast een onderverdeling in concepten kan een domeinmodel ook relaties tussen de verschillende concepten bevatten. Bijvoorbeeld: het beheersen van een concept is een voorwaarde voor het beheersen van een ander concept. In het klassieke overlay-model is geen ruimte voor veelvoorkomende misvattingen en misconcepties. Een overlay-model waaraan ook misvattingen en misconcepties zijn toegevoegd wordt ook wel een bug model genoemd. Wij denken dat deze misconcepties als speciaal type concepten aan het domeinmodel kunnen worden toegevoegd. Voor een regulier concept geldt dat een expert het maximaal beheerst en dus een maximale score zal behalen voor dit concept. Voor misconcepties geldt juist het omgekeerde, daarvoor behaalt een expert de minimale score. Het toevoegen van misconcepties aan het domeinmodel levert

1

ook een nieuw type relatie tussen concepten: het hebben van een misconceptie duidt op een lagere beheersing van de daaraan gekoppelde reguliere concepten. De overlay bevat voor elk van de concepten in het domeinmodel een score. Voor deze score worden in de literatuur verschillende mogelijkheden gegeven: • Een boolean: de student beheerst het betreffende concept of niet; • Een numerieke waarde, bijvoorbeeld op een schaal van 1 tot 100, die aangeeft in hoeverre de student het betreffende concept beheerst; • Een kans, die aangeeft wat de kans is dat een student het betreffende concept beheerst. Deze kansen worden vaak bepaald met behulp van Bayesiaanse netwerken. Voor ons model zijn zowel de tweede als de derde mogelijkheid een optie. In beide gevallen moeten we specificeren hoe de score wordt berekend uit de acties van de student en de concepten, relaties en misconcepties in het domeinmodel. Uitgangspunt hierbij is dat een expert voor alle reguliere concepten de maximale score behaalt en voor alle misconcepties juist de minimale score.

2. Huidige  situatie  in  de  DWO   De DWO biedt al de mogelijkheid om een eenvoudig studentmodel in te vullen. De auteur kan concepten specificeren, eventueel in verschillende categorieën. Dit gebeurt op het niveau van een DWO-activiteit.

Bij elke opgave in de activiteit kan de auteur aangeven met welke concepten deze opgave verband houdt:

2

De DWO berekent vervolgens voor elk concept wat de maximaal te behalen score voor dat concept is. De concepten worden weergegeven in een cirkeldiagram per categorie:

De groottes van de taartpunten hangen af van de maximaal te behalen score voor elk concept (de som van de te behalen scores op de opgaven die aan het concept gekoppeld zijn). Zo kan onderscheid gemaakt worden tussen belangrijke concepten (waaraan veel opgaven bijdragen) en minder belangrijke concepten (waarover de student maar weinig opgaven hoeft te maken). Zodra een student een score behaalt op een opgave, wordt deze score opgeteld bij de scores voor de concepten die aan de opgave gekoppeld zijn. Vervolgens wordt voor elk concept berekend welk percentage van de maximaal te behalen score de student al behaald heeft en aan de hand hiervan worden de taartpunten ingekleurd.

Dit systeem geeft inzicht in de kennis en vaardigheden van de student, maar heeft ook enkele nadelen: • er is geen aandacht en ruimte voor de samenhang tussen concepten; • er wordt geen rekening gehouden met het aantal pogingen dat een student nodig heeft voor het oplossen van opgaven; • er is geen analyse van fouten die een student maakt en misconcepties die een student mogelijk heeft; • in de weergave van het model kan geen onderscheid worden gemaakt tussen een student die al het materiaal heeft doorgewerkt en een score van 40% heeft behaald voor een bepaald concept en een student die pas 3

•

40% van het materiaal heeft doorgewerkt maar binnen die 40% de maximale score voor dit concept heeft behaald; Er wordt alleen een analyse gemaakt over opgaven binnen één activiteit, dat is een vrij kleine eenheid.

3. Implementatie  domeinmodel  in  de  DWO  

In de DWO is het momenteel al mogelijk om concepten te specificeren, in maximaal vijf categorieën. Ten opzichte van de huidige situatie hebben we twee nieuwe wensen voor het specificeren van de concepten: • Concepten moeten als misconcept kunnen worden aangemerkt • Concepten moeten in categorieën kunnen worden onderverdeeld (die vervolgens weer in categorieën moeten kunnen worden verdeeld, enzovoorts); de concepten moeten dus in de vorm van een boomstructuur kunnen worden gedefinieerd. Als aan bovenstaande wensen kan worden voldaan, kunnen we informatie geven over misconcepties en rekening houden met het type relatie “A is een deelconcept van B”. Dit is niet de enige relatie die we willen bekijken. Een voorbeeld van een ander type relatie is “A heeft invloed op B”. Een voorbeeld is het concept “Keuze voor linkszijdig, rechtszijdig of tweezijdig toetsen”, dan invloed heeft op onder andere het concept “Opstellen hypotheses”. Dit soort relaties willen we vooralsnog niet vastleggen in het domeinmodel. In plaats daarvan willen we bij het toekennen van concepten aan opgaven zorgen dat beide gerelateerde concepten aan de opgave gekoppeld worden.

4. Scores  voor  concepten  berekenen   Op basis van de antwoorden van de student wordt voor elk concept uit het domeinmodel een score berekend. In de huidige situatie gebeurt dit vrij rechttoerechtaan: de score die een student uiteindelijk behaalt op een opgave wordt opgeteld bij de score voor de aan die opgave gekoppelde concepten. Zoals eerder genoemd wordt in deze implementatie geen rekening gehouden met: • Het proces dat de student heeft doorlopen om bij de oplossing van de opgave te komen, zoals gemaakte fouten en aantal benodigde tussenstappen; • Het verband tussen verschillende concepten. Alle  pogingen  en  stappen  dragen  bij   Om rekening te houden met het oplosproces van de student, willen we niet alleen het eindresultaat, maar alle pogingen en stappen van de student laten bijdragen aan de score in het studentmodel. Een goed antwoord moet de score voor de gekoppelde concepten verhogen, een fout antwoord moet de score verlagen en kan juist de score op gekoppelde misconcepties verhogen. De DWO kent ook halfgoede antwoorden. Deze zullen over het algemeen de score voor de gekoppelde concepten een beetje verhogen, omdat de student op de goede weg lijkt te zijn om de concepten te gaan beheersen. Geef de student echter veel half-goede antwoorden voor uiteindelijk het volledig juiste antwoord te geven, dan beheerst hij/zij de concepten waarschijnlijk minder goed dan een student die na minder stappen het volledig juiste antwoord geeft. In dat geval moet de uiteindelijke score dus lager uitkomen dan wanneer een student direct het juiste antwoord geeft. Bij opgaven zonder ondersteuning voor tussenstappen is dit idee redelijk eenvoudig te implementeren. Bij opgaven met ondersteuning voor tussenstappen ligt dit wat ingewikkelder, omdat ook een expert eerst half-goede antwoorden (tussenstappen) zal geven alvorens het volledig juiste antwoord te geven. Een 4

oplossing kan zijn om de auteur te laten specificeren hoeveel tussenstappen een ideale uitwerking bevat. Heeft een student (veel) meer tussenstappen nodig, dan is zijn kennis van de betreffende concepten nog niet optimaal en moet de score voor die concepten dus minder hoog zijn dan de scoren van een student die minder tussenstappen nodig heeft. Een gevolg van deze implementatie is dat een student die ergens langer over doet dan nodig, of ergens een fout maakt, nooit meer 100% kennis kan bereiken in het model. Voor het beoogde gebruik van dit model is dat waarschijnlijk niet zo’n probleem. Een manier om te zorgen dat de student toch 100% kan behalen is de gelegenheid geven om opgaven opnieuw te maken en de oude bijdrage van die opgave aan de score te wissen. Om in de score voor een concept rekening te kunnen houden met gemaakte fouten, lijkt het verstandig de student niet met een score van 0, maar bijvoorbeeld van 30% te laten beginnen. Dat is ook wel goed te verdedigen, omdat een student voor het werken met het materiaal waarschijnlijk al wel enige kennis van het onderwerp heeft. Hoe fouten, goede en half-goede antwoorden precies bij moeten dragen aan de score moet nog worden bepaald. Een vraag hierbij is ook of elke opgave een eigen ‘afgebakend’ gebied van het percentage kan beïnvloeden, of dat een groot aantal fouten op één opgave ook een behaalde score op andere opgaven kan beïnvloeden. Daarnaast kan bij het berekenen van de score meespelen hoe ver een student al in het materiaal is gevorderd. We zijn niet van plan om met mastery learning te werken, waarin een student net zo lang (soortgelijke) opgaven blijft maken totdat hij de bijbehorende concepten voldoende beheerst. In ons geval zal het beter dan bij mastery learning mogelijk zijn om aan te geven hoe ver een student is. We zouden graag verschil kunnen zien tussen de volgende situaties: 1. Een student heeft veel gedaan met betrekking tot een concept en blijk gegeven het concept in grote mate te beheersen 2. Een student heeft veel gedaan met betrekking tot een concept en blijk gegeven het concept niet goed te beheersen 3. Een student heeft nog weinig gedaan met betrekking tot een concept, maar in wat hij gedaan heeft blijk gegeven het concept al in grote mate te beheersen 4. Een student heeft nog weinig gedaan met betrekking tot een concept en in wat hij gedaan heeft blijk gegeven het concept nog niet goed te beheersen. Met name situatie 2 en 3 willen we graag kunnen onderscheiden; in situatie 2 kan er sprake zijn van misconcepties en is het wellicht verstandig de student individuele begeleiding te bieden, terwijl in situatie 3 de student juist erg op de goede weg lijkt te zijn (zie ook Bull (2004)). Scores  voor  misconcepties   Bij het ontwerpen van antwoordmogelijkheden voor meerkeuzevragen zal een auteur rekening houden met mogelijke misconcepties. Dan is het mooi als aan foute antwoorden ook de betreffende misconcepties gekoppeld kunnen worden. Iets vergelijkbaars zou kunnen worden geïmplementeerd bij formule- en vergelijkingvakken, waar via feedbacktabbladen veelgemaakte fouten kunnen worden onderschept. Het zou mooi zijn als deze fouten niet alleen onderschept worden en van directe feedback kunnen worden voorzien, maar dat ook bij deze fouten kan worden aangegeven bij welke misconcepties ze horen. Ook voor andere componenten, zoals de component voor de normale verdeling, kan gekeken worden naar implementatie van feedbacktabbladen voor het onderscheppen van veelgemaakte fouten en misconcepties. 5

De domain reasoner kan ook bijdragen aan de scores voor concepten en misconcepties. De domain reasoner herkent als het goed is bij welk concept elke stap hoort (het onderliggende model van de domain reasoner komt deels overeen met het domeinmodel) dus kan per stap die een student doet scores in het domeinmodel aanpassen. Vraag hierbij is nog wel hoe de communicatie gaat lopen. Wordt de overlay steeds bij elke actie bijgewerkt, of pas bij openen gegenereerd op basis van alles wat er is opgeslagen? Voor de communicatie met de domain reasoner weet ik nog niet of het uitmaakt en wat handiger is. Mogelijke  uitbreidingen  voor  latere  fases   Een implementatie waarin alle stappen en pogingen bijdragen aan de score in het studentmodel en waarin rekening gehouden kan worden met misconcepties is al een grote verbetering ten opzichte van de huidige situatie. Bij het nadenken hierover ontstaan echter al gauw verdergaande ideeën. Hieronder volgt een (brainstormachtige) opsomming van deze overige ideeën. Relaties tussen verschillende concepten: bovenstaande gaat alleen uit van opgaven die direct gekoppeld zijn aan concepten; er wordt nog geen rekening gehouden met relaties tussen concepten. Hoe kun je deze relaties meenemen in de score? • Heeft een student kennis van concept A dat voorkennis is voor concept B, dan kun je de score voor B al licht ophogen (als die score nog laag is) • Heeft een student kennis van concept B, waarvoor concept A voorkennis is, dan kun je de score voor A behoorlijk ophogen (als die score niet al hoog is). • Scoort een student hoog op een misconceptie die is gekoppeld aan concept A, dan kun je de score voor concept A verlagen. • Scoort een student juist laag op een misconceptie die is gekoppeld aan concept A, kun je dan ook de score voor concept A al verhogen? • Scoort een student hoog op concept A, dan is de score voor gekoppelde misconcepties juist laag (en kan eventueel verlaagd worden) Maar hoe moet dit in de praktijk werken? Hoe werkt dit bijvoorbeeld als een auteur beide concepten heeft gekoppeld aan de opgave? Hoe zorgen we dat de relaties uit het domeinmodel niet interfereren met de concepten die aan opgaven gekoppeld zijn? Een idee zou kunnen zijn om verschillende niveaus van concepten te definiëren; niveaus waarvoor je direct bewijs krijgt uit de opgaven en niveaus waarvoor je indirect bewijs krijgt via de scores op andere concepten. Is dit realistisch? Of misschien moet je in elk geval per opgave maar concepten op één niveau kunnen aanvinken; sommige opgaven zullen vrij specifiek zijn, waar andere opgaven juist meer over concepten op globaler niveau zullen gaan. Wat ook mogelijk is, zeker in de eerste fase van de implementatie, is dat in het domeinmodel nog geen relaties worden vastgelegd. De auteur specificeert dan bij elke opgave alle concepten die verband houden met de opgave. Voor de eerste implementatie is dit waarschijnlijk verreweg de eenvoudigste methode en voorlopig kiezen we hier dus voor. Dat betekent niet dat er in het domeinmodel geen relaties zijn, maar we specificeren deze niet expliciet in het domeinmodel in de DWO. De auteur moet zorgen dat bij het koppelen van de opgaven aan concepten alle relaties ook worden meegenomen. Benodigde tijd en gebruik hints: Naast de ingevoerde antwoorden van studenten kunnen we ook nog nadenken over het meenemen van aspecten als benodigde tijd en het gebruik van uitklapvakken met hints of extra uitleg. Voorlopig doen we dat niet, omdat het gebruik van alle invoer van een student al veel informatie biedt en ook veel uitdaging voor interpretatie oplevert.

6

Concepten geïsoleerd of context: Verder kun je nog nadenken over scores wanneer concepten geïsoleerd of juist in combinatie voorkomen. De verwachting op basis van literatuur en gesprekken met docenten is dat de opgaven over combinaties van concepten minder goed zullen gaan dan opgaven over geïsoleerde concepten. Kun je hier op één of andere manier wat over zeggen op basis van het studentmodel? Gewicht van koppeling tussen concept en opgave: In de huidige situatie wordt alleen maar aangegeven dat een bepaald concept aan een opgave is gekoppeld, de score voor de opgave bepaalt hoe belangrijk de opgave voor dat concept is. Is dit voldoende, of is voor een goed overzicht meer nodig? En wat dan? Bijvoorbeeld dat een opgave sterke of zwakke aanwijzingen geeft voor het beheersen van een concept? Ook dit is een extra optie die we in de eerste implementatie nog niet inbouwen.

5. Presentatie  studentmodel  aan  studenten  en  docenten  

Hoe moet het eruit zien? Het hele model kan behoorlijk overweldigend zijn. Ook hier zou een splitsing in niveaus weer kunnen helpen. Klikken op een niveau zou de onderliggende niveaus kunnen tonen. Je zou dan op lage scores kunnen klikken om te zien waar die lage scores vandaan komen. Een andere optie is om alleen concepten met extremere waardes te tonen. Of een combinatie van deze beide ideeën. Kunnen concepten op hetzelfde niveau toch verschillen in belangrijkheid? In de huidige situatie bepaalt de maximaal te behalen score voor een concept hoe belangrijk dat concept is. Dit geeft auteurs de mogelijkheid na te gaan of de concepten in het materiaal in de door de auteur gewenste verhoudingen voorkomen. Heeft dat meerwaarde voor docenten en studenten? Geef je aan hoe ver de student in het materiaal is gevorderd? Dit gebeurt in het huidige model niet, maar kan nuttig zijn. Ik wil in elk geval voorkomen dat 40% gemaakt, 100% goed er hetzelfde uitziet als 100% gemaakt en 40% goed, omdat de vervolgstappen die een student bij deze twee situaties het beste kan nemen heel verschillend zijn. Maar ik vraag me af of 40% gemaakt, 40% goed er heel erg anders uit moet zien dan 100% gemaakt en 40% goed. Wanneer laat je het studentmodel aan studenten zien? Dit hangt samen met wat je wil dat de student met de informatie uit het model doet. Een volledig leeg model geeft (afhankelijk van de weergave) mogelijk informatie over wat de auteur meer en minder belangrijke concepten vindt. Voor docenten: kunnen overlays van groepen studenten worden gegenereerd en zo ja, hoe?

6.  Implementatie  in  de  DWO   Het verzamelen en analyseren van data moet veel meer dan nu gescheiden gebeuren. De DWO verzamelt al gegevens over het aantal pogingen, het aantal fouten en de benodigde tijd. Daar hoeft dus weinig aan te veranderen. Deze gegevens kunnen worden doorgegeven aan een aparte component die, liefst over verschillende activiteiten, de gegevens analyseert en verwerkt tot een studentmodel. Het domeinmodel kan in deze aparte component worden gespecificeerd. Per activiteit moet dan nog worden aangegeven wat het onderliggende domeinmodel is, om opgaven aan concepten te kunnen koppelen. 7

Vervolgens kan de auteur bij elke opgave de relevante concepten aanklikken en bij elke gespecificeerde antwoordoptie de relevante misconcepties. Concreet leidt dit tot de volgende lijst met wensen voor aanpassing aan de DWO: • Ontwikkeling van een studentmodel-component, waarin een domeinmodel kan worden gespecificeerd en gevuld met data uit het studentwerk. Voor deze component kunnen we de volgende wensen specificeren: o Eén domeinmodel kan aan meerdere activiteiten gekoppeld worden; o Het domeinmodel kan gespecificeerd worden in de vorm van een boomstructuur; o De scores voor concepten worden berekend uit de studentgegevens uit alle activiteiten waaraan het domeinmodel gekoppeld is; o Bij het berekenen van scores wordt de analyse van de domain reasoner meegenomen; o Het domeinmodel kan nog (licht) aangepast worden als het al in gebruik is (dus als er al concepten uit het domeinmodel aan opgaven gekoppeld zijn). Ik verwacht bijvoorbeeld dat auteurs tijdens het ontwerpen nog nieuwe misconcepties willen kunnen specificeren; o Een gebruiksvriendelijke en intuïtieve weergave van het studentmodel voor studenten, bijvoorbeeld door te kunnen inzoomen of uitzoomen naar meer of minder gedetailleerde concepten. o De studentmodellen van een groep kunnen worden gecombineerd om een docent inzicht te geven in de vorderingen van zijn groep. • Aanpassingen aan componenten binnen de auteursomgeving o Feedbacktabbladen bij meerkeuze-antwoordvakken (check-selectieunit, check-sleep-unit, check-waarde-unit) o Bij alle opgaventypen met feedbacktabbladen: concepten kunnen specificeren per feedbacktabblad, niet (alleen) per opgave. o Bij antwoordvakken met stappen: specificatie van verwacht aantal tussenstappen o Eventueel: feedbacktabbladen bij tool voor normale verdeling en grafiekentool

References Brusilovsky, P., & Millán, E. (2007). User models for adaptive hypermedia and adaptive educational systems. Paper presented at the The Adaptive Web, 3-53. Bull, S. (2004). Supporting learning with open learner models. Planning, 29(14), 1. Sosnovsky, S., & Brusilovsky, P. (2015). Evaluation of topic-based adaptation and student modeling in QuizGuide. User Modeling and User-Adapted Interaction, 25(4), 371424.

8