WP6 TenCompetence Assessment Specification v.1.0 and Proof-of-concept tools
Milen Petrov, Sofia University EDE 2007, 10-2007
WP6 Internal Structure T3: Assessment Model
use
T1: Units of Learning assessed through
played in
designed with
T2: Authoring Tools validated through
connected with
T2: Runtime Engines validated through
T5: Usability Test
T6: UoL Quality Rating
use
T4: Services Connection Protocol
WP 6,Task 3. Develop a formal specification model and supporting tools that combines new assessment types and the ones included in the IMS QTI (providing input for standards development). The current IMS QTI specification concentrates on classical forms of assessment (multiple choice, short answer, etc.). For competence development also other assessment techniques should be included in the specification (e.g. 360 degrees feedback, portfolio assessment). During the first 18 months activities will build on initial work already done by OUNL and CITO to specify a formal integrative model, and tools will be developed. This will provide valuable input for the further development of the IMS QTI specification.“
OUNL’s assessment model • • • •
Develop conceptual model of assessment Cover state of the art in assessment Create foundation for a new standard Document and evaluate methodology – UML as notation – Model expert knowledge
Toetskader bestaat uit
-toetsvisie:Tekst 1
<
> ToetsplanIndicator -norm:double 0..* -schaal:Schaal -scoreBerekeningsregel:Regel
is basis voor
Populatie
* baseert beslissingen op
1..*
1
0..1 *
Toetsplan -matrijs:Tabel -omstandigheden:Tekst -preconditie:Tekst
Toetsfunctie
1
1 toegestaan
* 1 *
*
0..*
-typeBeslissing:String -omschrijving:String
0..*
0..1
<> AssessmentScenario
bestaat uit
hoort bij
* 0..1
afnamevorm
0..*
1 0..1
* 0..1
*
*
0..1
-gewicht:double -beoordelingscriteria:Lijst -definitieCriterium:Tekst -prestatieschaal:Schaal
Casuspositie * *
bestaat uit 1 Hint -Moment:int
Prompt
0..*
0..1
heeft
*
-nummer:int -creatiedatum:Datum -geschatteAfnametijd:Tijd -maximaleAfnametijd:Tijd 1 -betrouwbaarheid:double -validiteit:double -rit_waarde:double -irt_waarde:double -kandidaatrol:Lijst -medium:String 1..* -presentatieMedia:Lijst -kandidaatInstructie:Tekst
*
1..*
-beslisregels:Lijst
1
voldoet aan criteria van
1
is toegepast door
1
SelectieFormat
0..1
0..*
Beslisser bestaat uit
*
beslist inzake *
1
<> 1..* AssessmentItem
*
*
beoordeelt
*
1 1
1
1
1
1
DemonstratieFormat
-gokkans:double
-datum:Datum -aanvang:Tijd * -einde:Tijd -kandidaatrol:String -presentatieMedium:String
1
Kandidaat
1
-Identificatie:String -naam:String
is toegepast in
1
1..*
neemt
bepaalt
neemt in overweging mee
Persoon Groep
<> ItemRespons * *
0..* bestaat uit
bepaalt responscodering Zie verdere uitwerking in ResponsModus
1
*
0..*
<> AssessmentAfname
Beoordelaar -Identificatie:String -naam:String
*
-naam:String
is bestemd voor
1
-vooropleiding:tekst 2..* -persoonlijkOntwPlan:tekst -persoonlijkActPlan:tekst
bepaald score 1
* *
*
* *
AssessmentIndicatorScore *
*
*
hoort bij
-volgordenummer:int -gewicht:double
ConstructieFormat
-titel:Tekst -geschatteAfnametijd:Tijd -maximaleAfnametijd:Tijd -matrijs:Tabel -samenstellingsregels:Regel -minPersonen:int -maxPersonen:int -presentatieMedia:Lijst -kandidaatrol:Lijst -kandidaatInstructie:Tekst
0..1 -nummer:int
* Item
1
heeft
*
Beslisvoorschrift
Unit of Assessment
gebruikt
1 1
1..*
*
-regelingen:Tekst -Afnameinstructie:Tekst -benodigdHulpmiddel:Lijst -toegestaanHulpmiddel:Lijst
-omschrijving:Tekst
1..* 1
0..1
AfnameOrganisatie
<> Beoordelingsvoorschrift
1..*
Assessmentvorm
-volgorde:int -gewicht:double -maxDoorlooptijd:Tijd -verplichtIndicatie:int
1..*
Indicator
*
-criteria:Lijst -naam:String -vooropleiding:Lijst -taalbeheersing:Lijst -disability:Lijst -gebruikteMethoden:Lijst -domeinBehandeld:Lijst -aantalStudenten:int -opleiding:String -vak:String -OnderwerpenBehandeld:Lijst -niveau:String -specialeKenmerken:String
<> * AssessmentItemBeoordelingsvoorschrift
-indicatorScore:Waarde
betreft de uitvoering van
<> Beslissing
0..* -besluit:Waarde
-gewicht:int heeft
0..1
1
* 1
1..*
hoofdindicator
Scoringsvoorschrift -categorieCodering:Waarde -coderingsregel:Regel -categorieScore:Waarde -scoringsregel:Regel
0..1
subindicator 1
toegepast in
1
*
levert
<> IndicatorResponsCodering
1 * * 0..*
-gecodeerdeResponse:Waarde -indicatorScore:Waarde
*
*
0..1 Terugkoppeling -uitspraak:String -toelichting:String -referentie:String
0..1
Phases in the assessment process Assessment Design
Item Construction
Assessment Construction
Assessment Delivery Respons Evaluation
Decision Making
TENCompetence assessment specification - main phases • Design phase (Assessment design, Item construction, Assessment construction) • Run-time phase (Assessment run and Response rating).
STAGE 1 – Assessment design
STAGE 2 – Item construction
STAGE 3 – Assessment construction
STAGE 4 – Assessment run STAGE 5 – Response rating
Assessment Design
Item Construction
Assessment Construction
Assessment Delivery
Respons Evaluation
Decision Making
Проектиране и имплементиране насистема за управление на 360-градусова обратна връзка Проектиране и имплементиране насистема за изпитване и оценяване чрез стандартни техники отIMS QTI спецификацията Дизайн, разработка и тестване на система за адаптивни тестове и тяхното оценяване. Проектиране и имплементиране на система за самооценка и оценка от колеги по критерии. Система за авторство на различни форми на изпитване и оценяване базирана на уеб услуги Система за провеждане на различни форми на изпитване и оценяване базирана на уеб услуги
Система, базирана на уеб услуги, за анализ на нивото за придобиване на дадена компетенция
TenCompetence Assessment Spec. ver.1.0 - evaluation
Excerpt from Portfolio assessment profile
Editor tool(based on 360 degree feedback assessment)
Player tool (based on portfolio assessment)
Thank you • Milen Petrov, [email protected] • WP6 Assessment Spec, v.1.0 and proof of concept tools are available on: http://www-it.fmi.uni-sofia.bg/TENC/WP6/ •Project web site: www.tencompetence.org
• Q&A
