Evalueren bij afstuderen OOF Bachelortoets
Intro
Voorbeeld • • • • •
Teams van studenten (Onderzoeks-)project Aangeleverd door externen uit het vakgebied Begeleid door docenten en externe opdrachtgevers Rapporteren conclusies/ product • Paper • Presentatie voor medestudenten, externen en docenten
Voorbeeld • Herkent u aspecten uit deze toets? MMA Maar ook: VPK, SW, CH, SPIZ, SO, VD…
• Welke competenties kan u beoordelen met dergelijke toets?
Voorbeeld MMA • • • • • • • • • •
Kritische ingesteldheid Flexibiliteit Nauwkeurigheid Professionaliteit Leergierigheid Goede omgang met feedback Timemanagement Planningsvaardigheden Samenwerkingsvaardigheden Schrijfvaardigheden
TOETSVORM
Project - inhoud
3 2 1
tijd
Eindtoets Bachelor
Inhoud, niveau, integratie
Scriptie - afstudeerwerk Overalltoets Project - sfstudeerproject Portfolio Stage(verslag) …
Verloop workshop • • • •
Intro Voorbeeld Kader Project Work (shop) World café Kader • Theoretisch kader • Assessment instrument
• (Work) Shop Voorbeeld • Vragen
Kader
Project - aanleiding Bachelor Bologna (1999)
Toets NVAO visitatie- en accreditatie
EQF (2008)
Decreet op kwalificatiestructuur (2009)
Domeinspecifieke leerresultatenkaders
Nieuw visitatie- en accreditatiekader (2010) – standaard 3
Kwaliteitsvolle toetsing= Bewijslast voor eindniveau
Project - aanleiding Assessmentinstrumenten van voor eindevaluatie (divergent assessment): • Verschillende opleidingen (TI, IZSP,…) • Verschillende vormen en procedures • Verschillende (beroepsspecifieke) focus • Verschillende context • Gelijkaardige evaluatiecriteria/ standaarden
Project - Algemene competenties • Denk- en redeneervaardigheid • Verwerven en verwerken van informatie • Kritische reflectie • Projectmatig werken • Creativiteit • Uitvoeren eenvoudige leidinggevende taken • Communiceren • Levenslang leren
Project - Algemeen beroepsgerichte competenties • Teamgericht werken • Oplossingsgericht werken • Maatschappelijke verantwoordelijkheid samenhangend met de beroepspraktijk
Project - doelstellingen • Gevalideerde à associatiebreed inzetbaar • Set evaluatiecriteriaà kwaliteit: betrouwbaarheid/ transparantie • Minimumcriteria à concretisering van niveau 6 • Uitbreidingscriteria à differentiatie
• Sjabloon
à toetsinstrument
Project - timing WP1: Kaders WP2: Ontwerp WP3: Validering WP4: Implementatie WP5: Disseminatie
Adviesraad
Intern seminarie
Adviesraad
Intern seminarie
Adviesraad
Work
World Café 3 groepen – 3 thema’s – 1 toets (SPIZ) – Bruikbaarheid criteria – Eindniveau – Scoren
Per thema: – – –
Argumenten Zorgen Condities voor goede praktijk
Doorschuiven en ‘verder borduren’
World Café – toets bruikbaarheid criteria Argumenten • Transparant • Correct • Objectief
Zorgen • Verschillende interpretatie • Contextspecificiteit • Globaal oordeel moet mogelijk blijven
Kader
Project – divergent assessment à Evaluatiecriteria/ standaarden • Resultaten van studenten • Expertise van assessoren • Proces van beoordelen
Assessment design Ra-ng purpose(s) Ra-ng form/ scale Procedures Rater Exper-se Performance theory Beliefs Mood Affect Goals … Organiza-onal context Norm, values Accountability Feedback culture Resources (-me, training,…) …
Ratee performance
Rater Informa-on Processing
Private judgement
Public decision making Score Feedback Model of performance assessment process (adapted by M. Govaerts, 2011 from DeNisi, 1996)
Project - Evaluatiecriteria
Holistisch
Analytisch
Zorgen Verschillende interpretatie à Contextspecificiteit à Globaal oordeel moet mogelijk blijven ß
Project - Evaluatiecriteria Een goed evaluatiecriterium is: § Betrouwbaar § Valide § Transparant § Gelinkt aan competenties (~gelinkt aan evaluatievorm) § Niet te algemeen, niet te specifiek geformuleerd § Overlapt niet met andere criteria Plaatsen in beoordelingsrooster: kwaliteit verhoogt
Project – gebruik evaluatiecriteria • Gevalideerde à associatiebreed inzetbaar • Set evaluatiecriteriaà kwaliteit: betrouwbaarheid/ transparantie • Minimumcriteria à concretisering van niveau 6 • Uitbreidingscriteria à differentiatie
• Sjabloon
à toetsinstrument
Flexibel gebruik • Selectie criteria • ‘Semi-’ generieke criteria • Bijkomende beroepsspecifieke criteria
Project – gebruik evaluatiecriteria Structuur opmaken Criteria opvragen
Inventaris Criteria
•
Criteria labelen
Inventaris Competenties
• •
Opgevraagde criteria – AC/ABC Literatuur AC/ ABC
•
Differentiatie per toetsvorm
Inventaris toetsvormen
Project - sharepoint http://intra.khleuven.be/OnderzoekInnovatie/Projecten/GnT/ PWO_OOFBATO_12/Pages/Default.aspx
Shop
Structuur Generieke competenties à Schalen à Criteria à Toetsvormen/niveau
Structuur Generieke competenties AC1 Denk- en redeneervaardigheid à Schalen AC2 Verwerven en verwerken van informatie à Criteria AC3 Kritische reflectie AC4 Projectmatig werkenà Toetsvormen/niveau AC5 Creativiteit AC6 Uitvoeren eenvoudige leidinggevende taken AC7 Communiceren AC8 Levenslang leren ABC1 Teamgericht werken ABC2 Oplossingsgericht werken ABC3 Maatschappelijke verantwoordelijkheid samenhangend met beroepspraktijk
Structuur Generieke competenties à Schalen à Criteria De student kan relevante gegevens verzamelen, selecteren en structureren De student kan de verworven informatie kritisch verwerken en beschrijven à Toetsvormen/niveau …
Structuur Generieke competenties à Schalen à Criteria Probleemstelling formuleren à Toetsvormen/niveau Bronnen selecteren Gestructureerd kader schetsen
Structuur Generieke competenties à Schalen à Criteria à Toetsvormen/niveau
Het vermogen tot het verwerven en verwerken van informatie à De student kan relevante gegevens verzamelen, selecteren en structureren à Probleemstelling formuleren
Oefening 2 documenten SPIZ - MMA • Opdrachtbeschrijving • Evaluatiecriteria à Gelijkenissen?
Scriptie
Uitbreiding
• De probleemstelling wordt duidelijk • Duidelijk, bondig omschreven, goed omschreven afgebakende en verantwoorde • De belangrijkste bronnen worden probleemstelling geselecteerd en er wordt correct naar • Voldoende, relevante, ook internationale verwezen referenties • Recente ontwikkelingen van en inzichten • Relevante visuele ondersteuning door over het thema zijn correct beschreven en figuren voldoende uitgewerkt • Het conceptueel en contextueel kader wordt duidelijk geschetst • Gestructureerde en overzichtelijke opbouw
Project
Basis
• Het praktijkvraagstuk, de opdrachtgever • Het praktijkvraagstuk is duidelijk, bondig en de nodige middelen worden duidelijk omschreven en afgebakend, kritisch omschreven verantwoord • De literatuurkeuzes worden duidelijk • De geraadpleegde literatuur is omschreven en verantwoord vanuit het verscheiden, bekend binnen het werkveld praktijkvraagstuk en toonaangevend • De belangrijkste bronnen worden gebruikt • Recente ontwikkelingen van en inzichten • Gestructureerde en overzichtelijke opbouw over het thema zijn opgenomen en correct beschreven en voldoende uitgewerkt • De juiste personen (cliënt/patiënt/collega) worden op een gepaste wijze bevraagd • De relevante informatie kan uit het verhaal van de cliënt/patiënt worden
• Gerichte, objectieve vragen worden aan de cliënt/patiënt/collega gesteld om efficiënt de juiste informatie te verkrijgen • De informatie wordt op een kritische
Vragen
Bedankt!
[email protected] [email protected] [email protected]
