Onderzoeksrapport in opdracht van het Nederlands Mediation Instituut Mr. M.A. Waleson Tanja Stöver, MSc. Juni 2013

Assessment NMI

Onderzoeksrapport in opdracht van het Nederlands Mediation Instituut Mr. M.A. Waleson Tanja Stöver, MSc. Juni 2013

0

Dit concept rapport is vertrouwelijk

Samenvatting Het Nederlands Mediation Instituut (NMI) is verantwoordelijk voor de toetsing ten behoeve van de toelating van mediators tot het register van het NMI. In het verleden was het afleggen van een kennistoets afdoende; sinds 1 januari 2012 is het voor certificering verplichte performanceassessment toegevoegd als registratie-eis. De slagingspercentages vallen echter tegen. Daarom heeft het bestuur van het NMI besloten een onderzoek in te stellen naar de mogelijke oorzaak van het verminderde slagingspercentage. Hoofdvraag voor dit onderzoek luidt: Wat zijn de oorzaken van het lage slagingspercentage van het verplichte performance assessment dat dient als toelatingseis voor de registratie van mediators tot het register van het NMI? Om een zo betrouwbaar beeld te krijgen, zijn gegevens verzameld bij Examenbureau INTOP en de geaccrediteerde opleidingsinstituten. Ook zijn er gegevens verzameld bij cursisten die het assessment in 2011 en 2012 hebben afgelegd. Resultaten laten zien dat, behalve leeftijd, er geen persoonskenmerken (gemeten in dit onderzoek) van invloed zijn op de slagingskans. De resultaten suggereren bovendien dat de opleidingsinstituten hun zaken op onderwijskundig niveau op orde hebben en dat cursisten over het algemeen erg tevreden zijn over de inhoud en inrichting van hun genoten opleiding. Ook zijn zij tevreden over de informatie die zij krijgen vanuit het opleidingsinstituut. Alle opleidingen hebben een intakeprocedure, waarbij getoetst wordt op geschiktheid. Opleidingen besteden bovendien tijd en aandacht aan de persoonlijke ontwikkeling van cursisten. Als het gaat om de oefenmediations zijn cursisten tevreden, hoewel sommige aangeven meer één op één tijd te willen oefenen, liefst met acteurs en/of real life casussen, om zo het assessment beter na te kunnen bootsen en vaardigheden authentieker te kunnen ontwikkelen. Cursisten en opleidingen lijken twijfels te hebben bij het doel van het assessment en lijken een voorkeur uit te spreken voor een authentic assessment in plaats van een performance assessment. In de organisatie rondom de voorbereiding van video-assessments lijkt een ontwikkeling plaats te vinden bij de opleidingen, met name op het gebied van het aanleveren en beoordelen van casussen, alsmede het beoordelen van de technische kwaliteit van de video. Resultaten suggereren dat mensen de feedback vanuit INTOP bij het video assessment als minder prettig ervaren dan bij het live assessment. Het is aan te bevelen om hier in de toekomst meer duidelijkheid over te verschaffen. Ten slotte laat een analyse van de assessmentformulieren zien dat er geen verschil blijkt te zijn in de scoring tussen een live- en een video assessment. Een aantal schalen scoren hoger in het live-assessment, een valide verklaring is hiervoor in dit onderzoek niet gegeven.

1


Inhoud Samenvatting

1

Methode

5

Resultaten

7

Relatie persoonskenmerken en mediationervaring en slagingskans assessment

7

Vormgeving voorbereiding op assessment door opleidingsinstituten en slagingskans

8

Informatievoorziening vanuit het opleidingsinstituut

8

Intakeprocedure

9

Inrichting opleiding

10

Percentage theorie – vaardigheden – beroepshouding (attitude) en ondersteuning vanuit de opleiding

11

Inschatting van besteedde tijd aan oefenmediations- of assessment

12

Vorm van oefenmediations

12

Video-assessment

13

Toetsing door INTOP

14

Scoring van de schalen van het assessment

15

Conclusie en discussie

19

Literatuur

25

2


Inleiding Het Nederlands Mediation Instituut (NMI) is verantwoordelijk voor de toetsing ten behoeve van de toelating van mediators tot het register van het NMI. In het verleden was het afleggen van een kennistoets daarvoor afdoende, sinds 1 januari 2012 is het voor certificering verplichte performance assessment als registratie-eis toegevoegd. Het duale systeem – registratie op basis van een kennistoets en certificering op basis van registratie en aanvullende eisen, waaronder en performance assessment- is daarmee vervangen door één register. Sinds 1 januari kan het assessment niet alleen live, maar ook via het inzenden van een video plaatsvinden. De slagingspercentages voor het assessment lijken tegen te vallen. Het bestuur van het NMI heeft besloten een onderzoek naar de oorzaak van het achterblijvende slagingspercentage uit te laten voeren. Daarvoor is mr. M.A. Waleson benaderd. De heer Waleson heeft het onderzoek samen met mevrouw Stöver, MSc. uitgevoerd. In het onderzoek worden zowel de live- als de video assessments betrokken. Zo kan een betrouwbaarder beeld van de oorzaken voor het niet behalen van het assessment in het algemeen verkregen worden, en kunnen resultaten van het video-assessment met die van het live-assessment vergeleken worden. Uitgangspunt bij het onderzoek is dat de inhoud en het niveau van het assessment valide instrumenten zijn om de toegang tot het beroep van mediator te regelen. Het assessment sluit aan bij het beroepsprofiel met de daarbij bijbehorende competenties. Het assessment zal daarom geen onderwerp van onderzoek zijn. De hoofdvraag voor dit onderzoek zoals geformuleerd door de opdrachtgever luidt: Wat zijn de oorzaken van het lage slagingspercentage van het verplichte performance assessment, dat dient als toelatingseis voor de registratie van mediators tot het register van NMI? Als eerste volgt kort een theoretische onderbouwing van de inhoud van het onderzoek. Als tweede vindt er een bespreking van de onderzoeksmethodiek plaats. Daarna worden de resultaten besproken en tot slot volgt een conclusie, waarin aandacht gegeven wordt aan de aanbevelingen.

3


Literatuur en verantwoording Uit de onderzoeksliteratuur over de effectiviteit van onderwijs (Van Der Ploeg, 2007) laat zich een viertal clusters van medebepalende factoren afleiden. Van de meeste van deze factoren is in empirisch onderzoek voldoende aangetoond dat zij bijdragen aan de effectiviteit van een onderwijseenheid. De eerste factor heeft betrekking op diegenen die het onderwijs volgen (geschiktheid, geïnformeerd zijn, gemotiveerd zijn). Mensen die het onderwijs volgen, dienen over de kennis en vaardigheden te beschikken die in een opleiding geëist worden. Dit impliceert een voorkeur voor ingangseisen voor de opleiding en zorgvuldige voorlichting over inhoud en eisen, voorafgaand aan de opleiding. Mensen die aan de opleiding deelnemen, moeten op tijd inzicht hebben wat de toetseisen zijn. Er dient te allen tijde duidelijkheid te zijn over opleidingsdoelen. Ook dienen zij frequente toetsing en feedback te ondergaan, waardoor zij geïnformeerd zijn gedurende de opleiding over hun voortgang. Behalve geschiktheid en geïnformeerd zijn, speelt de eigen motivatie van de cursisten mee. Een hoge verwachting en waardering is een medebepalende factor voor prestaties. Geschiktheid en geïnformeerd zijn zal worden meegenomen in deelvraag 1, 2 en 3, door te onderzoeken of demografische variabelen mogelijkerwijs invloed hebben op de slagingskans van het assessment. Ook zullen de cursisten worden bevraagd over bovengenoemde factoren. De tweede factor die de effectiviteit van onderwijs meebepaalt, heeft betrekking op het leren (adequate manier van leren, voldoende inspanning en tijdsbesteding en doelmatig plannen van werkzaamheden). Over adequate manieren van leren en doelmatig plannen van werkzaamheden verschilt de literatuur nog van mening over de wijze van bijdrage aan effectiviteit van onderwijs. Bovendien is dit problematisch te meten en wordt het voor dit onderzoek derhalve niet meegenomen. Subfactoren die wel worden meegenomen in dit onderzoek zijn inspanning en tijdsbesteding. Deze factoren lijken vanuit recentere literatuur een positieve bijdrage te leveren aan prestaties na het volgen van onderwijs. Deze subfactoren worden behandeld in deelvraag 2 en 3, door middel van het bevragen van opleidingen en cursisten. Hiervoor wordt ook beschikbare webinformatie worden geraadpleegd. De derde factor heeft betrekking op de opleiding zelf en heeft een connectie met de hiervoor besproken factoren (duidelijk en overzichtelijk programma, realistische programmering). Hoe transparanter het programma, hoe gemakkelijker het is voor de cursisten om te zien wat er van ze verwacht wordt. Ook deze factoren worden bevraagd bij opleidingen en cursisten. Hierbij wordt ook beschikbare webinformatie geraadpleegd. Als laatste spreekt men in de literatuur over factoren die betrekking hebben op het onderwijzen als activiteit naar voren. Veel subfactoren zijn methodisch gezien gecompliceerd te meten, derhalve worden in dit onderzoek de meer praktische variabelen meegenomen: voldoende focus en tijd, duidelijkheid en structuur, het geven van feedback en de match leerstof- en leervorm versus toetsing.

4


Methode De hoofdvraag voor dit onderzoek zoals geformuleerd door de opdrachtgever luidde: Wat zijn de oorzaken van het lage slagingspercentage van het verplichte performance assessment, dat dient als toelatingseis voor de registratie van mediators tot het register van NMI? In het onderzoek zijn zowel de live- als de video-assessments betrokken. Zo is er sprake van een meer betrouwbaar beeld van de oorzaken voor het niet behalen van het assessment in het algemeen, en kunnen de resultaten van het video-assessment met die van het live assessment vergeleken worden. Het NMI heeft ten behoeve van dit onderzoek een begeleidingsgroep ingesteld waarmee tenminste twee keer tussentijds overleg heeft plaatsgevonden. De begeleidingsgroep adviseert over te raadplegen informatiebronnen en faciliteert de onderzoekers in het verkrijgen van de gewenste data en informatie. Om de hoofdvraag te beantwoorden worden zowel de cursisten als de (op het assessment voorbereidende) opleidingen onderzocht. Daarbij wordt antwoord gegeven op de volgende deelvragen: 1. Is er een relatie tussen persoonskenmerken van de cursist – zoals vooropleiding, leeftijd, professionele achtergrond, ervaring in de professie en mediationervaring enerzijds en de slagingskans anderzijds? 2. Op welke wijze geven de opleidingsinstituten de voorbereiding op het assessment vorm? Daarbij zullen de intake voor de opleiding, de invulling van de contacttijd, het oefenassessment, en begeleiding van de cursisten in het onderhavige onderzoek worden betrokken 3. Is er een relatie tussen de inrichting van de opleiding als boven bedoeld en de slagingskans voor het assessment? 4. Hoe wordt het assessment gescoord – zijn er onderdelen de opvallend vaak slecht c.q. opvallend vaak goed gescoord worden- en in hoeverre verschilt deze score tussen de live- en de videoassessments? In het onderzoek zijn verschillende bronnen geraadpleegd. Waar mogelijk werd van bestaande en beschikbare informatie gebruik gemaakt. Deelvraag 1 wordt met behulp van het gegevensbestand van INTOP en haar gegevens in de assessmentformulieren beantwoord. Voor beantwoording van de vraag of persoonskenmerken van de cursist en mediationervaring van invloed zijn op de slagingskans worden de resultaten van de assessments van voor 1 januari 2012 in het onderzoek betrokken. De data van INTOP (n=276) zijn hierbij aangevuld met gegevens uit de digitale vragenlijst die is uitgezet onder de cursisten.

5


Deelvraag 2 is via een vragenlijst aan de 31 geaccrediteerde opleidingen beantwoord. De vragenlijst is door de onderzoekers opgesteld, gereviseerd met behulp van leden van de begeleidingscommissie en door het NMI verspreid. 21 opleidingen hebben de vragenlijst compleet ingevuld. Als controle voor de betrouwbaarheid van het onderzoek en de onderzochte variabelen is een soortgelijke vragenlijst opgesteld voor cursisten, die digitaal verspreid is door het NMI. Deze vragenlijst is ingevuld door 75 personen. Na analyse bleken van dit aantal 59 vragenlijsten in zijn geheel bruikbaar voor dit onderzoek. De gemiddelde leeftijd van cursisten was 47,7 jaar. Een deel van deze gegevens zijn gebruikt voor de analyses ten behoeve van deelvraag 1, de overige gegevens om de interbeoordelingsbetrouwbaarheid te kunnen waarborgen. De interbeoordelaarsbetrouwbaarheid geeft de overeenkomst weer tussen de uitkomsten van dezelfde metingen, uitgevoerd door meerdere beoordelaars: in dit geval worden zowel vertegenwoordigers van opleidingsinstituten als cursisten van opleidingen bevraagd over dezelfde onderwijskundige aspecten van de opleiding. Deelvraag 3 is beantwoord aan de hand van een onderwijskundige analyse van de opleiding op basis van een combinatie van de gegevens uit de vragenlijsten van de cursisten en de schriftelijke dan wel web informatie, soms aangevuld met verduidelijkende vragen aan de betreffende opleidingsinstituten. Deelvraag 4 is beantwoord met behulp van geanonimiseerde assessment scoreformulieren, geleverd door INTOP. De onderzoekers hebben de verkregen onderzoeksresultaten vertrouwelijk behandeld en zullen deze, zoals besproken, niet publiceren en/of openbaar maken.

6


Resultaten Hieronder volgen de resultaten per deelvraag. Voor sommige deelvragen geldt dat er aanvullende analyses hebben plaatsgevonden. Relatie persoonskenmerken en mediationervaring en slagingskans assessment Er is getoetst of het wel (n=70) of niet (n=99) behalen van het assessment voorspeld kan worden door de leeftijd van de cursist. De toets was significant, wat impliceert dat de groep die het assessment niet behaalde(gemiddelde=51,3) een hogere leeftijd had dan de groep cursisten die het assessment wel behaalde (gemiddelde=46,8). Ook is er getoetst of er een invloed was van leeftijd op de score per schaal van het assessment. Leeftijd bleek geen voorspeller van de scores op de aparte schalen van het assessment. Er is getoetst of het wel (n=69) of niet (n=99) behalen van het assessment voorspeld kan worden door de zelf gerapporteerde mediationervaring en zelf gerapporteerde professionele ervaring van de cursist. De toets was niet significant, wat impliceert dat het wel of niet behalen van het assessment niet voorspeld kan worden door de zelf gerapporteerde mediationervaring. Ook is er getoetst of er een invloed was van zelfgerapporteerde mediationervaring en zelfgerapporteerde professionele achtergrond op de score per schaal van het assessment. Beide variabelen bleken geen voorspeller van de scores op de aparte schalen van het assessment. Er is een getoetst of het wel (n=70) of niet (n=99) behalen van het assessment voorspeld kan worden door het opleidingsniveau van de cursist. De toets was niet significant, wat impliceert dat het wel of niet behalen van het assessment niet beïnvloed wordt door de opleidingsniveau. Aanvullend hebben de onderzoekers bekeken of er een relatie is tussen geslacht en het behalen van het assessment. Deze toets was niet significant, wat impliceert dat geslacht geen invloed heeft op het behalen van het assessment. Om te bekijken of er een invloed was van geslacht op de score per schaal van het assessment, is getoetst of de score per schaal beïnvloed wordt door geslacht. De toets was significant op de schaal “Zelfbeschikking bevorderen” wat impliceert dat vrouwen (gemiddelde=2.61), op deze schaal gemiddeld hoger scoren dan mannen (gemiddelde=2.45).

7


Vormgeving voorbereiding op assessment door opleidingsinstituten en slagingskans Alvorens te onderzoeken hoe opleidingsinstituten vorm geven aan de voorbereiding op het assessment, is nagegaan of er een invloed is van het opleidingsinstituut op de slagingskans. Deze toets was significant. Echter, om een betrouwbare uitspraak te kunnen doen over de effectieve invloed van opleidingen, waren de verschillen in steekproefgrootte tussen de opleidingsinstituten te groot. De opleidingsinstituten met minder dan tien cursisten zijn verwijderd uit de analyse en de opleidingen die meer dan tien cursisten bevatten zijn geanalyseerd. Met deze vijf opleidingen bleek de toets niet significant. Het opleidingsinstituut waar een cursist de opleiding volgt, heeft geen invloed op het wel of niet voldoen aan het assessment. Ook in de inspectie van frequenties waren geen opleidingen te vinden die opvallend hoog of laag scoorden. Een aantal opleidingen stuurden twee cursisten waarvan beiden waren geslaagd, of beiden niet waren geslaagd. Voor de resultaten van de onderwijskundige analyse zijn de variabelen zoals besproken in de literaire verantwoording en deelvraag 2 onderzocht: de inspanning die is geleverd qua tijd, de invulling van de contacttijd, overzichtelijkheid van het onderwijsprogramma (informatie intake en programma), en de match tussen leerstof en toetsing (aandacht voor oefenassessments). Voor de onderwijskundige analyse zijn in eerste instantie de data bekeken vanuit de cursisten (n=57) en zijn de data vanuit de opleidingen (n=21) doorlopend gebruikt om te na te trekken of de antwoorden redelijkerwijs overeenkwamen. Bij opvallende afwijkingen is verder onderzoek verricht binnen de data naar eventuele verschillen. Om de vertrouwelijkheid voor de respondenten en opleidingsinstituten te waarborgen worden hier de algemene resultaten gerapporteerd. De rode draad uit de open vragen uit de vragenlijsten van cursisten volgt na de bespreking van de resultaten per onderwijskundig onderwerp. Informatievoorziening vanuit het opleidingsinstituut Gemiddelde score Informatie over afzonderlijke

5.11

bijeenkomsten Informatie over het assessment

4.9

Informatie over toetsing in het

5.1

assessment Tabel 1: Gemiddelde scores (n=57) op informatie voorziening vanuit opleidingsinstituut

1 Alle

vragen waarbij gemiddelden zijn gerapporteerd, zijn bevraagd op schaal van 1 (komt helemaal niet overeen) – 7 (komt helemaal overeen) 8


Het merendeel van de cursisten geeft aan goed geïnformeerd te zijn. Een enkeling geeft aan dat op het boek van Prein geen nadruk is gelegd in de opleiding, maar dat het wel een must is voor het assessment. Bij elke opleiding staat het boek van Prein op de verplichte literatuurlijst. Ook geven cursisten aan dat zij ondanks alle veranderingen die zijn opgetreden in de onderhevige regels, het gevoel hebben voldoende geïnformeerd te zijn geweest. Voor wat betreft de intakeprocedure geven alle opleidingen aan informatie te verstrekken over cursusopzet en didactiek, contacturen, aantal uren zelfstudie en toelating tot het NMI register in informatiegidsen of tijdens eventuele voorlichtingen. De meeste opleidingen verschaffen daarenboven informatie over het aantal uren zelfstudie, vereist werken denkniveau en de intakeprocedure. Bovenstaande suggereert dat opleidingen voldoende informatie en duidelijkheid verschaffen, alvorens potentiele cursisten bij een opleiding starten. De verwachtingen zijn duidelijk. Intakeprocedure Tijdens de intakeprocedure geven opleidingen vooral aandacht aan motivatie en sociale vaardigheden. Op een enkele opleiding na wordt er in alle opleidingen een minimaal werken denkniveau verwacht (HBO). De opleiding die aangeeft deze richtlijn niet altijd aan te houden, beargumenteert dat het in de opleiding vooral draait om intrinsieke motivatie en sociale vaardigheden. Sommige opleidingen geven ook aandacht aan het vereiste beginniveau tijdens de intakeprocedure. In vrijwel alle opleidingen vindt er tijdens de intakeprocedure een administratieve controle plaats. Vier opleidingen geven aan geen daadwerkelijk intakegesprek te houden, maar daar nog wel aandacht aan te besteden bij het begin van de opleiding. De overige opleidingen houden een intakegesprek waarin met name analytisch vermogen, zelfreflectie, motivatie en verwachtingen getoetst worden. Bij sommige opleidingen vindt dat plaats na een telefonische intake. Een klein deel van de opleidingen toetst in het intakegesprek de potentiele cursist met een casus.

9


Inrichting opleiding Gemiddelde score Voldoende tijd voor

5.5

oefenassessment Sprake van frequente feedback

5.6

in de opleiding Voldoende mogelijkheden om

5.5

mediationvaardigheden te oefenen Feedback ten aanzien van

5.4

voortgang mediationvaardigheden De basisopleiding bereidt voor

5.8

op toetsing zoals uitgevoerd bij INTOP Mijn vorderingen werden

4.8

regelmatig getoetst De eigen te maken stof en

5.6

vaardigheden worden in verband gebracht met de mediationpraktijk De basisopleiding bereidt voor

4.6

op de toetsing zoals uitgevoerd bij INTOP qua inhoud De basisopleiding bereidt voor

4.6

op de toetsing zoals uitgevoerd bij INTOP qua vorm Tabel 2: Gemiddelde scores (n=57) op inrichting opleiding

De meeste respondenten zijn tevreden over de inrichting van de opleiding. Een enkeling geeft aan dat er meer behoefte is om met acteurs te oefenen in plaats van met medecursisten, om een zo reëlere nabootsing van het daadwerkelijk assessment te verkrijgen. De meeste opleidingen geven zelf ook aan dat zij niet altijd werken met acteurs in de opleiding.

10


Een aantal respondenten geeft aan dat de basisopleiding uitstekend voorbereidt op het beroep Mediator, maar dat deze opleiding niet automatisch voorbereidt (en hoeft voor te bereiden) op het assessment. De meeste respondenten zijn vol lof over de opleiding en de opleiders en zijn vooral tevreden over de hoeveelheid oefening en feedback die zij hebben gekregen. Een aantal respondenten geeft aan dat naar hun mening de groep te groot was en dat zij daarom soms frequente feedback mistte. Door de cursisten wordt een gemiddelde groepsgrootte van zeven personen per trainer gerapporteerd. De opleidingsinstituten rapporteren een gemiddelde groepsgrootte van zes personen en een maximale groepsgrootte van acht personen bij trainer. De meeste cursisten zijn tevreden over de groepsgrootte, maar hadden graag meer één op één willen oefenen met eventuele acteurs. Een enkeling had met minder cursisten in een groep willen werken. Vrijwel alle opleidingen geven hun cursus vorm als blokken van dagen. Een enkele opleiding hanteert daarbij een aantal losse dagen. De meeste blokken van dagen bestaan uit twee of drie opeenvolgende dagen. De tijd tussen die blokken varieert, maar niet veel: van één tot vier weken. Percentage theorie – vaardigheden – beroepshouding (attitude) en ondersteuning vanuit de opleiding

Cursisten geven gemiddeld aan 32% bezig te zijn geweest met theorie, 42% met vaardigheden en 20% met het werken aan beroepshouding (attitude). 7,9% geeft andere aspecten van de opleiding aan, zoals literatuur, informatie over het assessment, informatie over de praktijk van de mediator, ontwikkelingen in het vakgebied en video’s bekijken en bespreken. Opleidingen geven grotendeels dezelfde verdeling van tijdsbesteding aan (29% theorie, 45% vaardigheden en 23% beroepshouding). Alle opleidingen maken daarenboven gebruik van een vorm van intervisie. Een aantal opleidingen maakt gebruik van supervisie. Ook zijn er in alle opleidingen mogelijkheden tot hulp voor zelfstudie en wordt er gebruik gemaakt van individuele opdrachten. In sommige opleidingen dienen studenten daar bovenop zelfstandig aan het werk te gaan in groepen om bijvoorbeeld vaardigheden te oefenen.

11


Inschatting van besteedde tijd aan oefenmediations- of assessment De meeste cursisten geven aan het gevoel te hebben genoeg tijd te hebben besteed aan oefenmediations. Een enkeling had meer tijd willen besteden aan het oefenen. Een aantal cursisten geven aan zelfstandig buiten de opleidingen om oefenmediations te hebben uitgevoerd. Vorm van oefenmediations

Van de cursisten geeft 66% aan dat er in de oefenmediations aandacht is voor de vorm van het assessment, zoals verwacht bij INTOP. 63.8% geeft aan dat er aandacht is voor de deelcompetenties zoals ze worden getoetst bij INTOP. 96% geeft aan dat er aandacht is voor feedback vanuit de trainers en 98% geeft aan dat er aandacht is voor feedback vanuit de cursist. Andere aandachtspunten die genoemd waren, zijn feedback van medecursisten, en algemene mediationvaardigheden. Een aantal opleidingen geeft zelf aan dat er geen speciale aandacht is in de oefenmediations voor de vorm en competenties van het assessment, zoals verwacht bij INTOP. Alle opleidingen geven te kennen dat er aandacht is voor feedback vanuit de trainer. De meeste opleidingen geven aan aandacht te besteden aan mediation vaardigheden, beroepsattitude en feedback van overige cursisten.

Van de cursisten geeft 96% aan dat de oefenmediations de vorm hadden van een rollenspel met een medecursist, 53% geeft aan met acteurs te hebben geoefend, 60% oefende met een trainer.

12


Ook hier blijkt zelfreflectie (87%), feedback door de trainer (96%) en feedback vanuit mede-cursisten (92%) regelmatig te hebben plaatsgevonden. In 68% van de gevallen hebben de cursisten aangegeven dat er een analyse heeft plaatsgevonden van video-opnamen. Alle opleidingen geven aan oefenmediations vorm te geven door een rollenspel met mede-cursisten. De helft van de opleidingen doet dat ook met acteurs. Het merendeel oefent met de trainers zelf. Een mondelinge en/of schriftelijke analyse vindt volgens de meeste opleidingen plaats en in alle gevallen geven de opleidingen aan feedback te geven vanuit de trainers, mede-cursisten en de cursist zelf. In het merendeel van de gevallen geven de opleidingen aan dat zij gebruik maken van videoapparatuur, inclusief klassikale analyse hiervan. Video-assessment In geval van het insturen van een video voor het video-assessment, geeft 52% aan dat er meerdere video’s zijn opgenomen, alvorens de meest geschikte te kiezen. De meeste opleidingen geven aan dat er niet meerdere video’s worden opgenomen.

Uit de respons van de cursisten blijkt dat in 17% van gevallen de casus inhoudelijk bekend was bij de cursist. In 70% van de gevallen werd de casus geleverd door de opleiding en in 39% van de gevallen waren er acteurs door het opleidingsinstituut aangedragen voor het rollenspel. De respons van de opleidingen geeft hetzelfde beeld. Bovendien geeft het merendeel van de opleidingen aan dat zij de casus van tevoren beoordelen op geschiktheid en op mogelijkheid tot conflictinteractie. Opleidingen zelf geven aan ten tijde van het insturen van de eerste video’s niet altijd de casus te hebben beoordeeld, maar dat dit tegenwoordig wel structureel gebeurt. Een aantal opleidingsinstituten geven aan geen video’s (meer) in te sturen ten behoeve van het assessment.

13


Met betrekking tot kwaliteit van de video-opnamen blijkt dat aspecten van de handleiding van INTOP voor het maken en insturen van video’s volgens 39% van de cursisten aandacht is geweest voor verstaanbaarheid, 44% voor kwaliteit van de opname-omgeving, 39% voor de technische kwaliteit en 35% voor rekening houdend met omgevingsgeluid. Andere aspecten (22%) die werden aangegeven, hadden betrekking op lichtkwaliteit. Een aantal respondenten geeft aan de video in eigen beheer te hebben gemaakt. Het merendeel van de opleidingen geeft aan aandacht te hebben voor alle bovengenoemde aspecten. Een aantal opleidingen erkent dat hier ten tijde van het insturen van de eerste video-opnamen minder op is gestuurd. Toetsing door INTOP Gemiddelde score Het doel van het assessment is

5.9

duidelijk Het live assessment leverde

6.2

bruikbare feedback op over mijn functioneren in het assessment Ik had vanuit INTOP op tijd

5.8

inzicht en overzicht wat er van me verwacht werd in het assessment Ik had vanuit INTOP op tijd

5.7

inzicht en overzicht over hetgeen dat gemeten werd in het assessment Tabel 3: Gemiddelde scores (n=57) op toetsing door INTOP

Volgens de cursisten is er vanuit INTOP afdoende geïnformeerd over het doel, werkwijze en toetsing tijdens het assessment. De meeste cursisten noemen de werkwijze verzorgd en strak en zijn tevreden over de professionele werkwijze. Een enkeling geeft aan geen informatie te hebben ontvangen. Ook geeft het merendeel van de cursisten aan dat zij na het live assessment bruikbare feedback hebben gekregen vanuit INTOP. De meeste cursisten gaven aan dat de feedback hun zwakke en sterke punten naar voren haalde. Cursisten die hebben deelgenomen via een video assessment geven wel vaker aan minder tevreden te zijn over feedback. Deze vonden zij vaak summier en zij geven aan geen uitgebreide uiteenzetting van feedback te hebben gehad.

14


Sommige cursisten geven aan dat zij van mening zijn dat het assessment vooral voor ervaren mediators is, en niet voor startende mediators die net hun opleiding hebben afgerond. Zij zijn van mening dat er ook gekeken dient te worden naar de potentie die een beginnende mediator heeft om verder te groeien. Een aantal cursisten heeft het idee dat het afhangt van de examinatoren of je slaagt. Sommige cursisten zijn niet tevreden over de vorm van toetsing. Zij geven aan dat het live assessment als stressvol wordt ervaren, waarin in 40 minuten alle competenties aan bod dienen te komen. Bovendien gaven meerdere cursisten aan dat naar hun mening de toetsingscriteria van het assessment zijn toegesneden op een volledige mediation en dat er daar in de beschikbare tijd feitelijk geen ruimte is. Scoring van de schalen van het assessment Om te beoordelen hoe de verschillende schalen van het assessment worden gescoord is allereerst gekeken naar de gemiddeldes2 per schaal op de gehele steekproef (maximum score =5) (n=276). Competentie

Gemiddelde score

Vertrouwen opwekken

2.99

Beroepsethiek

2.87

Partijen gezamenlijke

2.62

inspanning Zelfbeschikking bevorderen

2.50

Bevorderen communicatie

2.60

Omgaan met conflicten en

2.53

emoties Agenda en procedures

2.98

Helpen met conflictkwesties

2.58

Helpen inventariseren van

2.39

belangen Helpen bij creatieve

2.20

oplossingen (n=553) Tabel 4: Gemiddelde per gemeten competentieschaal totale steekproef (N=276) In principe vindt de scoring plaats op ordinaal niveau, echter is er in de analyses uitgeweken naar het behandelen van de schalen als intervalniveau, daar deze toetsen robuuster zijn 3 De lage n heeft betrekking op het feit dat met name in de live-assessment de kandidaten vaak niet toekomen aan deze competentie 2

15


Om te toetsen of schalen in de totale steekproef ten opzichte van elkaar hoger, dan wel lager scoorden, is er een toets uitgevoerd om te onderzoeken of de schaalgemiddelden verschilden van het totale gemiddelde score (gemiddelde=2,64). Hieruit bleek dat verschillende schalen een afwijking van dit gemiddelde lieten zien. De schalen “Vertrouwen opwekken”, “Beroepsethiek”, “Onpartijdigheid” en “Agenda en Procedures” bleken hoger te scoren dan het totaalgemiddelde. De schalen “Zelfbeschikking bevorderen”, “Omgaan met emoties” , “Helpen inventariseren belangen” en “Creatieve oplossingen” bleken significant lager te scoren. Om te inspecteren in hoeverre de schalen verschillend gescoord worden in video- en live assessments, is per type assessment afzonderlijk onderzocht hoe binnen deze categorieën de schalen worden gescoord. Competentie

Gemiddelde score

Vertrouwen opwekken

3.01

Beroepsethiek

2.90


2.76


2.57


2.63


2.56


3.03


2.58


2.30


2.22

oplossingen (n=274) Tabel 5: Gemiddelde per gemeten competentieschaal voor live assessment (N=190)

De lage n heeft betrekking op het feit dat met name in de live-assessment de kandidaten vaak niet toekomen aan deze competentie 4

16


Om te toetsen of schalen in het live assessment ten opzichte van elkaar hoger, dan wel lager scoorden, is er een toets uitgevoerd om te onderzoeken of de schaalgemiddeldes verschilden van het totale gemiddelde score van de gehele steekproef van live assessments (gemiddelde=2,66). Hieruit bleek dat in het live assessment dezelfde schalen dezelfde afwijkingen vertoonden ten opzichte van het gemiddelde. Competentie

Gemiddelde score

Vertrouwen opwekken

2.95

Beroepsethiek

2.79


2.95


2.36


2.52


2.49


2.85


2.59


2.30


2.19

oplossingen Tabel 6: Gemiddelde per gemeten competentieschaal voor video assessment (N=89)

Om te toetsen of schalen in het video assessment ten opzichte van elkaar hoger, dan wel lager scoorden, is er een toets uitgevoerd om te onderzoeken of de schaalgemiddelden verschilden van het totale gemiddelde score van de gehele steekproef van video assessment (gemiddelde=2.59). Hieruit bleek dat ook hier schalen eenzelfde afwijking ten opzichte van het gemiddelde lieten zien. Als laatste is onderzocht of, gezien over de gehele steekproef, de scores van het live- en videoassessment van elkaar verschilden. Uit deze gepaarde toets bleek dat de gemiddelde scores op de schalen van het live en video assessment niet significant van elkaar verschilden. Het live assessment wordt derhalve gemiddeld niet hoger gescoord dan het videoassessment (het gemiddelde verschil is < 0.07). 17


Om deze verschillen per schaal te inspecteren is er aanvullend een toets gedaan voor elke schaal van het assessment en bekeken of de scores hiervan verschillen in het live en video assessment. Hierin is te vinden dat in de totale steekproef in het live assessment (N=190) de volgende schalen hoger scoorden dan op het video assessment (N=86): “Vertrouwen opwekken”, “Omgaan met emoties en conflicten” en “Agenda’s en procedures”.

18


Conclusie en discussie Hieronder volgt de conclusie en discussie per deelvraag en de algemene conclusie en discussie . Per deelvraag worden daarbij eventuele aanbevelingen voor het NMI besproken. Relatie persoonkenmerken en mediationervaring en slagingskans assessment Uit de resultaten blijkt dat geslacht, opleidingsniveau, zelfgerapporteerde mediationervaring en zelfgerapporteerde professionele achtergrond geen invloed heeft op het wel of niet behalen van het assessment. De resultaten suggereerden wel dat leeftijd een invloed heeft op de slagingskans. De resultaten laten zien dat cursisten met een hogere leeftijd minder vaak het assessment behaalden. Een verklaring is hiervoor in de literatuur niet te vinden. Sommige cursisten hebben aangegeven op latere leeftijd een ‘switch’ te hebben gemaakt van beroep, soms door hun eigen ontwikkeling te stimuleren, soms door noodzaak (bijvoorbeeld ontslag). In die zin kan het voor opleidingsinstituten nuttig zijn nog uitvoeriger aandacht te besteden aan de motivatie van cursisten. Echter, zoals reeds aangegeven in de resultatensectie, is dit voor vrijwel opleidingen reeds een thema van gesprek tijdens de intakeprocedure. Het kan ook zijn dat mensen op hogere leeftijd meer moeite hebben met de vorm van een performance assessment. Er is hier echter geen theoretische onderbouwing voor gevonden die dat ondersteunt. Vormgeving voorbereiding op assessment door opleidingsinstituten en kans van slagen Alvorens de onderwijskundige analyse van de variabelen te bespreken, zoals aangegeven in deelvraag 2, is eerst onderzocht of er sprake was van een invloed van het opleidingsinstituut op de slagingskans. Dit blijkt niet het geval te zijn. Het opleidingsinstituut waar een cursist de opleiding volgt, heeft geen invloed op het wel of niet voldoen aan de normscore van het assessment. Bij nadere inspectie bleek dat er wel verschillen te vinden zijn binnen het assessment tussen de aparte scores per schaal, maar het is problematisch valide uitspraken te doen over verschillen, omdat in de data bij veel opleidingsinstituten te weinig cursisten het assessment hebben afgelegd. Het wel of niet behalen van het assessment hoeft derhalve niet de invloed van het opleidingsinstituut te zijn, maar kan ook een invloed zijn van de cursist die kiest voor een bepaalde opleiding. Het maakt voor een cursist derhalve niet uit bij welk opleidingsinstituut de opleiding gevolgd wordt en er zullen derhalve naar verwachtingen weinig verschillen zijn in de aanpak van de voorbereidingen op het assessment van de opleidingen. Alle cursisten volgden een opleiding bij een geaccrediteerd opleidingsinstituut. Het is aannemelijk dat de opleidingsinstituten onderwijskundig hun zaken op orde hebben.

19


Informatievoorziening vanuit opleidingsinstituut Cursisten zijn tevreden over de informatie die zij krijgen vanuit het opleidingsinstituut. Zij voelen zich goed voorbereid qua informatievoorziening en doelen over afzonderlijke lessen zijn voor hen duidelijk. Ook informatie over het assessment vinden zij voldoende vanuit de opleiding. Een enkeling geeft aan dat er meer nadruk gelegd zou kunnen worden op het boek van Prein. In die opleiding is het boek wel verplichte literatuur en wordt ook behandeld. Ook opleidingen zelf geven aan voldoende duidelijkheid te verschaffen over hun opleiding in bijvoorbeeld informatiegidsen en eventuele voorlichtingen. Qua informatievoorziening lijken cursisten afdoende voorbereid op de opleiding en het assessment. Intakeprocedure In alle opleidingen vinden intakeprocedures plaats, soms telefonisch, soms persoonlijk, soms beiden. Opleidingen steken tijdens intakeprocedures vooral in op motivatie en sociale vaardigheden. Vrijwel alle opleidingen hanteren een minimaal werken denkniveau. Onderwerpen van de intake zijn in alle instituten: analytisch vermogen, zelfreflectie, motivatie en verwachtingen. Sommige opleidingen besteden ook aandacht aan een mediationcasus tijdens de intakeprocedure. Inrichting opleiding Cursisten zijn tevreden over de frequente feedback die wordt gegeven in de opleidingen op zowel beroepshouding als mediationvaardigheden. Zij zijn ook tevreden over de hoeveelheid tijd die besteed wordt aan oefenmediations en geven aan genoeg mogelijkheden te hebben gehad deze in de praktijk te brengen tijdens de opleiding. Een enkeling geeft aan dat er behoefte was om meer te oefenen met acteurs. Ook gaven sommigen respondenten aan dat om de vaardigheden te oefenen de groepen soms te groot waren. Om die reden missen zij ook frequentere feedback. Iets minder tevreden zijn zij over de voorbereiding van toetsing qua inhoud en vorm zoals uitgevoerd bij INTOP. Zij geven daarbij wel aan dat het de vraag is of de opleiding ook daarvoor moet opleiden. Om cursisten meer voor te bereiden op het – in hun eigen woorden – “live assessment dat vol spanning staat”, kan aangeraden worden om meer tijd te besteden aan oefenen met acteurs, dan wel oefenen met real life casussen. Kijkend naar de verdeling in de opleidingen tussen theorie, vaardigheden en beroepshouding, geven zowel cursisten als opleidingen hetzelfde beeld weer. Ongeveer een derde wordt besteed aan theorie, iets minder dan de helft aan vaardigheden en iets minder dan een derde aan beroepshouding. Cursisten benoemen dat er bovendien aandacht wordt besteed aan de praktijk van de mediator, het assessment zelf, ontwikkelingen in het vakgebied en video’s bekijken en bespreken. Het merendeel van de opleiding wordt dus besteed aan vaardigheden. Daarbij staan theorie en de beroepshouding op de tweede plaats, echter komen deze vaak terug in de rode draad van de oefenmediations, met name in de hoeveelheid feedback die wordt gegeven.

20


Cursisten zijn dus het gros van de tijd bezig met hun mediationvaardigheden, wat bevorderlijk is voor de ontwikkeling tot mediator en ter voorbereiding op het assessment. Alle opleidingen maken gebruik van een vorm van intervisie. Een aantal opleidingen maakt daar bovenop gebruik van supervisie, waaraan in alle opleidingen minder tijd wordt besteed dan de intervisie-vormen. In alle opleidingen zijn er daarnaast mogelijkheden tot zelfstudie en wordt gebruik gemaakt van individuele opdrachten. Er geldt in alle opleidingen een aanwezigheidsplicht, waarbij een cursist het gemiste dagdeel kan inhalen of compenseren. De opleidingen geven derhalve een gedegen ondersteuning aan de cursisten in hun ontwikkeling tot mediator en ter voorbereiding van het assessment. Ingeschatting van besteedde tijd aan oefenmediations De meeste cursisten hebben naar hun gevoel genoeg tijd gehad voor het oefenen van mediationvaardigheden in oefenmediations. Dat geven zij ook aan al in de hierboven besproken tijd die besteed is aan vaardigheden. Een enkeling had meer tijd willen besteden aan daadwerkelijke oefenmediations. Een aantal cursisten geeft daarenboven aan op eigen initiatief met medecursisten te hebben geoefend. De meeste cursisten geven aan dat er tijdens de oefenmediations aandacht is voor de vorm van toetsing bij INTOP en de deelcompetenties zoals getoetst bij INTOP. Vrijwel iedereen geeft aan dat er aandacht is voor feedback vanuit de trainer, medecursisten en zichzelf. Sommige opleidingen zelf geven ook aan dat er niet altijd speciale aandacht is tijdens oefenmediations voor de vorm en competenties zoals getoetst bij INTOP. In de oefenmediations wordt volgens de cursisten vooral geoefend met medecursisten. Meer dan de helft geeft aan dat er ook geoefend is met acteurs en/of trainers. Het merendeel van de cursisten geeft aan dat er daarenboven plaats is tijdens de oefenmediations voor het bekijken en analyseren van video-opnamen. Ook hier lijken de opleidingsinstituten hun zaken onderwijskundig op orde te hebben. Cursisten geven aan genoeg tijd gehad te hebben voor het oefenen van mediations. Er is voldoende feedback vanuit verschillende perspectieven en er wordt tijd besteed aan zelfreflectie. Sommige opleidingen geven aan geen speciale aandacht te besteden aan de vorm en deelcompetenties van INTOP. Zij geven daarbij aan dat zij niet willen opleiden voor een assessment, maar voor mediator. Mogelijkerwijs zoeken zij als opleiders meer naar een zogeheten “Authentic” assessment, in plaats van het “Performance” assessment. Ook cursisten lijken deze visie te delen. Zij geven aan dat de tijd kort is, en dat ze zich als beginnend mediator niet klaar voelen om het assessment af te leggen. Waar een performance assessment insteekt op direct observeerbare acties en een vooraf vastgesteld reactieformat , steekt een authentic assessment meer in op cognitieve processen en wordt niet enkel de performance op het moment zelf beoordeeld, maar ook de potentie buiten de opleiding (Palm, 2008). In de meeste varianten van een authentic assessment worden meerdere bronnen van bewijs geraadpleegd die de vaardigheden toetsen, alvorens de eindbeoordeling van het assessment te geven (Darling-Hammond & Snyder, 2000). 21


Videoassessment Ongeveer de helft van de cursisten geeft aan dat er meerdere video’s worden opgenomen alvorens een video in te sturen voor het assessment. Bij een klein percentage was de casus voor het opnemen van de video inhoudelijk bekend. Bij zeventig procent van de opleidingen werd de casus geleverd door de opleiding. Opleidingen zelf geven aan dat zij de casus beoordelen op geschiktheid en mogelijkheid tot conflictinteractie. Met betrekking tot de kwaliteit van de video geeft een derde van de cursisten aan dat er aandacht is geweest voor verstaanbaarheid, technische kwaliteit en omgevingsgeluid. Iets meer cursisten geven daarenboven aan dat er aandacht is geweest vanuit de opleiding voor kwaliteit van de opnameomgeving. Opleidingen zelf geven aan aandacht te hebben gegeven aan bovengenoemde aspecten, maar sommige opleidingen erkennen echter ook dat hier ten tijde van de eerste ingestuurde video’s minder op is gestuurd vanuit henzelf. Een aantal opleidingen geeft aan geen video’s meer in te sturen. Toetsing door INTOP Cursisten voelen zich voldoende geïnformeerd over het doel, de werkwijze en toetsing van INTOP. Een enkeling geeft de aanbeveling om zowel voldoende als onvoldoende voorbeelden van assessments beschikbaar te maken, dan wel te creëren, ten einde een completer beeld te krijgen van het assessment. Het merendeel van cursisten geeft aan na het live assessment bruikbare en juiste feedback te hebben gekregen. De meeste cursisten die het live assessment hebben afgelegd, hebben dit als prettig ervaren. Cursisten die deelnamen aan het video assessment lijken minder tevreden. Zij vonden de feedback vaak summier en geven aan behoefte te hebben aan een uitgebreidere uiteenzetting van de feedback. Omdat dit niet de werkwijze is bij het video-assessment, lijkt het erop dat bij deze groep cursisten onduidelijkheid is geweest over de werkwijze van het video-assessment. Mogelijkerwijs zou hier in de toekomst meer duidelijkheid over geschept kunnen worden. Een enkeling heeft twijfels over de betrouwbaarheid van de examinatoren. Wat buiten de scope van dit onderzoek viel, maar waar wel verder onderzoek naar gedaan kan worden, zijn de scoringspatronen van examinatoren en de interbeoordelaarsbetrouwbaarheid van examinatoren in de assessments om de betrouwbaarheid van het assessment te waarborgen. Sommigen cursisten zijn niet tevreden over de vorm van toetsing en geven aan dat het live assessment te kort is om alle competenties voldoende aan bod te laten komen. Het verdient aanbeveling om te evalueren of 45 minuten genoeg tijd is om alle competenties voldoende aan bod te laten komen of dat de competenties beter tot hun recht komen met een langere tijdsduur. Ook hier lijken cursisten hun voorkeur uit te spreken voor een meer authentiek assessment.

22


Het merendeel van de ontevreden cursisten geeft aan dat in hun visie het assessment een “ervaren” mediator toetst, en dat iemand die recentelijk de opleiding heeft gevolgd daar derhalve moeilijkheid in kan ervaren. Zij lijken hierin de redenatie te volgen van de opleidingen en op zoek te zijn naar een in hun ogen meer authentieke vorm van assessment. Scoring van de schalen van het assessment Het live assessment in zijn geheel blijkt niet hoger te scoren dan het video assessment. Kijkende naar de aparte schalen blijkt dat in het live assessment de schalen “Vertrouwen opwekken”, “Omgaan met emoties en conflicteren”, “Onpartijdigheid” en “Agenda’s en procedures” hoger scoorden. Deze vier competenties scoren dus gedurende het live assessment hoger dan in het video assessment. Het kan zijn dat in het live assessment dus een grotere kans is op een hogere score op deze schalen, omdat deze hoger worden beoordeeld. Echter kan dit ook betekenen dat de cursisten die kozen voor het live assessment gewoonweg deze competenties beter demonstreerden en derhalve daardoor hoger scoorden. Om hier een meer valide uitspraak over te kunnen doen, dienen er meerdere cursisten beide vormen van assessment te hebben afgelegd. Over de gehele steekproef blijken de schalen “Vertrouwen opwekken”, “Beroepsethiek”, “Onpartijdigheid” en “Agenda en Procedures” hoger te scoren dan het totaalgemiddelde. De schalen “Zelfbeschikking bevorderen”, “Omgaan met emoties” , “Helpen inventariseren belangen” en “Creatieve oplossingen” blijken lager te scoren. Bij een inspectie van de schalen apart geanalyseerd voor de live- en videovariant van het assessment blijken in beiden vormen dezelfde schalen op dezelfde manieren hoger en lager scoorden. Ook onder de respondenten wordt dit beeld bevestigd: aan sommige competenties is volgens hen makkelijker te voldoen dan aan andere competenties, waarbij met name “Agenda en Procedures” en “Vertrouwen opwekken” worden benoemd als minder lastige te behalen competenties dan “Omgaan met emoties” en “Zelfbeschikking bevorderen”. Oorzaak van het lage slagingspercentage van de assessments Algemeen kan gesteld worden dat er geen persoonskenmerken zoals gemeten in dit onderzoek van invloed zijn op de slagingskans van het assessment. De resultaten impliceerde enkel dat cursisten met een hogere leeftijd minder vaak het assessment behalen. Gedegen theoretische onderbouwing hiervoor ontbreekt in de literatuur. Ook suggereren de resultaten dat het opleidingsinstituut waar cursisten hun opleiding hebben gevolgd geen invloed heeft op de slagingskans. Alle opleidingsinstituten hebben een intakeprocedure die toetst op motivatie, sociale vaardigheden en vooropleiding (bij één opleidingsinstituut kunnen potentiele cursisten zonder gedegen vooropleiding binnenstromen, mits in een intakegesprek motivatie en sociale vaardigheden kunnen worden aangetoond). Cursisten zijn over het algemeen tevreden over de informatievoorziening, de inrichting van de opleiding en de tijd die besteed is aan oefenmediations en vaardigheden. Ook suggereert de onderwijskundige analyse dat de opleidingsinstituten hun zaken op orde hebben. 23


Cursisten en opleidingen geven wel aan op zoek te zijn naar een andere vorm van het assessment. Zij vinden de tijd te kort en vragen om een meer authentiekere aanpak (bijvoorbeeld door meer beoordelingsmomenten en toetsing van potentie buiten het assessment). Er zijn daarenboven bij met name de cursisten die hebben deelgenomen aan het video-assessment onduidelijkheden geweest met betrekking tot het feedbackmoment. Het is aan te raden dat de communicatie vanuit INTOP en opleidingen hier meer openheid en duidelijkheid over creëren. Ook geven opleidingen zelf aan ten tijde van het insturen van de eerste video’s, er minder is gestuurd op geschiktheid van de casus (bijvoorbeeld mogelijkheden tot conflictinteractie en inhoudelijke bekendheid van de casus bij de cursist). Bovendien geven zij aan in die tijd minder te hebben gestuurd op aspecten met betrekking tot de kwaliteit van de video. Echter suggereren de resultaten wel dat hier inmiddels een ontwikkeling heeft plaatsgevonden en op die aspecten tegenwoordig meer gestuurd wordt door de opleidingsinstituten. Een aantal opleidingen geeft aan geen video’s meer in te sturen ten behoeve van het assessment. Met betrekking tot het assessment zelf blijkt het video-assessment niet significant hoger of lager te scoren dan het video-assessment. Kijkend naar de schalen apart is er opgemerkt dat in het live assessment de schalen “Vertrouwen opwekken”, “Omgaan met emoties en conflicteren”, “Onpartijdigheid” en “Agenda’s en procedures” hoger scoren. Mogelijk is er in het live-assessment een grotere kans op een hogere score op deze schalen. Het kan ook betekenen dat cursisten die kiezen voor het liveassessment deze competenties beter demonstreren en derhalve op die schaal hoger scoren. Om hier een valide uitspraak over te kunnen doen, dienen er meerdere cursisten beide vormen van assessment te hebben afgelegd. De conclusie met betrekking tot de hoofdvraag van dit onderzoek is derhalve dat zowel de gemeten persoonskenmerken en de inhoud en inrichting van de opleiding geen invloed hebben op de slagingskans van cursisten. Zowel uit de reacties van de opleidingsinstituten als de cursisten bleek dat er geen opmerkelijke verschillen te detecteren waren op onderwijskundig vlak. Ook zijn er geen significante verschillen gevonden tussen het behalen van het live- en videoassessment. In het algemeen liggen de slagingspercentages van de video-assessment wel lager. Ook lijken in het live-assessment een aantal schalen uit he assessment hoger te scoren. Mogelijkerwijs kunnen de lage slagingspercentages gezocht worden op organisatorische en communicatieve aspecten, zoals duidelijkheden met betrekking tot de verschillen in toetsing en feedback en de procedures bij met name het video-assessment. Wat duidelijk zichtbaar is, is de lerende kracht van de opleidingsinstituten. Veel van de opleidingsinstituten geven aan dat de toegevoegde registratie-eis ook bij hen organisatorisch voor leerpunten heeft gezorgd (met name op het gebied van het video-assessment en aandacht die wordt besteed aan vaardigheden).

24


Literatuur Darlin-Hammond, L., & Snyder, J. (2000). Authentic assessment of teaching in context. Teaching and Teacher Education, 16, 523-545. Palm, T. (2008). Performance Assessment and Authentic Assessment: A Conceptual Analysis of the Literature. Practical Assessment, Research & Evaluation, 13(4), 1-11. Van Der Ploeg, P. (2007). Effectiviteit van Hoger Onderwijs. Verkregen van: http://www.pietvanderploeg.nl/Effectiviteit.pdf.

25


Onderzoeksrapport in opdracht van het Nederlands Mediation Instituut Mr. M.A. Waleson Tanja Stöver, MSc. Juni 2013

Recommend Documents