Werkstuk Onderzoek naar de interbeoordelaarsbetrouwbaarheid van het semi- gestructureerde interview ArbeidsPotentieel en slagingskans

Werkstuk

Onderzoek naar de interbeoordelaarsbetrouwbaarheid van het semigestructureerde interview ArbeidsPotentieel en slagingsKans © (APK© 1.1) zoals ontwikkeld door Mind at Work, psychologisch adviesbureau en reintegratiebedrijf.

Naam Collegekaartnummer Locatie onderzoek Begeleider Beoordelaars Periode

: Beata Baradziej : 0066893 : Mind at Work, Louis Armstrongweg 26 b 1311 RK Almere : Dr Corine Sonke, Mind at Work : Dr Arne Evers, Universiteit van Amsterdam : Prof. dr Annelies van Vianen, Universiteit van Amsterdam : 07 September 2007 – 30 Juni 2008

Samenvatting In 2006 begon Mind at Work, psychologisch adviesbureau en re-integratiebedrijf, met de ontwikkeling van een semi-gestructureerd interview. De huidige naam van dit interview is ArbeidsPotentieel en slagingsKans (de APK© 1.1). Het wordt gebruikt ten behoeve van indicatiestelling met betrekking tot re-integratie op de arbeidsmarkt. De APK© is ontwikkeld vanuit het eigen methodologische kader van Mind at Work, voorlopig het Vijf Pijler Model genoemd. Het doel van het instrument is om de vijf gebieden van menselijk functioneren die van belang zijn voor het re-integratieproces in kaart te brengen en op basis van het verkregen multi-dimensionele profiel een geschikt begeleidingstraject per persoon te kunnen aanbieden. Het onderliggende onderzoek is uitgevoerd met als doel het in kaart brengen van de psychometrische eigenschappen van dit nieuwe instrument. Onderwerp van het onderzoek van de interbeoordelaarsbetrouwbaarheid van het instrument. Deze bleek op het niveau van het instrument als geheel en op het niveau van de subschalen zeer goed te zijn. Op itemniveau bleek dat de meeste items over een goede of gemiddelde interbeoordelaarsbetrouwbaarheid beschikten. Tien items hadden een lage betrouwbaarheid. Naar aanleiding van de onderzoeksresultaten kan gesteld worden dat voor praktische doeleinden zoals indicatiestelling met betrekking tot het reintegratietraject de APK© zeer bruikbaar is. Met oog op de psychometrische kwaliteiten van het instrument echter is verbetering gewenst met betrekking tot een aantal van de items. Echter, op grond van dit onderzoek kan het niet gesteld worden of de lage betrouwbaarheid aan de kwaliteit van de items ligt of het gevolg van andere factoren is zoals kleine omvang van de steekproef of de gespreksvaardigheden en ontbrekende kennis van beoordelaars. Vervolgonderzoek op een grotere steekproef wordt aanbevolen. In dit onderzoek zouden ook de validiteit en interne consistentie van de subschalen onderzocht moeten worden.

1

Inhoudsopgave:

Pagina

Inleiding……………………………………………………………………………………………………………………3 Theoretische beginselen van de methodiek van Mind at Work………………………………………………5 Het Vijf Pijler Model……………………………………………………………………………………………………….5 Cognitieve Neurorevalidatie………………………………………………….……………………………………..5 Het Sociale Competentie Model …………………………………………………………………………………12 De Leertheorie…………………………………………………………………………………………………………….15 Leerstijlen en leerprocessen……………………………………………………………………………………15 Leeroriëntaties en mentale leermodellen……………………………………………………………….16 Zone van de naaste ontwikkeling……………………………………………………………………………19 Uitwerking…………………………………………………………………………………………………………………….20 Vooronderzoek naar betrouwbaarheid psychologische interviews……………………………………….22 Klinische diagnostiek van diagnostiek van DSM-IVpersoonlijkheidsstoornissen……………………………………………………………………………………….22 Interviews in de personeelsselectie…………………………………………………………………………..23 Taxatie van het risico in de tbs………………………………………………………………………………...23 Factoren van invloed op de interbeoordelaarsbetrouwbaarheid………………………………25

Methode………………………………………………………………………………………………………………..27 Respondenten……………………………………………………………………………………………………………………….27 Instrumenten………………………………………………………………………………………………………………………..28 Procedure………………………………………………………………………………………………………………………………28 Beoordelaars………………………………………………………………………………………………………………………….30 Wijze van data-analyse………………………………………………………………………………………………………..32

Resultaten……………………………………………………………………………………………………………..33 Interbeoordelaarsbetrouwbaarheid……………………………………………………………………………………….33 Verschillen in beoordelingen tussen verschillende typen beoordelaars………………………………34 Actieve versus passieve beoordelaars……………………………………………………………………….34 Werkervaring en de ervaring met de APK©…………………………………………………………………34 Gespreksvaardigheid………………………………………………………………………………………………….35 Betrouwbaarheden in verschillende condities…………………………………………………………..36 Lastige items………………………………………………………………………………………………………………………….36 Ervaring beoordelaars met de APK©……………………………………………………………………………………….38

Conclusie en discussie…………………………………………………………………………………………44 Bespreking resultaten………………………………………………………………………………………………………….44 Implicaties van het onderzoek…………………………………………………………………………………………….50 Praktische implicaties van het onderzoek…………………………………………………………….50 Theoretische implicaties van het onderzoek……………………………………………………….50 Sterke en zwakke kanten van het onderzoek……………………………………………………………………..51 Aanbevelingen voor verder onderzoek………………………………………………………………………………..52 Conclusie……………………………………………………………………………………………………………………………….53

Literatuur……………………………………………………………………………………………………………….53 Appendix: Tabellen 1-10

2

Theoretische inleiding Dit onderzoek richt zich op de interbeoordelaarsbetrouwbaarheid van het interview ArbeidsPotentieel en slagingsKans© (APK©©), ontwikkeld door Mind at Work, psychologisch adviesbureau en re-integratiebedrijf. De APK©© is een diagnostisch instrument in de vorm van een semi-gestructureerd interview. Het doel van het instrument is om vanuit een holistisch mensbeeld te komen tot een systematisch overzicht van de arbeidsgerelateerde problematiek van de cliënt op alle relevante gebieden. Op grond daarvan wordt de kans op succesvolle (re)integratie bepaald. Het uitgangspunt hierbij is een inventarisatie van sterkere en zwakkere kanten van de cliënt, inclusief mogelijk meespelende psychosociale problematiek en de ernst daarvan. Deze factoren worden bekeken binnen vijf functioneringsgebieden. Vervolgens wordt op basis van het verkregen profiel een advies uitgebracht met betrekking tot de arbeids(re)integratie. Dit advies heeft de vorm van een overzicht van stappen die gezet dienen te worden om het doel -arbeids(re)integratie- te bereiken en van de aandachtspunten daarbij. Dit wordt gedaan per functioneringsgebied. Bij de beoordeling wordt gekeken naar de capaciteiten en vaardigheden waarover de cliënt beschikt; welke daarvan gewenst of nodig zijn in een school- en/of werksituatie; en welke er nog (verder) ontwikkeld zouden kunnen worden door middel van trainingen of begeleiding om tot succesvolle en duurzame re-integratie te komen. De resultaten worden gepresenteerd in de vorm van een persoonlijk profiel van de cliënt op basis waarvan geconcludeerd kan worden op welke functioneringsgebieden begeleiding ingezet moet worden. Aangezien de APK©© in de praktijk gebruikt wordt ten behoeve van indicatiestelling aangaandere-integratiemogelijkheden, is het belangrijk om de psychometrische kwaliteiten van dit instrument in kaart te brengen. Deze informatie is nodig om het onderzoeken van cliënten met betrekking tot hun kansen tot arbeid(re)integratie en het opzetten van het (re)integratietraject op wetenschappelijk verantwoorde wijze te laten verlopen. Dergelijk onderzoek van de APK©© geeft ook de gelegenheid tot verbetering van het instrument op wetenschappelijke wijze. Naast het directe praktische nut van een instrument als de APK©© is het van groot belang om een praktisch instrument dat voor diagnostische doeleinden gebruikt wordt wetenschappelijk te onderbouwen. Dit onderzoek is gericht op de interbeoordelaarsbetrouwbaarheid van de APK©©. Deze wordt onderzocht door middel van de Intraclass Correlation Coëfficiënt (ICC) type 1 zoals voorgesteld door Shrout en Fleis (1979). Dit type ICC wordt toegepast in situaties waarin elke proefpersoon wordt beoordeeld door een andere groep beoordelaars, willekeurig gekozen uit een grotere populatie beoordelaars.

3

Theoretische beginselen van de methodiek van Mind at Work Het Vijf Pijler Model De APK©© is ontwikkeld vanuit het methodologische kader dat ontwikkeld is door Mind at Work. Dit kader wordt voorlopig het Vijf Pijler Model genoemd omdat het aan vijf gebieden van menselijk functioneren refereert, die alle van belang worden geacht voor de werkinzetbaarheid. Deze vijf pijlers waarnaar het model verwijst zijn: 1) Algemene inschakelingcondities of psychosociale factoren, wat een breed opgevatte inzetbaarheid voor het werk, zoals bepaald door woonomstandigheden, zorgplicht, verslaving, uitkeringsverleden en dergelijke omvat; 2) Sociaal-communicatieve vaardigheden zoals communiceren, assertief zijn, omgaan met conflicten, etc.; 3) Emotionele stabiliteit, waaronder verstaan wordt ontspannen, balans tussen draagkracht en draaglast, etc.; 4) (Meta)cognitieve capaciteiten zoals aandacht, geheugen, plannen en leerstijl; 5) Fysieke capaciteiten zoals zien, horen, staan, etc. Vanuit het Vijf Pijler model werd een diagnostisch instrument ontwikkeld: de APK©©. De pijlers werden door Mind at Work naar vijf subschalen vertaald die samen tweeënzestig items omvatten. De subschaal Algemene inschakelingconditie bevat dertien items en de subschaal Sociaal en communicatief functioneren bestaat uit elf items. De subschaal Psychische stabiliteit, gerelateerd aan de Emotionele stabiliteit pijler, heeft dertien vragen. De subschaal Cognitieve capaciteiten bevat twaalf items en de laatste dertien items horen bij de subschaal Fysieke capaciteiten. De inspiratie tot het ontwikkelen van het Vijf Pijler model werd door Mind at Work geput uit een holistische benadering van cognitieve neurorevalidatie (Prigatano, 1999, 2002; Van Balen, Jorritsma, Groet, & Vink, 2002), het Sociale Competentie model (Bartels, 2001; Bartels & Spreen, 2005) en de leertheorie van Vermunt (1992). Vanuit dit kader is de APK©© ontwikkeld. In de hierna volgende onderdelen worden de relevante theoretische en praktische benaderingen en modellen nader besproken en wordt de bijdrage ervan aan de methodiek en het instrumentarium van Mind at Work toegelicht. Cognitieve Neurorevalidatie De grondbeginselen voor het opstellen van het Vijf Pijler Model zijn afkomstig uit de Cognitieve Neurorevalidatie. Volgens de definitie van de Wereld Gezondheids Organisatie (WHO) (1996; in: Van Balen, et al., 2002) impliceert ‘revalidatie’ het herstel van patiënten tot de hoogste mogelijke niveaus van het fysiek, psychologisch en sociaaladaptief functioneren. Rehabilitatie zou alle middelen moeten omvatten die ingezet

4

kunnen worden om het effect van beperkingen te reduceren en patiënten in staat stellen om hun optimale sociale integratie te bewerkstelligen. Binnen het gebied van cognitieve revalidatie worden er vier benaderingen onderscheiden (Wilson, 1997; in: Newcombe, 2002): de ‘cognitieve retraining’ benadering, de ‘theoretische cognitieve neuropsychologische’ benadering, de ‘gecombineerde’ benadering en de ‘holistische’ benadering. De eerste daarvan, cognitieve retraining, houdt oefeningen, praktijk en stimulatie in. De tweede, theoretische benadering is afgeleid van cognitieve neuropsychologie. De gecombineerde benadering maakt gebruik van elementen van leertheorie, cognitieve psychologie en neuropsychologie. De holistische benadering legt nadruk op het therapeutische milieu en de bewustwording van een patiënt ten aanzien van de consequenties van het letsel voor diens heel leven en toekomst, waarbij cognitieve rehabilitatie een belangrijk maar niet onontbeerlijk element van het rehabilitatieproces vormt. Deze benaderingen sluiten elkaar niet uit maar kunnen juist een betekenisvolle aanvulling op elkaar vormen. De cognitieve retraining benadering vormt een traditionele benadering binnen het cognitieve revalidatie gebied en is ontwikkeld in de tijd van de tweede wereldoorlog als respons op hersenletsel bij soldaten. Deze benadering wordt gekenmerkt door twee elementen. Ten eerste is er een sterke focus op het herstellen van de verloren cognitieve vaardigheden door middel van diverse interventies. Ten tweede is deze benadering gericht op puur cognitieve en/of perceptuele beperkingen die gevolg zijn van Niet Aangeboren Hersenletsel (NAH). Deze benadering wordt bekritiseerd door Wilson (1997; in: Newcombe, 2002) als te sterk georiënteerd op alleen taakspecifieke vaardigheden waarbij geen verbetering overgedragen wordt naar bredere functies buiten deze specifieke taken. Onderzoek laat een meer genuanceerd beeld zien, waarbij systematische cognitieve training gunstig kan zijn voor de intra- en interpersoonlijke relaties en dere-integratie (Rattok, Ben-Yishay, Ezrachi et al, 1992; in: Van Balen, Jorritsma, Groet, & Vink, 2002). Echter, als het om domeinspecifiek leren gaat, lijkt overdracht van het leren onwaarschijnlijk (Glinksy & Schachter, 1989; in: Van Balen, Jorritsma, Groet, & Vink, 2002). Blijkbaar is de inhoud van de cognitieve training van groot belang voor het rehabilitatieproces. Bovendien zou de effectiviteit van verschillende versies van de training voor het optimale herstel in diverse levensaspecten nog verder onderzocht kunnen worden. In tegenstelling tot de traditionele benadering, wordt er in de holistische benadering zoals voorgesteld door Prigatano (2002) niet zozeer nadruk gelegd op herstel van de aangetaste of verloren functies, als wel op compensatie hiervoor. Daarnaast wordt er vanuit gegaan dat de problemen van een patiënten met Niet Aangeboren Hersenletsel van verschillende kanten tegelijk bekeken en benaderd moeten worden. Prigatano presenteert NAH problematiek als een interactie van verschillende factoren, zowel

5

premorbide als direct en indirect verbonden met de hersenbeschadiging. Dit, omdat het altijd in verbinding met alle levensgebieden en levensaspecten van een patiënt staat en zich op verschillende manieren en in verschillende levensgebieden manifesteert. Onder deze levensgebieden worden verstaan: de innerlijke belevingswereld; intieme relaties en familieleven; andere sociale relaties zoals met vrienden, buren, collega's; werk; betrokkenheid bij het maatschappelijke leven; en vrijetijdsbesteding. Deze levensgebieden vallen onder drie grote symbolische gebieden: liefde, werk, en spel, die samen zorgen voor de ervaring van het leven als zinvol. Daar wordt rekening mee gehouden tijdens de revalidatie, waarin aandacht wordt geschonken aan zowel compensatie voor de aangetaste cognitieve functies als het leren omgaan met beperkingen in verschillende aspecten van het functioneren. Hiertoe wordt bij de revalidatie een therapeutisch milieu betrokken evenals kleine groepen waarin gewerkt wordt aan de ontstane beperkingen, en de familie. Daarnaast worden er mogelijkheden gecreëerd voor de patiënt om in een beschermde werkomgeving de eigen beperkingen te ervaren en compensatiemechanismen op te bouwen en in te zetten. Bij deze benadering dienen zowel in de assessment als in begeleiding een aantal principes gevolgd te worden. De basisvoorwaarde voor behandeling is dat de therapeut de belevingswereld van de cliënt en diens subjectieve ervaring, die vaak door frustratie en verwarring gedomineerd is, begrijpt. De frustratie van de cliënt heeft betrekking op het niet meer kunnen functioneren op het premorbide niveau en zich beperkt voelen door de omgeving. De verwarring vloeit voort uit onbegrip over hoe de opgelopen hersenbeschadiging het eigen dagelijkse functioneren beïnvloedt, wat vaak gepaard gaat met het niet meer in staat zijn om de eigen mentale activiteit te controleren en coördineren. De frustratie en verwarring moeten eerst aangepakt worden zodat de patiënt enig inzicht in het eigen disfunctioneren kan krijgen en het verband tussen eigen disfunctioneren en het opgelopen hersenletsel kan begrijpen. Met deze stap wordt er niet alleen ruimte gecreëerd voor de beleving van de patiënt maar wordt ook motivatie opgebouwd om aan het begeleidingsprogramma mee te doen. De door de patiënt vertoonde symptomen zijn een resultaat van zijn premorbide cognitief functioneren en persoonlijke kenmerken evenals van de neuropsychologische veranderingen ten gevolge van het hersenletsel. Jonge mensen revalideren over het algemeen beter dan oudere mensen wat betreft herstel en vervanging van verloren functies. Ouderen kunnen echter beter hun achteruitgang relativeren. Een hoger intelligentie- en opleidingsniveau zijn gunstige factoren in de rehabilitatie evenals de aanwezigheid van een ondersteunende psychosociale omgeving, die het revalidatieproces in grote mate kan bevorderen. Er zijn verschillen gevonden in hoe binnen verschillende etnische groepen wordt omgegaan met de symptomen. Daarnaast heeft premorbide persoonlijkheidskarakteristiek invloed op het verloop van revalidatieproces. Het is

6

bijvoorbeeld van belang te herkennen of de weerstand die een patiënt ten opzichte van rehabilitatie vertoont voortkomt uit een gebrekkig inzicht in het eigen (dis)functioneren ten gevolge van het NAH of uit het premorbide persoonlijkheid karakteristiek zoals het moeilijk met autoriteiten kunnen omgaan. Het NAH kan ook resulteren in verschillende persoonlijkheidsveranderingen. Op dit gebied is echter nog geen goed onderzoek gedaan. Neuropsychologische rehabilitatie moet zich tegelijkertijd richten op herstel en/of vervanging van de cognitieve disfuncties ten gevolge van hersenbeschadiging en op de toepassing daarvan in interpersoonlijke situaties. Voor de interpretatie en het nuanceren van emoties in de sociale omgang is onder andere de cerebrale cortex verantwoordelijk. Beschadigingen hiervan kunnen resulteren in moeilijkheden met adequaat reageren en handelen in sociale situaties. Daarnaast leiden ze vaak tot een beperkt inzicht van patiënten in het eigen functioneren in sociale situaties en in de rol die zij zelf spelen in het mislopen van het sociale verkeer en hun relaties. Hierbij moet ook rekening gehouden worden met hoe de patiënt met dergelijke situaties omging voor het oplopen van het NAH, want problemen in sociale contacten kan eveneens resulteren uit premorbide problematiek. Daarom is een van de voornaamste doelen van de neuropsychologische rehabilitatie het helpen van patiënten bij het observeren van het eigen gedrag en de directe en indirecte gevolgen van de hersenbeschadiging, zodat ze het verband ertussen kunnen leggen. Dit is ook van belang voor het maken van geïnformeerde keuzes door de patiënt met betrekking tot het verder wel of niet meedoen aan een revalidatieprogramma en het vermijden van destructieve keuzes en reacties. Prigatano (1999) geeft toe dat er nog weinig bekend is over de aard van hogere cerebrale functies, waardoor ook onduidelijk is hoe de verloren functies opnieuw getraind zouden moeten worden. Niettemin suggereert hij dat er algemene richtlijnen opgezet kunnen worden voor de behandeling van NAH patiënten. Psychotherapeutische interventies beschouwt hij als zeer waardevol, zo niet onmisbaar, in het revalidatieproces omdat ze de patiënt en zijn naasten kunnen helpen bij het omgaan met persoonlijk verlies. Daarnaast beveelt hij aan rekening te houden met affectieve reacties die het omgaan met een NAH patiënt opwekt in diens sociale omgeving en in het therapeutische team. Ervaring en onderzoek leren dat dit als zeer stressvol en frustrerend kan worden ervaren door de omgeving, waardoor het leren ermee om te gaan door de omgeving heel belangrijk is. Omdat neuropsychologische rehabilitatie een dynamisch proces is, raadt Prigatano (1999) aan om dit proces regelmatig wetenschappelijk te monitoren met als doel te blijven leren en interventies op maat toe te passen. Het is volgens hem zeer belangrijk om een goede selectie uit te voeren voor aanvang van het rehabilitatieprogramma, zodat de patiënten die ongeschikt zijn voor deze aanpak niet onnodig opgenomen worden. Dit

7

kan namelijk het vertrouwen in neuropsychologische revalidatie schenden. Daarnaast suggereert hij dat er speciale aandacht geschonken moet worden aan zelfbewustzijnproblematiek en het management hiervan. Veel voorkomende zelfbewustzijnproblematiek bij NAH is bijvoorbeeld anosognosia en het toeschrijven van de eigen problemen aan de externe omgeving. Het is belangrijk om onderscheid te maken tussen stoornissen van zelfbewustzijn die direct het gevolg zijn van de hersenbeschadiging en psychologische weerstand. Daarbij moet rekening gehouden worden met het feit dat premorbide problematiek hier een rol in kan spelen, zoals laag IQ, jonge leeftijd, sekse en sociaal inzicht. Bovendien, beweert Prigatano (1999), is succesvolle behandeling van een patiënt afhankelijk van het inzicht van de therapeut in mechanismen van achteruitgang en herstel van directe en indirecte symptomen van het NAH. Tot de directe symptomen behoren bijvoorbeeld geheugenverlies en concentratieproblemen. Daardoor wordt het uitvoeren van levens- en werkgerelateerde activiteiten veel moeilijker en vermoeiender dan het geval was voor het ontstaan van het NAH. Omdat NAH patiënten vaak met het herkennen en aangeven van hun grenzen, nemen ze te veel op zich en gaan ze regelmatig over hun eigen grenzen heen waardoor ze uitgeput en overspannen raken. Hieruit resulterende burn-out vormt een indirect symptoom van het NAH. Het bewustzijn van het bestaan van verschillende symptomen van NAH is belangrijk voor de diagnostiek en behandeling van deze patiënten omdat zonder dit bewustzijn het risico bestaat dat alleen burn-out herkend en behandeld wordt. In zulke gevallen, als de onderliggende problematiek over het hoofd wordt gezien, zal de gekozen behandeling niet aanslaan. Prigatano (1999) raadt aan om bij behandeling van NAH patiënten zowel van een wetenschappelijke als een fenomenologische benadering gebruik maken. Deze twee beschouwt hij als complementair. De wetenschappelijke benadering zorgt voor een zorgvuldig gebruik van de bestaande kennis op een verantwoorde manier. De fenomenologische benadering maakt het voor de therapeut mogelijk om de patiënt en diens levenssituatie, gekenmerkt door het verlies, beperkingen, ernstige veranderingen in diens leven, persoonlijkheid en diens identiteit, te begrijpen. Het doel is dat de patiënt op adaptieve wijze om leert gaan met het verstoorde functioneren in alle drie symbolische levensgebieden: liefde, werk en spel. De holistische benadering heeft niet de pretentie dat de onderliggende cognitieve beperkingen hersteld kunnen worden door de rehabilitatie. Er wordt van uitgegaan dat er voor deze beperkingen gecompenseerd kan worden door het aanleren van efficiënte manieren van omgaan met de beperkingen. In dit proces spelen verschillende aspecten van het functioneren van de patiënt een rol zoals het emotioneel en psychisch functioneren; omgaan met sociale relaties en werk; en de psychosociale en professionele

8

omgeving van de patiënt die met deze cognitieve tekorten in verband staan en er invloed op hebben. Deze principes hebben ook op Nederlandse bodem toepassing gevonden (Van Balen et al., 2002). Er zijn verschillende verschillende neuropsychologische revalidatie programma's ontwikkeld in Nederland die de holistische benadering als theoretisch uitgangspunt gebruiken. Twee daarvan die breed bekend zijn, werden ontwikkeld bij de Revalidatiecentrum Amsterdam. Dit zijn het Cognitieve Rehabilitatie programma (CR) en de Intensieve Neuropsychologische Rehabilitatie (INR). Het CR programma is een in hoge mate individueel ingerichte therapie van maximaal veertig uur per week in een periode van twee jaar. Het INR programma omvat ingeroosterde groepsbehandelingsessies van twintig uur per week in een periode van zestien weken. Volgens de richtlijnen van beide programma’s is het doel het reduceren van de lange termijn consequenties van NAH op de volgende functioneringsgebieden: cognitief, gedragsmatig, emotioneel en sociaal. Van Balen et al. maken een onderscheid tussen directe en indirecte gevolgen van NAH. Directe gevolgen hebben betrekking op de beperkingen die het gevolg van het opgelopen NAH en indirecte gevolgen betreffen resultaten van hoe de patiënt met deze directe gevolgen omgaat. De directe gevolgen zijn beperkingen in functies zoals geheugenproblemen of concentratieproblemen. Onder indirecte gevolgen van NAH vallen bijvoorbeeld emoties die een reactie op het letsel zijn en de adaptatie kunnen bemoeilijken. Voorbeelden daarvan zijn irritatie, frustratie, boosheid, depressie, schuldgevoelens, angst en distress, omdat ze negatieve invloed hebben op het zelfmanagement van de patiënt. Vandaar dat revalidatieprogramma's zoals INR zich richten op het bevorderen van herkenning en acceptatie van beperkingen op het gebied van gedrag, emoties en cognitie en het leren hiermee om te gaan in het dagelijks functioneren door NAH patiënten en hun omgeving. Om de individuele problematiek in kaart te brengen en op basis van gedetailleerde informatie een passende behandeling op te zetten wordt er een uitgebreid assessment uitgevoerd door de psychologen van de Revalidatiecentrum Amsterdam (Van Balen et al., 2002). Dit wordt gedaan door middel van het afnemen van een gestructureerd klinisch interview waarin vier functioneringsgebieden worden uitgevraagd: cognitief, affectief, gedragsmatig en interpersoonlijk. Er wordt vanuit gegaan dat als gevolg van NAH het functioneren op deze gebieden veranderd is en de patiënt wordt gevraagd naar geobserveerde veranderingen hierin. De vragen hebben betrekking op persoonlijkheid, relaties, onderwijs achtergrond, werkverleden en verloop, vrijetijdsbesteding voor en na het opgelopen letsel, sport en maatschappelijke betrokkenheid. Een dergelijk interview wordt vaak ook afgenomen bij familieleden, vrienden of belangrijke andere contacten van de patiënt. Vaak levert de heteroanamnese een minder positief beeld van het functioneren van de patiënten op dan de eigen anamnese, wat kan wijzen op

9

verminderd inzicht in het eigen functioneren en verminderde zelfbewustzijn. Daarnaast wordt een neuropsychologisch assessment van cognitieve functies gedaan waarin zowel primaire als secundaire effecten gerelateerd aan de hersenbeschadiging in kaart worden gebracht. Bovendien wordt er vaak een aanvullend assessment uitgevoerd met betrekking tot persoonlijkheid, stemming, klachten en gedrag. Op basis van deze informatie worden er vervolgens doelen gesteld voor het revalidatieprogramma dat zal volgen. Zowel Prigatano (1999) als Van Balen en zijn collega’s (2002) benadrukken dat bij het opstellen van het behandelingsplan bij de holistische benadering er aandacht besteed dient te worden aan de veelzijdigheid van de problematiek. Omdat er beperkingen optreden in alle drie levensgebieden van een patiënt -liefde, werk en spel- dienen de problemen ook in al deze gebieden herkend en aangepakt te worden. Prigatano (1999) en Van Balen et al. (2002) leggen nadruk op het belang van betrokkenheid van de omgeving bij de revalidatie van de patiënt. Daarbij wordt er gelegenheid gecreëerd om interpersoonlijke en werkgerelateerde capaciteiten te beoefenen en trainen. Er worden bijvoorbeeld beschermde werkplekken opgezet waar de revaliderende patiënten hun krachten en vaardigheden kunnen uitproberen, waardoor de zwakke kanten beter geïdentificeerd kunnen worden, zodat hiermee rekening gehouden kan worden in de verdere begeleiding. Het eindrapport van het pilot-onderzoek verricht door het Revalidatiecentrum Amsterdam (Vink, 1996) bevestigt dat de gevolgen van NAH op gedragsmatig, emotioneel en cognitief gebied op langere termijn het meest belemmerend blijken te zijn voor de sociale integratie van NAH patiënten en hun naaste omgeving. De maatschappelijke re-integratie, waarvanre-integratie een onderdeel is, bleek de grootste zorgvraag op te leveren. De eerste ervaringen met het INR programma, dat hierop gericht is, waren positief. Een half jaar na het afronden van het INR programma bleken de bereikte resultaten behouden en verder ontwikkeld te zijn. Daaruit kan worden geconcludeerd dat de leereffecten duurzaam waren en er een onomkeerbaar leerproces plaats heeft gevonden op het gebied van herintreden in het arbeidsproces evenals met betrekking tot het functioneren in het sociale systeem. Op het gebied van werkhervatting bleek dat de NAH patiënten zichzelf vaak te hoog inschatten ten opzichte van hun mogelijkheden op werkgebied. Inschakeling van de afdeling validatie was essentieel in dit proces en individuele begeleiding bleek in de meeste gevallen noodzakelijk. Over het algemeen werd er individuele variatie geconstateerd in het tempo en de mate waarin inzichten en gedragsveranderingen optraden. De wijze van leren bleek evident beïnvloed te zijn door cognitieve stoornissen zoals concentratie- en geheugenstoornissen. De interacties in de groep bleken een essentieel onderdeel van het leerproces te zijn en waren vooral functioneel in combinatie met individuele begeleiding, die ondersteuning

10

bood in het verwerken van confronterende ervaringen. Daarnaast bleek het dagbehandeling programma generalisatie van aangeleerde vaardigheden naar de thuissituatie te bevorderen. Bovendien werd er geconstateerd dat het voortdurend verstrekken van de informatie over het programma tijdens de cursus, om houvast aan de cursisten te geven, vertrouwen te wekken en het leerproces te bevorderen. Samenvattend kan er geconcludeerd worden dat, ten opzichte van de traditionele theorie over neurorevalidatie, de cognitieve neurorevalidatie deze verrijkt met aanvullende aandachtsgebieden. Traditionele benaderingen richtten zich voornamelijk op de fysieke aspecten van de revalidatie en de strikt gedefinieerde cognitieve aspecten zoals aandacht- en geheugenproblematiek. De cognitieve neurorevalidatie benadering heeft deze gebieden overgenomen, verdiept met metacognitieve vaardigheden, en nieuwe gebieden, zoals sociaal en emotioneel functioneren, toegevoegd. Deze kijk op het menselijk functioneren werd overgenomen door Mind at Work in hun Vijf Pijler Model en de APK©©. De APK©© bekijkt wat iemands mogelijkheden en beperkingen in fysiek opzicht zijn en legt dit vast met behulp van de Fysieke capaciteiten. Daarnaast worden er cognitieve en metacognitieve vaardigheden in kaart gebracht met behulp van de subschaal Cognitieve capaciteiten. Behalve naar aandacht en geheugen wordt hier bijvoorbeeld gevraagd naar iemands probleemoplossend denkvermogen, mogelijkheden tot het aanleren van sociale en praktische vaardigheden, planningsvermogen en het vermogen van de cliënt het eigen cognitief functioneren realistisch te beoordelen. Vervolgens wordt in de APK©© aandacht besteed aan de psychische of emotionele stabiliteit. Dit wordt gemeten in de subschaal Psychische stabiliteit. Daarbij wordt bijvoorbeeld gekeken of de cliënt onder behandeling is (geweest) vanwege psychische klachten, of er sprake is van verslavingsproblematiek, of het functioneren door stress wordt beïnvloed, en wordt er gekeken naar mogelijke klachten zoals angst of depressie. Daarnaast wordt er gevraagd naar de copingmechanismen van de cliënt. Het sociaal functioneren wordt in kaart gebracht met behulp van de subschaal Sociaal en communicatief functioneren waarin bijvoorbeeld wordt gekeken naar relaties van de cliënt, naar de mate waarin de cliënt verantwoordelijkheden kan dragen, of er ondersteuning is vanuit het sociale netwerk en naar hoe de cliënt zich opstelt in contact met anderen. Twee zeer belangrijke items die in de APK©© opgenomen zijn hebben betrekking op zelfinzicht en inzicht in het eigen sociaal functioneren, waar de Cognitieve Revalidatie benadering veel nadruk op legt als metacognitieve basis om het eigen gedrag bewust te kunnen aansturen. Ten slotte wordt het algemene functioneren en de bestaande belemmeringen daarbij geïnventariseerd met behulp van de subschaal Algemene inschakelingconditie. Hier wordt onder andere gekeken naar iemands werkverleden en huidige werksituatie, naar dagstructuur, financiële situatie, woonsituatie en de werk- en leermotivatie van de cliënt.

11

Met behulp van deze subschaal wordt getracht een globaal beeld van iemands functioneren te verkrijgen, waarbij verschillende aspecten aan bod komen die van belang zijn voor de re-integratie en die door de cognitieve neurorevalidatie benadering als belangrijk voor de kwaliteit van iemands leven worden beschouwd. Sociale Competentie Model Een grote bijdrage aan de constructie van de APK©©, in het bijzonder voor de subschalen Sociaal en communicatief functioneren en Psychische stabiliteit, leverde het Sociale Competentie Model (SCM). Het SCM zoals voorgesteld door Bartels (2001) en Bartels en Spreen (2005), is een theoretisch kader dat vaak gebruikt wordt voor het behandelen in de forensische jeugdpsychiatrie. Dit model wordt steeds vaker toegepast bij volwassenen problematiek en gebruikt in de personeel- en organisatiepsychologie en bij dere-integratie. Het SCM is gebaseerd op verschillende componenten waaronder de sociaal leren theorie (klassiek en operant conditioneren, observatieleren); de cognitieve benadering; verwerking van sociale informatie; condities noodzakelijk voor optimale ontwikkeling van het kind; en ontwikkelingspsychologische modellen zoals die van Abraham (1997; in: Bartels, 2006). Er wordt vanuit gegaan in het SCM dat ontwikkeling een zelfstandige kracht is die bij de juiste stimulering zich ontvouwt tot wat er in aanleg aanwezig is. Deprivatie op het gebied van noodzakelijke stimuleringsfactoren resulteert in probleemgedrag. Bovendien worden er bij een verstoord ontwikkelingsproces disfunctionele kernovertuigingen en leefregels ontwikkeld die de gedragsproblematiek in stand houden. Individuen leven mentale levensscenario’s na die gecreëerd zijn op basis van aangeleerde kernovertuigingen en leefregels. Deze scenario's hebben betrekking op alle levensgebieden en levensaspecten. Ze werken volgens een principe van 'self-fulfilling prophecy'. Wanneer negatieve ervaringen verwacht worden door het individu, zal hij/zij disfunctionele gedragingen inzetten om de verwachte negatieve ervaringen te voorkomen, of in reactie op deze ervaringen. Het SCM definieert gedragsproblematiek als actieve vermijding en/of afdwingen (coërcie). Het doel van zulk gedrag is het vermijden van gevoelens van falen, alleen zijn, zich aan zichzelf overgelaten voelen. Teneinde deze gevoelens te vermijden worden er stimuli opgezocht of uitgelokt. Bij actief vermijdingsgedrag kan bijvoorbeeld een negatieve reactie van de omgeving uitgelokt worden die weliswaar als negatief ervaren wordt, maar voor de betreffende persoon positief afsteekt bij de mogelijkheid (angst) het gevoel te hebben aan zichzelf overgelaten te zijn. Bij coërcie problematiek dwingt het kind met probleemgedrag zijn/haar opvoeder toe te geven aan zijn/haar wensen of eisen en krijgt op deze manier iets dat oorspronkelijk niet toegestaan was. Het toegeven aan de wens van het kind door de opvoeder resulteert in een (tijdelijke) stop van het probleemgedrag, zodat zowel kind

12

als opvoeder ‘krijgen wat zij wilden hebben’, Dit houdt de disfunctionele cyclus in stand. Dit kan resulteren in ontwikkeling van delinquent gedrag. Niet behandelde gedragsproblematiek wordt veelal voortgezet in het volwassen leven van het individu en is van invloed op diens houding tegenover werk en diens gedrag in de arbeidssituatie. Het doel van behandeling gebaseerd op het Sociale Competentie Model is door cognitieve aanpak de disfunctionele scenario's te identificeren en ze te veranderen. Dit wordt gedaan aan de hand van dossieranalyse, interviews en observaties. De aspecten waarop daarbij gelet wordt zijn: levensomstandigheden gedurende de afgelopen tijd, vaardigheden, kernovertuigingen en regels, gebeurtenissen die aan het probleemgedrag vooraf gingen, sociaal netwerk en balans van (levens)taken en vaardigheden op psychologisch en sociaal niveau. Het balansmodel van het SCM is een theoretisch kader dat bij Mind at Work gebruikt wordt bij het begeleiden van het re-integratieproces. Als taken enerzijds, en vaardigheidsniveau anderzijds, in evenwicht zijn kan er gesproken worden van sociale competentie. Het balansmodel onderscheidt drie soorten taken. Bij de eerste groep, de zogenoemde 'echte taken’, horen bijvoorbeeld op tijd komen, afspraken nakomen, luisteren naar en begrijpen van wat een ander communiceert. De tweede groep, 'taken bij wijze van spreken' omvat manieren van omgaan met emoties zoals boosheid, teleurstelling, verdriet en verliefdheid. Voorbeelden van 'ontwikkelingstaken', die de derde groep vormen, zijn loskomen van het gezin van herkomst in de adolescentie en jongvolwassenheid, omgaan met je kinderen als ouder, etc. Als de balans tussen deze taken en de hiervoor benodigde vaardigheden ontbreekt wordt gesproken van onvoldoende sociale competentie. Dit uit zich vaak in probleemgedrag, criminaliteit, psychische problemen of psychiatrische problematiek. Naast psychische en sociale vaardigheden zoals luisteren, op een vriendelijke manier relevante vragen stellen en het constructief verwoorden van de eigen bezigheden, worden ook cognities, kernovertuigingen en neuropsychologische vaardigheden als vaardigheden beschouwd. Bij gebrek aan balans tussen deze twee gebieden, worden er interventies ingezet die gericht zijn op het aanleren van vaardigheden, beïnvloeden van kernovertuigingen en verlichten of structureren van taken. Op deze manier kan een cliënt tot een realistisch en effectief scenario komen dat positief en succesvol is. Kenmerkend voor het SCM model is de overtuiging dat een gewenste gedragverandering alleen bewerkstelligd kan worden door respectvolle omgang met de cliënt. Positieve bekrachtiging wordt beschouwd als een van de hoofdinstrumenten van de begeleiding, samen met het expliciet naast een cliënt staan en niet tegenover de cliënt. Een heel belangrijke rol in het motiveren tot een positieve houding tegenover het behandelingstraject speelt het op respectvolle wijze erkennen van de beperkingen van

13

een cliënt en de impact hiervan op zijn/haar leven. Het motiveren van cliënten dient vier elementen te bevatten: 1.

benoemen van de nadelen van de huidige situatie

2.

benoemen van de voordelen van verandering

3.

het uitstralen van geloof en vertrouwen dat verandering mogelijk is

4.

bekrachtiging van de intentie tot verandering.

Het SCM model gaat er vanuit dat niet alle beperkingen hersteld kunnen worden, zoals het geval is bij NAH, en dat niet alle gedrag veranderd kan worden, zoals ook in het geval van minder functionele karaktertrekken. De begeleiding dient zich te richten op het opbouwen van compenserende mechanismen en het aanleren van adaptieve vaardigheden. Het balansmodel biedt een werkbaar theoretisch kader voor het diagnosticeren en behandelen van NAH problematiek. De ‘tekorten’ die het gevolg zijn van opgelopen NAH zorgen voor onbalans tussen de levens- en werkgerelateerde taken en de capaciteiten van de patiënt. Deze onbalans moet eerst erkend en in kaart gebracht worden alvorens de juiste behandeling kan ingezet worden om weggevallen functies en vaardigheden te compenseren. Zowel volgens het SCM als volgens de eerder omschreven holistische benadering wordt aanbevolen dat dit gebeurt door het aanleren van nieuwe vaardigheden ten behoeve van het omgaan met de ontstane beperkingen. De nieuwe vaardigheiden waarop de behandeling zich richt betreffen niet alleen het simpelweg aanleren van cognitieve en/of sociale vaardigheden, maar houden ook het verwerven van capaciteiten om het eigen leerproces aan te sturen in. De meest in het oog springende manier waarop deze benadering in de APK©© terug te vinden is, ligt in de manier waarop de APK©© gebruikt wordt. Het doel van de APK©© is het in kaart brengen van de sterke en zwakke kanten van een cliënt om diens kansen op de arbeidsmarkt te bepalen. Dat refereert aan het onderzoeken van de balans tussen iemands mogelijkheden en potentiële werkeisen. Het daardoor ontstane profiel kan gebruikt worden voor het opstellen van een traject, toegespitst op de individuele situatie van de cliënt, om te komen tot een betere balans tussen diens vaardigheden en de vereisten van de omgeving. De subschaal Algemene inschakelingconditie bevat vragen die betrekking hebben op verschillende aspecten die van invloed zijn op deze balans, zoals opleidingsniveau, motivatie en zorgtaken. Verder komen de levensscenario’s en onderliggende disfunctionele kernovertuigingen die de basis vormen van de SCM terug in de APK©© op het niveau van subschalen en items. In de subschaal Psychische stabiliteit krijgt dit, bijvoorbeeld, gestalte in items met betrekking tot leefregels, copingsmechanismen, verslavigen en omgaan met stress. In de subschaal Sociaal en communicatief functioneren komt het gehele scala aan sociale vaardigheden, zoals ook in het SCM, aan bod. Enkele voorbeelden daarvan zijn: flexibiliteit in omgang met anderen, open zijn voor mening van anderen, conflicten hanteren, assertief zijn, relaties aangaan

14

en onderhouden en gedragsproblemen. Het verkregen profiel brengt de problematiek in kaart die vervolgens aangepakt moet worden in het begeleidingstraject teneinde de geconstateerde onbalans te nivelleren. De Leertheorie Zowel in de revalidatie van NAH patiënten als in dere-integratie van mensen die om verschillende redenen uitgevallen zijn uit het werkproces wordt grote nadruk gelegd op leerprocessen. Deze hebben betrekking op het verwerven van nieuwe vaardigheden en kennis, op het aanleren van adaptief, doelgericht en onafhankelijk gedrag, het leren omgaan met de eigen beperkingen, en het leren van opnieuw een eigen plaats te vinden in het leven, de maatschappij en op de arbeidsmarkt. Dit houdt het oefenen en toepassen van de betreffende functionele vaardigheden in een sociale setting in. Lezak (1978; in: Vink, 1996) heeft bij mensen met NAH een verminderd vermogen tot het leren van eigen ervaring geconstateerd, waardoor ook het vermogen tot leren in sociale situaties verminderd is. Dit verschijnsel treedt vaak op, zelfs als het vermogen om nieuwe informatie op te nemen intact is. Een gestructureerde setting helpt volgens Vink (1996) om het gewenste gedrag op te roepen en te bekrachtigen. De systematische feedback die hoort bij een dergelijk setting beschouwt ze als een cruciale factor in het leerproces. Vink merkt op dat in het INR programma rekening gehouden dient te worden met de verschillende niveaus waarop mensen leren. Deze variëren van reflexmatig niveau tot het leren vanuit zelfbewustzijn en inzicht. Inzicht alleen is echter niet genoeg voor NAH patiënten om nieuwe vaardigheden aan te leren en daarom zijn aanvullende vormen van procedureel leren nodig. Deze aanvullende vormen bevorderen de transfer van zelfcontrole en de transfer van training. Voorbeelden zijn het oefenen van instrumentele handelingen, waarbij voortdurend feedback wordt gegeven die tot gewoontevorming en daarmee tot het leren op een procedureel niveau leidt. Opdat het leerproces effectief verloopt, dient er rekening gehouden te worden met het niveau en manier waarop verschillende mensen leren. Deze factoren zijn van wezenlijk belang voor de manier waarop het leerproces georganiseerd moet worden. Leerstijlen en leerprocessen. De verschillende manieren waarop mensen leren werden onderzocht door Vermunt (1992). Hij noemt in dit onderzoek de manieren waarop mensen leren en hoe ze over het leren denken ‘leerstijlen’. Onder leerstijl verstaat hij 'een samenhangend geheel van leeractiviteiten die studenten gewoonlijk ontplooien, de wijze waarop ze hun leerprocessen sturen, hun visie op het leren en onderwijs en hun studiemotieven’. Onder deze definitie vallen leerstrategieën, mentale leermodellen en leeroriëntaties.

15

Leerstrategieën worden gedefinieerd als een combinatie van denkactiviteiten die mensen gebruiken om kennis te verwerven, te integreren en toe te passen. Deze denkactiviteiten zijn verantwoordelijk voor het sturen van leerprocessen en kunnen ingedeeld worden in drie categorieën: cognitieve, affectieve en metacognitieve denkactiviteiten, waarbij de laatste gericht zijn op het sturen van cognitieve en affectieve verwerkingsstrategieën. Cognitieve verwerkingsactiviteiten hebben betrekking op de manier waarop informatie verworven en geïntegreerd wordt. Tot de deze activiteiten behoort ook 'relateren', een activiteit die gekenmerkt wordt door het zoeken naar verbanden tussen verschillende onderdelen van de leerinhoud, het geheel van de leerinhoud en de voorkennis. Een ander voorbeeld is 'memoriseren en herhalen', waaronder verstaan wordt het inprenten van afzonderlijke informatie door deze een aantal malen voor zichzelf te herhalen. Andere activiteiten die bij de groep van cognitieve verwerkingsactiviteiten horen zijn 'structureren, 'analyseren', 'concretiseren', 'toepassen', 'kritisch verwerken' en 'selecteren'. Affectieve verwerkingsactiviteiten worden gebruikt door studenten om een gemoedstoestand op te wekken die de voortgang van leerprocessen positief, neutraal of negatief kan beïnvloeden. Bij deze groep horen activiteiten zoals: attribueren, motiveren, concentreren, zichzelf beoordelen, waarderen, inspannen, emoties opwekken, verwachten. Attribueren wordt gedefinieerd als het toeschrijven van de resultaten van het leerproces aan verschillende mogelijke oorzakelijke factoren die stabiel of instabiel, en extern of intern kunnen zijn. Faalervaringen kunnen bijvoorbeeld toegeschreven worden aan interne en instabiele factoren, zoals een gebrek aan eigen inspanning of aan externe factoren zoals de kwaliteit van de instructies. De derde groep verwerkingsactiviteiten, metacognitieve regulatieactiviteiten, hebben betrekking op het uitoefenen van controle over de eigen cognitieve en affectieve activiteiten die van belang zijn voor het leerproces. Dit houdt in de regulatie van de motivatie, emoties, inspanning en concentratie. Deze regulatie vindt plaats door middel van activiteiten zoals oriënteren, plannen, proces bewaken, toetsen, diagnosticeren, bijsturen, evalueren en reflecteren. Leeroriëntaties en mentale leermodellen. Naast leerstrategieën, waaronder de hiervoor besproken verwerkingsstrategieën vallen, onderscheidt Vermunt (1992) als componenten van een leerstijl tevens leeroriëntaties en mentale leermodellen. Onder een mentaal leermodel verstaat hij een persoonlijke theorie over leren en instructies. Het mentale leermodel vormt een geheel van denkbeelden, voorkennis en preconcepties met betrekking tot het leren. Hieronder vallen kennis en opvattingen ten aanzien van mogelijke leerdoelen, leertaken en leersituaties en de combinatie hiervan. Het mentale

16

model bepaalt bijvoorbeeld wie beschouwd wordt als verantwoordelijk voor het verloop en monitoren van het leerproces - het onderwijssysteem en onderwijsinstanties of de student zelf - en in welke mate. Daarnaast horen hierbij opvattingen over het karakter van het leerproces: wordt dit proces beschouwd als het opnemen van kennis van experts die alles beter weten of als een proces waarin de kennis van een student verrijkt en verdiept wordt door nieuwe elementen en inzichten. Met andere woorden, mentale modellen zijn overtuigingen met betrekking tot opbouw, opname en gebruik van kennis, taken van onderwijs en het samen of alleen studeren. Leermodellen kunnen dus omschreven worden als kernovertuigingen met betrekking tot de leersituatie en het leerproces. Net als kernovertuigingen vormen ze een cognitief-affectief filter waardoor de werkelijkheid gezien en ervaren wordt en kunnen ze adaptief of maladaptief zijn. Dat houdt in dat ze de zelfstandigheid in, en de rol van de eigen verantwoordelijkheid voor, het organiseren en de effecten van leerprocessen kunnen bevorderen of benadelen. Leeroriëntatie wordt door Vermunt (1992) gedefinieerd als het geheel van persoonlijke doelstellingen, intenties, motieven, verwachtingen, houdingen, zorgen en twijfels van studenten. Hierbij onderscheidt hij intrinsieke, extrinsieke en prestatieoriëntatie. Bij intrinsieke oriëntatie studeert iemand voornamelijk uit persoonlijke interesse in het vakgebied en om leerstof te beheersen. Het kenmerk van extrinsieke oriëntatie is dat de opleiding wordt gezien als middel om een ander doel te bereiken, zoals het behalen van een diploma. Een student met een prestatie-oriëntatie is voornamelijk geïnteresseerd in het leveren van hoge studieprestaties, waarbij de inhoud van de leerstof niet interessant gevonden hoeft te worden. Deze oriëntaties beïnvloeden het leerproces, doordat ze bepalen welke leerstrategieën het meest geschikt zijn om het doel te bereiken. Intrinsieke oriëntatie gaat vaak gepaard met leerstrategieën zoals relateren, structureren, concretiseren en kritisch verwerken. Met extrinsieke oriëntatie worden vaak memoriseren en herhalen geassocieerd. Prestatie-oriëntatie resulteert in de keuze van een leerstrategie die onder gegeven omstandigheden het hoogste tentamencijfer lijkt te garanderen. Daarnaast kunnen studenten een testgerichte oriëntatie vertonen, waarbij het bewijzen van eigen capaciteiten als het belangrijkste wordt beschouwd; een beroepsgerichte oriëntatie, die als doel het verwerven van vakbekwaamheid heeft; en een ambivalente oriëntatie, die een twijfelachtige, onzekere houding ten aanzien van de studie inhoudt. Vermunt (1992) vond dat er grote verschillen bestaan tussen studenten in de manier waarop ze met leerprocessen omgaan. Afhankelijk van hun denkbeelden schrijven ze verantwoordelijkheid voor het eigen leren aan zichzelf toe of aan externe factoren zoals onderwijsinstellingen en docenten. Hun overtuigingen of mentale leermodellen resulteren ook in de manier waarop ze eigen leerprocessen organiseren, inrichten en controleren. De leerstijlen blijken behoorlijk stabiel te zijn, maar niet onveranderbaar. Het ontstaan

17

en de stabiliteit ervan kan verklaard worden door lange-termijn aanpassing aan de leeromgeving, waaronder leerinstructies. Met de verandering van de omgeving en het type instructie ontstaan er fricties tussen bestaande leerstijlen en de vereisten van de omgeving. Dit biedt studenten de kans om nieuwe leestrategieën te ontwikkelen. Studenten die spontaan te weinig leeractiviteiten ontplooien, blijven afhankelijk van de instructies, en de stap om nieuwe leerstrategieën te ontwikkelen kan te groot zijn om zonder begeleiding te zetten. Mentale modellen en leerroriëntaties zijn relatief stabieler dan leer- en denkstrategieën. Deze strategieën kunnen eerder en gemakkelijker aangepast worden aan de omstandigheden dan leermodellen en leerroriëntaties. Uit Vermunts onderzoek blijkt dat het voor een succesvol leerproces belangrijk is dat een student over diverse leeractiviteiten beschikt, zodat deze adequaat toegepast kunnen worden, afhankelijk van de situatie en de instructies. De manier waarop instructies worden uitgevoerd hangt samen met interne en externe factoren. De interne factoren hebben te maken met de leerstijl van een student en de daarmee verbonden factoren zoals leeftijd, voltooide vooropleiding, studiegebied en de aard van de leeromgeving. Afhankelijk van een leermodel wordt de verantwoordelijkheid voor de organisatie van het studieproces toegeschreven aan een student zelf of aan de onderwijsinstellingen. Bij de leeroriëntaties kan er onderscheid worden gemaakt tussen interne en externe oriëntatie. Studenten die het uitvoeren van instructieleerfuncties niet als hun eigen verantwoordelijkheid beschouwen, schrijven het toe aan het onderwijs. Er blijkt een effect te zijn van de manier waarop instructies gegeven worden en de leerstijl van studenten op de uitvoering van deze instructies. Bij het ontwikkelen van instructies moet er rekening mee worden gehouden dat er verschillende leerstijlen bestaan die het uitvoeren van instructies beïnvloeden. Sommige leerstijlen zijn meer constructief en zelfstandiger dan andere. Zelfstandigheid echter betekent niet dat studenten automatisch instructies gaan volgen en uitvoeren zoals opgenomen in de studiematerialen. Integendeel, hoe zelfstandiger en autonomer een student het eigen leerproces kan organiseren, des te minder gaat hij/zij automatisch en vanzelfsprekend de externe instructies volgen. De keuze van de leerstrategie hangt af van het studiegebied en de constructie van de tentamens. Bijvoorbeeld, als de tentamens op reproductie van de leerstof zijn gericht, is de kans groot dat studenten een reproductieve leerstrategie toepassen. Als er echter nadruk wordt gelegd op het zelfstandige gebruik van de geleerde stof en op het vormen van nieuwe denkbeelden of het toepassen daarvan in situaties uit de praktijk, worden er meer betekenisgerichte en toepassingsgerichte leerstrategieën ingezet. Het veranderen van studiegedrag vereist het veranderen van leermodellen en leeroriëntaties, die echter niet te bewerkstelligen zijn met behulp van simpele instructies.

18

Externe instructies kunnen juist werken in tegenovergestelde richting: hoe meer externe sturing wordt ingezet vanuit het onderwijs, hoe minder interne sturing er wordt ontwikkeld of bevorderd bij studenten. Het inzetten van een strategie die grote zelfstandigheid in de organisatie van het eigen leerproces van studenten vereist, kan echter niet werken als de studenten daarvoor alleen extern werden gestuurd en weinig mogelijkheid hadden om zelfstandigheid te ontwikkelen. Vermunt suggereert daarom de systematische overdracht van controle over het leerproces van onderwijs naar student als de meest efficiënte aanpak. Duurzame veranderingen van leerstijlen en daarmee verbonden gedragspatronen in de richting van constructieve, zelfstandige organisatie van leerprocessen vereist een aanpak, die op een metacognitief niveau plaats moet vinden. Alleen dan kunnen de studenten zich bewust worden van de verschillende leerstijlen en leeractiviteiten die zij toepassen en die ze nog aan zouden kunnen leren. Daarnaast krijgen ze dan de mogelijkheid om te leren hoe ze zichzelf moeten aansturen door middel van juiste keuzes te maken met betrekking tot leerstrategieën onder bepaalde omstandigheden. Hierbij horen het creëren van een omgeving die het gebruik van- zelfstandige en constructieve leerstijlen bevordert, en het aanpassen van de snelheid en moeilijkheidsgraad van dit proces aan de huidige mogelijkheden van de studenten. Vermunt vermeldt dat de context van het aanleren van gegeven kennis en vaardigheden zeer belangrijk is en dat contextvrije instructies moeilijk toegepast kunnen worden in een nieuwe omgeving. De oplossing hiervoor zouden procesgerichte instructies kunnen zijn, die als doel hebben binnen de taakverdeling in het instructieleerproces de instructie naar de studenten te verschuiven. Bovendien dient een goede instructie rekening houden met factoren zoals het huidige niveau en ontwikkelingspotentieel van de cliënt die aangeduid worden als een ‘zone van de naaste ontwikkeling’. Zone van de naaste ontwikkeling. De meest effectieve instructies die het leerproces het sterkst bevorderen zijn de instructies die rekening houden met de ‘zone van de naaste ontwikkeling’ zoals voorgesteld door Vygotsky (1935). Uitgaande van de ontwikkelingspsychologie, definieert Vygotosky (1935) deze zone als het niveau waarop het kind kan presteren in samenwerking met een volwassene. Dat staat tegenover het traditioneel gebruikte begrip van het werkelijke niveau van de ontwikkeling van het kind, dat bepaald wordt door de taken die het kind zelfstandig kan voltooien. De zone van de naaste ontwikkeling wordt bepaald door het verschil tussen de mentale leeftijd, het niveau van werkelijke ontwikkeling en het prestatieniveau dat het kind kan bereiken in samenwerking met een volwassene. Volgens Vygotsky is de zone van de naaste ontwikkeling van groter belang voor de dynamiek van intellectuele ontwikkeling en voor het succes van instructie dan het werkelijke ontwikkelingsniveau.

19

Het kind kan meer bereiken in samenwerking met een volwassene dan alleen, maar zijn mogelijkheden zijn niet oneindig. Dit betekent dat zelfs met behulp van anderen het kind niet alle problemen kan oplossen die het krijgt voorgelegd. Het nadoen van de volwassene is daar namelijk niet voldoende voor. Er is een grens die verschillend is voor verschillende kinderen. Wat ligt in de zone van de naaste ontwikkeling in het ene stadium, wordt een werkelijk ontwikkelingsniveau in het volgende stadium. Er komt dus een constante verschuiving tot stand met betrekking tot de potentiële capaciteiten van het kind in diens zone van de naaste ontwikkeling naar de daadwerkelijke capaciteiten. Het potentieel van de instructie wordt bepaald door de zone van de naaste ontwikkeling. Daarbij dient rekening te worden gehouden niet zozeer met de al rijpe functies van het kind, als wel met diens rijpende functies. Vygotsky (1935) beweert dat de instructie alleen dan nuttig is als die vooruitgaat aan de ontwikkeling. Daardoor maakt die de functies wakker die zich bevinden in het stadium van rijping, dat ligt in de zone van de naaste ontwikkeling. Dat is de meest belangrijke rol van de instructie in de ontwikkeling. Daarom is de instructie het meest productief als die binnen de zone van de naaste ontwikkeling plaatsvindt. Uitwerking Deze theoretische kaders en bevindingen werden door Mind at Work toegepast bij het ontwikkelen van de leertrainingen die in eerster instantie gebruikt werden in de begeleiding van WAO cliënten naar de ICT sector. Om de omscholing succesvol te kunnen maken moest er rekening gehouden worden met de individuele cognitieve capaciteiten van cliënten. De instructies dienen aan deze capaciteiten te worden aangepast zodat de training effectief is. Daarvoor moet er niet alleen uitgegaan worden van hun huidige capaciteiten, maar ook van hun zone van de naaste ontwikkeling. Op basis van de geïdentificeerde mogelijkheden dient de eerst volgende te leren stap bepaald te worden. Daarnaast wordt er een metacognitieve benadering ingezet zodat de cliënten zich bewust kunnen worden van de leerstrategieën die ze spontaan gebruiken, evenals van het feit dat er bepaalde leerstrategieën nodig zijn om van de omscholing te kunnen profiteren. Naast de leerstrategieën wordt er getracht metacognities te onderzoeken in het kader van de overtuigingen over leerprocessen (mentale leermodel), zelfsturing en daarmee verbonden copingsmechanismen en de regulatie van de leermotivatie. Motivatie, samen met andere processen als attribueren en zichzelf beoordelen, vormt één van de affectieve aspecten van het leerproces waar ook aandacht aan wordt geschonken. Succesvolle begeleiding dient dus rekening te houden met cognitieve, metacognitieve en affectieve aspecten van het leerproces. De bovenstaande factoren - zoals de door cliënt gehanteerde leermodellen, leerstrategieën en leeroriëntaties evenals de zone van de naaste ontwikkeling van de

20

cliënt - zijn belangrijk om in kaart te brengen teneinde het begeleidingstraject succesvol te maken. De APK©© biedt de mogelijkheid deze factoren te identificeren met behulp van vragen naar het werk en leermotivatie, opleidingsverleden, eigen toekomstbeeld en taalniveau op de subschaal Algemene inschakelingconditie. Daarnaast worden er cognitieve capaciteiten en belemmeringen geïnventariseerd met betrekking tot cognitieve leerproblemen, cognitieve problemen op het gebied van aandacht en geheugen, trage informatieverwerking, cognitieve belastbaarheid, planningsvermogen en het aanleren van werk- of sociale vaardigheden. In het aspect van de Psychische stabiliteit wordt gekeken naar copingmechanismen, leefregels en zelfinzicht, die als basis van zelfmonitoring beschouwd kunnen worden. Al deze bronnen hebben samen geleid tot de ontwikkeling van het Vijf Pijler Model en van de APK©©. In het Vijf Pijler Model wordt niet alleen rekening gehouden met fysieke en cognitieve aspecten van het menselijk functioneren, zoals voorgesteld door traditionele neuropsychologische revalidatie benaderingen, maar ook met emotionele (affectieve) en psychosociale dimensies daarvan. Daarnaast wordt gekeken naar leer- en werkgeschiedenis van de cliënt en diens ervaring, evenals naar de levensomstandigheden die van invloed kunnen zijn op de arbeidssituatie. Voor elk van deze gebieden wordt er in kaart gebracht in hoeverre de capaciteiten van een cliënt in balans zijn met de vereisten van diens omgeving. De geconstateerde onbalans kan een resultaat zijn van verschillende factoren, zoals de opvoeding, het oplopen van NAH of andere ziektes, verandering van iemands levenssituatie, verandering op het werkgebied, persoonlijkheidskenmerken en andere factoren. De door Mind at Work gehanteerde benadering, gebaseerd op de eerder genoemde theoretische kaders, gaat er vanuit dat de ontstane onbalans gereduceerd kan worden, niet zozeer door het herstel van verloren functies en het opnieuw aanleren daarvan, maar eerder door het aanleren van compensatie mechanismen en vaardigheden die de cliënten met deze beperkingen op een constructieve en optimale wijze laten omgaan. Uitval uit het werkproces en moeilijkheden om daarin terug te keren, kunnen een resultaat zijn van een dergelijk onbalans. Het doel van het re-integratie proces is een gedragsverandering in cliënten te bewerkstelligen. Deze vindt plaats ten gevolge van leerprocessen. In de begeleiding naar de arbeidsmarkt en de training die met dit doel worden gegeven tracht Mind at Work rekening te houden met cognitieve, metacognitieve en affectieve aspecten van het individuele leerproces om dit meest effectief aan te sturen, te motiveren en te begeleiden. Vaak is de overdracht van kennis of vaardigheden op cognitief niveau niet voldoende. De leermodellen, leerstrategieën en leeroriëntaties van cliënten kunnen hun leerproces bevorderen, maar ook in de weg staan. Daarom is het belangrijk om aan deze metacognitieve aspecten aandacht te schenken, zodat de cliënten zich bewust worden

21

van eigen strategieën en leermodellen (kernovertuigingen ten opzichte van het leren), maar ook beseffen dat ze meerdere strategieën en denkbeelden nodig hebben om succesvol te kunnen leren en mede daardoor gemotiveerd raken om nieuwe strategieën aan te leren. Hierbij is het belangrijk dat de cliënten de noodzaak inzien van het zelfsturen van leerprocessen en in staat worden gesteld om hun eigen cognitieve processen te monitoren en aan te sturen. Alle bovengenoemde theoretische benaderingen overlappen elkaar in aanzienlijke mate en de vragen die in de APK©© zijn opgenomen zouden vaak afgeleid kunnen worden uit meer dan één benadering. In de volgende sectie wordt er gekeken naar de vergelijkbare instrumenten die toegepast worden in breed scala van psychologische gebieden, en hun betrouwbaarheid. Vooronderzoek naar betrouwbaarheid psychologische interviews Onderzoek op het gebied van de interbeoordelaarsbetrouwbaarheid van semigestructureerde interviews in de psychologische praktijk wijst erop dat deze zeer bevredigend kunnen zijn. Klinische diagnostiek van DSM-IV- persoonlijkheidsstoornissen In de klinische diagnostiek worden er diverse instrumenten gebruikt. Persoonlijkheidsstoornissen, zoals door DSM-IV voorgesteld, worden in kaart gebracht met behulp van methoden als zelfbeoordelingsvragenlijsten, semi-gestructureerde interviews, het traditionele klinische interview en protocollen waaarbij meerdere bronnen van informatie worden geïntegreerd. In het Nederlandse taalgebied worden er vier semigestructureerde interviews gebruikt: SIDP-IV (Gestructureerd interview voor de DSM-IV persoonlijkheidstoornissen; De Jong et al, 1996; in: Verheul, Van den Brink, Spinhoven, & Haringsma, 2000), SCID-II (Gestructureerd klinisch interview voor DSM-IV persoonlijkheidstoornissen; Weertman et al., 1996; in: Verheul et al., 2000) en IPDE (International Personality Disorder Examination; Diekstra et al, 1996; in: Verheul et al., 2000) en BPDSI (the Borderline Personality Disorder Severity Index; Arntz et al., 2003). Ze worden afgenomen door aan de patiënt zo mogelijk letterlijk voorgestructureerde vragen te stellen, waarbij de interviewer keuzes maakt om wel dan niet door te vragen afhankelijk van het antwoord op de openingsvraag. De betrouwbaarheid van semigestructureerde interviews blijkt over het algemeen redelijk goed te zijn (Zimmerman, 1994; in: Verheul et al., 2000). Indien specifiek wordt gekeken naar SCID-II (Weertman, Arntz, & Kerkhofs, 2006), laten diverse onderzoeken zien dat dit instrument een redelijke tot zeer hoge interbeoordelaarsbetrouwbaarheid kent. Maffei et al. (1997; in: Weertman, Arntz, & Kerkhofs, 2006) vermelden dat de bij SCID-II gevonden interbeoordelaarscoefficiënten

22

variëren tussen .48 en.98 voor categoriële diagnoses (Cohen kappa) en van .90 tot .98 voor dimensionele beoordelingen (ICC's). Vergelijkbare resultaten kwamen naar voren uit het onderzoek van Arntz et al. (1992; in: Weertman, Arntz, & Kerkhofs, 2006), waarin de kappa waarden varieerden tussen .77 en .82, afhankelijk van de stoornis. Renneberg et al. (1992; in: Weertman, Arntz, & Kerkhofs, 2006) vermelden kappawaarden tussen .61 en .81 voor diverse stoornissen. Wonderlich et al. (1990; in: Weertman, Arntz, & Kerkhofs, 2006) hebben kappawaarden gevonden variërend tussen .56 en .77; Brooks et al. (1991; in: Weertman, Arntz, & Kerkhofs, 2006) vonden waarden tussen .43 en .89. Met betrekking tot ICC's waarden zijn er waarden gevonden die variëren tussen .60 en .82 (Fogelson et al. 1991; in: Weertman, Arntz, & Kerkhofs, 2006). Andere onderzoekers zoals Dreessen & Arntz (1998; in: Weertman, Arntz, & Kerkhofs, 2006) rapporteren zeer goede ICC scores voor SCID-II. De auteurs concluderen dat er voor de SCID-II een redelijke betrouwbaarheid verkregen kan worden onder voorwaarde dat de interviewers goed getraind zijn en er genoeg diagnostische variabiliteit in de steekproef is. Aangaande de betrouwbaarheid van BPDSI blijkt deze voor het hele instrument de ICC waarden tussen .93 en .97 te hebben. Betrouwbaarheid van de items varieerde tussen .49 en 1.00. Interviews in de personeelsselectie Een meta-analyse met betrekking tot de validiteit van gestructureerde en ongestructureerde interviews in de personeelsselectie liet een validiteit zien van .51 voor gestructureerde interviews en van .38 voor ongestructureerde interviews (McDaniel, Whetzel, Schmidt, & Maurer, 1994). Op basis daarvan kan een betrouwbaarheid worden afgeleid van .71 voor gestructureerde interviews en van .62 voor ongestructureerde interviews. Bij de analyse werd er rekening mee gehouden dat de validiteit van instrumenten afhankelijk is van drie factoren: de inhoud van de informatie verzameld tijdens het interview, de manier waarop de informatie wordt verzameld, en de criteria om de validiteit te bepalen. Taxatie van het recidiverisico in de tbs Het onderzoek naar de interbeoordelaarsbetrouwbaarheid van risicotaxatie met behulp van twee gestructureerde klinische beoordelingsinstrumenten laat verschillende resultaten zien. Philipse (2005; in: Lammers, 2007) vermeldt een zeer lage interbeoordelaarsbetrouwbaarheid van de CIDDRI (een beoordelingsschaal geconstrueerd op basis van de factoren die werden geïdentificeerd door behandelaars uit tbs-klinieken als relevant voor de recidiverisico taxatie). Ander onderzoek levert echter goede tot zeer goede waarden van de interbeoordelaarsbetrouwbaarheid van de beoordelingsinstrumenten (De Vogel, 2005).

23

De eerste heeft betrekking op de ‘Historical, Clinical, Risk Management-20’ (HCR-20), een schaal die historische, statische items (H), klinische items (C) en gerichte risicohanteringsitems (R) bevat. Veel items van dit instrument komen overeen met items van CIDDRI. De tweede betreft de ‘Sexual Violence Risk-20’ (SVR-20) en heeft betrekking op seksueel geweld. De interbeoordelaarsbetrouwbaarheid van de subschalen en totale score van SVR-20 blijkt goed tot zeer goed te zijn’, waarbij het ICC .75 bedraagt voor de totale score en .74 tot .78 voor de subschalen. De interbeoordelaarsbetrouwbaarheid van HCR-20 bleek de waarde van ICC=.83 te hebben voor de totale score, ICC=.89 voor de Historische subschaal en de ICC=.76 voor de Klinische subschaal. De definitieve risico beoordeling was goed (ICC=.73) en de Risk management subschaal gemiddeld (ICC=.58). Voor vrouwelijke tbs cliënten was de interbeoordelaarsbetrouwbaarheid goed voor de Historische subschaal, totale score en definitieve risico beoordeling (ICC=.82, .75, en .74 respectievelijk). De waarden voor Klinische subschaal en Risico beoordeling subschaal waren gemiddeld (ICC=.55 en .51 respectievelijk). Bij mannelijke patiënten bleek de interbeoordelaarsbetrouwbaarheid goed te zijn voor Historische en Klinische subschalen, totale score en de definitieve risico beoordeling (ICC=.82, .70, en .69 respectievelijk). De interbeoordelaarsbetrouwbaarheid van de Risk management subschaal bleek gemiddeld te zijn (ICC=.49). Lammers (2007) schrijft dit verschil toe aan het feit dat de CIDDRI en HCR-20, hoewel ze qua inhoud zeer op elkaar lijken, volgens verschillende procedures werden afgenomen in beide onderzoeken. Het invullen van CIDDRI duurde ongeveer een kwartier, terwijl de ingevulde oordelen op HCR-20 additioneel uitgebreid werden besproken door de beoordelaars en de hele procedure een paar uur duurde. Lammers (2007) vermeldt resultaten van onderzoek naar de interbeoordelaarsbetrouwbaarheid van een ander instrument: HKT-30, een specifiek risicotaxatie instrument dat een uitgebreide, verbeterde versie van HCR-20 is met dezelfde indeling, maar met tien items meer. De interbeoordelaarsbetrouwbaarheid bleek nog hoger te zijn dan die van HCR-20. Een van de factoren die daaraan hebben kunnen bijgedragen is de bredere coderingsmogelijkheid van HKT-30, die vijf antwoordmogelijkheden bevat per item, terwijl de HCR-20 drie antwoordmogelijkheden heeft. Een andere factor is het grotere aantal items met uitstekende betrouwbaarheid bij HKT-30 vergeleken met HCR-20. Met betrekking tot de interbeoordelaarsbetrouwbaarheid per item,varieerden de ICC’s van HCR-20 tussen .43 en .84. Wat betreft de HKT-30 in verschillende onderzoeken varieerden de ICC’s tussen .30 en .93 (Hildebrand et al., 2005; in: Lammers, 2007) en tussen .65 en .93 (Groot Rouwen, 2006; in: Lammers, 2007). Vervolgens bleek de interbeoordelaarsbetrouwbaarheid van de Psychopathologie Checklist-revised (PCL-r

24

(Hare, 1991; in: Lammers, 2007)) goed te zijn (Cohen’s kappa=. 63 voor simultane meting van drie beoordelaars). Gezien het bovenstaande zijn de volgende voorspellingen gemaakt met betrekking tot de interbeoordelaarsbetrouwbaarheid van de APK©©. 1. Het semi-gestructureerde interview APK©© 1.1 is betrouwbaar. Verwachting: de ICC is gelijk aan of hoger dan .80. 2. De subschalen van het semi-gestructureerde interview APK©© 1.1 zijn betrouwbaar. Verwachting: de ICC is gelijk aan of hoger dan .70. 3. De items van het semi-gestructureerde interview APK©© 1.1 zijn betrouwbaar. Verwachting: de ICC is gelijk aan of hoger dan .60. Factoren die de interbeoordelaarsbetrouwbaarheid beïnvloeden Met behulp van een meta-analyse van diverse onderzoeken naar interbeoordelaarsbetrouwbaarheid in arbeids- en organisatiesetting in het kader van functiebeoordeling, werd er gekeken naar verschillende factoren die op de betrouwbaarheid van de beoordeling van invloed kunnen zijn (Van Sliedregt, 1999). Eén van die factoren was het type beoordelaar zoals personeelsleden, professionele specialisten op P&O gebied (met en zonder ervaring met een bepaald beoordelingsinstrument), en studenten. Binnen deze categorieën werden vijf soorten beoordelaars onderscheiden. De aspecten waarop daarbij gelet werd betroffen: de hoeveelheid informatie over een bepaalde functie, de wijze waarop de informatie verzameld werd, de hoeveelheid training in het gebruik van het instrument, de hoeveelheid werkervaring met het instrument en de hoeveelheid werkervaring op het gebied van functiebeoordeling. De hoogste interbeoordelaarsbetrouwbaarheid werd gevonden bij ervaren gebruikers van een beoordelingsinstrument. Bij de betrouwbaarheidswaarde van .80 bleek de beoordeling van een specialist met ervaring met het instrument op te wegen tegen de beoordeling van twee P&O specialisten zonder werkervaring met het instrument, van twee tot drie personeelsleden en twee tot vier studenten. Het effect van de training in het gebruik van het instrument werd niet getoond in het kader van de interbeoordelaarsbetrouwbaarheid, wat mogelijk te maken had met de kwaliteit en aard van trainingen. Binnen de groep van instrumentdeskundigen werd de hoogste ICC bereikt in de groep die hun kennis over de functie in direct contact met personeelsleden vormt. Daarbij bleek de hoeveelheid informatie alleen van belang te zijn als iemand weet hoe die deze informatie moet gebruiken. De functiebeoordeling door personeelsleden bleek in praktijk niet te onderscheiden te zijn van die van studenten. Dit wijst erop dat werkervaring op het gebied van functiebeoordeling van zeer groot belang is voor de beoordeling. Die blijkt belangrijker te zijn dan de praktische ervaring van degene die de

25

functie vervult en dan een puur theoretische professionele kennis die nog niet genoeg gegrond is in de werkpraktijk. Bovendien bleek collegiaal overleg over de beoordeling van groot belang voor de interbeoordelaarsbetrouwbaarheid. De beoordeling moet verricht worden door minstens twee getrainde deskundigen, die niet alleen alle beschikbare informatie over een cliënt lezen, maar daarnaast tot hun scores en eindoordee komen in een consensusgesprek (Lammers, 2007). Dit omdat de consensusgesprekken voor een intercollegiale toetsing zorgen en daarbij nog een functie van intervisie vervullen. Naar aanleiding van het vooronderzoek zijn de volgende onderzoeksvragen en verwachtingen geformuleerd: 4. Is een consensusgesprek van invloed op de interbeoordelaarsbetrouwbaarheid op het niveau van: a) de APK©© als geheel b) de subschalen c) de items Verwachting: de interbeoordelaarsbetrouwbaarheid wordt hoger op alle niveau’s na een consensusgesprek. 5. Is er een verschil tussen beoordelingen door actieve beoordelaars (degenen die het interview zelf afnemen en het structureren) en passieve beoordelaars (degenen die bij het interview aanwezig zijn en vragen mogen stellen)? Verwachting: er is geen significant verschil tussen actieve en passieve beoordelaars. 6. Is er een verschil tussen beoordelingen door beoordelaars met veel en weinig werkervaring als psycholoog? Verwachtingen: a) er is verschil tussen beoordelingen door paren beoordelaars met veel en weinig werkervaring. b) er is verschil tussen beoordelingen door paren beoordelaars met gemengde werkervaring binnen een paar. c) er is geen verschil tussen beoordelaars met vergelijkbare werkervaring. 7. Is er een verschil tussen beoordelingen door beoordelaars met veel en weinig werkervaring met de APK©©? Verwachtingen: a) er is verschil tussen beoordelingen door beoordelaars met veel, en weinig werkervaring met de APK©©. b) er is verschil tussen beoordelingen door paren beoordelaars met gemengde APK©© werkervaring

26

c) er is geen verschil tussen beoordelaars met vergelijkbare werkervaring met de APK©©. 8. Is er een verschil tussen beoordelingen door beoordelaars met veel en weinig gespreksvaardigheden? a) er is verschil tussen beoordelingen door beoordelaars met veel en weinig gespreksvaardigheden. b) er is verschil tussen beoordelingen door beoordelaars met gemengde hoeveelheid gespreksvaardigheden. c) er is geen verschil tussen beoordelaars met vergelijkbare gespreksvaardigheden. 9. Zijn er items waarop beoordelingen structureel uiteen lopen (lage interbeoordelaarsbetrouwbaarheid hebben)? 10. Wat is de ervaring van de beoordelaars aangaande het werken met de APK©©? a) Wat zijn de items die beoordelaars lastig vinden om te beoordelen? b) Is er overeenkomst tussen de items die lage interbeoordelaarsbetrouwbaarheid hebben en die door de beoordelaars als lastig worden ervaren? c) Wat zijn de factoren die volgens de beoordelaars van invloed zijn op de beoordeling? d) Zijn er pijlers waarop de beoordelaars structureel informatie missen? e) Wat voor referentiegroep gebruiken beoordelaars impliciet in hun beoordeling? f) Wat voor criterium gebruiken de beoordelaars ten behoeve van beoordeling? g) Aan welke tijdsperiode refereren beoordelaars in hun beoordelingen? h) Hoe vinden de beoordelaars het om met de APK©© te werken? i) Wat vinden de beoordelaars lastig aan het werken met de APK©©? j) Wat vinden de beoordelaars goed / nuttig / handig aan het werken met de APK©©? k) Wat zou volgens de beoordelaars kunnen helpen om met de APK©© beter te kunnen werken? l) Wat vonden de beoordelaars van de nabesprekingen tussen beoordelaars? m) Hebben beoordelaars hun beoordelingswijze aangepast naar aanleiding van de nabesprekingen? Methode Respondenten De steekproef bestond uit vierendertig cliënten van Mind at Work die werden aangemeld voor een traject. Omdat één proefpersoon niet genoeg Nederlands sprak om alle vragen tijdens het interview te begrijpen en naar tevredenheid te beantwoorden, werden de betreffende data als niet valide beoordeeld en werd deze set interviews uit de verdere analyses verwijderd. In verdere analyses werden de data genomen van proefpersonen die geïnterviewd werden ten behoeve van het opzetten van het trajectplan

27

in het kader van één van drie typen contracten. Onder deze contracten vallen verschillende typen cliënten. Het contract ‘Work First’ (WF) is bedoeld voor cliënten die weinig psychologische en fysieke arbeidsgerelateerde problematiek vertonen, maar vanwege omstandigheden (opvoeden van een kind, zorgtaken, etc.) voor een langere periode niet hebben gewerkt. Daardoor hebben ze een achterstand opgelopen qua werkervaring en ten gevolge daarvan missen de aansluiting met de arbeidsmarkt. Een andere contract, ‘Arbeidsgehandicapten’ (AG) betreft cliënten die zwaardere psychologische en / of fysieke beperkingen hebben waardoor hun kansen op de arbeidsmarkt verminderen. Het laatste type contract, ‘Individuele re-integratie Overeenkomst’ (IRO) is bedoeld voor cliënten die uit het werkproces zijn uitgevallen wegens een ziekte of burn-out problematiek. Deze cliënten vallen binnen de ziektewet en hun afstand tot de arbeidsmarkt is relatief klein. Acht proefpersonen werden geïnterviewd in het kader van het contract Arbeidsgehandicapten, vier proefpersonen vielen onder het Work First contract en tien personen onder de Individuele Re-integratie Overeenkomst (Tabel 1). Daarnaast werden er negen cliënten geïnterviewd die voor een specifiek psychologisch onderzoek waren aangemeld zoals een Neuropsychologisch Onderzoek, een Beroepeninteressen Onderzoek, of een Mentaal Belastbaarheidsonderzoek. Daarnaast werd één persoon geïnterviewd in het kader van een WAJONG-screening en één die onder een deelproducten-contracten bij UWV viel. Vijftien van de proefpersonen werden doorverwezen door UWV, vijftien andere werden doorverwezen door een gemeente en de overige drie door een bedrijfsarts. Van de drieëndertig proefpersonen bij wie interviews werden afgenomen en geanalyseerd, er waren zeventien mannen en zestien vrouwen. De leeftijd varieerde tussen 17 en 53 jaar (M=36.79, SD=10.90). Alle proefpersonen hadden minstens acht jaar lager onderwijs gevolgd, waarbij voor 24,2% van hen het daarbij ophield, 9,1% heeft LTS, MAVO3 of een equivalent daarvan gehaald, 45,5% heeft een MBO of een equivalente opleiding afgerond, 12,1% behaalde een HBO diploma of een equivalent daarvan en 9,1% had een universitaire opleiding gehad (Tabel 2). Vijftien proefpersonen werden doorverwezen door UWV, volgende vijftien door de gemeente en overige drie door een bedrijfsarts (Tabel 3). Instrumenten De APK©© 1.1 is een semi-gestructureerd interview ontwikkeld door Mind at Work ten behoeve van een indicatie van de kans van slagen van cliënten op de arbeidsmarkt. Het is samengesteld uit vijf subschalen, Algemene inschakkelingscondities, Sociaal en communicatief functioneren, Psychische stabiliteit, Cognitieve capaciteiten en Fysieke capaciteiten. De subschaal Algemene inschakkelingsconditie bestaat uit 13 items en tracht algemene factoren in kaart te brengen die van invloed kunnen zijn op iemands re-

28

integratieproces. Een voorbeeld van de in deze schaal opgenomen items is: ‘Problemen op het gebied van leer- en of werkmotivatie’. De subschaal Sociaal en communicatief functioneren omvat 11 items zoals: ‘Kan cliënt sociale relaties aangaan en onderhouden? (formeel, informeel, familie)’. Volgende subschaal, Psychische stabiliteit, bestaat uit 13 items, waarvan item: ‘Wordt het functioneren bepaald door stress?’ een voorbeeld is. De subschaal Cognitieve capaciteiten bestaat uit 12 items, en bevat vragen zoals: ‘Heeft cliënt hersenletsel?’. De laatste subschaal, Fysieke capaciteiten, bestaat uit 13 items, waaronder: ‘Heeft cliënt regelmatig/chronisch last van pijn?’ ©. De meeste vragen worden beoordeeld op een schaal van 0 tot 4. Nul betekent ‘geen (problemen)’ of ‘goed’, 1 betekent ‘onduidelijk’, 2 staat voor ‘weinig’ of ‘voldoende’, 3 houdt in ‘veel’ of ‘onvoldoende’ en 4 is gelijk aan ‘zeer veel’ of ‘onvoldoende’. Een uitzondering vormen vragen: Algemene inschakelingconditie vraag 4, Cognitieve capaciteiten vraag 2, waarbij de keuze bestaat uit 4 die staat voor ‘ja’ of ‘onvoldoende’ en 0 die staat voor ‘nee’, of ‘onvoldoende’. Dezelfde beoordelingswijze hoort bij vragen Cognitieve capaciteiten vraag 1 en 12 en Fysieke capaciteiten vraag 1 schaal, waarbij er een extra optie opgenomen werd: 1, die staat voor ‘onduidelijk’. De som van de behaalde scores wordt per schaal opgeteld en op basis daarvan wordt er volgens een vaste formule een percentage berekend dat de geschatte kans van de cliënt op de succesvolle re-integratie naar de arbeidsmarkt weergeeft. Deze scores per schaal vormen een individueel profiel per cliënt, dat aangeeft, welke functioneringsgebieden bijzondere aandacht nodig hebben in het reintegratietraject. Voor de volledigheid van de analyses in dit onderzoek werd er ook een totaal percentage van de APK©© per proefpersoon berekend. Daarbij dient opgemerkt te worden, dat deze handeling niet uitgevoerd wordt in de praktijk door de gebruikers daarvan. Dit, omdat het voornaamste doel van de APK©© is om een profiel van een cliënt in kaart te brengen met betrekking tot diens functioneren op verschillende gebieden, waarvoor een totale score op de hele APK©© niet specifiek genoeg zou zijn. Procedure De data werden verzameld in de periode 31 januari 2008 - 30 mei 2008. Additioneel werden er ook data gebruikt van vier intakes die in de periode van 1 oktober 2007 – 30 januari 2008 plaats hebben gevonden en vervolgens omgezet werden in de APK©© scores. De beoordelaars voerden gesprekken met de cliënten in paren: één van de beoordelaars speelde een actieve rol wat inhield het inrichten en het leiden van het gesprek. De tweede beoordelaar had gelegenheid om tijdens of aan het eind van het gesprek vragen te stellen, om voldoende informatie te verzamelen om de APK©© volledig in te vullen. Oorspronkelijk werd er gepland om video opnames van zoveel mogelijk gesprekken te maken en twee opnames vonden er inderdaad plaats. Echter, het

29

werd snel duidelijk dat veel cliënten daar bezwaar tegen hadden en dat er vanwege tijdsgebrek geen vervolgstudie plaats zou gaan vinden met andere beoordelaars die met deze opnames zouden werken. Daarom werd er besloten dat de opnames alleen voor intervisie doeleinden gebruikt zouden worden en dat de twee opnames voor dit doel volstaan. Na het gesprek met de cliënt vulden beide beoordelaars onafhankelijk van elkaar hun APK©© formulieren in. Vervolgens hielden ze een consensusgesprek met elkaar om te kijken of ze het met elkaar eens waren over de beoordeling. Was dat niet het geval, dan keken ze naar de verschillen in de beoordelingen en soms pasten ze alsnog hun beoordeling aan op basis van de nabespreking. Aan het eind van het onderzoek hebben de beoordelaars een enquête ingevuld (zie bijlage 1). Door middel hiervan werd informatie verzameld met betrekking tot hun werkervaring en de ervaring met de APK©©. Bovendien werden hun gespreksvaardigheden in kaart gebracht, alsook de manier van het verwerken van de verkregen informatie, vragen die ze lastig gevonden hadden, hoe ze de nabespreking ervaren hadden en hun algemene indruk van de APK©© als een instrument. Beoordelaars De beoordelaars waren vier medewerkers van Mind at Work, waarvan drie psychologen en een student psychologie in de afstudeerfase, en twee studenten psychologie die bij Mind at Work stage liepen. Twee van de beoordelaars waren mannen en vier waren vrouwen. De leeftijd van de beoordelaars varieerde tussen 22 jaar en 37 jaar (M=27.67, SD=5.24). Één van de beoordelaars was afgestudeerd als neuropsycholoog, één als sociaal psycholoog, één als kinder-en jeugdpsycholoog en één was aan het afstuderen als arbeids- en organisatiepsycholoog. Beide stagiaires studeerden in de richting arbeids- en organisatiepsychologie, waarbij één het combineerde met de richting klinische psychologie. Met betrekking tot werkervaring op psychologisch werkgebied, op het moment van het afronden van het onderzoek: één van de beoordelaars werkte vier jaar als psycholoog, één werkte anderhalf jaar en één vijf maanden. Daarnaast had één beoordelaar twee jaar ervaring als psycholoog, waarbij hij nog niet afgestudeerd was, maar het werk van junior psycholoog verrichte. Voor alle psychologen was de functie bij Mind at Work hun eerste baan. Ten behoeve van dit onderzoek werd er een onderscheid gemaakt tussen beoordelaars met veel werkervaring en beoordelaars met weinig werkervaring, waarbij de scheidslijn lag bij minstens één jaar werkervaring als psycholoog. Drie van de beoordelaars voldeden aan dit criterium, de andere drie werden beschouwd als beoordelaars met weinig werkervaring. Een soortgelijk onderscheid werd gemaakt met betrekking tot de werkervaring van de beoordelaars met de APK©©, waarbij werd gekeken naar hoe lang en hoe vaak beoordelaars de APK©© gebruikt hadden bij het

30

voeren van intakegesprekken. De duur van de periode waarin beoordelaars van de APK©© gebruik maakten werd vermenigvuldigd met één als ze de APK©© minder dan één keer per maand gebruikten. De factor twee werd gebruikt als de beoordelaars de APK©© tussen één keer per week en één keer per maand gebruikten en de factor drie bij één keer per week of vaker gebruik van de APK©©. De drie beoordelaars die een score boven 20 behaalden werden als ervaren beoordelaars beschouwd en de overige als onervaren. Dit onderscheid kwam overeen met het wel of niet hebben van ervaring met de APK©© vóór aanvang van het onderzoek (1 januari 2008). Alle beoordelaars werden geïnstrueerd met betrekking tot opbouw en doel van de APK©© opgebouwd en hebben de werkinstructie gelezen die bij de APK©© hoort. Daarnaast hebben de beoordelaars die werkzaam waren als psycholoog incidenteel deelgenomen aan de deskundigheidsbevorderingintervisies waarin casuïstiek besproken werd. Een van de beoordelaars was een medeconstructeur van de APK©©. Om de gespreksvaardigheden van de beoordelaars in kaart te brengen werden er drie vragen gesteld in de enquête. Deze hadden betrekking op het structureren van het gesprek door de beoordelaar; de kwaliteit van het contact met cliënt; en of de informatie die de beoordelaar verzamelde tijdens het gesprek voldoende was om de APK©© vragen te beantwoorden. Ten aanzien van het structureren van het gesprek werden er vijf antwoordmogelijkheden gegeven: de structuur van de APK©© werd gebruikt; de eigen structuur; afhankelijk van hoe het gesprek liep; de oude intake methode; of geen vaste structuur. De antwoorden werden gescoord met 5 punten als de structuur van de APK©© werd aangehouden. Bij het aanhouden van een andere vorm van structuur, zoals eigen structuur of een oude intake structuur, waarbij met de APK©© vragen rekening werd gehouden, kregen beoordelaars score 4. Als de beoordelaar zich hield aan een bepaalde structuur zoals de eigen structuur of de oude intake structuur zonder rekening te houden met de APK©© vragen, werden er 3 punten toegekend. De opties ‘geen structuur’ en ‘afhankelijk van hoe het gesprek liep’ kregen 0 punten toegekend, behalve als er na afloop van het gesprek aanvullend APK©© vragen gesteld werden, waarvoor de beoordelaar score 2 kreeg. De passieve beoordelaars, die niet in de positie waren het gesprek te structureren maar wel na afloop van het gesprek controleerden of ze voldoende informatie hadden om de APK©© vragen te beantwoorden en zo nodig aanvullende vragen stelden, kregen de score 2 toegekend. Als ze niet controleerden op volledigheid van de informatie ten aanzien van de APK©©, kregen ze de score 0. Met betrekking tot het contact met de cliënt gaven beoordelaars aan hoe ze de kwaliteit ervan vonden met behulp van een rapportcijfer van 1 tot en met 10. Deze cijfers werden omgezet in scores van 1 tot met 5, waarbij score 1 voor de cijfers 1 en 2

31

gold; score 2 werd toegekend aan de cijfers 3 en 4; score 3 aan de cijfers 5 en 6; score 4 aan de cijfers 7 en 8 en score 5 aan de cijfers 9 en 10. De volledigheid van de verkregen informatie werd door beoordelaars aangegeven met percentages. De antwoordmogelijkheden waaruit beoordelaars konden kiezen waren als volgt: •

ja, ik heb altijd alle vragen kunnen beantwoorden – 80-100%

•

ik kon meestal alle vragen beantwoorden - 60-80%

•

soms kon ik vragen niet beantwoorden - 40-50%

•

ik heb vaak vragen niet kunnen beantwoorden - 20-40%

•

ik heb altijd ten minste één vraag niet kunnen beantwoorden - 0-20%.

Aan al deze percentages werden scores toegekend, waarbij 80-100% werd omgezet in score 5 en 0-20% de score 1 kreeg toegekend. Het gemiddelde van deze drie scores werd genomen als gespreksvaardigheidscore. Scores gelijk aan en hoger dan 3.5 werden beschouwd als indicatief voor veel gespreksvaardigheden terwijl scores onder deze grens aangaven dat een beoordelaar over weinig gespreksvaardigheden beschikte. Ten aanzien van het structureren van het gesprek kreeg één beoordelaar de score onvoldoende; vier beoordelaars structureerden het gesprek matig; en één beoordelaar gaf een goede structuur aan het gesprek. Het contact met de cliënt beoordeelden drie beoordelaars met een acht en de overige drie met een zeven. Ten aanzien van de hoeveelheid verzamelde informatie en volledigheid van de informatie ten behoeve van het invullen van de APK©© gaven zes beoordelaars de optie van 60-80% aan en één beoordelaar 80-100%. Gespreksvaardigheden van de beoordelaars bleken weinig van elkaar te verschillen en scoorden bij alle beoordelaars drie of vier. Er waren geen beoordelaarsparen waarbij beide beoordelaars over veel gespreksvaardigheden beschikten. Wijze van data-analyse Om vertekening van de data te voorkomen werd aan de beoordelaars gevraagd om in de APK©© het antwoord ‘onduidelijk’ te vermijden. Om het mogelijk te maken alle vragen te beantwoorden werd de beoordelaars gevraagd om aan het eind en voor de afloop van het gesprek na te gaan of alle vragen van de APK©© beantwoord konden worden. Er werd besloten om ten behoeve van dit onderzoek de scoring van de items zodanig aan te passen dat de antwoorden ‘onduidelijk’ vervangen werden door het gemiddelde van de scores die een cliënt op de betreffende subschaal behaalde. Hiervoor werden de scores omgerekend: score 0 naar 0, score 2 naar 1, score 3 naar 2 en score 4 naar 3.

32

De interbeoordelaarsbetrouwbaarheid werd berekend op schaal-, subschaal- en itemniveau met behulp van de Intraclass Correlatie Coëfficiënt (1,1) (Schrout & Fleiss, 1979), waarbij geldt: [MS (between couples) – MS (within couples)] ICC (1,1) = ----------------------------------------------------[MS (between couples) + MS (within couples)] In vergelijking met de oorspronkelijke formule: ICC = (BMS-WMS)/ [BMS+(k1)WMS]1 vervalt de uitdrukking (k-1), want het aantal beoordelaars per meting is twee, en twee min één is één, dus de WMS wordt vermenigvuldigd met één. Om erachter te komen of het consensusgesprek voor een significant verschil in de beoordeling zorgde, werd er na het consensusgesprek een t-toets uitgevoerd. Aanvullend is er een ICC analyse verricht. De verschillen in beoordelingen door verschillende typen beoordelaars ten opzichte van hun gespreksvaardigheden, werkervaring en werkervaring met de APK©© werden berekend met behulp van de t-toets. Omdat de groep beoordelaars met veel werkervaring tegelijkertijd de groep was met veel APK©© werkervaring, werd deze berekening slechts een keer uitgevoerd en het verkregen resultaat geldt voor beide variabelen. Ten aanzien van de gespreksvaardigheden werden de gemiddelden van de verkregen scores per beoordelaar genomen zodat ze minimaal een score 0 en maximaal een score 5 konden krijgen voor dit onderdeel. Er werd ook gekeken of werkervaring, APK©© ervaring en gespreksvaardigheden van belang zijn voor de interbeoordelaarsbetrouwbaarheid met behulp van de ICC (1,1). Resultaten Interbeoordelaarsbetrouwbaarheid Interbeoordelaarsbetrouwbaarheid van de APK©©, subschalen en items Volgens Hypothese 1 is het semi-gestructureerde interview APK©© 1.1 betrouwbaar en de verwachting was dat de ICC gelijk aan of hoger dan .80 zou zijn. Deze verwachting is uitgekomen: de ICC van de APK©© bleek .87 te zijn (Tabel 4). Hypothese 2 voorspelde dat de subschalen van de APK©© betrouwbaar zouden zijn en dat de ICC van elk schaal minstens .70 zou bedragen. De resultaten ondersteunen deze hypothese: de ICC waarden voor elk van de subschalen bleek hoger dan .70 zijn 1

BMS – Tussen-targets gemiddelde kwadraat (between-targets mean square)

WMS – Binnen-targets gemiddelde kwadraat (within-targets mean square) k – het aantal van de beoordelaars, die elke target beoordelen

33

(Tabel 4). Voor de Algemene inschakelingconditie bedroeg de ICC .82, voor Sociaal en communicatief functioneren bleek de ICC .79 te zijn, de ICC van Psychische stabiliteit bereikte .89, de Cognitieve capaciteiten subschaal bleek een ICC van .81 te hebben en de Fysieke capaciteiten subschaal bereikte de ICC waarde van .83 (Tabel 4). Hypothese 3 voorspelde dat de items van de APK©© betrouwbaar zijn, met ICC waarden gelijk aan of hoger dan .60. Deze hypothese heeft gedeeltelijk ondersteuning gevonden in het onderzoek. Van het totale aantal van tweeënzestig items bleken veertig items een betrouwbaarheid te hebben van minstens .60 (Tabel 4). Tweeëntwintig items hadden een lagere betrouwbaarheid, waarvan vijf items een betrouwbaarheid hadden die lag in het grensgebied, met een ICC van minstens .56. In onderzoeksvraag 4 werd de verwachting uitgesproken dat het consensusgesprek positieve invloed zou hebben op de interbeoordelaarsbetrouwbaarheid van de APK©© als geheel, de subschalen en de items. Zoals verwacht kon worden biende de resultaten grotendeels ondersteuning aan deze hypothese. Op het niveau van de APK©© als geheel en de subschalen werd er een significant verschil gevonden tussen de beoordelingen vóór en na het consensusgesprek. De interbeoordelaarsbetrouwbaarheid analyse liet ook zien dat de betrouwbaarheden van de APK©© als het geheel en diens subschalen toenamen na de nabespreking. Op het itemniveau is het verkregen beeld minder duidelijk. Een significant verschil werd geconstateerd op elf van de tweeënzestig items. De betrouwbaarheidsanalyse liet zien dat er op negenenvijftig items een hogere betrouwbaarheid werd bereikt na het consensusgesprek. Met een uitzondering van slechts twee items van het totale aantal van tweeënzestig, bleek de interbeoordelaarsbetrouwbaarheid voldoende te zijn. Verschillen in beoordelingen tussen verschillende typen beoordelaars Actieve versus passieve beoordelaars Met betrekking tot beoordelingen vanuit een actieve versus een passieve rol werd verwacht dat er geen verschillen gevonden zouden worden (Hypothese 5). Deze verwachting kreeg grotendeels ondersteuning in de resultaten (Tabel 5). Op het niveau van de APK©© evenals op het niveau van de subschalen werden er geen significante verschillen gevonden tussen beoordelingen door beide typen beoordelaars. Op het itemniveau werden er op vier items significante verschillen gevonden. Twee van deze items horen bij de subschaal Algemene inschakelingconditie, één item bij de subschaal Cognitieve capaciteiten en één item bij de subschaal Fysieke capaciteiten. Bij de eerste twee vragen waren de actieve beoordelaars milder in hun beoordeling en bij de laatste twee waren ze strenger, wat hield onder andere in dat ze sneller een hersenletsel vermoedde.

34

Werkervaring en de ervaring met de APK©© Er werd verwacht (onderzoeksvragen 6 en 7) dat zowel werkervaring als de ervaring met de APK©© van invloed zijn op de beoordeling. Omdat in deze groep beoordelaars deze twee typen ervaring elkaar volledig overlapten – dus de beoordelaars met veel werkervaring tegelijk degenen waren met de meeste APK©© ervaring – werden de onderzoeksvragen 7 en 8 samen beantwoord (Tabel 6a, 6b en 6c). Daarom wordt er verder gesproken over de APK©©/werkervaring als overkoepelende term voor beide categorieën. Verwacht werd dat er een verschil zou zijn tussen de beoordelingen door ervaren en onervaren beoordelaars (onderzoeksvragen 6a en 7a). De resultaten leverden alleen gedeeltelijk ondersteuning voor deze verwachting (Tabel 6a). Er is geen significant verschil gevonden op het niveau van de APK©© als geheel. Op subschaalniveau bleken ervaren beoordelaars strengere beoordelingen te geven op de subschaal Cognitieve capaciteiten. Opvallend is dat dit verschil zich niet voordoet op itemniveau voor deze subschaal. Op itemniveau werd alleen een strengere beoordeling door ervaren beoordelaars geconstateerd op één item van de subschaal Fysieke capaciteiten. Naar aanleiding van de onderzoeksvragen 6b en 7b werd er gekeken of de beoordelingen door gemengde beoordelaarsparen, waarvan één over veel APK©©/werkervaring beschikte en de ander onervaren was, uit elkaar liepen (Tabel 6b). Ook werden verschillen tussen beoordelingen onderzocht in de conditie waarin beide beoordelaars weinig APK©©/werkervaring hadden (onderzoeksvragen 6c en 7c) (Tabel 6c). De paren beoordelaars met allebei veel APK©©/werkervaring konden niet onderzocht worden omdat er alleen één paar aan deze voorwaarde voldeed. Op het niveau van de APK©© als geheel en op het niveau van de subschalen zijn er geen significante verschillen gevonden tussen beide beoordelaars, zowel in de gemengde conditie als wanneer beide beoordelaars over weinig APK©©/werkervaring beschikten. Op itemniveau werd er een aantal significante verschillen geconstateerd. In de gemengde conditie liepen de beoordelingen uiteen op een zestal items: twee van de subschaal Psychische stabiliteit, twee van de subschaal Cognitieve capaciteiten en één van de subschaal Fysieke capaciteiten. In de groep van gemengde paren beoordelaars werd er verschil gevonden op slechts één item, die bij de subschaal Psychische capaciteiten hoorde. Gespreksvaardigheid. Gespreksvaardigheid werd onderzocht naar aanleiding van onderzoeksvraag 8. Volgens onderzoeksvraag 8a zou er verschil bestaan tussen beoordelingen door beoordelaars met veel en met weinig gespreksvaardigheden. Bij onderzoeksvraag 8b

35

werd de verwachting geuit dat er geen verschil zou zijn tussen beoordelaars met hetzelfde niveau van gespreksvaardigheden. Als er gekeken werd naar de beoordelaars met veel en weinig gespreksvaardigheden over het algemeen, werden er geen verschillen gevonden bij de totale APK©© scores noch op subschaalniveau (Tabel 7a). Op itemniveau bleken beoordelaars met veel gespreksvaardigheden strenger te beoordelen op één item van de subschaal Cognitieve capaciteiten en op één item van de subschaal Fysieke capaciteiten. Er werden geen significante verschillen gevonden in de gemengde conditie waarbij een van de beoordelaars over veel gespreksvaardigheden beschikte en de ander over weinig (Tabel 7b). Dat gold zowel voor de APK©© als geheel, als voor alle subschalen en items (Tabel 7b). In de conditie waarin beide beoordelaars over weinig gespreksvaardigheden beschikten, zijn eveneens geen significante verschillen tussen beoordelingen geconstateerd bij de APK©© als geheel noch op subschaalniveau (Tabel 7c). Er zijn wel verschillen gevonden op vijf items (Tabel 7c). Deze waren: één vraag van de subschaal Algemene inschakelingconditie, twee vragen van de subschaal Cognitieve capaciteiten en twee vragen van de subschaal Fysieke capaciteiten. De conditie waarbij beide beoordelaars over veel gespreksvaardigheden beschikten kon niet onderzocht worden, daar er geen paren beoordelaars waren die aan deze voorwaarde voldeden. Betrouwbaarheden in verschillende condities Indien wordt gekeken naar de betrouwbaarheidswaarden in de context van werkervaring, resulteert een homogene samenstelling van het paar beoordelaars meestal in een hogere interbeoordelaarsbetrouwbaarheid dan wanneer één van de beoordelaars veel werk/APK©© ervaring heeft en de ander weinig (Tabel 8). Dat werd gevonden voor de APK©© in het geheel en voor vier subschalen: Algemene inschakelingconditie, Sociaal en communicatief functioneren, Psychische stabiliteit en Cognitieve capaciteiten. Een uitzondering, waarbij de interbeoordelaarsbetrouwbaarheid lager was als beide beoordelaars weinig werk/APK©© ervaring hadden, vormde de subschaal Fysieke capaciteiten, waarvan de ICC de grenswaarde van .57 had. Op itemniveau was dezelfde tendens zichtbaar: op tweeëndertig items werd er hogere interbeoordelaarsbetrouwbaarheid gevonden, op één item zijn de waarden onveranderd gebleven en in vijfentwintig gevallen bleken interbeoordelaarsbetrouwbaarheidswaarden lager te zijn in de conditie waar beide beoordelaars over weinig werk/APK©© ervaring beschikten. Drie items werden niet in de analyse meegenomen vanwege geen variantie in één van de groepen. De resultaten aangaande de verschillen tussen beoordelaars met verschillende hoeveelheid gespreksvaardigheden lieten een tegenovergesteld patroon zien (Tabel 9). De paren waar een van de beoordelaars over veel gespreksvaardigheden beschikte en de

36

ander over weinig, bereikten zowel op het niveau van de APK©© als geheel als op een viertal subschalen hogere betrouwbaarheidswaarden. De uitzondering vormde de Fysieke capaciteiten subschaal waarvoor het tegenovergestelde gold. Vijf items werden uit de analyse uitgesloten omdat ze in een van de groepen geen variantie vertoonden. Van de overige zevenenvijftig items bereikten tweeëndertig een hogere betrouwbaarheid in de groep van gemengde stellen beoordelaars, bij vierentwintig bleek de betrouwbaarheid lager te zijn en bij een item was deze hetzelfde gebleven. Lastige items Hypothese 9 had betrekking op items waarop de beoordelingen structureel uiteen lopen. Deze items waren gelijk verspreid over alle subschalen (Tabel 10). Binnen de subschaal Algemene inschakelingconditie ging het om de volgende vijf items: •

vraag 1 ‘Problemen op het gebied van opleiding(sverleden)’ (ICC=.58)

•

vraag 2 ‘Problemen op het gebied van leer- en of werkmotivatie’ (ICC=.07)

•

vraag 4 ‘Eigen vraag/toekomstbeeld in overeenstemming met reden

aanmelding’ (ICC=-.03) •

vraag 7 ‘Contact met instanties (jeugdzorg, uitkering, zorginstituten,

advocatuur, voogdij, reclassering, school etc.)’ (ICC=.46) •

vraag 9 ‘Verstoord dagritme’ (ICC=.43).

Op de Sociaal en communicatief functioneren subschaal hebben vier items onvoldoende betrouwbaarheid bereikt: •

vraag 3 ‘Hoe flexibel stelt cliënt zich op in de omgang met anderen?’

(ICC=.56) •

vraag 4 ‘Stelt cliënt zich in het algemeen open voor de mening van een

ander?’ (ICC=.49) •

vraag 9 ‘Kan cliënt verantwoordelijkheden dragen?’ (ICC=.59)

•

vraag 11 ‘Hoe is het contact met de cliënt tijdens het interview?’ (ICC=.30).

Vier items van de subschaal Psychische stabiliteit die onvoldoende betrouwbaar bleken te zijn waren: •

vraag 4 ‘Wordt het functioneren bepaald door stress?’ (ICC=.52)

•

vraag 10 ‘Is de kwaliteit van oriëntatie in tijd en/of plaats en/of persoon

verstoord?’ (ICC=.31) •

vraag 12 ‘Is er sprake van niet-functionele leefregels (kernovertuigingen)?’

(ICC=.58) •

vraag 13 ‘Is er sprake van een beperkt scala aan copingsmechanismen?

(compensatie)’ (ICC=.58). Binnen de subschaal Cognitieve capaciteiten voldeden vier items niet aan de vereiste betrouwbaarheid:

37

•

vraag 7 ‘Ervaart cliënt insufficiëntie in denken?’ (ICC=.48)

•

vraag 10 ‘Heeft cliënt cognitieve leerproblemen?’ (ICC=.53)

•

vraag 11 ‘Heeft cliënt problemen met het aanleren van vaardigheden (sociaal,

werk)?’ (ICC=.46) •

vraag 12 ‘Zijn de cognitieve vermogens van de cliënt in overneenstemming

met zijn opleidings- en werkervaringniveau?’ (ICC=.17). Op de laatste schaal, Fysieke capaciteiten vertoonden vijf vragen onvoldoende betrouwbaarheid: •

vraag 2 ‘Heeft cliënt een chronische ziekte of aandoening?’ (ICC=.18)

•

vraag 7 ‘Heeft cliënt problemen met de duurbelasting?’ (ICC=.29)

•

vraag 8 ‘Heeft cliënt problemen met de piekbelasting?’ (ICC=.41)

•

vraag 11 ‘Heeft cliënt problemen met omgevingsinvloeden?’ (ICC=.38)

•

vraag 13 ‘Lijkt cliënt een reëel beeld van zijn fysieke conditie te hebben?’

(ICC=.42). Ervaring beoordelaars met de APK©© Onderzoeksvraag 10 had betrekking op de ervaring van de beoordelaars aangaande het werken met de APK©©. Naar aanleiding van hypothese 10a werd er gekeken naar items die door beoordelaars zelf als lastig werden ervaren en naar factoren die daarbij meespeelden (Onderzoeksvraag 10c). Moeilijk te beantwoorden vragen werden geïnventariseerd op basis van de ingevulde enquête en de nabesprekingen tussen beoordelaars. Beoordelaars gaven aan dat sommige vragen moeilijk te beantwoorden waren (Tabel 10). Van de subschaal Algemene inschakelingconditie waren dat vraag 7, 8 en 10. De twijfel bij vraag 7 ‘Contact met instanties? (jeugdzorg, uitkering, zorginstituten, advocatuur, voogdij, reclassering, school, etc.)?’ (ICC=.46) had betrekking op het definiëren wanneer iemand ‘veel’, ‘weinig’ of ‘geen’ contact met instanties heeft. Het feit dat iemand een uitkering kreeg of in de ziektewet was terechtgekomen werd, als resultaat van nabesprekingen, gescoord als ‘weinig’. Vraag 8 ‘Financiële problemen?’ (ICC=.80) van dezelfde subschaal kreeg een nieuwe naam tijdens de periode van het onderzoek omdat zijn oorspronkelijke naam ‘Schuldproblemen?’ als enigszins misleidend werd beschouwd. Tenslotte riep vraag 10 ‘Problemen bij maatschappelijke reïntegratie’ (ICC=.79) vragen op. Het was niet duidelijk of deze vraag betrekking had op interesse in de politieke situatie, het nieuws volgen en op de hoogte zijn van de ontwikkelingen in de maatschappij; of op de mate waarin iemand sociale contacten had. Daarnaast werd er geconstateerd dat het lastig was om onderscheid te maken tussen deze vraag en vraag 5 uit de Sociaal en communicatief functioneren: ‘Kan cliënt sociale relaties aangaan en onderhouden (formeel, informeel, familie)?’ (ICC=.65).

38

Vragen uit deze subschaal, Sociaal en communicatief functioneren, die voor problemen zorgden waren de vragen 1 ‘Hoe is de uiterlijke presentatie?’ (ICC=.62), 2 ‘Sprake van inzicht in eigen sociaal functioneren?’ (ICC=.69) en 11 ‘Hoe is het contact met de cliënt tijdens het interview?’ (ICC=.30). De meningsverschillen hadden betrekking op de vraag of iemand die er gemiddeld goed uitziet, gewoon goed contact heeft en gemiddeld, in vergelijking met andere mensen, inzicht in het eigen functioneren heeft, als ‘goed’ dan wel als ‘voldoende’ beoordeeld moet worden. Andere vragen van dezelfde subschaal die twijfels opriepen waren vraag 3 ‘Hoe flexibel stelt cliënt zich op in de omgang met anderen?’ (ICC=.56) en vraag 8 ‘Kan cliënt op adequate wijze conflicten hanteren?’ (ICC=.72), waarbij de beoordelaars de indruk hadden dat de cliënten hierop vaak sociaal wenselijke antwoorden gaven. Dit vermoeden berustte op het feit dat uit uitspraken van mentoren of begeleiders van betreffende cliënten vaak een ander beeld naar boven kwam. Bovendien riep vraag 9 ‘Kan cliënt verantwoordelijkheden dragen’ (ICC=.59) twijfels op, of genoemde verantwoordelijkheden betrekking hebben op basis zelfonderhoud of op meer ingrijpende verantwoordelijkheden zoals zorgen voor je eigen kinderen door mannen die niet met hun kinderen woonden en werkloos waren. Op de schaal Psychische stabiliteit werden de volgende vragen lastig genoemd: vraag 12 ‘Is er sprake van niet-functionele leefregels (kernovertuigingen)?’ (ICC=.58) en vraag 13 ‘Is er sprake van een beperkt scala aan copingmechanismen? (compensatie)’ (ICC=.58). Beoordelaars vonden het lastig om dit te doorgronden tijdens het gesprek, gezien de (beperkte) tijdsduur en het feit dat deze zaken niet altijd naar boven kwamen tijdens het gesprek en lastig waren om direct uit te vragen. Ook riep vraag 13 vragen op naar de overlap en het verschil met vraag 9 van de subschaal Cognitieve capaciteiten ‘Heeft cliënt het gebrek aan probleemoplossend denkvermogen?’ (ICC=.75), waarbij de beoordelaars bovendien een tendens tot het wenselijk antwoorden door cliënten opmerkten. Andere vragen van de Cognitieve capaciteiten subschaal die problematisch werden gevonden waren de vragen 2a, 11 en 12. Bij vraag 2a, ‘Heeft iemand een ongeval gehad waarbij mogelijk hersenletsel is ontstaan?’ (ICC=.77), was onduidelijk voor de beoordelaars of een ongeval in hersenletsel kon resulteren als er geen directe gevolgen waren gemerkt door de cliënt zoals misselijkheid, verlies van bewustzijn of cognitieve problemen met aandacht en geheugen na het ongeval. Vraag 11 ‘Heeft cliënt problemen met het aanleren van vaardigheden (sociaal, werk)?’ (ICC=.46) werd als enigszins lastig ervaren vanwege gebrek aan onderscheid tussen sociale- en werkvaardigheden. Vraag 12 uit deze subschaal ‘Denk je dat de cognitieve vermogens van de cliënt in overeenstemming zijn met het opleidingsniveau en de (werk)ervaring van de cliënt?’ (ICC=.17) werd ook beschouwd als moeilijk te beantwoorden. In het geval de cliënt meer cognitieve vermogens had dan bleek uit diens opleidingsniveau, zou deze factor gunstig

39

kunnen uitpakken met betrekking tot de kansen op de arbeidsmarkt. Echter, het kiezen van antwoord ‘nee’ leverde in dit geval vier punten op wat resulteerde in juist lagere indicatie van iemands kansen dan wanneer er ‘ja’ gekozen zou worden. Daarom kozen de meeste beoordelaars in een dergelijk geval voor ‘ja’ om de kansenindicatie niet omlaag te brengen, terwijl ze ervan overtuigd waren dat de cliënt zich verder kon ontwikkelen en leren. Op de subschaal Fysieke capaciteiten, werden vraag 1 ‘Heeft cliënt een fysieke handicap?’ (ICC=.68), vraag 2 ‘Heeft cliënt chronische ziekte of aandoening?’ (ICC=.18), en vraag 6 ‘Heeft cliënt problemen met zintuigen?’ (ICC=.76) lastig gevonden. Het was niet altijd duidelijk hoe de geconstateerde klacht geclassificeerd moest worden. Daarnaast riepen vragen 7 ‘Heeft cliënt problemen met de duurbelasting?’ (ICC=.29) en 8 ‘Heeft cliënt problemen met piekbelasting?’ (ICC=.41) de vraag op of deze betrekking hadden op iemands fysieke conditie of iemands functioneren in een (gesimuleerde) werksituatie. Behalve twijfels bij specifieke vragen werd gesignaleerd dat de beoordelaars het problematisch vonden om tussen de beschikbare antwoordmogelijkheden te kiezen. Ze benadrukten dat ze de subjectiviteit van de beoordeling en de grenzen tussen categorieën lastig vonden. Bijvoorbeeld: bij lichte problemen die hoogstwaarschijnlijk geen negatieve invloed zullen hebben wisten sommige beoordelaars niet of ze moesten kiezen voor de categorie ‘geen’ of ‘weinig’. Ook vonden ze het lastig te kiezen tussen ‘weinig’ en ‘veel’: ze hadden het gevoel dat er een categorie ertussen mist. Beoordelaars twijfelden aan waar de grens tussen ‘veel’ en ‘zeer veel’ lag en of ‘voldoende’ als gemiddeld en ‘goed’ als bijzonder beschouwd zouden moeten worden of is gemiddeld al ‘goed’? Naar aanleiding van de hypothese 10b werd er gekeken naar de overeenkomst tussen de items waarop beoordelingen structureel uiteen liepen en de items die de beoordelaars problematisch vonden (Tabel 10). Uit de analyse bleek dat van de tweeëntwintig items die een lage betrouwbaarheid hadden, er 11 items door de beoordelaar als lastig ervaren werden. Deze items waren: •

van de subschaal Algemene inschakkelingsconditie ‘Contact met instanties?’

vraag 7 (ICC=.46) •

van de subschaal Sociaal en communicatief functioneren vraag 3 ‘Hoe flexibel

stelt cliënt zich op in de omgang met anderen?’ (ICC=.56), vraag 9 ‘Kan cliënt verantwoordelijkheden dragen?’ (ICC=.59) en vraag 11 ‘Hoe is het contact met cliënt tijdens het interview?’ (ICC=.30)

40

•

van de subschaal Psychische stabiliteit vraag 12 ‘Is er sprake van niet-

functionele leefregels?’ (ICC=.58) en vraag 13 ‘Is er sprake van een beperkt scala aan copingsmechanismen?’ (ICC=.58) •

van de subschaal Cognitieve capaciteiten vraag 11 ‘Heeft cliënt problemen met

het aanleren van vaardigheden (sociaal, werk)?’ (ICC=.46) en vraag 12 ‘Denk je dat de cognitieve vermogens van de cliënt in overeenstemming zijn met het opleidingsniveau en de (werk)ervaring van de cliënt?’ (ICC=.17). Daarnaast bleken er elf onvoldoende betrouwbare vragen die niet als lastig werden gevonden door de beoordelaars. Deze vragen waren: •

van de Algemene inschakelingconditie subschaal vraag 1 ‘Problemen op het

gebied van opleiding(sverleden)’ (ICC=.58), 2 ‘Problemen op het gebied van leer- en of werkmotivatie?’ (ICC=.07), 4 ‘Eigen vraag / toekomstbeeld in overeenstemming met reden aanmelding’ (ICC=-.03) en 9 ‘Verstoord dagritme?’ (ICC=.43) •

van de subschaal Sociaal en communicatief functioneren vraag 4 ‘Stelt cliënt

zich in het algemeen open voor de mening van een ander?’ (ICC=.49) •

van de subschaal Psychische stabiliteit vraag 4 ‘Wordt het functioneren

bepaald door stress?’ (ICC=.52) en vraag 10 ‘Is de kwaliteit van bewustzijn verstoord?’ (ICC=.31) •

van de Fysieke capaciteiten subschaal vraag 11 ‘Heeft cliënt problemen met

omgevingsinvloeden?’ (ICC=.38) en vraag 13 ‘Lijkt cliënt een reëel beeld van zijn fysieke conditie te hebben?’ (ICC=.42). Van de eenentwintig items die de beoordelaars als lastig hebben aangewezen, bleken er tien over de voldoende betrouwbaarheid te beschikken. Dit waren: •

van de subschaal Algemene inschakelingconditie items 8 ‘Financiële

problemen?’ (ICC=.80) en 10 ‘Problemen bij matschappelijke integratie?’ (ICC=.79) •

van de subschaal Sociaal en communicatief functioneren vraag 1 ‘Hoe is de

uiterlijke presentatie?’ (ICC=.62), vraag 2 ‘Sprake van inzicht in eigen sociaal functioneren?’ (ICC=.69), vraag 5 (ICC=.65) ‘Kan client sociale relaties aangaan en onderhouden?’ en vraag 8 ‘Kan cliënt op adequate wijze conflicten hanteren?’ (ICC=.72) •

van de subschaal Cognitieve capaciteiten vraag 2 ‘Heeft cliënt een ongeval /

een ziekte gehad waarbij / waardoor mogelijk hersenletsel is ontstaan?’ (ICC=.77) en vraag 9 ‘Heeft client een gebrek aan probleemoplossend denkvermogen?’ (ICC=.75) •

van de subschaal Fysieke capaciteiten vraag 1 ‘Heeft cliënt een fysieke

handicap?’ (ICC=.68) en vraag 6 ‘Heeft client problemen met zintuigen?’ (ICC=.76). Aangaande de pijlers (subschalen) waarop informatie gemist werd (hypothese 10d) waren er verschillen tussen ervaren en onervaren beoordelaars. Ervaren beoordelaars misten nooit informatie op de pijlers; onervaren beoordelaars misten soms informatie op

41

de subschalen Algemene inschakelingconditie (zoals achtergrond informatie en reden van uitval), Sociaal en communicatief functioneren en Cognitief functioneren. Daarnaast werd er opgemerkt, dat hoewel er soms geen informatie op de gegeven pijler ontbrak, de score op een bepaalde pijler niet altijd representatief is voor hoe belemmerd de cliënt in werkelijkheid is. De score op één vraag, hoe zwaar deze ook meeweegt, weegt niet veel op de subschaal als geheel terwijl het potentieel dusdanig ernstig is dat de persoon heel weinig kan, wat niet uit de APK©© score naar voren komt. Hypothese 10e had betrekking op de referentiegroep waartegen de beoordelaars impliciet hun cliënten tijdens de beoordeling afzetten. Als referentiegroep ten behoeve van beoordeling van de cliënt werd door vier beoordelaars voor de algemene populatie gekozen. Eén beoordelaar hanteerde als referentiekader een nader gespecificeerde groep waartoe de cliënt behoorde, bijvoorbeeld mannen van 19 jaar. De zesde beoordelaar maakte gebruik van verschillende referentiegroepen afhankelijk van de doelstelling van de intake. Als die gedaan werd ten behoeve van verdere begeleiding, vergeleek ze de cliënt met mensen die lange tijd niet gewerkt hebben en aan de slag moeten in een simpele functie op de reguliere arbeidsmarkt met een relevant contract (AG, WF, IRO). Bij intakes voor onderzoek vergeleek ze cliënten met de algemene populatie of, als het om cliënten met hersenletsel ging, met de populatie van cliënten van Mind at Work met vergelijkbare problematiek. Beoordelaars hebben impliciet verschillende criteria gebruikt ten behoeve van beoordeling van het functioneren van cliënten (hypothese 10f). Een beoordelaar kon meer dan één criterium gebruiken in diens beoordelingen. Twee beoordelaars wisselden tussen verschillende criteria bij hun beoordelingen. Drie beoordelaars keken naar hoe iemand zou functioneren op de arbeidsmarkt en naar de relevantie van iemands gebreken ten opzichte van diens (toekomstige) werkzaamheden. Daarnaast werd er door drie beoordelaars gekeken naar relevantie ten opzichte van de specifieke vraagstelling zoals onderzoeksvraagstelling of het opzetten van het reïntegratietraject. Bovendien keek een van de beoordelaars naar het functioneren ten opzichte van algemene levenskwaliteit en een vergeleek soms het functioneren van de cliënt met diens functioneren van voor diens uitval uit het werkproces. Ook met betrekking tot de tijdsperiode waaraan beoordelaars refereerden in hun beoordeling (hypothese 10g) waren er verschillen tussen de beoordelaars. Twee beoordelaars wisselden tussen verschillende referentiekaders. Drie beoordelaars richtten zich in hun beoordelingen op iemands functioneren op het moment van het onderzoek, waarbij een van beoordelaars ook keek naar hoe iemand in de nabije toekomst (bijvoorbeeld in het komende jaar) belemmerd zou worden in diens functioneren. Eén beoordelaar, tenslotte, gaf aan de periode vanaf het moment van uitval te hanteren als referentiekader.

42

Beoordelaars gaven hun oordeel over hoe ze het vonden om met de APK©© te werken (onderzoeksvraag 10h, i, j). De meesten vonden het grotendeels prettig en nuttig. De APK©© levert volgens hen kwantificeerbare informatie en vormt een gestandaardiseerde werkwijze binnen de organisatie waardoor het vergelijken van beoordelingen gemakkelijker is dan hiervoor. Het is efficiënt en verzamelt binnen een korte tijd veel informatie, die dankzij de elektronische database verzameld wordt op één plaats waardoor het voor meer mensen toegankelijk en beschikbaar is. Beoordelaars vonden de APK©© een goede methode om te controleren of alle belangrijke en relevante vragen beantwoord werden tijdens het gesprek. Sommige beoordelaars merkten op dat de voorbeeldvragen bij de hoofdvragen goede voorbeelden waren en een goede structuur boden voor beoordelingen van het functioneren van cliënten op verschillende aspecten. Als minpunt werd opgemerkt dat het formulier niet erg handig of geschikt is als leidraad voor het voeren van het gesprek, voornamelijk bij inhoudelijk zwaardere gesprekken zoals bij onderzoek, NAH of open intake. De technische kant van de elektronische database zou betrouwbaarder kunnen zodat alle informatie die erin gezet wordt, bewaard wordt. Daarnaast levert het invullen van de APK©© geen standaard rapportage op die andere documenten, zoals het intakeverslag of een anamnese ten behoeve van het onderzoek, zou kunnen vervangen. Onervaren beoordelaars vonden dat er onduidelijkheden waren met betrekking tot overlapgebieden tussen verschillende vragen, pijlers en criteria en er sprake was van niet toereikende antwoordcategorieën, waarbij bijvoorbeeld ‘in gemiddelde mate’ gemist werd. Sommige vragen werden beantwoord op basis van schatting en indruk, omdat het lastig was om voldoende informatie over sommige gebieden te ververwen. Ook was het lastig om alle vragen binnen de tijdslimiet van het intake gesprek door te werken. Factoren die de beoordelaars als potentieel behulpzaam bij het werken met de APK©© hebben aangewezen (hypothese 10k) waren: meer duidelijkheid over de vragen; het maken van onderlinge afspraken over hoe items gescoord moeten worden; expliciete criteria met betrekking tot de antwoordcategorieën; meer antwoordcategorieën; bredere werkinstructie; mogelijk commentaar bij vragen zoals het bij SCID-II wordt gedaan ten behoeve van het discriminerend vermogen van vragen; training; supervisie; en meer gesprekstijd. Beoordelaars vonden de nabesprekingen tussen beoordelaars leerzaam en nuttig (onderzoeksvraag 10l). Deze besprekingen stelden hen in staat beter te reflecteren op hoe ze tot hun oordeel kwamen en op andere mogelijke beoordelingsperspectieven en zienswijzen. De nabespreking maakte voor sommige beoordelaars duidelijker hoe subjectief beoordelingen waren en gaf ze informatie en beoordelingsperspectieven die ze tijdens volgende interviews benutten. Soms leidde de nabespreking tot het aanpassen van de oorspronkelijke beoordeling (onderzoeksvraag 10m) maar beoordelaars waren er

43

ook van overtuigd dat het uiteindelijk om hun eigen oordeel ging, dus de aanpassingen bleven beperkt.

Conclusies en discussie Bespreking resultaten in kader van verwachtingen In dit onderzoek werd er gekeken naar de interbeoordelaarsbetrouwbaarheid van het interview ArbeidsPotentieel en Slagingskans (APK©©) zoals ontwikkeld door Mind at Work te Almere. Er werd een betrouwbaarheidsanalyse uitgevoerd op het niveau van de APK©© als geheel, de subschalen en de items. Daarnaast werd gekeken naar verschillen tussen beoordelingen door verschillende typen beoordelaars en beoordelaarsparen in verschillende condities met behulp van de t-toets. De condities hadden betrekking op het verschil tussen actieve en passieve beoordelaars. Daarnaast werden er verschillen onderzocht binnen paren beoordelaars waarvan één beoordelaar veel APK©©/werkervaring had en de ander weinig, en binnen paren waarvan beide beoordelaars over weinig APK©©/werkervaring beschikten. Omdat er slechts één paar was waarvan beide beoordelaars over veel APK©©/werkervaring beschikten, was het niet mogelijk om de analyse uit te voeren ten behoeve van een vergelijking tussen dergelijke beoordelaarsparen en andere typen beoordelaarsparen. Een vergelijkbaar probleem speelde op het vlak van gespreksvaardigheden. Omdat er geen beoordelaarspaar was waarvan beide beoordelaars over veel gespreksvaardigheden beschikten, kon er geen vergelijking worden gemaakt met andere typen paren niet gemaakt worden. Wel werd gekeken naar verschillen tussen beoordelingen binnen gemengde beoordelaarsparen waarvan één van de beoordelaars over veel gespreksvaardigheden beschikte en de ander over weinig. Tevens werden er verschillen in beoordelingen binnen de homogene beoordelaarsparen onderzocht, waarvan beide beoordelaars weinig gespreksvaardigheden hadden. Vervolgens werd er gekeken naar interbeoordelaarsbetrouwbaarheid in de verschillende condities en werden de items geïdentificeerd waarop beoordelingen structureel uiteen liepen. Hypothese 1 luidde dat het semi-gestructureerde interview APK©© 1.1 betrouwbaar is en de verwachting was dat de ICC gelijk aan of hoger dan .80 zou zijn. Deze verwaching is uitgekomen. Volgens hypothese 2 zouden de subschalen van het semi-gestructureerde interview APK©© 1.1 betrouwbaar zijn, waarbij verwacht werd dat de ICC waarden voor alle subschalen gelijk aan of hoger dan .70 zouden zijn. Ook deze verwachting is uitgekomen.

44

Hypothese 3 voorspelde dat de items van de subschalen van de APK©© betrouwbaar zouden zijn. Er werd verwacht dat hier ICC waarden van minstens .60 behaald zouden worden. Deze verwachting is gedeeltelijk uitgekomen. Van de tweeënzestig items bleken er veertig een betrouwbaarheid te hebben van minstens .60. Tweeëntwintig hadden een lagere betrouwbaarheid, waarvan vijf items bevonden zich in het grensgebied met een ICC van minstens .56. Mogelijk is de lage betrouwbaarheid van deze items een gevolg van de kleine omvang van de steekproef die in dit onderzoek gebruikt is. Het is mogelijk, vooral bij de items met een betrouwbaarheid tussen .56 en .60, dat deze bij een groter aantal casussen de gewenste betrouwbaarheid wel zouden bereiken. Andere factoren die mogelijk verantwoordelijk zijn voor de lage betrouwbaarheid van een aantal van de items komen aan de orde bij de bespreking van onderzoeksvraag 10, verderop in dit hoofdstuk. Tweeënvijftig items (84%) bereikten de ICC waarde van .43 wat een gemiddeld resultaat is, en slechts tien items (16%) vertoonden een werkelijk lage betrouwbaarheid. Hierbij moet opgemerkt worden dat deze items gelijkmatig waren gespreid over alle subschalen. Dat wijst op een goede stabiliteit van de APK©© als instrument en doet vermoeden dat de gevonden lage betrouwbaarheden aan toeval liggen. De verwachting bij onderzoeksvraag 4 luidde dat de nabespreking positieve invloed zou hebben op de interbeoordelaarsbetrouwbaarheid op het niveau van de APK©© als geheel, de subschalen en de items. Deze verwachting is grotendeels uitgekomen. Zoals verwacht, liet de betrouwbaarheidsanalyse zien dat er op negenenvijftig items een hogere betrouwbaarheid werd bereikt na het consensusgesprek. Met uitzondering van slechts twee items van het totale aantal van tweeënzestig, bleek de interbeoordelaarsbetrouwbaarheid na de nabespreking voldoende te zijn. Één item bereikte na de nabespreking de waarde van 1.00. Mogelijk is deze lage score met betrekking tot consensus het gevolg van een gebrek aan duidelijke criteria voor de beoordeling. Daarnaast kan deze uitslag ook voortvloeien uit een niet volledige instructie bij de aanvang van het onderzoek, waarin niet voldoende werd benadrukt dat het doel van de nabespreking een volledige consensus was. Het verschil tussen beoordelingen door actieve en passieve beoordelaars werd onderzocht naar aanleiding van onderzoeksvraag 5. De verwachting dat de rol van de beoordelaar geen invloed zou hebben op diens beoordeling werd grotendeels ondersteund. Verschillen werden alleen gevonden op itemniveau en hadden betrekking op slechts vier van de tweeënzestig items. Opvallend hierbij was dat er bij drie van deze vragen sprake was van voldoende betrouwbaarheid. De invloed van deze discrepanties tussen beoordelingen op de betrouwbaarheid was dus beperkt. Een item dat een uitzondering vormde, vraag 2 van de subschaal Fysieke capaciteiten, werd door de beoordelaars als lastig ervaren. De mogelijk oorzaak van deze lage betrouwbaarheid was de ervaren overlap van deze vraag met andere items van dezelfde subschaal, zoals item

45

1. Het is echter ook niet uit te sluiten dat de oorzaak van deze discrepanties lag in onduidelijkheid over de definitie van chronische ziekte of aandoening die hier gehanteerd werd, waardoor de beoordelaars de gerapporteerde klacht niet goed binnen deze categorie konden plaatsen. Aangaande verschillen verbonden met de APK©©/werkervaring bleek dat de ervaren beoordelaars strenger waren dan onervaren beoordelaars op de subschaal Cognitieve capaciteiten en op een item van de subschaal Fysieke conditie. Blijkbaar helpt de ervaring om de cognitieve beperkingen op te merken en hun rol in te schatten voor het re-integratietraject. Deze bevinding lijkt gedeeltelijk ondersteuning te bieden aan eerder onderzoek naar de rol van ervaring met beoordelingsinstrumenten (Van Sliedregt, 1999). Volgens dit onderzoek draagt dergelijke ervaring bij aan betrouwbaarheid. Echter, omdat in dit onderzoek de ervaring met beoordelingsinstrument met de werkervaring overeenkomt, kan op basis van deze uitkomst niet geconcludeerd worden welke type ervaring daarvoor verantwoordelijk is. De bij onderzoeksvragen 6b en 7b geuite verwachtingen kregen gedeeltelijke ondersteuning: in de gemengde groep liepen de beoordelingen uiteen op een zestal items van het totale aantal van tweeënzestig. Dit resultaat is niet zeer overtuigend gezien het feit dat het minder dan 10% van de items betreft. Bij de onderzoeksvragen 6c en 7c werd verwacht dat de beoordelingen in paren beoordelaars met vergelijkbare APK©©/werkervaring niet van elkaar zouden verschillen. Deze veronderstelling vond grotendeels ondersteuning, waarbij een verschil werd gevonden op slechts één item. Dit item werd als lastig ervaren door de beoordelaars, wat mogelijk voor de inconsistentie van de beoordelingen zorgde. Bij deze resultaten moet de kanttekening worden gemaakt dat de verschillen in de APK©©/werkervaring tussen de meeste beoordelaars klein waren. Slechts één beoordelaar had een werkervaring van langer dan twee jaar, twee beoordelaars hadden een werkervaring van één tot twee jaar en één beoordelaar had een werkervaring van vijf maanden. De overige twee beoordelaars waren stagiaires. Om deze reden moeten de resultaten op dit gebied met voorzichtigheid worden geïnterpreteerd. De invloed van gespreksvaardigheden op beoordelingen werd onderzocht naar aanleiding van onderzoeksvraag 8. De resultaten bieden weinig ondersteuning aan de verwachting dat gespreksvaardigheden van belang zijn voor de beoordeling. Beoordelaars met veel gespreksvaardigheden bleken strenger te beoordelen op slechts twee items, waarvan een van de subschaal Cognitieve capaciteiten, die betrekking had op de aanwezigheid van hersenletsel. Gezien de invloed die hersenletsel op het verloop van een re-integratietraject kan hebben en de rol die APK©©/werkervaring speelt bij het beoordelen van cognitieve capaciteiten, verdient dit gebied bijzonder aandacht in de training voor de gebruikers van de APK©©.

46

Tegen de verwachting in (onderzoeksvraag 8b) bleken beoordelingen door de beoordelaars met verschillende niveaus gespreksvaardigheden niet uiteen te lopen. Een verklaring hiervoor kan gezocht worden in de geringe verschillen in gespreksvaardigheden die in de groep beoordelaars geconstateerd werden. Met betrekking tot de zelfbeoordeling van beoordelaars ten aanzien van het contact met cliënten werden er geen verschillen gevonden, terwijl de verschillen met betrekking tot de hoeveelheid verkregen informatie gering waren. Het gebrek aan variantie binnen deze factor dwingt tot voorzichtigheid omtrent de conclusies. Het is mogelijk dat bij een grotere steekproef deze verschillen sterker zouden uitkomen. Het is ook mogelijk, gezien het feit dat de groep beoordelaars met veel gespreksvaardigheden grotendeels overlapte met de groep van actieve beoordelaars, dat de beoordelaars met minder gespreksvaardigheden baat hebben gehad bij de gespreksvaardigheden van hun medebeoordelaars. In hun rol van passieve beoordelaars kunnen beoordelaars met minder gespreksvaardigheden genoeg relevante informatie verkrijgen dankzij de gespreksvaardigheden van hun collega’s. Onderzoeksvraag 8c had betrekking op paren beoordelaars met een vergelijkbaar niveau van gespreksvaardigheden. Verwacht werd dat er geen verschillen zouden optreden tussen beoordelaars van hetzelfde niveau. Deze verwachting werd niet ondersteund door de bevindingen: verschillen in beoordelingen werden gevonden op vijf van de in totaal tweeënzestig items. Echter, gezien het geringe aantal discrepanties kan deze voorspelling niet worden verworpen zonder vervolgonderzoek met meer proefpersonen. Het is ook mogelijk dat dit resultaat ligt aan het feit dat er binnen deze conditie alleen paren met weinig gespreksvaardigheden werden onderzocht, omdat er geen paren met veel gespreksvaardigheden waren. Het is aannemelijk dat de beoordelingen binnen beoordelaarsparen met weinig gespreksvaardigheden uiteenlopen omdat deze paren tijdens het gesprek niet de relevante informatie kunnen achterhalen. Bij paren met veel gespreksvaardigheden zou het tegenovergestelde verwacht kunnen worden. Er moet vermeld worden dat van de vijf vragen waarbij discrepanties werden geconstateerd, er vier een voldoende niveau van betrouwbaarheid bereikten, wat erop wijst dat de verschillen, hoewel significant, niet dusdanig groot waren dat ze de betrouwbaarheid beneden de waarde van .60 brachten. Het uitzonderlijke item, dat onvoldoende beschikbaar was, namelijk vraag 2 uit de subschaal Fysieke capaciteiten. Dit item werd bovendien door beoordelaars lastig gevonden. Onderzoeksvraag 9 stelde de exploratieve vraag of er items waren waarop beoordelingen structureel uiteenliepen. Er kan geconcludeerd worden dat twee derde van de items over voldoende betrouwbaarheid beschikten. Bij de overige items dient er gekeken te worden naar hun inhoud en de mogelijke problemen die bij de beoordeling speelden. Mogelijk is de kleine schaal van dit onderzoek verantwoordelijk voor de lage

47

betrouwbaarheid van deze items, met name bij die items die grenswaarden bereikten van .56 of hoger. Maar ook bij de items met betrouwbaarheidswaarden lager dan .56 is niet uit te sluiten dat door het kleine aantal casussen de gevonden verschillen per casus onevenredig sterk wogen op het eindelijke resultaat. De resultaten verkregen bij het toetsen van onderzoeksvraag 10c kunnen wellicht minstens gedeeltelijke verklaring bieden voor bovenstaande uitkomsten. De door beoordelaars genoemde aspecten hadden betrekking op onduidelijkheid met betrekking tot criteria waarmee rekening gehouden moest worden bij beoordeling en de scores die bij deze criteria hoorden. Daarbij bleek de keuze tussen ‘veel’ en ‘weinig’ lastig te zijn voor sommige beoordelaars; er was bij deze beoordelaars behoefte aan een extra categorie hier tussenin. Daarnaast hadden problemen met scoring betrekking op hoe ‘voldoende’ en ‘goed’ geïnterpreteerd kunnen worden en deze scores zich verhouden tot de situatie wanneer het betreffende kenmerk ‘in gemiddelde mate’ geconstateerd werd. Het uitbreiden van de beoordelingscategorieen kan echter resulteren in het verminderen van het onderscheidend vermogen van de items. Om die reden dient deze suggestie met voorzichtigheid behandeld te worden. Mogelijk zou een training in het gebruik van het instrument deze problem kunnen oplossen. Soms vonden beoordelaars de inhoud van de vraag onduidelijk; dit leidde tot verschillen in interpretatie tussen beoordelaars. In deze gevallen was er ook regelmatig verwarring met betrekking tot overlap en onderscheid tussen verschillende items binnen dezelfde pijler, alsook tussen verschillende pijlers. Er werd opgemerkt dat sommige vragen lastig waren om uit te vragen, zoals vragen met betrekking tot kernovertuigingen en copingmechanismen. Daarbij speelde vaak ook de beperkte beschikbare tijd een rol. De gesprekken waren eennmalig en duurden gemiddeld 1 tot 1,5 uur duurden. Een andere vaak door de beoordelaars genoemde factor was de tendens van sommige cliënten om sociaal wenselijke antwoorden te geven. Sommige beoordelaars hadden moeite om erachter te komen hoe cliënten werkelijk handelden in situaties zoals conflict, meningsverschillen of een problematische situatie. Daarnaast gaven ze aan dat bij het beoordelen van item 12 uit de Cognitieve capaciteiten subschaal, ze rekening hielden met hoe de gegeven score het beeld van de cliënt op de subschaal zou beïnvloeden. De formulering van de genoemde vraag zorgde voor structurele ambivalentie waarbij dezelfde score zowel positieve als negatieve betekenis kon hebben en ook een positieve betekenis de score op de subschaal negatief kon beïnvloeden. Met betrekking tot de overeenkomst tussen de items met lage betrouwbaarheid en de items die door de beoordelaars als lastig werden ervaren (onderzoeksvraag 10d) werd geconstateerd dat de helft van de items met lage ICC inderdaad als lastig was ervaren door de beoordelaars. Vier items daarvan bereikten de ICC waarde van ten minste .56, wat bij een grotere steekproef mogelijk in een hogere betrouwbaarheid zou resulteren.

48

De overige elf items met een lage betrouwbaarheid bleven onopgemerkt door de beoordelaars, en tien items die door beoordelaars als ‘lastig’ werden aangemerkt beschikte over voldoende betrouwbaarheid. De discrepanties tussen beoordelingen op de elf items die zowel lage betrouwbaarheid hadden als lastig werden gevonden, kunnen waarschijnlijk het best verklaard worden vanuit de uitleg over beoordelingsproblemen zoals aangegeven door de beoordelaars. De items die als lastig ervaren werden maar voldoende betrouwbaarheid hadden werden vermoedelijk met bijzondere zorgvuldigheid beoordeeld, waarbij de beoordelaars zich bewust waren van de valkuilen van de betreffende items en probeerden in het gesprek relevante informatie te achterhalen teneinde deze vragen te kunnen beantwoorden. In deze categorie viel mogelijk ook vraag 1 van de Algemene inschakelingconditie subschaal, met een betrouwbaarheid van .57, die niet als lastig werd ervaren; het vergroten van de steekproef zou kunnen resulteren in het bereiken van voldoende betrouwbaarheid op betreffende items. De overige tien items die onvoldoende betrouwbaarheid hadden maar niet als lastig zijn ervaren waren, verdienen speciale aandacht omdat ze een ‘blinde vlek’ van beoordelaars vormen. Een mogelijke verklaring voor het feit dat deze vragen niet als lastig aangemerkt werden is dat ze deze vragen wel lastig gevonden vonden, maar minder lastig dan de overige eerder genoemde vragen, waardoor ze minder opvielen. De verschillen tussen beoordelaars werden mogelijk beïnvloed door het feit dat verschillende beoordelaars de te beoordelen cliënt tegen verschillende referentiegroepen afzetten (onderzoeksvraag 10 e). Bovendien kunnen de gebruikte criteria van invloed zijn geweest op de beoordelingen (onderzoeksvraag 10f), waarbij sommige beoordelaars per casus van perspectief wisselden. Een andere factor die mogelijk voor verschillen in de beoordelingen heeft gezorgd is de tijdsperiode die door verschillende beoordelaars als referentiekader werd gebruikt. Ook hier werd in sommige gevallen door de beoordelaar per casus een andere tijdsperiode als referentie genomen (onderzoeksvraag 10g). De flexibiliteit van de beoordelaars met betrekking tot deze referentiekaders heeft mogelijk geleid tot de gevonden discrepanties. Echter, het flexibel toepassen van verschillende perspectieven kan aangewezen zijn bij de beoordeling van cliënt kans van slagen op de arbeidsmarkt. Dat in relatie met vraagstelling, contract waaronder de cliënt valt, referentiegroep die voor de gegeven vraagstelling het meest van toepassing is, of andere factoren die in dit onderzoek niet naar boven zijn gekomen. Mogelijk is deze flexibiliteit gerelateerd aan de criterium validiteit van de APK©© die in dit onderzoek niet geanalyseerd werd. Er zou dus mogelijk een spanningsveld bestaan tussen de betrouwbaarheid en validiteit van de APK©© en daar zou rekening gehouden moet worden bij het streven naar hoge interbeoordelaarsbetrouwbaarheid van het instrument. Verder onderzoek zou simultaan kunnen worden gedaan naar de betrouwbaarheid en validiteit. Dat zou de verkregen scores helpen te verankeren in zulke indicatoren als de

49

medische verklaring, resultaten op verschillende tests zoals IQ tests, persoonlijkheidsvragenlijsten, vragenlijsten met betrekking tot copingstijlen, behaalde resultaten op de arbeidsmarkt en dergelijke. Wat de pijlers betreft (onderzoeksvraag 10d) hebben de ervaren beoordelaars weliswaar aangegeven dat ze geen structurele problemen zijn tegengekomen bij het verzamelen van de betreffende informatie maar er werd vanuit die groep aangegeven dat de Fysieke conditie subschaal lastig was te beoordelen vanwege onduidelijke afgrenzing van de items. Deze opmerking vond bevestiging in de resultaten in aparte condities waaruit bleek dat in de groep van beoordelaars met weinig APK©©/werkervaring betrouwbaarheid van die subschaal onvoldoende was. Dat kan erop wijzen dat ervaren beoordelaars zich bewust zijn van de problemen met betrekking tot deze subschaal en zeer zorgvuldig zijn met het beantwoorden van de betreffende vragen, terwijl de onervaren beoordelaars niet genoeg ervaring hebben om tot overeenkomende resultaten te komen. Hoeveel de beoordelaars de APK©© nuttig en behulpzaam vonden voor hun werk, hadden ze een aantal suggesties ten aanzien van mogelijke verbeteringen hierin die de kwaliteit van hun werk met de APK©© zouden bevorderen. Deze hielden in: duidelijke aanwijzingen en categorieën bij de vragen, mogelijk in de vorm van een commentaar met aanduiding van opties en discriminatieve aspecten ten opzichte van andere items op dezelfde of een andere pijler; het maken van onderlinge afspraken over hoe items gescoord moeten worden, meer antwoordcategorieën, bredere werkinstructie, training, supervisie, meer gesprekstijd. Implicaties van het onderzoek Praktische implicaties van het onderzoek In vergelijking met andere (semi-)gestructureerde interviews die in verschillende psychologische settings gebruikt worden kan er geconcludeerd worden dat de interbeoordelaarbetrouwbaarheid van de APK©© als het geheel en op het niveau van subschalen goed tot zeer bevredigend is. In eerder gepresenteerd overzicht van interbeoordelaarsbetrouwbaarheid waarden van vergelijkbare instrumenten de ICC waarden van de SCID-II varieërden tussen .90 en .98 voor dimentionele beoordelingen (Arntz et al., 1992; in: Weertman, et al., 2006) en volgens andere onderzoekers tussen .60 en .82 (Fogelson et al. 1991; in: Weertman, Arntz, & Kerkhofs, 2006). De ICC waarden van de APK©© als geheel (.87) en per subschaal (.79 - .89) waren hoger dan de betrouwbaarheid van gestructureerde interviews in personeelsselectie met de waarde van .71 (McDaniel et al., 1994). Ze waren ook hoger dan de ICC waarden van schalen gebruikt voor de risicotaxatie van tbs (Lammers, 2007). Dat gold zowel voor de SVR-20 als de HCR-20. Deze constatering is van zeer groot belang gezien in praktijk de APK©©

50

gebruikt wordt voor het maken van een multi-dimensioneel profiel van de cliënt, waarvoor de score per subschaal bepalend zijn. Op itemniveau zijn de uitslagen minder bevredigend. Helaas vermelden Weertman et al. (2006) geen data met betrekking tot de ICC waarden op item niveau bij SCID-II. De ICC waarden van de items van de BPDSI varieerden tussen .29 en 1.00. Als er gekeken wordt naar de ICC waarden per item bij HCR-20 die tussen .43 en .84 varieerden en bij HKT-30, die de waarden tussen .30 en .93 bereikten, kan er geconcludeerd worden dat tussen 84% en 92% van de APK©© items binnen deze range paste. De verbetering van de overige items is dus aangewezen zodat de APK©© de psychometrische kwaliteit van andere in psychologische veld gebruikte interviews bereikt. Op grond van bovenstaande kan er geconcludeerd worden dat de betrouwbaarheid van de subschalen van de APK©© voldoende is ten opzichte van diens gebruik en doelstelling in praktijk maar om als wetenschappelijk verantwoord instrument beschouwd te kunnen worden, zijn er enige verbeteringen nodig op het item niveau met betrekking tot 22 items (35%) om de gewenste ICC van .60 te bereiken. Minstens 10 items (16%) voldeden volgens dit onderzoek niet aan de vereiste betrouwbaarheid. Om de kwaliteit van de instrumenten die in de psychologische praktijk worden gebruikt te evenaren, is een hogere betrouwbaarheid van deze items gewenst. De vraag is echter of de lage betrouwbaarheid aan de kwaliteit van deze items ligt of te wijten is aan andere factoren. De geringe omvang van de steekproef kan een dergelijke factor zijn geweest. Een andere mogelijke factoren zijn een ontoereikende kennis van de theoretische achtergrond van het instrument en een gebrek aan werkervaring met het instrument. Een goede training deze problemen mogelijk verhelpen. Theoretische implicaties van het onderzoek Gezien het karakter van dit onderzoek en diens focus op uitsluitend interbeoordelaarsbetrouwbaarheid is het niet verantwoord om op grond van de hier verkregen resultaten vergaande conclusies trekken ten opzichte van het onderliggende theoretische kader, namelijk het Vijf Pijler Model. De kleine omvang van de steekproef liet het niet toe om een factoranalyse uit te voeren die het zou kunnen uitwijzen of er inderdaad vijf factoren geïdentificeerd kunnen worden binnen de APK©©. Bij een grotere steekproef zou een dergelijke analyse heel nuttig zijn omdat deze zou helpen om items aan te wijzen waarvan de domeinen elkaar overlappen en die daarom aangepast zouden moeten worden. Bovendien om na te gaan of de subschalen van de APK©© goed het domein van de vijf pijlers weergeven, zou er validiteitonderzoek plaats moeten vinden. Indien er gekeken wordt naar de betrouwbaarheid van de APK©© als geheel en diens subschalen, kan er geconcludeerd worden dat er een aanzienlijke consensus ontstaat met betrekking tot het functioneren van een cliënt in de vijf levensgebieden.

51

Sterke en zwakke kanten van het onderzoek De sterke kant van dit onderzoek ligt erin dat deze geworteld is in de dagelijkse arbeidspraktijk van een psychologisch adviesbureau actief op het re-integratiegebied. De vraagstellingen die in dit onderzoek opgenomen zijn vloeien voort uit de behoeftes van dit bureau om de psychometrische kwaliteiten van het instrument die zij dagelijks gebruiken ten behoeve van indicatiestelling in kaart te brengen. Het onderzoek heeft daardoor groot praktisch nut. Daarnaast, is dat het eerste systematische onderzoek naar de APK©©. Daarom is er naast de statistische getracht om door middel van de nabesprekingen en de enquête additionele informatie te verkrijgen met betrekking tot de kwaliteit van de APK©© en de struikelpunten voor beoordelaars. Deze informatie kan helpen in de verdere ontwikkeling van het instrument evenals in het ontwerpen van een passende training voor de gebruikers van de APK©©. Een van de gesignaleerde problemen, namelijk de misleidende naam van een van de items werd al aangepast. Het voeren van de nabesprekingen leverde onder andere informatie op basis waarvan werd een onderdeel van enquête gemaakt waarin gevraagd wordt naar de referentiegroep, criteria en tijdperiode die de beoordelaars impliciet toepasten. Het expliciet maken van deze factoren tijdens de nabespreking maakte de beoordelaars alert op diversiteit van mogelijke perspectieven tijdens de beoordeling en had een leereffect. Het grootste minpunt van dit onderzoek is het kleine aantal respondente. Ten behoeve van het onderzoek naar betrouwbaarheid zou een aantal respondenten tussen tweehonderd en tweehonderd en vijftig gewenst zijn. Vandaar dat dit onderzoek alleen als vooronderzoek beschouwd zou moeten worden. Om dezelfde reden moeten de gepresenteerde resultaten met voorzichtigheid behandeld worden. Een andere factor die als een nadeel van dit onderzoek kan worden beschouwd is het afzien van een aanvullend onderzoek. Deze beslissing werd genomen vanwege tijdsbeperkingen. Volgens het oorspronkelijke plan, zouden studenten van psychologie op de Universiteit van Amsterdam eigen beoordelingen verrichten op basis van een videoopnames van interviews. Het inzetten van meer dan twee beoordelaars levert meestal hogere betrouwbaarheid waarden op, wat in het geval van dit onderzoek zou kunnen compenseren voor het grote gewicht van enkele uiteenlopende beoordelingen. Vervolgens, vanwege de beslissing om deze studie niet uit te voeren en omdat de proefpersonen vaak geen toestemming verleenden voor het maken van videoopnames, werd hiervan afgezien en zijn er slechts twee videoopnames van de gesprekken gemaakt. Deze kunnen verder in de intervisies besproken worden ten behoeve van deskundigheidsbevordering. Aanbevelingen voor het vervolgonderzoek.

52

Het vervolgonderzoek zou op een grotere steekproef gebaseerd moeten zijn van minimum tweehonderd proefpersonen, wat gebruikelijk is bij dit type onderzoek. Het betrekken van meer diverse beoordelaars met verschillende werkervaring, APK©© ervaring en gespreksvaardigheden zou wenselijk zijn bij het onderzoeken van de invloed van deze factoren op de beoordeling. Dit zou onderzocht kunnen worden met regressieanalyse om erachter te komen welk van die factoren de grootste rol speelt. Bovendien, het zou gunstig voor de kwaliteit van het onderzoek zijn als de betrouwbaarheid van het instrument gevolgd zou worden met het onderzoek aan de validiteit van de APK©©. Er zou additioneel een factoranalyse uitgevoerd kunnen worden om erachter te komen of het Vijf Pijler Model zoals voorgesteld door Mind at Work klopt, en of de APK©© een goede operationalisatie van deze pijlers is. Conclusie Dit onderzoek is een goede voorzet voor het onderzoeken van psychometrische kwaliteiten van het semi-gestructureerd interview APK©©. De resultaten zijn veelbelovend. De betrouwbaarheid op subschaalniveau die cruciaal is voor het opstellen van een multidimensionaal profiel van een cliënt wat het voornaamste doel is van de APK©©, bleek goed te zijn. Op itemniveau is er echter ruimte voor verbetering, de vraag is echter of dat aan de kwaliteit van de items ligt of mogelijk aan de ontoereikende vaardigheiden van de beoordelaars. Om erachter te komen of er veranderingen in het instrument plaats moeten vinden zouden er beoordelaars ingezet moeten worden met grotere verschillen met betrekking tot hun werkervaring, de ervaring met de APK©© en gespreksvaardigheden. Als het zou blijken dat de verschillen in beoordelingen voornamelijk aan de verschillen in gespreksvaardigheden en ontbrekende kennis met betrekking tot de inhoud van de vragen, zou een passende training voor de gebruikers van de APK©© ontworpen moeten worden. Eventuele aanpassingen van de items van de APK©© dienen gedaan te worden, als het duidelijk is dat de lage betrouwbaarheid aan hun kwaliteit ligt en niet aan andere factoren. Literatuur Arntz, A., Hoorn, M. van den, Cornelis, Verheul, Bosch, W. van den, Bie, A. van de (2003). Reliability and validity of the borderline personality disorder severity index. Journal of Personality Disorders, 17, 45-59. Balen, E. Van, Jorritsma, T., Groet, E., & Vink, M. (2002). A cognitive rehabilitation approach to long-term consequences following brain injury: Dutch practice. In W. Brouwer, E. van Zomeren, I. Berg, A. Bouwma, & E. de Haan (Red), Cognitieve

53

rehabilitation. A clinical neuropsychological approach, (pp. 71-106). Amsterdam: Boom Publishers. Bartels, A.A.J. (2001). Het sociale-competentiemodel en de kinder- en jeugdpsychotherapie. Ontstaan, betekenis, stand-van-zaken, toekomst. Kinder- en jeugdpsychotherapie, 28, 5-22. Bartels, A.A.J., & Spreen, M.A. (2005). Het sociale-competentiemodel en socialenetwerkananlyse in de forensische psychiatrie. In C. de Ruiter, & M. Hildebrand (Red.), Behandelingsstrategieen bij forensisch-psychiatrische patienten, (pp. 95107), Houten: Bohn Stafleu Van Loghum, Cure & Care Development. Bartels, A.A.J. (2006). Sociaal-competentiemodel. Training materiaal voor training bij Mind at Work, 29 september, 13 & 27 oktober, 17 november 2006. Almere: Mind at Work. Lammers, S. (2007). Blijven stoute jongens stout? Taxatie van het recidiverisico in de tbs. De Psycholoog, 42 (4), 194-201. McDaniel, A., Whetzel, D.L., Schmidt, F.L., & Maurer, S.D. (1994). The validity of employment interviews: a comprehensive review and meta-analysis. Journal of Applied Psycholgoy, 79 (4), 599-616. Newcombe, F. (2002). An overview of neuropsychological rehabilitation: a forgotten past and a challenging future. In W. Brouwer, E. van Zomeren, I. Berg, A. Bouwma, & E. de Haan (Eds.), Cognitieve rehabilitation. A clinical neuropsychological approach, (pp. 8-11) Amsterdam: Boom Publishers. Prigatano, G.P. (1999). Principles of neuropsychological rehabilitation. New York: Oxford University Press. Prigatano, G.P. (2002). Holistic neuropsychological rehabilitation and models of change after brain injury. In W. Brouwer, E. van Zomeren, I. Berg, A. Bouwma, & E. de Haan (Eds.), Cognitieve rehabilitation. A clinical neuropsychological approach. (pp. 53-69). Amsterdam: Boom Publishers. Sliedregt, T. van (1999). Het beoordelen van functies nader beoordeeld. Academische Proefschrift. Amsterdam: Universiteit van Amsterdam. Dissertatiereeks. Shrout, P.E. & Fleiss, J.L. (1979). Intraclass Correlations: Uses in Assessing Rater Reliability. Psychological Bulletin, 86 (2), 420-428. Verheul, R., Brink, W. Van den. Spinhoven, Ph., & Haringsma, R. (2000). Richtlijnen voor klinische diagnostiek van DSM-IV-persoonlijkheidsstoornissen. Tijdschrift voor psychiatrie, 42 (6), 409-422. Vermunt, J.D.H.M. (1992). Leerstijlen en sturen van leerprocessen in het hoger onderwijs - Naar procesgerichte instructie in zelfstandig denken. Academisch proefschrift, Katholieke Universiteit Brabant. Amsterdam / Lisse: Swets & Zeitlinger.

54

Vink, M.(1996). Eindrapport Intensieve Neurorevalidatie. Amsterdam: Revalidatiecentrum Amsterdam. Vogel, V. de (2005). Structured Risk Assessment of (Sexual) Violence in Forensic Clinical Practice. The HCR-20 and SCR-20 in Dutch Forensic Psychiatric Patients. Academisch proefschrift, Amsterdam: Universiteit van Amsterdam. Vygotsky, L.S. (1935). The Development of Scientific Concepts in Childhood. In R.W. Rieber & A. S. Carton (Eds.), Problems of General Psychology The Collected Works of L.S. Vygostky (pp. 208-212). New York / London: Plenum Press, 1987, pp. 208-212. Weertman, A., Arntz, A., & Kerkhofs, M. (2006). SCID-II. Gestructureerd Klinisch Interview voor DSM-IV As-II Persoonlijkheidsstoornissen. Amsterdam: Harcourt Test Publishers.

55

Tabel 1. Contract type van respondenten Frequentie

Percentage

1.

WF

4

12.1

2.

AG

8

24.2

3.

IRO

9

27.3

4.

IRO AG

1

3.0

5.

Onderzoek NPO

2

6.1

6.

Onderzoek BIO

4

12.1

7.

Onderzoek MBO

1

3.0

8.

Deelproducten

1

3.0

9.

WAJONG screening

1

3.0

10.

Onderzoek BIO/NPO

1

3.0

11.

Onderzoek BIO/MBO

1

3.0

33

100.0

Totaal

Tabel 2. Opleiding van respondenten Frequentie

Percentage

1.

6LO/ZMLK

0

0

2.

8LO/2ATH

8

24.2

3.

LTS/MAVO3

4.

LTSc/MBO

3

9.1

15

45.5 12.1

5.

HTS/HBO

4

6.

WO/TH/LH

3

9.1

33

100.0

Frequentie

Percentage

UWV

15

45.5

2.

Gemeente

15

45.5

3.

Bedrijfarts

3

9.1

33

100.0

Totaal

Tabel 3. Doorverwijzende instantie

1.

Totaal

56

Tabel 4. Interbeoordelaarsbetrouwbaarheid van de APK© Gemiddelde voormeting 82.63

SD voormeting 10.72

Gemiddelde nameting 81.40

SD nameting 11.41

ICC voormeting .87

ICC nameting .97

83.86 82.11 82.95 81.58 82.66

9.23 14.16 14.05 17.47 12.74

82.84 81.04 81.31 80.08 81.70

9.92 14.96 14.62 19.08 13,36

.82 .79 .89 .81 .83

.96 .92 .97 .94 .94

Items 1. Algemene inschakelingsconditie 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 1.10 1.11 1.12 1.13

1.18 .52 .86 .09 .33 .42 1.09 .83 .82 .88 .48 .18 .59

.88 .49 .84 .36 .60 .71 .58 .88 .65 .88 .80 .48 .65

1.32 .55 .95 .09 .32 .45 1.21 .91 .83 .89 .47 .24 .67

.86 .64 .94 .52 .58 .76 .57 .92 .74 .91 .78 .55 .71

.58 .07 .69 -.03 .74 .70 .46 .80 .43 .79 .83 .66 .72

.83 .77 .92 1.00 .81 .85 .83 .90 .77 .88 .93 .91 .89

2. Sociaal en communicatief functioneren 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11

.44 .58 .92 .69 .85 .77 1.09 1.26 .71 .29 .27

.60 .71 .83 .66 .72 .83 .89 .94 .72 .56 .42

.45 .58 .98 .78 .91 .82 1.17 1.28 .71 .33 .33

.67 .72 .90 .75 .79 .82 .94 .96 .73 .66 55

.62 .69 .56 .49 .65 .84 .70 .72 .59 .71 .30

.77 .84 .81 .73 .82 .87 .85 .82 .72 .93 .74

N=33 APK© algeheel Subschalen 1. Algemene inschakelingsconditie 2. Sociaal en communicatief functioneren 3. Psychische stabiliteit 4. Cognitieve capaciteiten 5. Fysieke capaciteiten

57

3. Psychische stabiliteit 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13

.90 .29 .94 1.23 1.03 .69 .83 .56 .17 .14 .48 .72 .90

.85 .60 .84 .84 .96 .95 .89 .83 .55 .40 .71 .76 .85

1.07 .27 1.02 1.26 1.06 .80 .84 .61 .18 .17 .56 .89 1.08

.97 .63 .89 .94 .98 1.01 .97 .87 .56 .46 .85 .90 .96

.79 .67 .67 .52 .84 .80 .72 .75 .86 .31 .63 .58 .58

.85 .86 .78 .86 .88 .92 .85 .89 .82 .46 .82 .92 .91

4. Cognitieve capaciteiten 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 4.11 4.12

.17 1.09 1.03 .84 .44 .91 .59 .68 .71 .56 .35 .74

.57 1.37 .97 .91 .67 .91 .83 .91 .94 .89 .63 .99

.17 1.14 1.14 .91 .45 .92 .68 .73 .80 .61 .39 .79

.85 1.40 1.04 .95 .71 .94 .89 .98 1.00 .97 .69 1.11

.74 .77 .83 .66 .62 .81 .48 .74 .75 .53 .46 .17

.69 .82 .93 .82 .83 .92 .75 .89 .87 .80 .82 .47

5. Fysieke capaciteiten 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 5.10

.73 .82 1.14 .59 .98 .44 .77 .72 .94 .63

1.19 .62 .98 .86 .96 .70 .81 .79 .85 .89

.79 .94 1.18 .64 1.00 .48 .77 .79 .94 .64

1.24 .76 .99 .86 .98 .74 .90 .90 .85 .88

.68 .18 .83 .83 .80 .76 .29 .41 .74 .84

.78 .63 .93 .85 .91 .85 .81 .79 .77 .82

58

5.11 5.12 5.13

.32 .67 .27

.57 .76 .43

.35 .68 .30

.65 .77 .48

.38 .90 .42

.79 .98 .67

Tabel 5. Verschillen tussen beoordelingen door actieve en passieve beoordelaars Gemiddelde -.28

SD 5.67

t -.29

df 32

Sig. (2-zijdig) .78

.58 .10 -.32 -2.07 .29

5.80 9.76 6.96 11.48 7.78

.58 .06 -.26 -1.03 .21

32 32 32 32 32

.57 .95 .80 .31 .83

Items 1. Algemene inschakelingsconditie 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 1.10 1.11 1.12 1.13

.24 -.30 .15 .00 -.18 .12 .00 -.03 .06 .06 -.18 .06 -.03

.90 .92 .71 .75 .46 .60 .71 .59 .83 .61 .46 .43 .53

1.54 -1.90 1.22 .00 -2.25 1.16 .00 -.30 .42 .57 -2.25 .81 -.33

32 32 32 32 32 32 32 32 32 32 32 32 32

.13 .07 .23 1.00 .03 .25 1.00 .77 .68 .57 .03 .42 .74

2. Sociaal en communicatief functioneren 2.1 2.2 2.3 2.4 2.5 2.6

-.03 .06 -.03 -.04 .06 -.09

.59 .61 .88 .77 .66 .48

-.30 .57 -.20 -.34 .53 -1.08

32 32 32 32 32 32

.77 .57 .85 .74 .60 .29

N=33 APK© algeheel Subschalen 1. Algemene inschakelingsconditie 2. Sociaal en communicatief functioneren 3. Psychische stabiliteit 4. Cognitieve capaciteiten 5. Fysieke capaciteiten

59

2.7 2.8 2.9 2.10 2.11

.06 .09 .09 -.15 -.06

.77 .77 .72 .44 .61

.47 .68 .72 -1.97 -.57

32 32 32 32 32

.65 .50 .48 .06 .57

3. Psychische stabiliteit 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13

.16 -.03 .00 -.03 .06 -.07 -.12 .04 -.03 .03 .18 .04 -.06

.70 .53 .75 .95 .56 .66 .72 .63 .30 .59 .68 .79 .87

1.33 -.33 .00 -.18 .63 -.64 -.97 .32 -.57 .30 1.53 .26 -.37

32 32 32 32 32 32 32 32 32 32 32 32 32

.19 .74 1.00 .86 .54 .53 .34 .75 .57 .77 .14 .80 .72

4. Cognitieve capaciteiten 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 4.11 4.12

.14 .36 .12 .16 -.00 .06 -.03 .09 -.30 -.09 .21 .19

.44 .99 .60 .83 .65 .61 .98 .72 .69 .98 .74 1.67

1.82 2.10 1.16 1.09 -.02 .57 -.18 .72 -2.47 -.53 1.65 .65

32 32 32 32 32 32 32 32 32 32 32 32

.08 .04 .25 .28 .98 .57 .86 .48 .02 .60 .11 .52

5. Fysieke capaciteiten 5.1 5.2 5.3 5.4 5.5

-.18 .48 -.21 -.03 .09

1.04 1.03 .60 .53 .63

-1.00 2.69 -2.03 -.33 .83

32 32 32 32 32

.33 .01 .05 .74 .41

60

5.6 5.7 5.8 5.9 5.10 5.11 5.12 5.13

-.09 -.09 -.14 -.06 .04 .10 .00 -.06

.52 1.21 1.03 .66 .53 .76 .35 .56

-1.00 -.43 -.79 -.53 .44 .78 .00 -.63

32 32 32 32 32 32 32 32

.33 .67 .44 .60 .67 .44 1.00 .54

Tabel 6a. Verschillen in beoordelingen tussen beoordelaars met veel en weinig APK© en werkervaring Gemiddelde

SD

t

df

APK© algeheel

-3.03

2.83

-1.07

64

Sig. (2zijdig) .29

Subschalen 1. Algemene inschakelingsconditie 2. Sociaal en communicatief functioneren 3. Psychische stabiliteit 4. Cognitieve capaciteiten 5. Fysieke capaciteiten

-1.85 -2.38 -1.91 -9.25 .25

2.46 3.86 3.73 4.62 3.44

-.75 -.62 -.51 -2.00 .07

64 64 64 64 64

.46 .54 .61 .05 .94

.39 -.19 -.06 .06 -.11 .08 .13 .26 .08 .32 -.28 .12 .16

.25 .18 .24 .13 .17 .20 .17 .24 .20 .24 .21 .14 .18

1.53 -1.08 -.24 .45 -.67 .42 .73 1.08 .40 1.35 -1.30 .90 .89

64 64 64 64 64 64 64 64 64 64 64 64 64

.13 .29 .81 .65 .51 .68 .47 .29 .69 .18 .20 .37 .38

N=23 (veel ervaring) N=43 (weinig ervaring)

Items 1. Algemene inschakelingsconditie 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 1.10 1.11 1.12 1.13 2. Sociaal en communicatief functioneren

61

2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11

.06 .06 -.02 .01 .30 .13 .19 .14 .31 -.17 .05

.17 .20 .24 .20 .20 .22 .25 .26 .20 .16 .13

.35 .25 -.07 .05 1.48 .57 .78 .53 1.51 -1.13 .36

64 64 64 64 64 64 64 64 64 64 64

.73 .80 .94 .96 .14 .57 .44 .60 .14 .26 .72

3. Psychische stabiliteit 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13

.04 -.24 .03 .25 .15 .01 .08 .08 .08 .12 .39 .09 -.09

.27 .17 .24 .258 .26 .26 .25 .23 .15 .13 .20 .22 .25

.16 -1.45 .11 1.02 .60 .03 .33 .34 .53 .98 1.96 .42 -.37

64 64 64 64 64 64 64 64 64 64 64 64 64

.87 .15 .91 .31 .55 .98 .75 .74 .60 .33 .06 .68 .71

.20 .73 .35 .45 .26 .41 .36 .29 .04 .14 .33 .50

.16 .37 .26 .25 .19 .24 .25 .25 .26 .26 .19 .33

1.25 1.98 1.37 1.78 1.39 1.67 1.47 1.14 .17 .54 1.79 1.53

64 64 64 64 64 64 64 64 64 64 64 64

.22 .05 .18 .08 .17 .10 .15 .26 .87 .59 .08 .13

4. Cognitieve capaciteiten 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 4.11 4.12

62

5. Fysieke capaciteiten 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 5.10 5.11 5.12 5.13

-.72 .35 .06 .16 .09 -.14 .08 -.23 -.04 .04 .13 .11 -.02

.33 .21 .27 .23 .26 .19 .26 .24 .24 .24 .18 .20 .13

-2.20 1.61 .22 .69 .35 -.73 .31 -.96 -.17 .17 .74 .56 -.14

64 64 64 64 64 64 64 64 64 64 64 64 64

.03 .11 .83 .49 .73 .47 .76 .34 .87 .87 .46 .58 .89

Tabel 6b. Verschillen in beoordelingen tussen beoordelaars in gemengde paren met veel en weinig APK© en werkervaring N=22 APK© algeheel Subschalen 1. Algemene inschakelingsconditie 2. Sociaal en communicatief functioneren 3. Psychische stabiliteit 4. Cognitieve capaciteiten 5. Fysieke capaciteiten Items 1. Algemene inschakelingsconditie 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 1.10

Gemiddelde -1.50

SD 6.24

t -1.13

df 21

Sig. (2-zijdig) .27

-.44 -1.21 -1.01 -5.17 .31

6.53 10.92 7.36 12.22 7.56

-.31 -.52 -.64 -1.98 .19

21 21 21 21 21

.76 .61 .53 .06 .85

.23 -.18 .14 .00 -.18 .09 .14 .00 .14 .18

1.07 .91 .83 .93 .50 .68 .71 .69 .89 .59

1.00 -.94 .77 .00 -1.70 .62 .90 .00 .72 1.45

21 21 21 21 21 21 21 21 21 21

.33 6 .45 1.00 .10 .54 .38 1.00 .48 .16

63

1.11 1.12 1.13

-.18 .00 .09

.50 .44 .53

-1.70 .00 .81

21 21 21

.10 1.00 .43

2. Sociaal en communicatief functioneren 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11

-.09 .09 .05 -.05 .09 -.01 .09 .18 .18 -.05 .05

.53 .61 1.00 .90 .68 .47 .75 .73 .80 .38 .65

-.81 .70 .21 -.24 .62 -.14 .57 1.16 1.07 -.57 .33

21 21 21 21 21 21 21 21 21 21 21

.43 .49 .83 .82 .54 .89 .58 .26 .30 .58 .75

3. Psychische stabiliteit 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13

.24 -.09 .00 .36 .09 -.23 -.13 -.04 .00 .14 .32 .05 -.19

.73 .43 .82 .73 .61 .53 .86 .56 .31 .64 .72 .79 .96

1.56 -1.00 .00 2.35 .70 -2.02 -.68 -.31 .00 1.00 2.08 .27 -.94

21 21 21 21 21 21 21 21 21 21 21 21 21

.13 .33 1.00 .03 .49 .06 .50 .76 1.00 .33 .05 .79 .36

.16 .55 .23 .41 .12 .14 .18 .23

.49 1.18 .61 .73 .69 .71 1.05 .81

1.53 2.16 1.74 2.61 .79 .90 .81 1.31

21 21 21 21 21 21 21 21

.14 .04 .10 .02 .44 .38 .43 .20

4. Cognitieve capaciteiten 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8

64

4.9 4.10 4.11 4.12

-.24 .09 .27 .15

.75 1.02 .77 1.96

-1.52 .42 1.67 .36

21 21 21 21

.14 .68 .11 .73

5. Fysieke capaciteiten 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 5.10 5.11 5.12 5.13

-.41 .50 -.09 .09 .18 -.14 -.05 -.23 -.09 .14 .01 .05 -.14

1.05 1.06 .53 .43 .50 .64 1.00 .87 .61 .47 .81 .21 .56

-1.82 2.22 -.81 1.00 1.70 -1.00 -.21 -1.23 -.70 1.37 .11 1.00 -1.14

21 21 21 21 21 21 21 21 21 21 21 21 21

.08 .04 .43 .33 .10 .33 .83 .23 .49 .19 .91 .33 .27

Tabel 6c. Verschillen in beoordelingen tussen beoordelaars met weinig APK©/werkervaring N=31 APK© algeheel Subschalen 1. Algemene inschakelingsconditie 2. Sociaal en communicatief functioneren 3. Psychische stabiliteit 4. Cognitieve capaciteiten 5. Fysieke capaciteiten Items 1. Algemene inschakelingsconditie 1.1 1.2 1.3 1.4

Gemiddelde 1.98

SD 3.46

t 1.808

df 9

Sig. (2-zijdig) .10

2.31 3.23 .21 4.09 .07

3.37 6.66 5.80 7.06 9.02

2.17 1.53 .11 1.83 .02

9 9 9 9 9

.06 .16 .91 .10 .98

.20 -.60 .10 Geen standaard meetfout

.42 .97 .32

1.50 -1.96 1.00

9 9 9

.17 .08 .34

65

1.5 1.6 1.7 1.8 1.9 1.10 1.11 1.12 1.13 2. Sociaal en communicatief functioneren 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 3. Psychische stabiliteit 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13 4. Cognitieve capaciteiten 4.1

-.20 .20 -.30 Geen standaard meetfout .00 -.10 -.10 .10 -.20

.42 .42 .67

-1.50 1.50 -1.41

9 9 9

.17 .17 .19

.67 .57 .32 .32 .42

.00 -.56 -1.00 1.00 -1.50

9 9 9 9 9

1.00 .59 .34 .34 .17

.00 -.10 -.10 -.05 -.10 -.17 .00 -.10 -.20 -.30 -.30

.67 .57 .57 .50 .57 .45 .82 .88 .42 .48 .48

.00 -.56 -.56 -.32 -.56 -1.20 .00 -.36 -1.50 -1.96 -1.96

9 9 9 9 9 9 9 9 9 9 9

1.00 .59 .59 .76 .59 .26 1.00 .73 .17 .08 .08

.10 .20 .10 -.70 -.10 .06 -.13 .20 -.10 -.10 .12 .24

.57 .63 .57 .83 .32 .59 .32 .79 .32 .57 .79 .63

.56 1.00 .56 -2.69 -1.00 .31 -1.25 .80 -1.00 -.56 .47 1.21

9 9 9 9 9 9 9 9 9 9 9 9

.59 .34 .59 .03 .34 .76 .24 .44 .34 .59 .65 .26

.10

.32

1.00

9

.34

66

4.2

Geen standaard meetfout -.10 -.48 -.26 Geen standaard meetfout -.40 -.10 -.35 -.40 -.10 .29

4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 4.11 4.12 5. Fysieke capaciteiten 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 5.10 5.11 5.12 5.13

.30 .50 -.50 -.20 -.10 -.30 -.07 .10 -.07 .30 -.10 .10 .30

.57 .70 .52

-.56 -2.19 -1.61

9 9 9

.59 .06 .14

.70 .32 .57 .84 .32 .95

-1.81 -1.00 -1.92 -1.50 -1.00 .97

9 9 9 9 9 9

.10 .34 .09 .17 .34 .36

.95 1.08 .71 .63 .88 1.64 1.35 .74 .58 .67 .57 .57 .95

1.00 1.46 -2.24 -1.00 -.36 -.58 -.16 .43 -.36 1.41 -.56 .56 1.00

9 9 9 9 9 9 9 9 9 9 9 9 9

.34 .18 .05 .34 .73 .58 .88 .68 .73 .19 .59 .59 .34

Tabel 7b. Verschillen in beoordelingen tussen beoordelaars in gemengde paren met veel en weinig gespreksvaardigheden N=33 APK© algeheel Subschalen 1. Algemene inschakelingsconditie 2. Sociaal en communicatief functioneren 3. Psychische stabiliteit

Gemiddeld verschil .29

SD Verschil

t

df

Sig (2-zijdig)

4.96771

.24

15

.82

.36 -.82 -.31

6.21 9.70 7.02

.23 -.34 -.18

15 15 15

.82 .74 .86

67

4. Cognitieve capaciteiten 5. Fysieke capaciteiten

.80 1.43

7.92 9.91

.40 .58

15 15

.69 .57

Items 1. Algemene inschakelingsconditie 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 1.10 1.11 1.12 1.13

.19 -.31 .25 .19 -.13 .06 -.19 .00 .25 .06 -.13 .00 -.13

.66 .87 .86 .75 .50 .44 .83 .63 1.00 .57 .34 .37 .50

1.15 -1.43 1.17 1.00 -1.00 .57 .90 .00 1.00 .44 -1.46 .00 -1.00

15 15 15 15 15 15 15 15 15 15 15 15 15

.27 .17 .26 .33 .33 .58 .38 1.00 .33 .67 .16 1.00 .33

2. Sociaal en communicatief functioneren 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11

.06 .06 .00 -.03 .13 -.04 .13 .00 .19 -.19 .06

.57 .57 .97 .64 .72 .58 .89 .82 .66 .40 .68

.44 .44 .00 -.19 .70 -.30 .57 .00 1.15 -1.86 .37

15 15 15 15 15 15 15 15 15 15 15

.67 .67 1.00 .85 .50 .77 .58 1.00 .27 .08 .72

3. Psychische stabiliteit 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8

.33 .00 -.06 -.38 -.13 .04 -.31 -.05

.84 .63 .77 .87 .50 .46 .65 .76

1.58 .00 -.32 -1.70 -1.00 .32 -1.93 -.27

15 15 15 15 15 15 15 15

.14 1.00 .75 .11 .33 .76 .07 .79

68

3.9 3.10 3.11 3.12 3.13

Geen variantie .13 .31 .20 .08

.81 .79 .78 .69

.62 1.58 1.01 .48

15 15 15 15

.54 .14 .33 .64

4. Cognitieve capaciteiten 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 4.11 4.12

.28 .19 .13 -.30 -.19 -.06 -.38 .06 -.15 -.06 -.06 .20

.60 .75 .62 .69 .51 .25 .96 .57 .56 .93 .25 1.33

1.90 1.00 .81 -1.74 -1.53 -1.00 -1.57 .44 -1.09 -.27 -1.00 .60

15 15 15 15 15 15 15 15 15 15 15 15

.08 .33 .43 .10 .15 .33 .14 7 .29 .79 .33 .56

5. Fysieke capaciteiten 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 5.10 5.11 5.12 5.13

-.19 .44 -.25 -.19 -.13 -.13 -.19 -.10 -.13 -.10 .21 -.06 .06

1.33 1.15 .68 .54 .72 .34 1.42 1.25 .72 .51 .97 .44 .68

-.57 1.52 -1.46 -1.38 -.70 -1.46 -.53 -.34 -.70 -.82 .88 7 .37

15 15 15 15 15 15 15 15 15 15 15 15 15

.58 .15 .16 .19 .50 .16 .61 .74 .50 .43 .39 .58 .72

69

Tabel 7c. Verschillen in beoordelingen tussen beoordelaars met weinig gespreksvaardigheden N=17 APK© algeheel Subschalen 1. Algemene inschakelingsconditie 2. Sociaal en communicatief functioneren 3. Psychische stabiliteit 4. Cognitieve capaciteiten 5. Fysieke capaciteiten Items 1. Algemene inschakelingsconditie 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 1.10 1.11 1.12 1.13 2. Sociaal en communicatief functioneren 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11

Gemiddeld verschil -.82

SD verschil 6.36

t -.53

df 16

Sig (2-zijdig) .60

.79 .98 -.32 -4.76 -.79

5.57 10.02 7.12 13.75 5.14

.59 .40 -.19 -1.43 -.64

16 16 16 16 16

.57 .69 .86 .17 .53

.29 -.29 .06 -.18 -.24 .18 .18 -.06 -.12 .06 -.24 .12 .06

1.10 9 .56 .73 .44 .73 .53 .56 .60 .66 .56 .49 .56

1.10 -1.23 .44 -1.00 -2.22 1.00 1.38 -.44 -.81 .37 -1.73 1.00 .44

16 16 16 16 16 16 16 16 16 16 16 16 16

.29 .24 .67 .33 .04 .33 .19 .67 .43 .72 .10 .33 .67

-.12 .06 -.06 -.06 .00 -.14 .00 .18 .00 -.12 -.18

.60 .66 .83 .90 .61 .39 .61 .73 .79 .49 .53

-.81 .37 -.29 -.27 .00 -1.45 .00 1.00 .00 -1.00 -1.38

16 16 16 16 16 16 16 16 16 16 16

.43 .72 .77 .79 1.00 .17 1.00 .33 1.00 .33 .19

70

3. Psychische stabiliteit 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13 4. Cognitieve capaciteiten 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 4.11 4.12 5. Fysieke capaciteiten 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 5.10 5.11

.00 -.06 .06 .29 .24 -.18 .06 .12 -.06 -.06 .06 -.12 -.19

.50 .43 .75 .92 .56 .81 .75 .49 .43 .24 .56 .78 1.01

.00 -.57 .32 1.32 1.73 -.90 .32 1.00 -.57 -1.00 .44 -.62 -.76

16 16 16 16 16 16 16 16 16 16 16 16 16

1.00 .58 .75 .21 .10 .38 .75 .33 .58 .33 .67 .54 .46

.53 .12 .59 .18 .18 .29 .12 -.43 -.12 .47 .18

1.18 .60 .71 .73 .81 .92 .86 .79 1.05 .94 1.98

1.85 .81 3.41 1.00 .90 1.32 .57 -2.26 -.46 2.06 .37

16 16 16 16 16 16 16 16 16 16 16

.08 .43 .00 .33 .38 .21 .58 .04 .65 .06 .72

-.18 .53 -.18 .12 .29 -.06 .00 -.18 .00 .18 .00

.73 .94 .53 .49 .47 .66 1.00 .81 .61 .53 .50

-1.00 2.31 -1.38 1.00 2.58 -.37 .00 -.90 .00 1.38 .00

16 16 16 16 16 16 16 16 16 16 16

.33 .03 .19 .33 .02 .72 1.00 .38 1.00 .19 1.00

71

5.12 5.13

.06 -.18

.24 .39

1.00 -1.85

16 16

.33 .08

Tabel 8. Interbeoordelaarsbetrouwbaarheid van de APK© bij verschillende APK© en werkervaring beoordelaars

APK© algeheel

82.14

SD veel/ weinig 10.86

Subschalen 1. Algemene inschakelingsconditie 2. Sociaal en communicatief functioneren 3. Psychische stabiliteit 4. Cognitieve capaciteiten 5. Fysieke capaciteiten

83.70 82.45 83.04 78.99 82.50

9.33 11.46 13.48 18.02 14.67

85.77 84.23 85.18 89.98 82.73

8.28 17.61 14.36 12.35 8.62

.78 .63 .86 .79 .88

.92 .93 .92 .85 .57

Items 1. Algemene inschakelingsconditie 1.1 1.2 1.3 1.4

1.25 .45 .70 .14

.92 .49 .84 .44

.90 .60 1.15 .00

.70 .52 .82 .00

.50 .07 .61 -.05

1.5 1.6 1.7 1.8 1.9 1.10 1.11 1.12

.36 .45 1.07 1.05 .80 .95 .36 .14

.64 .65 .60 .80 .50 .82 .64 .28

.30 .40 1.05 .40 .80 .55 .65 .05

.54 .88 .50 .97 .92 .86 1.06 .16

.73 .57 .49 .69 .13 .77 .73 .23

1.13

.64

.64

.40

.66

.71

.83 .07 .93 Geen variantie .73 .89 .37 1.00 .77 .81 .96 Geen variantie .81

2. Sociaal en communicatief functioneren 2.1 2.2 2.3

.41 .45 .89

.48 .55 .79

.30 .65 .95

.48 .78 .98

.54 .54 .42

.36 .77 .85

N=22 veel/ weinig

Gemiddelde veel/weinig

N=10 weinig/ weinig

Gemiddelde weinig/ weinig 85.58

SD weinig/ weinig 9.21

ICC veel/ weinig .85

ICC weinig/ weinig .93

72

2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11

.70 .91 .86 1.14 1.23 .73 .16 .25

.55 .63 .86 .83 1.00 .61 .32 .43

.63 .55 .52 .90 1.25 .50 .45 .25

.92 .72 .78 1.02 .88 .75 .80 .35

.20 .54 .86 .66 .76 .41 .50 .27

.87 .73 .85 .73 .61 .85 .83 .36

3. Psychische stabiliteit 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9

.76 .18 .95 1.27 1.00 .75 .98 .56 .14

.86 .33 .83 .78 .90 .1.01 .96 .81 .44

1.05 .50 .85 1.15 .95 .53 .57 .40 .00

1.19 .97 .91 1.03 1.07 .89 .67 .81 .00

.70 .41 .61 .65 .79 .87 .67 .78 .78

.11 .48 .75 .88

.38 .59 .75 .79

.05 .25 .58 .82

.16 .49 .78 .98

.16 .46 .57 .46

.89 .81 .82 .72 .96 .80 .89 .62 Geen variantie .00 .49 .60 .81

.23 1.36 1.11 .84 .53 1.11 .68 .70 .80 .64 .32 .91

.68 1.38 1.02 .93 .78 .94 .87 .92 .98 .99 .59 .98

.05 .60 .75 .66 .17 .40 .20 .45 .33 .40 .25 .15

.16 1.26 .82 .78 .24 .70 .35 .76 .58 .70 .54 .47

.77 .69 .84 .73 .67 .75 .46 .67 .74 .58 .40 .00

.00 1.00 .79 .67 -.10 1.00 .00 .92 .62 .47 .84 -.01

.48

.97

1.35

1.50

.54

.82

3.10 3.11 3.12 3.13 4. Cognitieve capaciteiten 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 4.11 4.12 5. Fysieke capaciteiten 5.1

73

5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 5.10 5.11 5.12 5.13

.84 1.23 .68 .95 .43 .84 .66 .95 .57 .42 .75 .30

.61 1.05 .92 1.01 .50 .92 .84 .92 .95 .64 .75 .48

.85 .95 .40 1.05 .50 .65 .87 .85 .67 .15 .55 .15

.67 .86 .77 .93 1.08 .58 .74 .75 .77 .34 .80 .24

.13 .88 .90 .88 .41 .54 .58 .80 .89 .43 .96 .49

.21 .71 .71 .64 1.00 -.33 .09 .61 .75 .00 .78 -.16

Tabel 9. Interbeoordelaarsbetrouwbaarheid van de APK© bij verschillende APK© en werkervaring beoordelaars

APK© algeheel

82.80

SD veel/ weinig 11.92

Subschalen 1. Algemene inschakelingsconditie 2. Sociaal en communicatief functioneren 3. Psychische stabiliteit 4. Cognitieve capaciteiten 5. Fysieke capaciteiten

84.92 82.47 82.01 84.90 79.68

11.33 15.95 14.75 17.13 14.11

82.86 81.77 83.83 78.45 85.46

6.92 12.14 13.74 17.73 10.99

.86 .83 .89 .90 .78

.72 .73 .88 .75 .90

1.03 .53 1.06 .09

.92 .56 .81 .38

1.32 .50 .68 .09

.85 .43 .85 .36

.38 -.13 .81 .00

.31 .40 .97 .63 .81

.54 .74 .62 .94 .79

.35 .44 1.21 1.03 .82

.78 .25 .57 Geen variantie .65 .83 .38 .80 .43

N=16 veel/w einig

Items 1. Algemene inschakelingsconditie 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9

Gemiddelde veel/weinig

N=17 weinig/ weinig

Gemiddeld weinig/ weinig 82.48

SD weinig/ weinig 9.83

ICC weinig/ weinig .92

ICC weinig/ weinig .82

.66 .70 .53 .80 .50

.80 .58 .60 .79 .45

74

1.10 1.11 1.12 1.13

.72 .44 .13 .56

.89 .87 .29 .81

1.03 .53 .24 .62

.86 .74 .62 .49

.81 .93 .43 .83

.76 .72 .72 .54

.34 .66 1.06 .70 .75 .60 .94 1.31 .66 .34 .34

.54 .75 .98 .84 .68 .69 .93 .99 .77 .68 .44

.53 .50 .79 .68 .94 .93 1.24 1.21 .76 .24 .21

.65 .68 .66 .47 .77 .95 .85 .92 .69 .44 .40

.56 .74 .61 .75 .57 .70 .63 .71 .69 .84 .25

.60 .62 .44 .04 .74 .91 .77 .73 .51 .51 .39

1.10 .38 1.03 1.31 1.06 .77 .86 .59 .00

1.05 .79 .87 .93 1.03 1.08 .88 .95 .00

.71 .21 .85 1.15 1.00 .62 .79 .53 .32

.92 .36 .82 .77 .92 .84 .92 .72 .75

.87 .47 .67 .57 .81 .70 .72 .80 .85

3.10 3.11 3.12 3.13

.13 .53 .68 .68

.39 .64 .76 .76

.15 .44 .76 .88

.42 .79 .77 .72

.72 .72 .67 .63 .90 .91 .76 .73 Geen variantie -.04 .45 .58 .78

4. Cognitieve capaciteiten 4.1

.34

.79

.00

.00

.75

.84 1.00 .85 .31

1.34 .88 .89 .64

1.32 1.06 .82 .56

1.39 1.07 .97 .70

.85 .78 .74 .73

Geen variantie .70 .86 .71 .58

2. Sociaal en communicatief functioneren 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 3. Psychische stabiliteit 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9

4.2 4.3 4.4 4.5

.85 .78 .59 .34

75

4.6 4.7 4.8 4.9 4.10 4.11 4.12 5. Fysieke capaciteiten 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 5.10 5.11 5.12 5.13

.78 .44 .47 .49 .53 .28 .32

.95 .68 .76 .84 .88 .63 .60

1.03 .74 .88 .92 .59 .41 1.15

.89 .95 1.02 .99 .92 .64 1.13

.97 .34 .75 .80 .57 .93 -.10

.69 .66 .72 .69 .50 .22 .13

1.41 .78 1.06 .66 1.13 .56 .84 .95 1.06 .82 .36 .53 .41

1.39 .58 1.06 1.01 1.09 .95 .91 .85 .85 .97 .62 .78 .52

.09 .85 1.21 .53 .85 .32 .71 .50 .82 .44 .29 .79 .15

.36 .68 .92 .72 .82 .35 .73 .68 .86 .79 .53 .73 .29

.63 .00 .81 .87 .80 .94 .24 .30 .70 .87 .23 .85 .41

.00 .35 .85 .83 .85 .06 .37 .52 .79 .84 .64 .45 .38

Gesprek svaardig heden veel/wei nig

Aantal categori eën discrepa nties

Eigen oordeel beoordel aars problee m aanwezi g

Tabel 10. Interbeoordelaarsbetrouwbaarheid van de APK© bij verschillende condities Voormeti ng

Nametin g

APK© & werkerv aring veel/wei nig

APK© & werkerv aring veel/wei nig

Gesprek svaardig heden veel/veel

APK© algeheel

.87

.97

.85

.93

.92

.82

0

Subschalen 1. Algemene inschakelingsconditie 2. Sociaal en communicatief functioneren

.82 .79

.96 .92

.78 .63

.92 .93

.86 .83

.72 .73

0 0

Overeen komst discrepa nties en eigen oordeel

+ + +

-

76

3. Psychische stabiliteit 4. Cognitieve capaciteiten 5. Fysieke capaciteiten

.89 .81 .83

.97 .94 .94

.86 .79 .88

.92 .85 .57

.89 .90 .78

.88 .75 .90

0 0 1

.58 .07 .69 -.03

.83 .77 .92 1.00

.50 .07 .61 -.05

3 5 2 2

-

.74 .70 .46 .80 .43 .79 .83 .66

.81 .85 .83 .90 .77 .88 .93 .91

.73 .57 .49 .69 .13 .77 .73 .23

.78 .25 .57 Geen variantie .65 .83 .38 .80 .43 .81 .93 .43

.38 -.13 .81 .00

1.5 1.6 1.7 1.8 1.9 1.10 1.11 1.12

.80 .58 .60 .79 .45 .76 .72 .72

0 2 3 0 4 0 0 2

+ + + -

1.13

.72

.89

.71

.83 .07 .93 Geen variantie .73 .89 .37 1.00 .77 .81 .96 Geen variantie .81

.83

.54

1

2. Sociaal en communicatief functioneren 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11

.62 .69 .56 .49 .65 .84 .70 .72 .59 .71 .30

.77 .84 .81 .73 .82 .87 .85 .82 .72 .93 .74

.54 .54 .42 .20 .54 .86 .66 .76 .41 .50 .27

.36 .77 .85 .87 .73 .85 .73 .61 .85 .83 .36

.56 .74 .61 .75 .57 .70 .63 .71 .69 .84 .25

.60 .62 .44 .04 .74 .91 .77 .73 .51 .51 .39

2 1 3 3 2 0 0 0 3 2 5

3. Psychische stabiliteit 3.1 3.2 3.3 3.4

.79 .67 .67 .52

.85 .86 .78 .86

.70 .41 .61 .65

.89 .81 .82 .72

.72 .72 .67 .63

.87 .47 .67 .57

0 2 0 2

Items 1. Algemene inschakelingsconditie 1.1 1.2 1.3 1.4

+

-

+ + +

-

+ + + + + + +

+ + + + + + + + + + -

77

3.5 3.6 3.7 3.8 3.9

.84 .80 .72 .75 .86

.88 .92 .85 .89 .82

.79 .87 .67 .78 .78

.96 .80 .89 .62

.90 .91 .76 .73

3.10 3.11 3.12 3.13

.31 .63 .58 .58

.46 .82 .92 .91

4. Cognitieve capaciteiten 4.1

.74

4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 4.11 4.12 5. Fysieke capaciteiten 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 5.10 5.11 5.12 5.13

.81 .70 .72 .80 .85

0 0 0 0 0

+ + + + +

.16 .46 .57 .46

Geen variantie .00 .49 .60 .81

Geen variantie -.04 .45 .58 .78

.85 .78 .59 .34

5 3 4 3

+ +

.69

.77

.00

.75

1

.85 .78 .74 .73 .97 .34 .75 .80 .57 .93 -.10

Geen variantie .70 .86 .71 .58 .69 .66 .72 .69 .50 .22 .13

.77 .83 .66 .62 .81 .48 .74 .75 .53 .46 .17

.82 .93 .82 .83 .92 .75 .89 .87 .80 .82 .47

.69 .84 .73 .67 .75 .46 .67 .74 .58 .40 .00

1.00 .79 .67 -.10 1.00 .00 .92 .62 .47 .84 -.01

0 0 0 2 0 4 0 0 5 3 6

+

.68 .18 .83 .83 .80 .76 .29 .41 .74 .84 .38 .90 .42

.78 .63 .93 .85 .91 .85 .81 .79 .77 .82 .79 .98 .67

.54 .13 .88 .90 .88 .41 .54 .58 .80 .89 .43 .96 .49

.82 .21 .71 .71 .64 1.00 -.33 .09 .61 .75 .00 .78 -.16

.63 .00 .81 .87 .80 .94 .24 .30 .70 .87 .23 .85 .41

.00 .35 .85 .83 .85 .06 .37 .52 .79 .84 .64 .45 .38

2 5 0 0 0 2 5 5 0 0 4 1 5

+ +

+ +

-

+ + +

+ + +

+ + + + + + + + + + + + + + + -

78