860). New York: Longman. Perfetti, C.A. (1985). Reading ability. New York: Oxford University Press. Pressley, M., Harris, K.R., & Marks, M.B. (1992). But good strategy instructors are constructivists! Educational Psyschology Review, 4(1), 3-31. Rispens, J. (1990). Comprehension problems in dyslexia. In D.A. Balota, G.B. Flores d'Arcais & K. Rayner (Eds.), Comprehension processes in reading (pp. 603620). Hillsdale, NJ: Erlbaum. Roehler, L.R., & Duffy, G.G. (1991). Teachers' instructional actions. In R. Barr, M.L. Kamil, P.B. Mosenthal & P.D. Pearson (Eds.), Handbook of reading research (vol. 2, pp. 861-884). New York: Longman. Simons, P.R.J., & Verschaffel, L. (1992). Transfer: Onderzoek en onderwijs. Tijdschrift voor Onderwijsresearch, 17, 3-16. Smiley, S.S., Oakley, D.D., Wortrien, D., Campione, J.C., & Brown, A.L. (1977). Recall of thematically relevant material by adolescent good and poor readers as a function of written versus oral presentation. Journal of Educational Psychology, 69, 381-387. Stanovich, K.E. (1986). Matthew effects in reading: Some consequences of individual differences in the acquisition of literacy. Reading Research Quarterly, 21, 360-407. Stanovich, K.E. (1991). Word recognition: changing perspectives. In R. Barr, M.L. Kamil,
P.B. Mosenthal & P.D. Pearson (Eds.), Handbook of reading research (vol. 2, pp. 418452). New York: Longman. Stanovich, K.E., & Siegel, L.S (1994). Phenotypic performance profile of children with reading disabilities: A regression-based test of phonological-core variables-difference model. Journal of Educational Psychology, 86(1) 24-53. Sticht, T.G. (1979). Applications of the audread model to reading evaluation and instruction. In L.B. Resnick & P.A. Weaver (Eds.), Theory and practice of early reading. Hillsdale, NJ: Erlbaum. Sticht, T.G., Beck, L.J., Hauke, R.N., Kleinman, G.M., & James, J.H. (1974). Auding and reading. Virginia: Human Resources Research Organization. Sticht, T.G., & James, J.H. (1984). Listening and reading. In P.D. Pearson (Ed.), Handbook of reading research (Vol. 1, pp. 293318). New York: Longman. Tunmer, W.E., & Hoover, W.A. (1993). Components of variance models of languagerelated factors in reading disability: A conceptual overview. In R.M. Joshi & C.K. Leong (Eds.), Reading Disabilities: Diagnosis and component processes (pp. 135-173). Groningen: Kluwer. Veenman, S. (1992). E ffectieve instructie volgens het directe instructiemodel. Pedagogische Studiën, 69, 242-269.
ADRES VAN DE AUTEURS
drs. S. Brand-Gruwel & dr. C. Aarnoutse, Vakgroep Onderwijskunde Postbus 9104, 6500 HE Nijmegen.
dr. K.P. van den Bos, Vakgroep PEDOK, afdeling Orthopedagogiek Grote Rozenstraat 38, 9712 TJ Groningen.
398
KUN,
RUG,
H. J. PELZER, W. J. P. J. M. STEERNEMAN & E. E. J. DE BRUYN
Beoordeling ernst problematiek bij kinderen en jeugdigen: een landelijke consensuslijst SAMENVATTING
In dit artikel wordt de ontwikkeling van de Heerlense Ernst Taxatie Schaal (L-HETS) beschreven, een landelijke consensuslijst waarmee impliciete praktijkkennis over de beoordeling van de ernst van de problematiek bij kinderen en jeugdigen geëxpliciteerd wordt. De L-HETS stelt de klinicus in staat de ernst van de problematiek bij kinderen en jeugdigen op gestandaardiseerde wijze te beoordelen aan de hand van praktijkrelevante criteria. De L-HETS levert een directe bijdrage aan de verhoging van de systematiek van het diagnostisch handelen in de praktijk.
1
Inleiding
Bij de Regionale Instellingen voor Ambulante Geestelijke Gezondheidszorg (Riagg's) in Nederland worden jaarlijks circa 79.000 kinderen en jeugdigen aangemeld. In al deze gevallen wordt aandacht besteed aan de beoordeling van de ernst van de problematiek. Oordelen over de ernst van de problematiek spelen een rol bij zaken als selectie van cliënten bid aanname, urgentiebepaling voor behandeling, vaststellen van de noodzaak voor uitgebreid psychodiagnostisch en psychiatrisch onderzoek en inschatting van de haalbaarheid van behandeling. In eerdere publikaties (Pelzer, Steerneman & De Bruyn, 1994; Steerneman, Pelzer & De Bruyn,
399
1993) hebben de auteurs een aantal kwesties aangaande het beoordelen van de ernst van de problematiek van de individuele cliënt aan de orde gesteld. Deze kwesties worden hier kort opgesomd. In de praktijk van de ambulante hulpverlening is er nauwelijks sprake van een gestandaardiseerde, algemeen aanvaarde procedure om de ernst van problematiek vast te stellen. Dezelfde situatie wordt aangetroffen in de onderzoeksliteratuur. Bovendien is er op de bestaande instrumenten vanuit het standpunt van standaardisering het nodige op te merken. Tenslotte is er het meer fundamentele probleem van het gebrek aan consensus over wat onder de ernst van de problematiek verstaan wordt. Gelet op het belang van het beoordelen van de ernst van de problematiek voor tal van klinische beslissingen is hier sprake van een hoogst ongewenste situatie. De auteurs zijn van mening dat bijdragen aan het opheffen van de boven geschetste ongewenste situatie op twee manieren kan gebeuren. De eerste, traditionele manier is het ontwikkelen en valideren van een instrument waarin de lastige conceptuele en empirische kwesties rond het vaststellen van de ernst van de problematiek worden aangepakt. Gelet op de ingewikkeldheid van het concept ernst en de complexiteit van de theoretische veronderstellingen is dit noodzakelijkerwijs een werk van lange duur. Het werk van Scholte
TIJDSCHRIFT VOOR ORTHOPEDAGOGIEK, 34 (1995) 399-409
(1993) aan de Vragenlijst voor Psychosociale en Pedagogische Situaties (vsPs) kan als een voorbeeld van een waardevolle bijdrage in deze richting worden opgevat. De tweede aanpak is pragmatisch. De praktici zelf trachten tot overeenkomst te komen over de criteria voor ernst van de problematiek en over de wijze waarop die criteria kunnen worden toegepast. Anders uitgedrukt, men tracht tot afspraken te komen over een standaardlijst van criteria en over de vorm en inhoud van de schalen waarop ieder criterium wordt beoordeeld. Het voordeel van deze aanpak is, dat een bijdrage tot standaardisering op korte termijn wordt bereikt waarbij gebruik wordt gemaakt van de veelal impliciete praktijkkennis. De Heerlense Ernst Taxatie Schaal (HETS) (Steerneman, Pelzer & De Bruyn, 1993) werd vanuit pragmatische invalshoek ontwikkeld. De HETS kan worden getypeerd als een instrument dat klinici in staat stelt op gestandaardiseerde wijze de ernst van problematiek bij kinderen en jeugdigen te beoordelen aan de hand van praktijkrelevante criteria. De noodzakelijke volgende stap heeft betrekking op de realisering van het einddoel: het beschikbaar stellen van een landelijk bruikbare praktijkschaal. In dit artikel wordt eerst de ontwikkeling van de HETS samengevat weergegeven. Vervolgens wordt de ontwikkeling van de landelijke versie van de HETS (L-HETS) beschreven en worden de resultaten besproken. In de discussie worden de HETS en de LHETS inhoudelijk met elkaar vergeleken waarbij ook de vergelijking met in de literatuur vermelde criteria voor ernst wordt betrokken.
2
Ontwikkeling
HETS
De HETS werd geconstrueerd om op systematische wijze gebruik te kunnen 400
maken van de klinische kennis en ervaring die de leden van een intaketeam bij de inschatting van de ernst van de problematiek van de cliënt inbrengen. Aan het onderzoek werd in de loop van twee jaar deelgenomen door het intake-team van de afdeling Jeugdzorg van de Regionale instelling voor Ambulante Geestelijke gezondheidszorg Oostelijk Zuid Limburg (Riagg ozL) te Heerlen. De uitkomst van het onderzoek was een schaal die de impliciete consensus binnen het team over criteria voor ernst en de wijze waarop die beoordeeld moest worden, weerspiegelde. De constructie van de HETS was gebaseerd op twee onderzoeken. In een eerste onderzoek lag het accent op het inventariseren en formuleren van ernstcriteria. In individuele sessies met de betrokken medewerkers van de afdeling Jeugdzorg werden aan de hand van Riagg-dossiers die ernstige problematiek representeerden, ernstcriteria geëxpliciteerd. Vervolgens werden die criteria aan de betreffende medewerkers voorgelegd met de vraag op een vijfpuntsschaal het belang aan te geven dat aan de afzonderlijke criteria werd gehecht voor de vaststelling van de ernst van de problematiek. Daaruit werden die criteria geselecteerd waarover met betrekking tot het belang dat aan de criteria werd toegekend consensus bestond. Deze criteria werden opgenomen in een eerste lijst van ernstcriteria. Tenslotte werden voor elk van de geselecteerde criteria itemschalen geformuleerd om zodoende binnen elk criterium een ernstgradatie te kunnen aanbrengen. De itemschalen werden door de betrokken Riagg-medewerkers in een groepssessie op basis van consensus vastgesteld. In een tweede onderzoek werd de stabiliteit van de criteria en de daarbij behorende beoordelingsschalen over tijd en setting
gecontroleerd. Daartoe werden de oorspronkelijke criteria uit het eerste onderzoek voorgelegd aan zes medewerkers van de Riagg, afdeling Jeugdzorg en aan zes medewerkers van een regionaal diagnostisch centrum in Oostelijk Zuid Limburg. Ten aanzien van de selectie van de criteria werden dezelfde uitgangspunten gehanteerd als bij het eerste onderzoek. Door vergelijking van gegevens van beide onderzoeken werd een tweede versie van de Heerlense E rn st Taxatie Schaal samengesteld, welke uit 21 criteria en daarbij behorende beoordelingsschalen bestaat. Bij voorgaande onderzoeken werden enkele kritische kanttekeningen geplaatst (Steerneman e.a., 1993) die betrekking hadden op mogelijke vertekeningen in de samenstelling van de criteriumlijst. Een eerste kanttekening betrof de wijze waarop de criteria waren opgevraagd. De deelnemers was een set van in gradatie verschillende ernstige problematieken voorgelegd. Zij moesten aangeven welke criteria zij hanteerden om tussen deze casussen te onderscheiden in ernst van de problematiek. Dit kan geleid hebben tot het selecteren van criteria die enkel onderscheidend zijn voor ernstige problematiek, en tot het weglaten van criteria die toelaten onderscheid te maken tussen ernstige en minder ernstige problematiek. Een tweede kanttekening betrof het lokale karakter van het onderzoek. De twee onderzoeken werden uitgevoerd binnen één enkel Riagg en de deelnemers aan beide onderzoeken waren gedeeltelijk dezelfden. Dat kan geleid hebben tot een geheel van criteria en daarbij behorende beoordelingsschalen dat niet representatief is voor de Riagg's in het algemeen. Een derde kanttekening betrof het feit, dat de consensusoordelen werden verkregen in groepssessies. Het is niet uit te sluiten dat de consensusoordelen afgedwongen 401
THEORIE EN ONDERZOEK
kunnen zijn onder druk van de status van bepaalde disciplines of onder invloed van factoren als tijdsdruk en werkbelasting. Dit kan geleid hebben tot een selectie van criteria op basis van vermeende en niet feitelijk onderliggende overeenkomst tussen de oordelen van de teamleden.
3
Ontwikkeling
L-HETS
In het voorliggende onderzoek werd met bovengenoemde kanttekeningen rekening gehouden vanuit de doelstelling te komen tot een landelijk bruikbare ernsttaxatieschaal. Om de selectiviteit op basis van beperkt onderscheidend vermogen van de criteria (eerste kanttekening) te ondervangen werden de criteria uitgelokt aan de hand van casussen die de hele breedte van de aangemelde problematiek van de Riagg-Jeugdzorg bestrijken. Om lokale effecten uit te sluiten (tweede kanttekening) werd een steekproef van meerdere Riagg's gespreid over het land in het onderzoek betrokken. Om oneigenlijke consensusvorming te voorkomen (derde kanttekening) werd bij de formulering van de criteria en beoordelingsschalen gebruik gemaakt van de Delphi-procedure (Bastiaensen & Robbroeckx, 1994) . Overeenkomstig het vorige onderzoek gaat het in dit onderzoek om criteria en daarop aansluitende beoordelingsschalen om de ernst van problematiek van kinderen in de leeftijd van 0 tot 16 jaar in te kunnen schatten. Omdat het onderzoek een landelijk karakter heeft en de Delphimethode tijdrovend is werd een gestratificeerde onderzoeksaanpak gekozen. Van de betrokken Riagg's werden de uitvoerende medewerkers (leden van het intake-team) betrokken bij het uitlokken van de criteria en het beoordelen van het belang van de voorliggende criteria voor de
beoordeling van e rn st. De betrokken afdelingshoofden participeerden in de Delphi-procedure om te komen tot een formulering van beoordelingsschalen.
3.1
METHODE
Deelnemers Om de representativiteit van de Riagg-steekproef te garanderen werd, rekening houdend met de geografische spreiding over Nederland, 10% (6) van het totale aantal Riagg's (59) in het onderzoek betrokken. De directies van de betrokken Riagg's werden via de directie van de initiatiefnemende Riagg Oostelijk Zuid Limburg (ozL) schriftelijk tot deelname aan het onderzoek uitgenodigd. Allen reageerden positief De deelnemende Riagg-afdelingen Jeugdzorg zijn Assen (Bureau Meppel), Breda, Den Bosch, Groningen, Roermond en Rotterdam Noord-Oost. Aan het onderzoek hebben per Riagg, het afdelingshoofd en vijf uitvoerende medewerkers van het intake-team deelgenomen. De uitvoering van het onderzoek werd voorbereid in individueel overleg tussen de afdelingshoofden en de twee eerste auteurs. Alle afdelingshoofden bleken groot belang te hechten aan de beoordeling van de ernst van de problematiek als een van de sleutelcomponenten in de diagnostische besluitvorming. Casussen Het uitlokken van de criteria (zie procedure) gebeurde aan de hand van casussen. Deze casussen waren afkomstig uit het cliëntenbestand van de deelnemende Riagg's van 1990, 1991 en 1992. Per Riagg werd voor ieder van de maanden (behoudens juni, juli en augustus) op toeval één casus getrokken. De casussen werden geanonimiseerd en het gedeelte van de indicatiestelling werd verwijderd Zo 402
ontstond per Riagg een uitlokkingsbestand van 27 casussen.
3.2
PROCEDURE
In het onderzoek werden aan de hand van de casussen ernstcriteria geïnventariseerd. Vervolgens werden die criteria geselecteerd die door medewerkers van de zes Riagg's van belang werden geacht voor het beoordelen van de ernst van de problematiek. In een derde stap werden tenslotte door de afdelingshoofden de bij de criteria behorende beoordelingsschalen geformuleerd. Ieder van deze substappen wordt hieronder toegelicht. Uitlokken criteria Ieder van de 30 medewerkers werd schriftelijk gevraagd de 27 casussen individueel over drie gradaties van ernst (minder ernstig, ernstig en zeer ernstig) te verdelen, 9 casussen per categorie. Daarnaast dienden zij schriftelijk de criteria aan te geven die bij het maken van het onderscheid tussen deze categorieën een rol hadden gespeeld. Eveneens werd hun gevraagd overwegingen die bij het hanteren van de criteria een rol hadden gespeeld op papier te zetten. De onderzoekers hebben dit materiaal op synonymie en overlappingen gecontroleerd. In geval van twijfel werd telefonisch contact met de betrokken medewerker(s) opgenomen. Selectie criteria Ieder van de 30 medewerkers kreeg een lijst van voorlopige criteria toegestuurd. De volgorde van de criteria op de lijst werd per medewerker op toeval vastgelegd. Aan de medewerkers werd gevraagd individueel op een vijfpuntsschaal aan te geven hoe belangrijk zij elk criterium vonden voor het beoordelen van de ernst van de problematiek. De
schaal liep van geheel onbelang rijk (1) naar geheel belang ri jk (5). Een criterium werd in de volgende ronde meegenomen als minstens 80% van de individuele medewerkers (24 op 30) een score van 4 of 5 had toegekend. Formuleren beoordelingsschalen Zes afdelingshoofden participeerden in de Delphi-procedure. In een dergelijke procedure worden deskundigen geconfronteerd met elkaars kennis en standpunten, waarbij getracht wordt geleidelijk tot een gefundeerde en gemeenschappelijke stellingname te komen (De Hoog, Stroomberg & Van der Zee, 1980). De conventionele Delphimethode bestaat doorgaans uit d rie schri ftelijke vragenronden. In dit onderzoek is gekozen voor twee vragenronden en een evaluatieronde. Deze procedure bleek afdoende. In de eerste vragenronde is de afzonderlijke afdelingshoofden gevraagd bij ieder c riterium een beoordelingsschaal te formuleren. Deze schaal diende te bestaan uit in eigen bewoordingen omschreven ankerpunten die een verschillende mate van ernst uitdrukten. De antwoorden van de afdelingshoofden werden door de onderzoekers voor de presentatie in de tweede vragenronde geïnspecteerd. Ook werden amendementen van de afdelingshoofden genoteerd. Bij onduidelijkheid werd met het betreffende afdelingshoofd telefonisch contact opgenomen. In de tweede vragenronde werden de overeenkomsten in de formule ri ngen zo nauwkeu rig mogelijk en volledig mogelijk aan de afdelingshoofden voorgelegd. De hoofden werd gevraagd of zij het met de formule ri ng van de beoordelingsschalen eens of oneens waren. Tevens werd hun gevraagd hun oordelen toe te lichten en eventueel voorstellen voor alte rn atieve formule ri ngen te doen. Bij onduidelijkheid in de 403
THEORIE EN ONDERZOEK
antwoorden werd opnieuw telefonisch contact opgenomen met de betrokken hoofden. De resulterende overeenkomstige formuleringen zijn door de onderzoekers in een lijst vastgelegd. Delphi-criteria De Delphi-procedure kan repercussies hebben voor de selectie en de formulering van criteria. De aard van de Delphi-procedure brengt met zich mee dat het proces van het genereren van formuleringen voor beoordelingsschalen geheel aan de afdelingshoofden wordt overgelaten. Tijdens het formuleren van de schalen staat het de hoofden vrij om de problemen die zij hierbij ondervinden k ri tisch terug te koppelen naar de inhoud van het c ri te ri um. Vanuit deze terugkoppeling is het denkbaar dat zij wijzigingen willen aanbrengen in het voorgestelde c ri te ri um of zelfs alte rn atieve c ri te ri a willen voorstellen. Vooraf werd beslist om dergelijke geamendeerde of alte rn atieve c ri te ri a ook in het verdere verloop van de procedure mee te laten doen. Ter onderscheiding van de aanvankelijk aangeboden c ri te ri a zullen deze c ri te ri a verderop als Delphi-c ri te ri a worden aangeduid. Uiteraard werd ook voor deze c ri te ri a gepoogd in de loop van de verdere procedure consensusformuleringen van beoordelingsschalen op te stellen.
4
Resultaten
4.1
DE CRITERIA
De uitlokkingsprocedure aan de hand van casussen die de hele breedte van de aangemelde problematiek bij de Riagg-Jeugdzorg best ri jken leverde 62 cri teria op voor de beoordeling van de ernst van de problematiek. Op grond van de in de procedure beschreven selectieregel werden uiteindelijk 29 c rite ri a geselecteerd die
door minstens 80% (24 op 30) van de medewerkers belangrijk (4) tot zeer belangrijk (5) werden geacht voor de TAB E L 1
1 2 3 4 5 6 7 8 9 10 11 12 13
14 15 16 17 18 19 20 21 22 23 24. 25 26 27 28 29
Percentage deelnemers (N = 30) dat de aanvankelijk geselecteerde criteria belangrijk (4) tot zeer belangrijk vindt (5)
Mate waarin de cliënt ervaart invloed te hebben op het probleemgedrag Scheefgroei in de ontwikkeling van het kind Prognose van het ontwikkelingsverloop van het kind Pathologie van het gezinssysteem Zeer vroege ontstaansgeschiedenis van het probleem Mate waarin de ontwikkeling van het kind is bedreigd Intensiteit van het probleemgedrag Perceptie van ouder/kind t.a.v. het probleemgedrag Mate van pedagogische en affectieve verwaarlozing Cumulatie van stressfactoren in het gezin Seksuele problematiek Duur van de problemen Aantal terreinen van psychologisch functioneren, waarop probleemgedrag voorkomt Traumatische ervaringen van het gezin/kind Het bestaan van meerdere ziektebeelden naast elkaar Sociale contacten met leeftijdsgenoten Aantal situaties waarin het probleemgedrag voorkomt De hardnekkigheid van het probleemgedrag Psychiatrische symptomatologie bij het kind Cumulatie van stressfactoren Pedagogische mogelijkheden van de ouders Bedreigend karakter van probleemgedrag voor kind/omgeving Stabiliteit van de gezinscontext Motivatie ouders en kind voor hulpverlening Belaste ontwikkelingsgeschiedenis van het kind Lijdensdruk van het kind E ff ect van de aandoening voor het dagelijks functioneren Draagkracht/draaglastverhouding van het gezin Psychiatrische problematiek van de ouders
404
%4
%5
63.33 66.67
16.67 16.67
60.00 30.00
33.33 70.00
40.00
56.67
80.00 70.00
3.33 10.00
43.33
53.33
66.67 70.00 46.67 53.33
23.33 13.33 50.00 40.00
70.00 70.00
23.33 23.33
66.67 63.33
20.00 20.00
63.33 60.00 66.67 86.67 46.67
30.00 40.00 23.33 6.67 46.67
63.33 53.33 53.33
30.00 26.67 43.33
46.67 76.67
33.33 10.00
63.33
30.00
60.00 60.00
33.33 33.33
vaststelling van de ernst van de problematiek. In Tabel 1 wordt de lijst van geselecteerde criteria gepresenteerd. Per item wordt het percentage van de medewerkers aangegeven dat het betreffende item belangrijk (4) of zeer belangrijk (5) acht voor de vaststelling van de ernst van de problematiek. In de eerste schriftelijke ronde werden door de afdelingshoofden op deze lijst van criteria 9 Delphi-criteria voorgesteld als toevoegingen en aanvullingen op de bestaande 29. In de tweede vragenronde konden de afdelingshoofden bij de 38 (29 + 9) aan hen voorgelegde criteria het niet eens worden over de formulering van de beoordelingsschalen van 12 criteria; 4 van deze criteria betroffen de zogenaamde Delphi-criteria. In een telefonische evaluatieronde werd over twee criteria toch consensus bereikt doordat deze criteria gecombineerd bleken te kunnen worden in een overkoepelend criterium, te weten `de mate waarin de ontwikkeling van het kind wordt bedreigd'. Daarnaast werd voorgesteld een criterium te splitsen in twee criteria, te weten `de percepties van de ouders ten aanzien van het probleemgedrag' en `de percepties van het kind ten aanzien van het probleemgedrag'. Tevens werden een aantal van de oorspronkelijk aangeboden criteria uit de eerste vragenronde verworpen bij gebrek aan consensus over de formulering van de beoordelingsschalen in de tweede vragenronde. Evenzo werden een aantal criteria aangescherpt, bijgesteld en aangevuld vanuit de optiek van de constructie van de beoordelingsschalen. Het gegeven dat de resulterende lijst na de Delphi-procedure evenals de oorspronkelijke lijst van de medewerkers uit de uitlokkingsprocedure 29 criteria bevat is toevallig te noemen. In Tabel 2 wordt de lijst van criteria genoemd waarover wel consensus bestond ten aanzien van het
TABEL 2
Verworpen criteria bij gebrek aan consensus over de
4.3
EEN VOORBEELD
formulering van de beoordelingsschalen
1 2 3 4 5 6 7 8 9
Mate waarin er sprake is van pedagogische en affectieve verwaarlozing Aantal terreinen waarop het probleemgedrag voorkomt Hardnekkigheid van het probleemgedrag Cumulatie van stressfactoren in het gezin Corresponderen de percepties over het probleemgedrag met die van de hulpverlener Zijn de percepties van de ouders van invloed op het probleemgedrag Het stresserend effect van stressfactoren Life-events Verstoring van de ontwikkeling voor het derde levensjaar
belang ervan voor de beoordeling van de problematiek, maar die bij gebrek aan consensus over de formuleringen van de beoordelingsschalen niet in de L-HETS voorkomen.
4.2
DE BEOORDELINGSSCHALEN
In de eerste schriftelijke vragenronde bleken de afdelingshoofden het eens te zijn over de formulering van 10 beoordelingsschalen. In de tweede vragenronde werd consensus bereikt over nog eens 16 criteria en daarbij behorende beoordelingsschalen Zoals reeds vermeld in de vorige paragraaf werd in een derde telefonische vragenronde consensus bereikt over drie criteria en daarbij behorende schalen Zo ontstond uiteindelijk consensus over de formulering van beoordelingsschalen bij 29 criteria. In Tabel 3 staat aangegeven op welk onderdeel van de onderzoeksprocedure de consensus van de formulering van de beoordelingsschalen betrekking heeft. (Zie volgende pagina)
405
THEORIE EN ONDERZOEK
Ter illustratie van het tot stand komen van consensus over criteria en beoordelingsschalen via de Delphi-methode wordt hieronder een voorbeeld gegeven. Het gaat om het criterium `scheefgroei in de ontwikkeling van het kind' (Tabel 1, criterium 2) . Het bovengenoemde criterium werd in de eerste vragenronde door de afdelingshoofden zonder meer overgenomen. Zij verschilden evenwel ten aanzien van de formulering van de beoordelingsschalen. Vijf afdelingshoofden formuleerden de bij dit criterium behorende beoordelingsschaal in `ja of nee scheefgroei' met als respectievelijke ankerpunten 1 en 0. Een van de afdelingshoofden betrok in de beoordeling van dit criterium de terreinen van functioneren waarop de scheefgroei betrekking heeft: motorisch, emotioneel, cognitief en sociaal. Het aantal terreinen waarop van scheefgroei sprake is bepaalde de uiteindelijke score op dit criterium. In de tweede vragenronde werd door een aantal afdelingshoofden gewezen op de overeenkomst tussen twee criteria in de lijst namelijk `is er sprake van scheefgroei in de ontwikkeling van het kind' en `de mate waarin de ontwikkeling van het kind wordt bedreigd'. In de telefonische evaluatieronde werd besloten beide criteria te combineren tot `de mate waarin de ontwikkeling van het kind wordt bedreigd'. Voorgesteld werd ook de beoordelingsschalen van beide criteria te combineren tot de volgende beoordelingsschaal: 1 ja scheefgroei motorisch 0 nee 1 ja scheefgroei emotioneel 0 nee 1 ja scheefgroei cognitief 0 nee 1 ja scheefgroei sociaal 0 nee
TABEL 3
Verdeling van de uiteindelijke criteria van de
L-HETS
naar moment van consensus
Nieuwe criteria eerste Delphi -ronde
Consensus eerste Delphi -ronde
Criteria
Mate waarin cliënt ervaart invloed te hebben op het probleem 2 Mate waarin de ontwikkeling van het kind wordt bedreigd 3 Prognose van het ontwikkelingsverloop 4 Pathologie van het gezinssysteem 5 Zeer vroege ontstaansgeschiedenis van het probleem 6 Mate van verwaarlozing 7 Intensiteit van het probleemgedrag 8 Frequentie van het probleemgedrag 9 Percepties van de ouders ten aanzien van het probleemgedrag 10 Percepties van het kind ten aanzien van het probleemgedrag Cumulatie van stressfactoren 11 12 Is de problematiek fase-specifiek 13 Duur van de problemen 14 Aantal terreinen waarop het probleemgedrag voorkomt 15 Traumatische ervaringen van het kind 16 Bestaan van meerdere ziektebeelden 17 Sociale contacten met leeftijdsgenoten 18 Psychiatrische symptomatologie bij het kind 19 Pedagogische mogelijkheden van de ouders 20 Vormt het probleemgedrag een bedreiging voor het kind en zijn omgeving 21 Stabiliteit van de gezinscontext 22 Motivatie van ouders en/of kind voor hulpverlening 23 Inzicht van ouders en kind in het probleemgedrag 24 Belaste ontwikkelingsgeschiedenis van het kind 25 Lijdensdruk van het kind 26 Effect van het probleem op het dagelijks functioneren 27 Invaliderend karakter van het probleemgedrag 28 Draagkracht/draaglastverhouding 29 Psychiatrische problematiek van de ouders
Consensus tweede Delphi -ronde
1
X X X
X
X X
X
X X X
X X X X X X X X X X
Noot: De beoordelingsschalen kunnen bij de eerste auteur worden opgevraagd.
4.4
CRITERIA L-HETS EN HETS
Tenslotte wordt zowel de overeenkomst als het verschil tussen de inhoud van de HETS als de L-HETS weergegeven. In Tabel 4 wordt 406
aangegeven welke criteria in de HETS en de L-HETS zijn geselecteerd op grond van consensus zowel met betrekking tot het belang van het criterium als met betrekking tot de formulering van de itemschalen.
TABEL 4
Items van de
HETS
en de
L-HETS
NETS *
1 Duur van de problemen 2 Aanvangstijdstip van de problemen 3 Situatiespecificiteit 4 Zelfredzaamheid 5 Realiteitszin 6 Traumatische ervaringen 7 Aantal gedragsproblemen 8 Ontwikkelingsverloop: emotioneel 9 Ontwikkelingsverloop: somatische ingrepen 10 Fase-specifieke problemen bij separatie 11 Sociale contacten met lee ft ijdgenoten 12 Sociale contacten met volwassenen 13 Constantheid van omgevingsfactoren 14 Discrepantie in opvoedingsstijl tussen opvoeders 15 Pedagogisch klimaat 16 Pedagogische mogelijkheden van de opvoeders 17 Individuele problematiek bij de opvoeder(s) 18 Persoonlijkheid van de opvoeder(s) 19 Problemen op generatieniveau 20 Gezinsgeschiedenis 21 Andere hulpverleningsinstanties momenteel of in het verleden bij de hulpverlening betrokken
L- H ETS
1 Mate waarin de cliënt invloed heeft op het probleemgedrag 2 Mate waarin de ontwikkeling van het kind wordt bedreigd 3 Prognose van het ontwikkelingsverloop 4 Pathologie van het gezinssysteem 5 Zeer vroege ontstaansgeschiedenis van het probleem 6 Mate van verwaarlozing 7 Intensiteit van het probleemgedrag 8 Frequentie van het probleemgedrag 9 Percepties van de ouders ten aanzien van het probleemgedrag 10 Percepties van het kind ten aanzien van het probleemgedrag 11 Cumulatie van stressfactoren 12 Is de problematiek fasespecifiek? 13 Duur van de problemen 14 Aantal terreinen waarop het probleemgedrag voorkomt 15 Traumatische ervaringen van het kind 16 Bestaan van meerdere ziektebeelden 17 Sociale contacten met leeftijdgenoten 18 Psychiatrische symptomatologie bij het kind 19 Pedagogische mogelijkheden van de ouders 20 Vormt het probleemgedrag een bedreiging voor het kind en zijn omgeving 21 Stabiliteit van de gezinscontext 22 Motivatie van de ouders en/of het kind voor hulpverlening 23 Inzicht van ouders en kind in het probleemgedrag 24 Belaste ontwikkelingsgeschiedenis van het kind 25 Lijdensdruk van het kind 26 Effect van het probleemgedrag op het dagelijks functioneren 27 Invaliderend karakter van het probleemgedrag 28 Draagkracht/draaglastverhouding 29 Psychiatrische problematiek van de ouders
* De oorspronkelijke volgorde van de HETS-items is aangehouden.
De uitbreiding van de L-HETS ten opzichte van de HETS is deels te verklaren doordat nieuwe criteria in de L-HETS zijn opgenomen. Het
407
THEORIE EN ONDERZOEK
betreft de criteria 1, 4, 6, 7, 11, 16, 18, 20, 22, 25 en 26. Deels zijn criteria in de L-HETS opgenomen door amendementen en wijzigingen via de
vragenronden met de afdelingshoofden. Het betreft de criteria 8, 9, 10, 23, 27 en 28. De criteria, waarbij de inhoudelijke omschrijving of de beoordelingsschalen overeenkomen met de criteria van de HETS betreffen de criteria 2, 3, 5, 12, 13, 14, 15, 17, 19, 21, 24 en 29.
5
Discussie
Het hier gerapporteerde onderzoek werd opgezet als een controle op het itembestand van de HETS. Om vertekeningen in de selectie en de formule ri ng van de items tegen te gaan werd de beoordeling van zowel ernstige als minder ernstige problematiek in het onderzoek betrokken en werd het onderzoek uitgevoerd op een representatief te achten steekproef van de Riagg in Nederland. Terugblikkend op het item-bestand van de HETS (Steerneman, Pelzer & De Bruyn, 1993) kan vastgesteld worden dat op basis van het landelijke onderzoek het aantal beoordelingsschalen kon worden opgevoerd tot 29 De 21 HETs-criteria vormden één derde van de 63 c ri teria die aanvankelijk in het huidige onderzoek werden betrokken. In de lijst van 29 L-HETS-criteria bleven uiteindelijk 12 HETs-criteria behouden Dit resultaat demonstreert tegelijkertijd de robuustheid van de resultaten van de HETS (ongeveer de helft van de c ri teria blijft overeind die op hun beurt ongeveer de helft van de L-HETS uitmaken) als de noodzaak van het landelijk onderzoek (de helft der LHETS-criteria is nieuw) . Ten aanzien van de robuustheid van de lokale HETs-resultaten kan nog het volgende worden opgemerkt. De HETs-criteria die niet behouden bleven waren criteria waarover wel eensgezindheid bestond qua inhoud en formule ri ng in de Riagg Heerlen. Op grond hiervan kan men de 408
veronderstelling formuleren dat ook voor de andere Riagg's een dergelijk resultaat niet denkbeeldig is. Hierop doordenkend zou men bovendien de veronderstelling kunnen uiten dat consensuskennis over criteria ter beoordeling van de ernst van problematiek in twee bestanden is op te delen: algemene consensus (vast te stellen op basis van een landelijke steekproef) en instellingskennis (consensus binnen de instelling die afwijkt van de algemene kennis) . Het is van belang hierbij op te merken dat instellingskennis niet per definitie onbruikbaar hoeft te zijn. Alleen als de populatie cliënten van alle instellingen dezelfde is moet instellingsvariantie ten aanzien van ernstcriteria als foutenvariantie worden opgevat. De bij de constructie van de HETS en LHETS gevolgde procedure zou ingezet kunnen worden om desgewenst verder onderzoek te doen naar de relatie tussen algemene en instellingskennis. Inhoudelijk gesproken leven de LHETS winst op in vergelijking met de HETS. Dit blijkt bijvoorbeeld als men de inhoud van de lijsten vergelijkt met het resultaat van een literatuuronderzoek door Pelzer, Steerneman en De Bruyn (1994) naar de invulling van het concept ernst. Deze conceptuele verkenning resulteerde in de indeling van beoordelingscriteria voor de ernst van de problematiek op grond van een d ri etal dimensies: aard van het probleemgedrag, gevolgen van het probleemgedrag, en bijdragende factoren in de vorm van ri sicofactoren en protectieve factoren. Inspectie van de item-pool van de L-HETS toont aan dat door de uitbreiding van items de beoordeling van de ernst van de problematiek als het ware evenwichtiger verloopt. Met name is winst geboekt op de dimensie `bijdragende factoren' zoals blijkt uit de opname van c ri teria als de mate waa ri n de cliënt ervaart invloed te hebben op het probleemgedrag,
LITERATUUR
percepties van de ouders en het kind op het probleemgedrag, motivatie voor hulpverlening, inzicht van ouders en het kind in het ontstaan van het probleem en draagkracht. Met nadruk zij erop gewezen dat het resultaat van het literatuuronderzoek geheel onafhankelijk is van wat door de deelnemers aan het huidige onderzoek daadwerkelijk als criterium is opgevoerd. Gelet op de omvang en de samenstelling van de landelijke steekproef, alsook op de diepgang van de consensusprocedure, is het verantwoord de landelijke versie van de HETS (L-HETS) te beschouwen als de expliciete consensus-neerslag van impliciete praktijkkennis. Hierdoor
leven de L-NETS krachtens zijn aard zelve een directe bijdrage aan de verhoging van de systematiek en transparantie van een belangrijke activiteit uit het diagnostisch handelen in de praktijk. Men zou de geëxpliciteerde praktijkkennis ook kunnen opvatten als de neerslag van de ervaring in de praktijk opgedaan met manieren om een specifieke diagnostische taak, in casus het beoordelen van de ernst van problematiek, bevredigend op te lossen. Als men dit zo bekijkt kan de L-HETS als voorbeeld worden gezien van een instrument dat een impliciet diagnostisch praktijkparadigma (Van Stnen, 1986) zichtbaar maakt.
Bastiaensen, P.A.C.M., & Robbroeckx, L.M.H. (1994). Kenmerken en toepassingen van de Delphi-methode als onderzoekstechniek. Tijdschrift voor Orthopedagogiek, 33, 284-294. De Hoog, R., Stroomberg, H., & Zee, H. van der (1980). Veranderen door onderzoek. Meppel: Boom. Pelzer, H.J., Steerneman, W.J.P.J.M., & De Bruyn, E.E.J. (1994). De ernst van probleemgedrag: een conceptuele verkenning. Tijdschrift voor O rthopedagogiek, 33, 380-393. Scholte, E.M. (1993). Basisdiagnostiek in de psychosociale jeugdhulpverlening: De
Vragenlijst Sociale en Pedagogische Situatie. Tijdschrift voor Orthopedagogiek, 32, 251-270. Schoort, P.M. (in druk). Praktijkparadigma's en orthopedagogisch onderzoek. Tijdschrift voor Orthopedagogiek. Steerneman, W.J.P.J.M., Pelzer, H.J., & De Bruyn, E.E.J. (1993). Van impliciete kennis naar expliciete criteria: De Heerlense Ernst Taxatie Schaal (HETS). Tijdschrift voor O rthopedagogiek, 32, 444-454. Strien, P.J. van (1986). Praktijk als wetenschap: Methodologie van het sociaalwetenschappelijk handelen. Assen: Van Gorcum.
ADRES VAN DE AUTEURS
drs. H.J. Pelzer & drs. W.J.P.J.M. Steerneman, Riagg OZL, afdeling jeugdzorg, Postbus 165, 6400 AD Heerlen. prof. dr E.E.J. De Bruyn, Werkgroep Psychodiagnostiek KUN, Postbus 9103, 6500 HD Nijmegen.
409
THEORIE EN ONDERZOEK
